CN106708661B - 一种广域网环境中的数据备份方法及装置 - Google Patents

一种广域网环境中的数据备份方法及装置 Download PDF

Info

Publication number
CN106708661B
CN106708661B CN201611127006.0A CN201611127006A CN106708661B CN 106708661 B CN106708661 B CN 106708661B CN 201611127006 A CN201611127006 A CN 201611127006A CN 106708661 B CN106708661 B CN 106708661B
Authority
CN
China
Prior art keywords
backup
data
time
request message
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611127006.0A
Other languages
English (en)
Other versions
CN106708661A (zh
Inventor
余守星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201611127006.0A priority Critical patent/CN106708661B/zh
Publication of CN106708661A publication Critical patent/CN106708661A/zh
Application granted granted Critical
Publication of CN106708661B publication Critical patent/CN106708661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种广域网环境中的数据备份方法及装置，该方法根据接收到的备份任务，向数据源端发送数据备份请求消息，在接收到数据源端发送的数据备份拒绝消息或在设定的时间段内没有接收到数据源端的反馈消息时，或在接收备份数据的过程中，如果监测到备份任务失败时，则根据预先设定的重传时隙，按照设定的出错重试策略重新发送数据备份请求消息，直到接收到数据源端发送的数据备份确认消息后，开始接收数据源端发送的备份数据完成备份。本发明的装置包括数据备份请求模块、第一数据备份重传请求模块和第二数据重传请求模块。本发明的方法及装置能降低广域网环境中备份任务的失败率，并能使备份任务更加高效、顺利地完成。

Description

一种广域网环境中的数据备份方法及装置
技术领域
本发明属于数据通信领域，尤其涉及一种广域网环境中的数据备份方法及装置。
背景技术
在银行、证券等金融项目中，经常会遇到需要将全国各地的各网点的视频监控录像，通过广域网集中备份到某一数据中心的情况。现有的视频监控解决方案中，对视频监控录像进行备份的设计使用场景是针对局域网的，由于局域网中的网络带宽高，数据传输时的延时小，数据传输过程中的丢包率低，因此现有技术对视频监控录像进行备份时的备份失败重试策略非常简单，通常为简单重试3次，而且每次重试的时间间隔固定，重试超过三次则认为本次备份任务失败；并且现有技术对视频监控录像进行备份时采用固定的备份速率(例如，固定采用摄像机生成视频监控录像时的实际数据传输速率的二倍速或四倍速)，不论网络质量如何都采用该固定的备份速率进行视频监控录像的备份。
与局域网相比，广域网存在带宽较低，数据传输的延时高，并且网络中的可用带宽变化大，稳定性差等特点，因此通过现有技术在广域网中进行视频监控录像的备份时，会因为现有技术中备份失败重试策略简单而导致备份任务失败率高，并且现有技术采用固定的备份速率进行视频监控录像的备份，会导致在网络拥塞较严重时因数据传输的丢包率高造成备份失败，在网络空闲时因备份速率不够高造成无法充分利用网络带宽资源，从而导致备份时间延长的问题。
发明内容
本发明的目的是提供一种广域网环境中的数据备份方法及装置，通过采用一种类指数退避算法作为备份出错重试策略，降低备份任务的失败率，并根据各备份任务在备份服务器中占用的总带宽、各备份任务在数据源端占用的总带宽、以及各备份任务的丢包率，实时调整各备份任务的备份速率，合理利用广域网的网络带宽资源和备份服务器、数据源端的备份能力，使各备份任务能高效、顺利地完成。
为了实现上述目的，本发明技术方案如下：
一种广域网环境中的数据备份方法，应用于备份服务器，预设有重传时隙，所述广域网环境中的数据备份方法，包括：
根据接收到的备份任务，向数据源端发送数据备份请求消息；
接收到数据源端发送的数据备份拒绝消息或在设定的时间段内没有接收到数据源端的反馈消息时，重新发送数据备份请求消息；
其中，在每次重新发送数据备份请求消息时，根据预设的与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，间隔小于或等于最大重传时隙数量的重传时隙后向数据源端重新发送数据备份请求消息，直到接收到数据源端发送的数据备份确认消息后，开始接收数据源端发送的备份数据；
在接收备份数据的过程中，如果监测到备份任务失败，则重新发送数据备份请求消息；
其中，在每次重新发送数据备份请求消息时，根据预设的与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，间隔小于或等于最大重传时隙数量的重传时隙后向数据源端重新发送数据备份请求消息，直到接收到所有备份数据并完成备份。
进一步地，所述根据预设的与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，间隔小于或等于最大重传时隙数量的重传时隙后向数据源端重新发送数据备份请求消息，包括：
第一次重新发送数据备份请求消息时，以初始发送数据备份请求消息的时间为起始时间，等待a个重传时隙后重新发送数据备份请求消息；
第i次重新发送数据备份请求消息时(2≤i≤K)，以第i-1次重新发送数据备份请求消息的时间为起始时间，随机地选择等待1至2i个重传时隙后，重新发送数据备份请求消息；
第K次之后重新发送数据备份请求消息时，以上一次重新发送数据备份请求消息的时间为起始时间，随机地选择等待1至2k个重传时隙后，重新发送数据备份请求消息；
其中a、K为设定的参数。
进一步地，所述广域网环境中的数据备份方法，还包括：
在每次重新发送数据备份请求消息时，用当前时间与初始发送数据备份请求的时间进行比对，如果二者之间的时间差小于设定的时间阈值，则重新发送数据备份请求消息；如果二者之间的时间差大于或等于设定的时间阈值，则停止重新发送数据备份请求消息，并将该备份任务失败的消息发送给管理服务器。
进一步地，所述广域网环境中的数据备份方法，还包括：
在接收备份数据的过程中，根据当前各备份任务在备份服务器中占用的总带宽、当前各备份任务在数据源端占用的总带宽、以及各备份任务的丢包率，调整各备份任务的备份速率。
进一步地，所述根据当前各备份任务在备份服务器中占用的总带宽、当前各备份任务在数据源端占用的总带宽、以及各备份任务的丢包率，调整各备份任务的备份速率，包括：
将各备份任务按不同的数据源端进行分组；
如果备份任务的丢包率大于或等于设定的第一阈值，小于设定的第二阈值，则降低该备份任务的备份速率；
如果备份任务的丢包率小于设定的第一阈值，同时当前各备份任务在备份服务器中占用的总带宽小于设定的阈值，并且同一个组内各备份任务在该组对应的数据源端上占用的总带宽小于设定的阈值，则增加该组内备份任务的备份速率；
如果备份任务的丢包率小于设定的第一阈值，但是当前备份任务在备份服务器中占用的总带宽大于或等于设定的阈值，或者同一个组内各备份任务在该组对应的数据源端上占用的总带宽大于或等于设定的阈值，则保持该组内备份任务的备份速率不变；
如果备份任务的丢包率大于或等于设定的第二阈值，则停止该备份任务，并以比当前备份速率更低的备份速率向数据源端重新发送数据备份请求，重新执行该备份任务。
本发明还提出了一种广域网环境中的数据备份装置，应用于备份服务器，预设有重传时隙，所述广域网环境中的数据备份装置，包括：
数据备份请求模块，用于根据接收到的备份任务，向数据源端发送数据备份请求消息；
第一数据备份重传请求模块，用于接收到数据源端发送的数据备份拒绝消息或在设定的时间段内没有接收到数据源端的反馈消息时，重新发送数据备份请求消息；
其中，在每次重新发送数据备份请求消息时，根据预设的与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，间隔小于或等于最大重传时隙数量的重传时隙后向数据源端重新发送数据备份请求消息，直到接收到数据源端发送的数据备份确认消息后，开始接收数据源端发送的备份数据；
第二数据重传请求模块，用于在接收备份数据的过程中，如果监测到备份任务失败，则重新发送数据备份请求消息；
其中，在每次重新发送数据备份请求消息时，根据预设的与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，间隔小于或等于最大重传时隙数量的重传时隙后向数据源端重新发送数据备份请求消息，直到接收到所有备份数据并完成备份。
进一步地，所述第一数据备份重传请求模块或第二数据备份重传请求模块根据预设的与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，间隔小于或等于最大重传时隙数量的重传时隙后向数据源端重新发送数据备份请求消息，执行如下操作：
第一次重新发送数据备份请求消息时，以初始发送数据备份请求消息的时间为起始时间，等待a个重传时隙后重新发送数据备份请求消息；
第i次重新发送数据备份请求消息时(2≤i≤K)，以第i-1次重新发送数据备份请求消息的时间为起始时间，随机地选择等待1至2i个重传时隙后，重新发送数据备份请求消息；
第K次之后重新发送数据备份请求消息时，以上一次重新发送数据备份请求消息的时间为起始时间，随机地选择等待1至2k个重传时隙后，重新发送数据备份请求消息；
其中a、K为设定的参数。
进一步地，所述第一数据备份重传请求模块和第二数据备份重传请求模块还执行如下操作：
在每次重新发送数据备份请求消息时，用当前时间与初始发送数据备份请求的时间进行比对，如果二者之间的时间差小于设定的时间阈值，则重新发送数据备份请求消息；如果二者之间的时间差大于或等于设定的时间阈值，则停止重新发送数据备份请求消息，并将该备份任务失败的消息发送给管理服务器。
进一步地，所述广域网环境中的数据备份装置，还包括：
速率调整模块，用于在接收备份数据的过程中，根据当前各备份任务在备份服务器中占用的总带宽、当前各备份任务在数据源端占用的总带宽、以及各备份任务的丢包率，调整各备份任务的备份速率。
进一步地，所述速率调整模块根据当前各备份任务在备份服务器中占用的总带宽、当前各备份任务在数据源端占用的总带宽、以及各备份任务的丢包率，调整各备份任务的备份速率，执行如下操作：
将各备份任务按不同的数据源端进行分组；
如果备份任务的丢包率大于或等于设定的第一阈值，小于设定的第二阈值，则降低该备份任务的备份速率；
如果备份任务的丢包率小于设定的第一阈值，同时当前各备份任务在备份服务器中占用的总带宽小于设定的阈值，并且同一个组内各备份任务在该组对应的数据源端上占用的总带宽小于设定的阈值，则增加该组内备份任务的备份速率；
如果备份任务的丢包率小于设定的第一阈值，但是当前备份任务在备份服务器中占用的总带宽大于或等于设定的阈值，或者同一个组内各备份任务在该组对应的数据源端上占用的总带宽大于或等于设定的阈值，则保持该组内备份任务的备份速率不变；
如果备份任务的丢包率大于或等于设定的第二阈值，则停止该备份任务，并以比当前备份速率更低的备份速率向数据源端重新发送数据备份请求，重新执行该备份任务。
本发明提出了一种广域网环境中的数据备份方法及装置，通过采用更加适应广域网环境的类指数退避算法作为备份出错重试策略，能大大降低因数据源端能力限制、广域网网络拥塞或异常中断等问题导致备份任务失败的概率，并根据各备份任务在备份服务器中占用的总带宽、各备份任务在数据源端占用的总带宽、以及各备份任务的丢包率，实时调整各备份任务的备份速率，能更加合理地利用广域网的网络带宽资源和备份服务器、数据源端的备份能力，使各备份任务能更高效、顺利地完成。
附图说明
图1为本发明广域网环境中的数据备份方法的流程图；
图2为本实施例广域网环境中对视频监控录像进行备份的网络结构示意图；
图3为本发明广域网环境中的数据备份装置的结构示意图。
具体实施方式
下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。
本实施例一种广域网环境中的数据备份方法，应用于备份服务器，如图1所示，包括：
步骤S1、根据接收到的备份任务，向数据源端发送数据备份请求消息。
本实施例以广域网环境中视频监控录像的备份为例进行说明，如图2所示，用于备份视频监控录像的数据中心和各分支机构通过广域网进行连接，数据中心包括管理服务器和备份服务器，各分支机构包括摄像机和存储视频监控录像的数据源。数据中心的管理服务器根据视频监控录像的备份要求生成备份任务，并将备份任务下发给备份服务器，备份服务器根据接收到的备份任务，通过广域网对各分支机构中视频监控录像的数据源中的视频监控录像进行备份。本实施例视频监控录像的数据源为视频监控系统中的NVR、DVR或其它视频监控录像存储设备，为了便于描述，本实施例以NVR作为视频监控录像的数据源为例来进行说明。
管理服务器中记录有各分支机构中NVR的IP地址以及接入各NVR的摄像机的ID号，管理服务器根据视频监控录像的备份要求生成包含需要备份视频监控录像的NVR的IP地址、摄像机ID号、需要备份的视频监控录像的时间段的备份任务，然后将备份任务下发给备份服务器。
备份服务器接收到备份任务后，根据备份任务中NVR的IP地址向NVR发送数据备份请求消息，该数据备份请求消息中携带有需要进行备份的摄像机的ID号、备份的视频监控录像时间段、以及数据备份的速率，本实施例数据备份的速率以摄像机生成视频监控录像时的实际数据传输速率为基准速率，数据备份速率为该基准速率的N倍，具体采用几倍速需要根据实际的网络环境进行配置，本实施例在数据备份请求消息中携带的数据备份速率一般设置为二倍速。
步骤S2、接收到数据源端发送的数据备份拒绝消息或在设定的时间段内没有接收到数据源端的反馈消息时，重新发送数据备份请求消息，直到接收到数据源端发送的数据备份确认消息后，开始接收数据源端发送的备份数据。
本实施例备份服务器在每次重新发送数据备份请求消息时，根据预设的与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，间隔小于或等于最大重传时隙数量的重传时隙后向数据源端重新发送数据备份请求消息。
本实施例NVR接收到备份服务器发送的数据备份请求消息后，查询本NVR的当前处理能力是否已达到上限(包括本NVR的当前视频连接数是否已达到上限以及当前使用带宽是否达到可使用带宽的上限)，如果本NVR的当前处理能力没有达到上限，则反馈数据备份确认消息给备份服务器，然后NVR将备份服务器请求备份的视频监控录像发送给备份服务器；如果本NVR的当前处理能力达到上限，则反馈数据备份拒绝消息给备份服务器。
需要说明的是，NVR反馈给备份服务器的数据备份确认消息中携带有NVR的带宽值，备份服务器可以根据NVR的带宽值以及该NVR上各备份任务的备份速率判断该NVR是否达到能力上限。
如果备份服务器接收到NVR反馈的消息为数据备份确认消息，则开始接收NVR发送的视频监控录像，并将接收到的视频监控录像备份到备份服务器的存储单元中；如果备份服务器接收到NVR反馈的消息为数据备份拒绝消息或者备份服务器在设定的时间段内没有接收到NVR发送的反馈消息，则根据设定的出错重试策略向数据源端重新发送数据备份请求消息，直到接收到NVR发送的数据备份确认消息后，开始接收NVR发送的视频监控录像，并将接收到的视频监控录像备份到备份服务器的存储单元中。
优选地，本实施例设定的出错重试策略为一种类指数退避算法，具体为：
设置重传时隙为重新发送数据备份请求消息时等待的时间单位。本实施例重传时隙设置为n秒钟，n为参数，可以设置为1-20秒，本实施例将n设置为10。
第一次重新发送数据备份请求消息时，以初始发送数据备份请求消息的时间为起始时间，等待a个重传时隙(即n*a秒)后重新发送数据备份请求消息。a为参数，当重传时隙为10秒时，可以取值为1，即等待1个重传时隙后重新发送数据备份请求消息。a的取值根据实际情况来设定，根据重传时隙的大小n，a的取值随之变化，例如当n为5时，a可以取2，当n为2时，a可以取5，这里不再赘述。
第i次重新发送数据备份请求消息时(2≤i≤K)，以第i-1次重新发送数据备份请求消息的时间为起始时间，随机地选择等待1至2i个重传时隙后，重新发送数据备份请求消息。i为重新发送数据备份请求消息的序号。
第K次之后重新发送数据备份请求消息时，以上一次重新发送数据备份请求消息的时间为起始时间，随机地选择等待1至2k个重传时隙后，重新发送数据备份请求消息，使前后两次重新发送数据备份请求消息的最大时间间隔控制在n*2k秒内，避免重新发送数据备份请求消息的等待时间太长导致重新发送数据备份请求消息的次数太少，从而影响数据备份成功的概率。K为设定的参数，其取值根据能够容忍的重传时间间隔来设定，例如本实施例将K设置为6，使前后两次重新发送数据备份请求消息的最大时间间隔控制在640秒内。
本实施例设定的出错重试策略也可以为：
将重新发送数据备份请求消息时等待的时间单位设置为10秒钟的时隙；
每次重新发送数据备份请求消息时，以上一次发送数据备份请求消息的时间为起始时间，随机性地选择等待1至64个重传时隙后，重新发送数据备份请求消息。
在上述实施例中，在每次重新发送数据备份请求消息时，都预设与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，例如为对第i次重传，其与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量为2i个重传时隙，该最大重传时隙数量可以自定义，还可以设置为8*i等。
需要说明的是，由于备份任务具有较强的时限性，以备份任务开始执行的时间为起点，超过设定的时间阈值(例如，12小时)还没有进行正常的数据备份是不可接受的，将当作该备份任务失败来处理。因此本实施例备份服务器会记录每个备份任务初始发送数据备份请求的时间，并在每次重新发送数据备份请求消息时，用当前时间与初始发送数据备份请求的时间进行比对，如果二者之间的时间差小于设定的时间阈值，则重新发送数据备份请求消息；如果二者之间的时间差大于或等于设定的时间阈值，则停止重新发送数据备份请求消息，并将该备份任务失败的消息发送给管理服务器。
或者，也可以认为重传次数冲过设定阈值后，例如设定阈值为12次，即重新发送数据备份请求消息超过12次后，则停止重新发送数据备份请求消息，并将该备份任务失败的消息发送给管理服务器。
本实施例备份服务器通过上述出错重试策略，能大大降低因数据源端能力限制、广域网网络拥塞或异常中断等问题导致备份任务失败的概率，有利于备份任务的顺利完成。
步骤S3、在接收备份数据的过程中，如果监测到备份任务失败，则重新发送数据备份请求消息，直到接收到所有备份数据并完成备份。
本实施例备份服务器在每次重新发送数据备份请求消息时，根据预设的与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，间隔小于或等于最大重传时隙数量的重传时隙后向数据源端重新发送数据备份请求消息。具体的方法与前面的重传方法相同，这里不再赘述。
本实施例备份服务器在接收NVR发送的视频监控录像的过程中，会实时监测各备份任务的备份情况，如果备份服务器监测到某个备份任务失败(例如，因网络拥塞或突发性中断导致接收不到后续的视频监控录像，因备份服务器写入数据失败导致接收到的视频监控录像丢失等)，则按步骤S2中所述的出错重试策略向NVR重新发送数据备份请求消息，直到接收到该备份任务的所有视频监控录像并完成备份。
本实施例备份服务器在接收NVR发送的视频监控录像的过程中，还会实时统计当前备份任务的信息，包括当前备份任务在备份服务器中占用的总带宽、当前各备份任务的数据包丢包率、当前各备份任务在NVR上占用的总带宽、以及当前各备份任务的丢包率，并根据当前备份任务的信息调整备份任务的备份速率。
具体地，备份服务器对当前备份任务在备份服务器中占用的总带宽进行实时统计，然后计算出当前备份任务在备份服务器中占用的总带宽与备份服务器的带宽的比值，如果计算出的比值大于或等于设定的阈值，则认为备份服务器已经达到能力上限，不能再提高备份任务的备份速率；如果计算出的比值小于设定的阈值，则认为备份服务器没有达到能力上限，可以提高备份任务的备份速率。
由于本实施例的备份任务针对多个不同的NVR进行，同一个NVR上的备份任务受该NVR的处理能力的限制，因此本实施例将各备份任务按不同的NVR进行分组。备份服务器统计同一个组内各备份任务在该组对应的NVR上占用的总带宽，然后计算统计出的总带宽与该NVR的带宽的比值，如果计算出的比值大于或等于设定的阈值，则认为该NVR的能力达到上限，不能增加该NVR上备份任务的传输速率；如果计算出的比值小于设定的阈值，则认为该NVR的能力没有达到上限，可以增加该NVR上备份任务的传输速率。
本实施例备份服务器还会统计各备份任务的丢包率，如果统计出某个备份任务的丢包率大于或等于设定的第一阈值，则认为该备份任务发送的视频监控录像所经过的广域网传输路径的带宽不够，需要降低该备份任务的备份速率；如果统计出某个备份任务的丢包率小于设定的第一阈值，则认为该备份任务发送的视频监控录像所经过的广域网传输路径的带宽足够，可以增加该备份任务的备份速率。
基于上述机制，本实施例备份服务器根据实时统计出的当前各备份任务的信息，对备份任务的备份速率进行如下调整：
如果备份任务的丢包率大于或等于设定的第一阈值，小于设定的第二阈值，则降低该备份任务的备份速率，以减小该备份任务占用的广域网网络带宽，降低该备份任务的丢包率，避免因广域网的网络质量进一步恶化而导致该备份任务无法顺利完成；
如果备份任务的丢包率小于设定的第一阈值，同时当前各备份任务在备份服务器中占用的总带宽小于设定的阈值，并且同一个组内各备份任务在该组对应的NVR上占用的总带宽小于设定的阈值，则增加该组内备份任务的备份速率，以充分利用广域网的网络带宽和备份服务器、NVR的备份能力，缩短备份任务的完成时间；
如果备份任务的丢包率小于设定的第一阈值，但是当前备份任务在备份服务器中占用的总带宽大于或等于设定的阈值，或者同一个组内各备份任务在该组对应的NVR上占用的总带宽大于或等于设定的阈值，则保持该组内备份任务的备份速率不变。
需要说明的是，如果视频监控录像在备份过程中出现丢包，会导致备份的视频监控录像的质量下降，当视频监控录像在备份过程中的丢包率大于一定的值后，备份的视频监控录像会出现严重的花屏和卡顿，使备份的视频监控录像不可用，因此本实施例备份服务器在检测到备份任务的丢包率大于或等于设定的第二阈值后，会停止该备份任务，并以比当前备份速率更低的备份速率向NVR重新发送数据备份请求，重新执行该备份任务。
通过上述方法，本实施例备份服务器能根据广域网的网络质量、备份服务器的带宽占用情况以及数据源端的带宽占用情况，实时调整各备份任务的备份速率，合理利用广域网的网络带宽资源和备份服务器、数据源端的备份能力，使各备份任务能高效、顺利地完成。
本实施例还提出了一种广域网环境中的数据备份装置，应用于备份服务器，与上述方法对应，如图3所示，包括：
数据备份请求模块，用于根据接收到的备份任务，向数据源端发送数据备份请求消息；
第一数据备份重传请求模块，用于接收到数据源端发送的数据备份拒绝消息或在设定的时间段内没有接收到数据源端的反馈消息时，重新发送数据备份请求消息；
其中，在每次重新发送数据备份请求消息时，根据预设的与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，间隔小于或等于最大重传时隙数量的重传时隙后向数据源端重新发送数据备份请求消息，直到接收到数据源端发送的数据备份确认消息后，开始接收数据源端发送的备份数据；
第二数据重传请求模块，用于在接收备份数据的过程中，如果监测到备份任务失败，则重新发送数据备份请求消息；
其中，在每次重新发送数据备份请求消息时，根据预设的与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，间隔小于或等于最大重传时隙数量的重传时隙后向数据源端重新发送数据备份请求消息，直到接收到所有备份数据并完成备份。
与以上方法对应，本实施例第一数据备份重传请求模块或第二数据备份重传请求模块根据预设的与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，间隔小于或等于最大重传时隙数量的重传时隙后向数据源端重新发送数据备份请求消息，执行如下操作：
第一次重新发送数据备份请求消息时，以初始发送数据备份请求消息的时间为起始时间，等待a个重传时隙后重新发送数据备份请求消息；
第i次重新发送数据备份请求消息时(2≤i≤K)，以第i-1次重新发送数据备份请求消息的时间为起始时间，随机地选择等待1至2i个重传时隙后，重新发送数据备份请求消息；
第K次之后重新发送数据备份请求消息时，以上一次重新发送数据备份请求消息的时间为起始时间，随机地选择等待1至2k个重传时隙后，重新发送数据备份请求消息；
其中a、K为设定的参数。
本实施例第一数据备份重传请求模块和第二数据备份重传请求模块还执行如下操作：
在每次重新发送数据备份请求消息时，用当前时间与初始发送数据备份请求的时间进行比对，如果二者之间的时间差小于设定的时间阈值，则重新发送数据备份请求消息；如果二者之间的时间差大于或等于设定的时间阈值，则停止重新发送数据备份请求消息，并将该备份任务失败的消息发送给管理服务器。
本实施例广域网环境中的数据备份装置，还包括：
速率调整模块，用于在接收备份数据的过程中，根据当前各备份任务在备份服务器中占用的总带宽、当前各备份任务在数据源端占用的总带宽、以及各备份任务的丢包率，调整各备份任务的备份速率。
本实施例速率调整模块根据当前各备份任务在备份服务器中占用的总带宽、当前各备份任务在数据源端占用的总带宽、以及各备份任务的丢包率，调整各备份任务的备份速率，执行如下操作：
将各备份任务按不同的数据源端进行分组；
如果备份任务的丢包率大于或等于设定的第一阈值，小于设定的第二阈值，则降低该备份任务的备份速率；
如果备份任务的丢包率小于设定的第一阈值，同时当前各备份任务在备份服务器中占用的总带宽小于设定的阈值，并且同一个组内各备份任务在该组对应的数据源端上占用的总带宽小于设定的阈值，则增加该组内备份任务的备份速率；
如果备份任务的丢包率小于设定的第一阈值，但是当前备份任务在备份服务器中占用的总带宽大于或等于设定的阈值，或者同一个组内各备份任务在该组对应的数据源端上占用的总带宽大于或等于设定的阈值，则保持该组内备份任务的备份速率不变；
如果备份任务的丢包率大于或等于设定的第二阈值，则停止该备份任务，并以比当前备份速率更低的备份速率向数据源端重新发送数据备份请求，重新执行该备份任务。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种广域网环境中的数据备份方法，应用于备份服务器，其特征在于，预设有重传时隙，所述广域网环境中的数据备份方法，包括：
根据接收到的备份任务，向数据源端发送数据备份请求消息；
接收到数据源端发送的数据备份拒绝消息或在设定的时间段内没有接收到数据源端的反馈消息时，重新发送数据备份请求消息；
其中，在每次重新发送数据备份请求消息时，根据预设的与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，间隔小于或等于最大重传时隙数量的重传时隙后向数据源端重新发送数据备份请求消息，直到接收到数据源端发送的数据备份确认消息后，开始接收数据源端发送的备份数据；
在接收备份数据的过程中，如果监测到备份任务失败，则重新发送数据备份请求消息；
其中，在每次重新发送数据备份请求消息时，根据预设的与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，间隔小于或等于最大重传时隙数量的重传时隙后向数据源端重新发送数据备份请求消息，直到接收到所有备份数据并完成备份；
所述根据预设的与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，间隔小于或等于最大重传时隙数量的重传时隙后向数据源端重新发送数据备份请求消息，包括：
第一次重新发送数据备份请求消息时，以初始发送数据备份请求消息的时间为起始时间，等待a个重传时隙后重新发送数据备份请求消息；
第i次重新发送数据备份请求消息时(2≤i≤K)，以第i-1次重新发送数据备份请求消息的时间为起始时间，随机地选择等待1至2i个重传时隙后，重新发送数据备份请求消息；
第K次之后重新发送数据备份请求消息时，以上一次重新发送数据备份请求消息的时间为起始时间，随机地选择等待1至2k个重传时隙后，重新发送数据备份请求消息；
其中a、K为设定的参数。
2.根据权利要求1所述的广域网环境中的数据备份方法，其特征在于，所述广域网环境中的数据备份方法，还包括：
在每次重新发送数据备份请求消息时，用当前时间与初始发送数据备份请求的时间进行比对，如果二者之间的时间差小于设定的时间阈值，则重新发送数据备份请求消息；如果二者之间的时间差大于或等于设定的时间阈值，则停止重新发送数据备份请求消息，并将该备份任务失败的消息发送给管理服务器。
3.根据权利要求1所述的广域网环境中的数据备份方法，其特征在于，所述广域网环境中的数据备份方法，还包括：
在接收备份数据的过程中，根据当前各备份任务在备份服务器中占用的总带宽、当前各备份任务在数据源端占用的总带宽、以及各备份任务的丢包率，调整各备份任务的备份速率。
4.根据权利要求3所述的广域网环境中的数据备份方法，其特征在于，所述根据当前各备份任务在备份服务器中占用的总带宽、当前各备份任务在数据源端占用的总带宽、以及各备份任务的丢包率，调整各备份任务的备份速率，包括：
将各备份任务按不同的数据源端进行分组；
如果备份任务的丢包率大于或等于设定的第一阈值，小于设定的第二阈值，则降低该备份任务的备份速率；
如果备份任务的丢包率小于设定的第一阈值，同时当前各备份任务在备份服务器中占用的总带宽小于设定的阈值，并且同一个组内各备份任务在该组对应的数据源端上占用的总带宽小于设定的阈值，则增加该组内备份任务的备份速率；
如果备份任务的丢包率小于设定的第一阈值，但是当前备份任务在备份服务器中占用的总带宽大于或等于设定的阈值，或者同一个组内各备份任务在该组对应的数据源端上占用的总带宽大于或等于设定的阈值，则保持该组内备份任务的备份速率不变；
如果备份任务的丢包率大于或等于设定的第二阈值，则停止该备份任务，并以比当前备份速率更低的备份速率向数据源端重新发送数据备份请求，重新执行该备份任务。
5.一种广域网环境中的数据备份装置，应用于备份服务器，其特征在于，预设有重传时隙，所述广域网环境中的数据备份装置，包括：
数据备份请求模块，用于根据接收到的备份任务，向数据源端发送数据备份请求消息；
第一数据备份重传请求模块，用于接收到数据源端发送的数据备份拒绝消息或在设定的时间段内没有接收到数据源端的反馈消息时，重新发送数据备份请求消息；
其中，在每次重新发送数据备份请求消息时，根据预设的与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，间隔小于或等于最大重传时隙数量的重传时隙后向数据源端重新发送数据备份请求消息，直到接收到数据源端发送的数据备份确认消息后，开始接收数据源端发送的备份数据；
第二数据重传请求模块，用于在接收备份数据的过程中，如果监测到备份任务失败，则重新发送数据备份请求消息；
其中，在每次重新发送数据备份请求消息时，根据预设的与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，间隔小于或等于最大重传时隙数量的重传时隙后向数据源端重新发送数据备份请求消息，直到接收到所有备份数据并完成备份；
其中，所述第一数据备份重传请求模块或第二数据备份重传请求模块根据预设的与当前重新发送数据备份请求消息的重传次数正相关的最大重传时隙数量，间隔小于或等于最大重传时隙数量的重传时隙后向数据源端重新发送数据备份请求消息，执行如下操作：
第一次重新发送数据备份请求消息时，以初始发送数据备份请求消息的时间为起始时间，等待a个重传时隙后重新发送数据备份请求消息；
第i次重新发送数据备份请求消息时(2≤i≤K)，以第i-1次重新发送数据备份请求消息的时间为起始时间，随机地选择等待1至2i个重传时隙后，重新发送数据备份请求消息；
第K次之后重新发送数据备份请求消息时，以上一次重新发送数据备份请求消息的时间为起始时间，随机地选择等待1至2k个重传时隙后，重新发送数据备份请求消息；
其中a、K为设定的参数。
6.根据权利要求5所述的广域网环境中的数据备份装置，其特征在于，所述第一数据备份重传请求模块和第二数据备份重传请求模块还执行如下操作：
在每次重新发送数据备份请求消息时，用当前时间与初始发送数据备份请求的时间进行比对，如果二者之间的时间差小于设定的时间阈值，则重新发送数据备份请求消息；如果二者之间的时间差大于或等于设定的时间阈值，则停止重新发送数据备份请求消息，并将该备份任务失败的消息发送给管理服务器。
7.根据权利要求5所述的广域网环境中的数据备份装置，其特征在于，所述广域网环境中的数据备份装置，还包括：
速率调整模块，用于在接收备份数据的过程中，根据当前各备份任务在备份服务器中占用的总带宽、当前各备份任务在数据源端占用的总带宽、以及各备份任务的丢包率，调整各备份任务的备份速率。
8.根据权利要求7所述的广域网环境中的数据备份装置，其特征在于，所述速率调整模块根据当前各备份任务在备份服务器中占用的总带宽、当前各备份任务在数据源端占用的总带宽、以及各备份任务的丢包率，调整各备份任务的备份速率，执行如下操作：
将各备份任务按不同的数据源端进行分组；
如果备份任务的丢包率大于或等于设定的第一阈值，小于设定的第二阈值，则降低该备份任务的备份速率；
如果备份任务的丢包率小于设定的第一阈值，同时当前各备份任务在备份服务器中占用的总带宽小于设定的阈值，并且同一个组内各备份任务在该组对应的数据源端上占用的总带宽小于设定的阈值，则增加该组内备份任务的备份速率；
如果备份任务的丢包率小于设定的第一阈值，但是当前备份任务在备份服务器中占用的总带宽大于或等于设定的阈值，或者同一个组内各备份任务在该组对应的数据源端上占用的总带宽大于或等于设定的阈值，则保持该组内备份任务的备份速率不变；
如果备份任务的丢包率大于或等于设定的第二阈值，则停止该备份任务，并以比当前备份速率更低的备份速率向数据源端重新发送数据备份请求，重新执行该备份任务。
CN201611127006.0A 2016-12-09 2016-12-09 一种广域网环境中的数据备份方法及装置 Active CN106708661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611127006.0A CN106708661B (zh) 2016-12-09 2016-12-09 一种广域网环境中的数据备份方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611127006.0A CN106708661B (zh) 2016-12-09 2016-12-09 一种广域网环境中的数据备份方法及装置

Publications (2)

Publication Number Publication Date
CN106708661A CN106708661A (zh) 2017-05-24
CN106708661B true CN106708661B (zh) 2020-05-19

Family

ID=58936563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611127006.0A Active CN106708661B (zh) 2016-12-09 2016-12-09 一种广域网环境中的数据备份方法及装置

Country Status (1)

Country Link
CN (1) CN106708661B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107333102B (zh) * 2017-06-30 2019-10-29 普联技术有限公司 恢复设备断电期间数据的方法、装置及计算机可读存储介质
JP7342425B2 (ja) * 2019-05-30 2023-09-12 セイコーエプソン株式会社 ロボット管理システムおよびロボット管理システムの制御方法
CN110597659A (zh) 2019-08-28 2019-12-20 华为技术有限公司 备份处理方法及服务器
CN110955563A (zh) * 2019-11-26 2020-04-03 上海易点时空网络有限公司 数据备份方法及装置
CN110971535B (zh) * 2020-03-03 2020-07-14 友刻(北京)通讯技术有限公司 一种通信拥塞控制方法及装置、设备和存储介质
CN115529332B (zh) * 2022-09-28 2023-06-16 润芯微科技(江苏)有限公司 一种用于车机中控的云车机系统及远程访问方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101808266A (zh) * 2010-03-23 2010-08-18 广东易家通数字家庭技术发展有限公司 一种新型的网络下载音乐的音响系统及方法
CN101938847A (zh) * 2009-06-30 2011-01-05 中兴通讯股份有限公司 一种长期演进系统中业务承载建立失败的处理方法和装置
CN102413302A (zh) * 2011-07-29 2012-04-11 中兴通讯股份有限公司 视频监控中录像备份处理的方法和装置、备份设备
CN104702647A (zh) * 2013-12-09 2015-06-10 腾讯科技（深圳）有限公司 信息请求方法和系统
WO2016177152A1 (zh) * 2015-07-10 2016-11-10 中兴通讯股份有限公司 一种rrc连接拒绝消息发送方法、rrc连接请求方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938847A (zh) * 2009-06-30 2011-01-05 中兴通讯股份有限公司 一种长期演进系统中业务承载建立失败的处理方法和装置
CN101808266A (zh) * 2010-03-23 2010-08-18 广东易家通数字家庭技术发展有限公司 一种新型的网络下载音乐的音响系统及方法
CN102413302A (zh) * 2011-07-29 2012-04-11 中兴通讯股份有限公司 视频监控中录像备份处理的方法和装置、备份设备
CN104702647A (zh) * 2013-12-09 2015-06-10 腾讯科技（深圳）有限公司 信息请求方法和系统
WO2016177152A1 (zh) * 2015-07-10 2016-11-10 中兴通讯股份有限公司 一种rrc连接拒绝消息发送方法、rrc连接请求方法及装置

Also Published As

Publication number Publication date
CN106708661A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
CN106708661B (zh) 一种广域网环境中的数据备份方法及装置
EP3522418B1 (en) Network-based real-time video transmission method and device
CN103533450B (zh) 一种媒体流可靠传输和接收的方法以及装置
US11765018B2 (en) Control plane device switching method and apparatus, and forwarding-control separation system
KR100434604B1 (ko) 멀티캐스트 분배 서비스에 있어서의 재송제어 방법 및시스템, 재송제어 장치, 무선기지국 및 무선단말
JP4902905B2 (ja) メッセージを送信する方法、通信方法、据え置き肯定応答通信システム、メッセージを送信するシステム
US10348616B2 (en) Packet transmission method and apparatus, and interconnect interface
MXPA05002750A (es) Sistema para la recuperacion eficiente de datos almacenados temporalmente en el nodo b despues del reajuste de la capa mac.
JPH03165139A (ja) データ通信方法及びデータ通信システム
CA2474587A1 (en) Apparatus and methods for restoring traffic during failover in a cable head end
CN107306361A (zh) 码流传输方法、装置及网络摄像头
US20060224745A1 (en) Error recovery mechanism and network element comprising same
CN115687226A (zh) i2c总线通信方法、装置及可读存储介质
US20110029621A1 (en) Mail server system and congestion control method
US7330432B1 (en) Method and apparatus for optimizing channel bandwidth utilization by simultaneous reliable transmission of sets of multiple data transfer units (DTUs)
EP2526659A1 (en) Selective caching in a packet network and packet loss repair using selective caching
CN110808917B (zh) 多链路聚合数据重传方法及发送设备
US7239610B2 (en) Methods and devices for partial upper layer frame loss detection based retransmission
CN101162974A (zh) 一种组播视频存储的方法、系统及设备
CN106850153A (zh) 数据重传方法及系统
CN113014501A (zh) 数据传输方法、系统、编码器及计算机可读存储介质
CN109327293B (zh) 跳变通道控制方法以及服务器、数据传输节点和系统
JPH05204811A (ja) 管理情報通信システム
CN114430362B (zh) 链路切换的方法、fpga芯片、设备及存储介质
CN116938722A (zh) 带宽调整方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant