CN114666524B - 一种数据回传方法、装置及电子设备 - Google Patents

一种数据回传方法、装置及电子设备 Download PDF

Info

Publication number
CN114666524B
CN114666524B CN202210273223.XA CN202210273223A CN114666524B CN 114666524 B CN114666524 B CN 114666524B CN 202210273223 A CN202210273223 A CN 202210273223A CN 114666524 B CN114666524 B CN 114666524B
Authority
CN
China
Prior art keywords
target
storage device
priority
backhaul
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210273223.XA
Other languages
English (en)
Other versions
CN114666524A (zh
Inventor
曹力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision System Technology Co Ltd
Original Assignee
Hangzhou Hikvision System Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision System Technology Co Ltd filed Critical Hangzhou Hikvision System Technology Co Ltd
Priority to CN202210273223.XA priority Critical patent/CN114666524B/zh
Publication of CN114666524A publication Critical patent/CN114666524A/zh
Application granted granted Critical
Publication of CN114666524B publication Critical patent/CN114666524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据回传方法、装置及电子设备,涉及数据传输技术领域。该方法包括:确定关于目标主存储设备的目标回传策略;其中,所述目标回传策略包括:所述目标主存储设备、所述目标主存储设备对应的目标监控设备以及存储所述目标监控设备所采集数据的备份存储设备;根据关于各个主存储设备的回传策略的策略优先级和各个监控设备的监控优先级,确定所述目标监控设备的回传优先级;按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备。与现有技术相比,应用本发明实施例提供的方案,可以在数据回传时,将重要的视频数据优先回传到主存储设备中,从而,提高数据回传效果。

Description

一种数据回传方法、装置及电子设备
技术领域
本发明涉及数据传输技术领域,特别是涉及一种数据回传方法、装置及电子设备。
背景技术
当前,随着视频监控技术的迅速发展,人们对于视频监控数据的可靠性越发重视。对于视频监控数据的存储,通常是使用多云灾备的技术手段,以保障视频数据不丢失,即在主存储设备发生故障时,由备份存储设备继续进行视频监控数据的存储,然后,在主存储设备恢复正常后,将备份存储设备中的视频数据回传到主存储设备中。
基于此,如何实现在数据回传时,将重要的视频数据优先回传到主存储设备中,以提高数据回传效果,成为当前亟需解决的问题。
发明内容
本发明实施例的目的在于提供一种数据回传方法、装置及电子设备,以实现在数据回传时,将重要的视频数据优先回传到主存储设备中,以提高数据回传效果。具体技术方案如下:
第一方面,本发明实施例提供了一种数据回传方法,所述方法包括:
确定关于目标主存储设备的目标回传策略;其中,所述目标回传策略包括:所述目标主存储设备、所述目标主存储设备对应的目标监控设备以及存储所述目标监控设备所采集数据的备份存储设备;
根据关于各个主存储设备的回传策略的策略优先级和各个监控设备的监控优先级,确定所述目标监控设备的回传优先级;
按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备。
可选的,一种具体实现方式中,所述目标回传策略为多个;所述根据关于各个主存储设备的回传策略的策略优先级和各个监控设备的监控优先级,确定所述目标监控设备的回传优先级,包括:
根据关于各个主存储设备的回传策略的策略优先级,确定每个所述目标回传策略的优先级,并按照各个监控设备的监控优先级,确定每个所述目标回传策略包括的各个所述目标监控设备的执行顺序;
按照所述执行顺序由先到后的顺序,将所述执行顺序相同的各个所述目标监控设备,按照所属目标回传策略的优先级进行排序,得到各个所述目标监控设备的回传优先级。
可选的,一种具体实现方式中,所述按照所述执行顺序由先到后的顺序,将所述执行顺序相同的各个所述目标监控设备,按照所属目标回传策略的优先级进行排序,得到各个所述目标监控设备的回传优先级,包括:
按照每个所述目标回传策略的优先级,纵向排列各个所述目标回传策略;
针对每个所述目标回传策略,按照所述执行顺序由先到后的顺序,横向排列每个所述目标回传策略所包括的各个所述目标监控设备,得到监控点矩阵;
按照各个所述目标回传策略的由先到后的纵向排列顺序,将位于同一列的各个所述目标监控设备,按照所在行的由先到后的顺序依次排序,得到各个所述目标监控设备的回传优先级。
可选的,一种具体实现方式中,所述按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备,包括:
按照所述回传优先级和预设并发度,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备。
可选的,一种具体实现方式中,所述按照所述回传优先级和预设并发度,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备,包括:
按照所述回传优先级,依次从所述目标监控设备确定预设并发度个指定监控设备,并将所述备份存储设备中存储的所述指定监控设备所采集的数据,回传到所述目标主存储设备;
或者,
按照所述回传优先级,从第一个所述目标监控设备开始,确定预设并发度个指定监控设备,并将所述备份存储设备中存储的所述指定监控设备所采集的数据,回传到所述目标主存储设备;在检测到当前正在进行数据回传的所述指定监控设备的目标数量小于所述预设并发度时,按照所述回传优先级,依次从未进行数据回传的各个所述目标监控设备确定指定数量个新的指定监控设备,并将所述备份存储设备中存储的所述新的指定监控设备所采集的数据,回传到所述目标主存储设备;
其中,若未进行数据回传的各个所述目标监控设备的剩余数量不大于所述预设并发度与所述目标数量的差值,则所述指定数量为剩余数量;若所述剩余数量大于所述预设并发度与所述目标数量的差值,则所述指定数量为所述差值。
可选的,一种具体实现方式中,所述目标回传策略还包括:执行时间,所述按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备,包括:
在到达所述执行时间对应的时刻时,按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备;
或者,
在所述执行时间对应的时间范围内,按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备。
可选的,一种具体实现方式中,所述方法还包括:
删除所述备份存储设备中所存储的已完成回传的数据;
或者,
删除所述备份存储设备中所存储的回传完成时长达到预设时长的已完成回传的数据。
可选的,一种具体实现方式中,所述确定关于目标主存储设备的目标回传策略,包括:
确定待回传的目标主存储设备,并从预设的关于各个主存储设备的回传策略中,选取关于所述目标主存储设备的目标回传策略。
可选的,一种具体实现方式中,所述确定待回传的目标主存储设备,包括:
在检测到由不在线状态转换为在线状态的主存储设备时,将所检测到的主存储设备,确定为待回传的目标主存储设备。
第二方面,本发明实施例提供了一种数据回传装置,所述装置包括;
策略确定模块,用于确定关于目标主存储设备的目标回传策略;其中,所述目标回传策略包括:所述目标主存储设备、所述目标主存储设备对应的目标监控设备以及存储所述目标监控设备所采集数据的备份存储设备;
回传优先级确定模块,用于根据关于各个主存储设备的回传策略的策略优先级和各个监控设备的监控优先级,确定所述目标监控设备的回传优先级;
回传模块,用于按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备。
可选的,一种具体实现方式中,所述目标回传策略为多个;所述回传优先级确定模块包括:
执行顺序确定子模块,用于根据关于各个主存储设备的回传策略的策略优先级,确定每个所述目标回传策略的优先级,并按照各个监控设备的监控优先级,确定每个所述目标回传策略包括的各个所述目标监控设备的执行顺序;
回传优先级确定子模块,用于按照所述执行顺序由先到后的顺序,将所述执行顺序相同的各个所述目标监控设备,按照所属目标回传策略的优先级进行排序,得到各个所述目标监控设备的回传优先级。
可选的,一种具体实现方式中,所述回传优先级确定子模块具体用于:
按照每个所述目标回传策略的优先级,纵向排列各个所述目标回传策略;
针对每个所述目标回传策略,按照所述执行顺序由先到后的顺序,横向排列每个所述目标回传策略所包括的各个所述目标监控设备,得到监控点矩阵;
按照各个所述目标回传策略的由先到后的纵向排列顺序,将位于同一列的各个所述目标监控设备,按照所在行的由先到后的顺序依次排序,得到各个所述目标监控设备的回传优先级。
可选的,一种具体实现方式中,所述回传模块具体用于:
按照所述回传优先级和预设并发度,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备。
可选的,一种具体实现方式中,所述回传模块具体用于:
按照所述回传优先级,依次从所述目标监控设备确定预设并发度个指定监控设备,并将所述备份存储设备中存储的所述指定监控设备所采集的数据,回传到所述目标主存储设备;
或者,
按照所述回传优先级,从第一个所述目标监控设备开始,确定预设并发度个指定监控设备,并将所述备份存储设备中存储的所述指定监控设备所采集的数据,回传到所述目标主存储设备;在检测到当前正在进行数据回传的所述指定监控设备的目标数量小于所述预设并发度时,按照所述回传优先级,依次从未进行数据回传的各个所述目标监控设备确定指定数量个新的指定监控设备,并将所述备份存储设备中存储的所述新的指定监控设备所采集的数据,回传到所述目标主存储设备;
其中,若未进行数据回传的各个所述目标监控设备的剩余数量不大于所述预设并发度与所述目标数量的差值,则所述指定数量为剩余数量;若所述剩余数量大于所述预设并发度与所述目标数量的差值,则所述指定数量为所述差值。
可选的,一种具体实现方式中,所述目标回传策略还包括:执行时间,所述回传模块具体用于:
在到达所述执行时间对应的时刻时,按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备;
或者,
在所述执行时间对应的时间范围内,按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备。
可选的,一种具体实现方式中,所述装置还包括:
删除模块,用于删除所述备份存储设备中所存储的已完成回传的数据;或者,删除所述备份存储设备中所存储的回传完成时长达到预设时长的已完成回传的数据。
可选的,一种具体实现方式中,所述策略确定模块包括:
设备确定子模块,用于确定待回传的目标主存储设备;
策略确定子模块,用于从预设的关于各个主存储设备的回传策略中,选取关于所述目标主存储设备的目标回传策略。
可选的,一种具体实现方式中,所述设备确定子模块具体用于:
在检测到由不在线状态转换为在线状态的主存储设备时,将所检测到的主存储设备,确定为待回传的目标主存储设备。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面提供的任一数据回传方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面提供的任一数据回传方法的步骤。
第五方面,本发明实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面提供的任一数据回传方法的步骤。
本发明实施例有益效果:
以上可见,应用本发明实施例提供的方案,在进行数据回传的过程中,首先,确定关于目标主存储设备的包括有上述目标主存储设备、上述目标主存储设备对应的目标监控设备以及存储上述目标监控设备所采集数据的备份存储设备的目标回传策略,然后,根据关于各个主存储设备的回传策略的策略优先级和各个监控设备的监控优先级,确定上述目标监控设备的回传优先级,从而,可以按照上述回传优先级,依次将上述备份存储设备中存储的所述目标监控设备所采集的数据,回传到上述目标主存储设备。
基于此,应用本发明实施例提供的方案,上述策略优先级可以表征各个策略中包括的监控设备所采集的数据的重要程度,上述监控优先级可以表征各个监控设备所采集的数据的重要程度。从而,可以通过上述策略优先级和监控优先级,所确定的目标监控设备的回传优先级可以表征目标回传策略中的各个监控设备所采集的数据的重要程度,并且,上述目标监控设备的回传优先级越高,表征上述目标监控设备所采集的数据的重要程度越高,从而,越先进行数据回传。这样,在按照上述回传优先级,依次对目标监控设备所采集的数据进行数据回传时,可以实现将重要数据进行优先回传,提高数据回传效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的一种数据回传方法的流程示意图;
图2为本发明实施例提供的另一种数据回传方法的流程示意图;
图3为本发明实施例提供的再一种数据回传方法的流程示意图;
图4为本发明提供的一种具体实例的示意图;
图5为本发明实施例提供的一种数据回传装置的结构示意图;
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本发明保护的范围。
当前,随着视频监控技术的迅速发展,人们对于视频监控数据的可靠性越发重视。对于视频监控数据的存储,通常是使用多云灾备的技术手段,以保障视频数据不丢失,即在主存储设备发生故障时,由备份存储设备继续进行视频监控数据的存储,然后,在主存储设备恢复正常后,将备份存储设备中的视频数据回传到主存储设备中。基于此,如何实现在数据回传时,将重要的视频数据优先回传到主存储设备中,以提高数据回传效果,成为当前亟需解决的问题。
为了解决上述技术问题,本发明实施例提供了一种数据回传方法。
其中,该方法可以适用于各种需要进行数据回传的应用场景,例如,主存储设备发生故障时,在该故障期间监控设备所采集的数据未存储到主存储设备中,而是存储到备份存储设备中,从而,需要进行数据回传的应用场景。示例性的存储商场的监控视频的主存储设备出现故障,需要在主存储设备恢复正常后,通过数据回传将备份存储设备中对应的监控视频回传到主存储设备。又例如,存储交通道路的监控视频的主存储设备出现故障,需要在主存储设备恢复正常后,通过数据回传将备份存储设备中对应的监控视频回传到主存储设备等。
并且,该方法可以应用于笔记本电脑、平板电脑、服务器等各类电子设备中,上述电子设备可以是独立电子设备,也可以是位于监控系统、存储系统等各类系统中的电子设备,例如,应用于监控设备中的管理服务器等,以下简称电子设备。
其中,可选的,可以在上述电子设备中设置具有数据回传功能的功能模块,从而,电子设备可以利用该功能模块执行该方法。例如,可以在电子设备中设置SAM(storageaccess management,存储接入管理)模块,并利用SAM模块执行该方法。
所谓监控系统包括:监控设备、主存储设备和备份存储设备。其中,监控设备包括用于采集监控视频数据的各类设备,例如,双目摄像机、枪机、球机等,主存储设备包括用于存储上述监控视频数据的存储设备,备份存储设备包括用于在主存储设备出现故障时,代替主存储设备存储上述监控视频数据设备。其中,主存储设备和备份存储设备可以是云存储设备,也可以是本地存储设备,并且,主存储设备和备份存储设备可以是相同类型的存储设备,也可以是不同类型的存储设备。这都是合理的。
例如,当该方法应用于监控系统的管理服务器时,该管理服务器可以通过向备份存储设备下发数据回传任务,然后,由备份存储设备执行该数据回传任务,完成数据由备份存储设备向主存储设备的数据回传。
基于此,本发明实施例不对该方法的应用场景和执行主体进行限定。
本发明实施例提供的一种数据回传方法,可以包括如下步骤:
确定关于目标主存储设备的目标回传策略;其中,所述目标回传策略包括:所述目标主存储设备、所述目标主存储设备对应的目标监控设备以及存储所述目标监控设备所采集数据的备份存储设备;
根据关于各个主存储设备的回传策略的策略优先级和各个监控设备的监控优先级,确定所述目标监控设备的回传优先级;
按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备。
以上可见,应用本发明实施例提供的方案,在进行数据回传的过程中,首先,确定关于目标主存储设备的包括有上述目标主存储设备、上述目标主存储设备对应的目标监控设备以及存储上述目标监控设备所采集数据的备份存储设备的目标回传策略,然后,根据关于各个主存储设备的回传策略的策略优先级和各个监控设备的监控优先级,确定上述目标监控设备的回传优先级,从而,可以按照上述回传优先级,依次将上述备份存储设备中存储的所述目标监控设备所采集的数据,回传到上述目标主存储设备。
基于此,应用本发明实施例提供的方案,上述策略优先级可以表征各个策略中包括的监控设备所采集的数据的重要程度,上述监控优先级可以表征各个监控设备所采集的数据的重要程度。从而,可以通过上述策略优先级和监控优先级,所确定的目标监控设备的回传优先级可以表征目标回传策略中的各个监控设备所采集的数据的重要程度,并且,上述目标监控设备的回传优先级越高,表征上述目标监控设备所采集的数据的重要程度越高,从而,越先进行数据回传。这样,在按照上述回传优先级,依次对目标监控设备所采集的数据进行数据回传时,可以实现将重要数据进行优先回传,提高数据回传效果。
下面结合附图,对本发明实施例提供的一种数据回传方法进行具体说明。
图1为本发明实施例提供的一种数据回传方法的流程示意图,如图1所示,该方法可以包括如下步骤S101-S103。
S101:确定关于目标主存储设备的目标回传策略。
其中,目标回传策略包括:目标主存储设备、目标主存储设备对应的目标监控设备以及存储目标监控设备所采集数据的备份存储设备。
在执行数据回传时,可以首先确定目标主存储设备,进而,确定关于目标主存储设备的目标回传策略。
其中,所谓目标回传策略包括:目标主存储设备、目标主存储设备对应的目标监控设备以及存储目标监控设备所采集数据的备份存储设备是指:目标回传策略包括:目标主存储设备的第一标识、目标主存储设备对应的目标监控设备的第二标识以及存储目标监控设备所采集数据的备份存储设备的第三标识。
这样,备份存储设备在存储监控设备所采集的数据时,可以记录数据与采集该数据的监控设备的标识的对应关系。因此,在进行数据回传时,可以通过上述第三标识确定备份存储设备的资源池,从而,可以通过备份存储设备所存储的数据与上述第二标识的对应关系,确定待回传的数据,并根据上述第一标识,确定目标主存储设备,从而,将上述所确定的待回传的数据传输至具有上述第一标识的主存储设备处,完成数据回传。
可选的,主云存储设备和备云存储设备可以是云存储设备。
其中,云存储是指:一种网上在线存储的模式,即把数据存放在通常由第三方托管的多台虚拟服务器,而非专属的服务器上。
可选的,主云存储设备和备云存储设备可以是本地存储设备。
可选的,一种具体实现方式中,上述步骤S101,可以包括如下步骤11:
步骤11:确定待回传的目标主存储设备,并从预设的关于各个主存储设备的回传策略中,选取关于目标主存储设备的目标回传策略。
在本具体实现方式中,为了能够在数据回传时,提高数据回传的效果,可以预先建立关于各个主存储设备的回传策略,从而,可以在确定待回传的目标主存储设备后,从预设各个回传策略中,选取关于上述目标主存储设备的目标回传策略。
这样,在进行数据回传时,无需额外花费时间生成关于目标主存储设备的回传策略,从而,提高数据回传的效率,进而,提高数据回传的效果。
例如,预先建立的关于主存储设备X的回传策略为策略x,因此,在确定待回传的目标主存储设备为X时,可以直接确定目标回传策略为策略x。
可选的,上述步骤11,可以包括如下步骤111:
步骤111:在检测到由不在线状态转换为在线状态的主存储设备时,将所检测到的主存储设备,确定为待回传的目标主存储设备。
在本具体实现方式中,在检测到由不在线状态转换为在线状态的主存储设备时,可以将所检测到的主存储设备,确定为待回传的目标主存储设备。
当主存储设备在发生故障时,主存储设备的状态通常为不在线状态,进而,在该主存储设备恢复正常后,该主存储设备重新上线,其状态转换为在线状态。因此,在检测到主存储设备由不在线状态转换为在线状态时,可以确定该主存储设备出现故障,且在该主存储设备发生故障的期间内,该主存储设备对应的监控设备所采集的数据没有存储到主存储设备,而是存储到备份存储设备中,进而,可以通过数据回传,将上述没有存储到主存储设备的数据,由备份存储设备传输至主存储设备。因此,可以将存在上述状态转换的主存储设备确定待回传的目标主存储设备。
可选的,有些主存储设备所发生的故障可能不会影响到主存储设备的在线状态,导致上述主存储设备虽然故障,但仍处于在线状态,并且,在该主存储设备发生故障的期间内,该主存储设备对应的监控设备所采集的数据没有存储到主存储设备,而是存储到备份存储设备中。从而,在上述主存储设备恢复正常后,可以通过数据回传,将上述没有存储到主存储设备的数据,由备份存储设备传输至主存储设备。因此,也可以将检测到存在由故障状态转换为正常状态的主存储设备,确定为待回传的目标主存储设备。
可选的,一种具体实现方式中,为了节省电子设备的存储空间,以使电子设备中尽量避免存储大量的处于未使用状态的信息,可以在确定出待回传的目标主存储设备,再生成关于目标主存储设备的目标回传策略,而非预先建立关于各个主存储设备的回传策略。
例如,在确定出待回传的目标主存储设备后,用户通过点选、输入等操作向电子设备发送生成关于目标主存储设备的目标回传策略的指令,从而,电子设备基于上述用户操作,生成关于目标主存储设备的目标回传策略。
S102:根据关于各个主存储设备的回传策略的策略优先级和各个监控设备的监控优先级,确定目标监控设备的回传优先级。
通常,一个主存储设备可以对应一个或多个监控设备,而一个监控设备所采集的数据也可以被存储到一个或多个存储设备中。
基于此,在主存储设备所对应的多个监控设备所采集的数据,在整体上属于重要数据的情况下,该主存储设备所对应的多个监控设备中可能存在所采集的数据的重要性较低的监控设备。而在监控设备所采集的数据属于重要数据的情况下,用于存储该监控设备所采集的数据的主存储设备可能为安全性等性能较差的主存储设备,也就是说,该监控设备所属的回传策略可能为重要性较低的策略。
由于通常出于提高待回传的数据的安全性、满足用户对待回传的数据的需求等目的,可以将重要的数据优先进行回传,因此,在进行数据回传时,可以结合目标主存储设备和目标监控设备的整体情况,利用目标回传策略的重要程度和各个监控设备所采集的数据的重要程度,综合确定各个目标监控设备的回传顺序。
基于此,可以首先确定关于各个主存储设备的回传策略的策略优先级和各个监控设备的监控优先级,进而,利用上述策略优先级和监控优先级,综合确定目标监控设备的回传优先级。
其中,所谓优先级用于表征事物所对应的指定动作的执行顺序,优先级较高的事物所对应的指定动作的执行顺序,早于优先级较低的事物所对应的指定动作的执行顺序。也就是说,优先级越高,越先执行事物所对应的指定动作,优先级越低,越后执行事物所对应的指定动作。
上述策略优先级可以根据回传策略对应的应用场景的重要程度进行划分。而所谓回传策略对应的应用场景可以包括:回传策略中所包括的主存储设备所存储的数据,以及回传策略中所包括的监控设备所采集的数据所属的应用场景。
示例性的,如表1所示:
表1
其中,有主存储设备N、主存储设备M和主存储设备K,备存储设备L,则可以针对上述三个主存储设备所对应的应用场景制定三种回传策略:针对某市中心视频数据,制定策略A,策略A中包括主存储设备N和备存储设备L;针对某市另一个市中心视频数据,制定策略B,策略B中包括主存储设备M和备存储设备L;针对某市郊区的视频数据,制定策略C,策略C中包括主存储设备K和备存储设备L。对于策略A、策略B和策略C的策略优先级,根据各个策略所对应的应用场景,策略A的优先级高于策略B,策略B的优先级高于策略C。
上述监控优先级可以根据监控设备所采集的数据对应的区域、监控设备的采集频率、监控设备所采集的视频数据的清晰度等进行划分的。
例如,监控设备1所采集的数据对应的区域为市中心的十字路口,监控设备2所采集的数据对应的区域为市郊的宽阔马路,则针对监控设备所采集的数据对应的区域,监控设备1的监控优先级可以高于监控设备2的监控优先级。
并且,根据实际应用中,用户活动变化、监控设备性能调整等原因,上述策略优先级和监控优先级均可以根据指定时间段、指定地点进行调整。
例如,针对某个体育场的监控设备,在举办运动会期间,监控该体育场的监控设备的优先级高于在其他时期监控该体育场的监控设备的优先级。
这样,在进行数据回传时,可以预先设置关于各个主存储设备的回传策略的策略回传优先级和各个监控设备的监控优先级,然后,在确定上述目标主存储设备的目标回传策略后,可以根据上述关于各个主存储设备的回传策略的策略优先级和各个监控设备的监控优先级,确定目标监控设备的回传优先级。
例如,目标主存储设备的目标回传策略为策略D,策略D中包括有目标监控设备1、目标监控设备2和目标监控设备3,其中,目标监控设备1的监控优先级高于目标监控设备2的监控优先级,目标监控设备2的监控优先级高于目标监控设备3的监控优先级,则上述各个目标监控设备的回传优先级为:目标监控设备1的监控优先级高于目标监控设备2的监控优先级,目标监控设备2的监控优先级高于目标监控设备3的监控优先级,从而,上述各个目标监控设备所采集的数据的回传顺序依次为:目标监控设备1、目标监控设备2和目标监控设备3。
又例如,目标主存储设备的目标回传策略为三种回传策略,分别为策略A、策略B和策略C,其中,策略A包括目标监控设备1和目标监控设备2,策略B包括目标监控设备3,策略C目标包括监控设备4。对于监控设备的监控优先级来说,目标监控设备1的监控优先级高于目标监控设备2的监控优先级,目标监控设备2的监控优先级高于目标监控设备3的监控优先级,目标监控设备3的监控优先级高于目标监控设备4的监控优先级,然而,对于回传策略的策略优先级来说,策略A的策略优先级高于策略B的策略优先级,策略B的策略优先级高于策略C的策略优先级。因此,结合上述策略优先级和监控优先级,确定目标监控设备的回传优先级为:目标监控设备1的监控优先级高于目标监控设备3的监控优先级,目标监控设备3的监控优先级高于目标监控设备4的监控优先级,目标监控设备4的监控优先级高于目标监控设备2的监控优先级,从而,上述各个目标监控设备所采集的数据的回传顺序依次为:目标监控设备1、目标监控设备3、目标监控设备4和目标监控设备2。
S103:按照回传优先级,依次将备份存储设备中存储的目标监控设备所采集的数据,回传到目标主存储设备。
在确定上述目标监控设备的回传优先级后,便可以按照上述回传优先级,依次将备份存储设备中存储的上述目标监控设备所采集的数据,回传到上述目标监控设备对应的目标主存储设备。
其中,在进行数据回传时,执行数据回传的过程不影响监控设备当前所采集的数据在目标主存储设备中的存储,即备份存储设备向目标主存储设备进行数据回传的过程与目标主存储设备对监控设备所采集的数据的存储过程是并行且互不影响的。
可选的,电子设备可以按照回传优先级,依次向备份存储设备下发回关于各个目标监控设备的各个回传任务,其中,每个回传任务中包括:目标主存储设备的标识和该回传任务所针对的目标监控设备的标识;从而,备份存储设备在接收到上述回传任务后,可以根据所存储的关于数据与标识的对应关系,确定该回传任务所针对的目标监控设备所采集的数据,并按照上述目标主存储设备的标识,将所确定的数据传输至上述目标主存储设备,以完成对该回传任务所针对的目标监控设备的数据回传。
可选的,电子设备可以按照回传优先级,从备份存储设备处依次获取各个目标监控设备所采集的数据,并将所获取的数据传输至上述目标主存储设备,以完成对各个目标监控设备的数据回传。
为了节约备份存储设备的存储空间、减少备份存储设备的尺寸等原因,备份存储设备可以只存储在主存储设备出现故障期间,主存储设备所对应的监控设备所采集的数据,并且,在完成对上述数据的数据回传后,可以将已完成数据回传的数据进行删除。
可选的,一种具体实现方式中,本发明实施例提供的一种数据回传方法,还可以包括如下步骤21:
步骤21:删除备份存储设备中所存储的已完成回传的数据。
在本具体实现方式中,在完成数据回传后,可以立刻对备份存储设备中所存储的已完成回传的数据进行删除。
也就是说,在将目标监控设备所采集的数据从备份存储设备中回传至目标主存储设备后,便可以立刻删除备份存储设备中的该数据。
然而,在某些情况下,为了提高数据安全性,避免出现目标主存储设备再次发生故障而导致数据丢失的情况发生,可以对备份存储设备中所存储的已完成回传的数据进行保留,进而,考虑到备份存储设备的存储空间有限,所保留的已完成回传的数据很难长时间保留,因此,可以在保留一定时长后,被删除。
可选的,一种具体实现方式中,本发明实施例提供的一种数据回传方法,还可以包括如下步骤22:
步骤22:删除备份存储设备中所存储的回传完成时长达到预设时长的已完成回传的数据。
在本具体实现方式中,可以提前设置预设时长,在完成数据回传后,在回传完成时长达到预设时长时,对备份存储设备中所存储的已完成回传的数据进行删除。
也就是说,在将目标监控设备所采集的数据从备份存储设备中回传至目标主存储设备后,可以从完成数据回传的时刻开始记录该数据的保留时长,当该保留时长达到预设时长时,便可以删除备份存储设备中的该数据。
例如,预设时长为15天,完成数据回传的时刻为2022年3月7日18点40分15秒,则可以在2022年3月22日18点40分15秒删除备份存储设备中的该数据。
以上可见,应用本发明实施例提供的方案,在进行数据回传的过程中,首先,确定关于目标主存储设备的包括有上述目标主存储设备、上述目标主存储设备对应的目标监控设备以及存储上述目标监控设备所采集数据的备份存储设备的目标回传策略,然后,根据关于各个主存储设备的回传策略的策略优先级和各个监控设备的监控优先级,确定上述目标监控设备的回传优先级,从而,可以按照上述回传优先级,依次将上述备份存储设备中存储的所述目标监控设备所采集的数据,回传到上述目标主存储设备。
基于此,应用本发明实施例提供的方案,上述策略优先级可以表征各个策略中包括的监控设备所采集的数据的重要程度,上述监控优先级可以表征各个监控设备所采集的数据的重要程度。从而,可以通过上述策略优先级和监控优先级,所确定的目标监控设备的回传优先级可以表征目标回传策略中的各个监控设备所采集的数据的重要程度,并且,上述目标监控设备的回传优先级越高,表征上述目标监控设备所采集的数据的重要程度越高,从而,越先进行数据回传。这样,在按照上述回传优先级,依次对目标监控设备所采集的数据进行数据回传时,可以实现将重要数据进行优先回传,提高数据回传效果。
可选的,一种具体实现方式中,上述目标回传策略可以为多个。
在本具体实现方式中,如图2所示,上述步骤S102,根据关于各个主存储设备的回传策略的策略优先级和各个监控设备的监控优先级,确定目标监控设备的回传优先级,可以包括如下步骤S201-S202:
S201:根据关于各个主存储设备的回传策略的策略优先级,确定每个目标回传策略的优先级,并按照各个监控设备的监控优先级,确定每个目标回传策略包括的各个目标监控设备的执行顺序;
S202:按照执行顺序由先到后的顺序,将执行顺序相同的各个目标监控设备,按照所属目标回传策略的优先级进行排序,得到各个目标监控设备的回传优先级。
在本具体实现方式中,在确定关于目标主存储设备的目标回传策略后,可以根据关于各个主存储设备的回传策略的策略优先级,确定每个目标回传策略的优先级,并且,可以按照各个监控设备的监控优先级,确定每个目标回传策略包括的各个目标监控设备的执行顺序。
然后,可以按照执行顺序由先到后的顺序,将执行顺序相同的各个目标监控设备,按照所属目标回传策略的优先级进行排序,得到各个目标监控设备的回传优先级。
也就是说,在确定出每个目标回传策略的优先级,以及各个目标监控设备的执行顺序后,可以将执行顺序相同的各个目标监控设备划分为一组,进而,按照执行顺序由先到后的顺序,针对每组目标监控设备,按照目标监控设备所属目标回传策略的优先级,对该组目标监控设备包括的各个目标监控设备进行排序,并且,从第二组目标监控设备开始,每组目标监控设备中排序在第一位的目标监控设备的优先级,低于上一组目标监控设备中排序在最后一位的目标监控设备的优先级。
这样,在对各组目标监控设备进行排序后,便可以得到上述多个目标回传策略所包括的各个目标监控设备的回传优先级。
例如,目标主存储设备对应的目标回传策略有策略A、策略B和策略C。其中,策略A包括目标监控设备1和目标监控设备2,策略B包括目标监控设备3,策略C包括目标监控设备4。对于监控设备的监控优先级来说,目标监控设备1的监控优先级高于目标监控设备2的监控优先级,目标监控设备2的监控优先级高于目标监控设备3的监控优先级,目标监控设备3的监控优先级高于目标监控设备4的监控优先级;对于回传策略的策略优先级来说,策略A的策略优先级高于策略B的策略优先级,策略B的策略优先级高于策略C的策略优先级。
因此,根据关于各个主存储设备的回传策略的策略优先级,确定每个目标回传策略的优先级,即策略A的策略优先级高于策略B的策略优先级,策略B的策略优先级高于策略C的策略优先级,然后,按照各个目标监控设备的监控优先级,确定每个目标回传策略包括的各个目标监控设备的执行顺序,即对于策略A:目标监控设备的执行顺序依次为:目标监控设备1、目标监控设备2。
从而,可以按照执行顺序由先到后的顺序,将执行顺序相同的各个目标监控设备进行划分到一组,即执行顺序为第一位的目标监控设备为:目标监控设备1、目标监控设备3和目标监控设备4,执行顺序为第二位的目标监控设备为目标监控设备2。则可以首先将执行顺序为第一位的目标监控设备,按照所属目标回传策略的优先级进行排序,得到目标监控设备1、目标监控设备3和目标监控设备4的回传优先级,且目标监控设备1的回传优先级高于目标监控设备3的回传优先级,目标监控设备3的回传优先级高于目标监控设备4的回传优先级;进而,可以确定目标监控设备2的回传优先级低于目标监控设备4的回传优先级。
这样,便可以得到目标监控设备1、目标监控设备2、目标监控设备3和目标监控设备4的回传优先级,并且,根据上述所确定的回传优先级,可以确定目标监控设备1、目标监控设备2、目标监控设备3和目标监控设备4所采集的数据的回传顺序依次为:目标监控设备1、目标监控设备3、目标监控设备4和目标监控设备2。
可选的,一种具体实现方式中,如图3所示,上述步骤S202,可以包括如下步骤S2021-S2023:
S2021:按照每个目标回传策略的优先级,纵向排列各个目标回传策略;
S2022:针对每个目标回传策略,按照执行顺序由先到后的顺序,横向排列每个目标回传策略所包括的各个目标监控设备,得到监控点矩阵;
S2023:按照各个目标回传策略的由先到后的纵向排列顺序,将位于同一列的各个目标监控设备,按照所在行的由先到后的顺序依次排序,得到各个目标监控设备的回传优先级。
在本具体实现方式中,将各个目标回传策略按照每个目标回传策略的优先级纵向排列,并针对每个目标回传策略,按照上述执行顺序由先到后的顺序,横向排列每个目标回传策略所包括的各个目标监控设备,得到监控点矩阵,从而,可以在上述监控点矩阵,按照各个目标回传策略的由先到后的纵向排列顺序,将位于同一列的各个目标监控设备,按照所在行的由先到后的顺序依次排序,从而,得到各个目标监控设备的回传优先级。
例如,按照每个目标回传策略的优先级,从上到下依次排列各个目标回传策略,并且,针对每个目标回传策略,按照执行顺序由先到后的顺序,从左往右依次排列该目标回传策略所包括的各个目标监控设备。这样,按照从左到右的顺序,针对第一列开始,从上到下依次确定各个目标监控设备的回传优先级,并且,排列位置在上的目标监控设备的回传优先级高于排列位置在下的目标监控设备的回传优先级;针对第二列,按照与第一列相同的优先级确定规则,从上到下依次确定各个目标监控设备的回传优先级,其中,第二列的第一个目标监控设备的回传优先级小于第一列最后一个的目标监控设备的回传优先级;针对第三列,按照与第一列相同的优先级确定规则,从上到下依次确定各个目标监控设备的回传优先级,其中,第三列的第一个目标监控设备的回传优先级小于第二列最后一个的目标监控设备的回传优先级;依次类推,直至最后一列的最后一个目标监控设备,至此,便可以确定出目标回传策略中所包括的所有目标监控设备的回传优先级。
示例性的,如表2所示,为上述步骤S302中的监控点矩阵。
表2
其中,表2中包括5种目标回传策略:策略A、策略B、策略C、策略D和策略E,其中,策略A中包括的目标监控设备分别为:监控设备A1、监控设备A2、监控设备A3和监控设备A4;策略B中包括的目标监控设备分别为:监控设备B1和监控设备B2;策略C中包括的目标监控设备分别为:监控设备C1、监控设备C2和监控设备C3;策略D中包括的目标监控设备分别为:监控设备D1和监控设备D2;策略E中包括的目标监控设备分别为:监控设备E1、监控设备E2和监控设备E3。
进而,按照每个目标回传策略的优先级,从上到下依次排列各个目标回传策略,并且,针对每个目标回传策略,按照执行顺序由先到后的顺序,从左往右依次排列该目标回传策略所包括的各个目标监控设备,得到上述表2。这样,便可以根据上述表2确定上述各个监控设备的回传优先级。
其中,按照回传优先级由高到底的顺序,依次排列上述各个目标监控设备的结果为:监控设备A1、监控设备B1、监控设备C1、监控设备D1、监控设备E1、监控设备A2、监控设备B2、监控设备C2、监控设备D2、监控设备E2、监控设备A3、监控设备C3、监控设备E3和监控设备A4。即按照回传优先级,上述上述各个目标监控设备所采集的数据的回传顺序依次为:监控设备A1、监控设备B1、监控设备C1、监控设备D1、监控设备E1、监控设备A2、监控设备B2、监控设备C2、监控设备D2、监控设备E2、监控设备A3、监控设备C3、监控设备E3和监控设备A4。
为了提升数据回传的效率,可以同时回传多个目标监控设备所采集的数据,也就是说,可以预先设置并发度,其中,该并发度可以表征同时执行数据回传的目标监控设备的数量。
可选的,一种具体实现方式中,上述步骤S103,按照回传优先级,依次将备份存储设备中存储的目标监控设备所采集的数据,回传到目标主存储设备,可以包括如下步骤31:
步骤31:按照回传优先级和预设并发度,依次将备份存储设备中存储的目标监控设备所采集的数据,回传到目标主存储设备。
在本具体实现方式中,可以预先设置并发度。其中,并发度为在进行数据回传时,可以同时进行数据回传的目标监控设备的数量,并且,并发度可以根据设备的配置和网络的带宽等因素进行设置。
因此,在确定上述目标监控设备的回传优先级和预设的并发度后,便可以按照上述回传优先级和上述并发度,依次将备份存储设备中存储的上述目标监控设备所采集的数据,回传到上述目标监控设备对应的目标主存储设备。
可选的,一种具体实现方式中,上述步骤31,可以包括如下步骤311:
步骤311:按照回传优先级,依次从目标监控设备确定预设并发度个指定监控设备,并将备份存储设备中存储的指定监控设备所采集的数据,回传到目标主存储设备。
在本具体实现方式中,可以按照上述回传优先级,依次从上述目标监控设备中确定预设并发度个指定监控设备,然后,将备份存储设备中存储的上述指定监控设备所采集的数据,回传到目标主存储设备。
例如,需要进行数据回传的目标监控设备共有10个,预设并发度为3,则按照各个目标监控设备的回传优先级,依次从上述目标监控设备中确定3个指定监控设备,并将备份存储设备中存储的上述指定监控设备所采集的数据,回传到目标主存储设备。其中,在前三次数据回传时,由于未进行数据回传的目标监控设备的数量分别为10、7和4,均大于3,因此,可以按照未进行数据回传的各个目标监控设备的回传优先级,依次从上述目标监控设备中确定3个指定监控设备,而当数据回传在进行到第四次时,由于未进行数据回传的目标监控设备的数量为1,且1<3,则剩余的1个目标监控设备即为进行最后一次数据回传的指定监控设备。
可选的,一种具体实现方式中,上述步骤31,可以包括如下步骤312:
步骤312:按照回传优先级,从第一个目标监控设备开始,确定预设并发度个指定监控设备,并将备份存储设备中存储的指定监控设备所采集的数据,回传到目标主存储设备;在检测到当前正在进行数据回传的指定监控设备的目标数量小于预设并发度时,按照回传优先级,依次从未进行数据回传的各个目标监控设备确定指定数量个新的指定监控设备,并将备份存储设备中存储的新的指定监控设备所采集的数据,回传到目标主存储设备。
其中,若未进行数据回传的各个目标监控设备的剩余数量不大于预设并发度与目标数量的差值,则指定数量为剩余数量;若剩余数量大于预设并发度与目标数量的差值,则指定数量为差值。
在本具体实现方式中,在确定上述目标监控设备的回传优先级后,可以按照上述回传优先级,从第一个目标监控设备开始,确定预设并发度个指定监控设备,并将备份存储设备中存储的指定监控设备所采集的数据,回传到目标主存储设备。
然而,由于各个指定监控设备所采集的数据量可以不同,因此,各个指定监控设备的回传速度可以不同。其中,当各个指定监控设备中,数据回传所需时间较少的指定监控设备完成数据回传时,正在进行数据回传的指定监控设备的数量将小于上述预设并发度。因此,为了提高数据回传的速度,可以继续确定一个或多个指定监控设备进行数据回传,以使正在进行数据回传的指定监控设备的数量满足预设并发度。
基于此,在进行数据回传时,可以检测正在进行数据回传的指定监控设备的目标数量是否小于预设并发度。
如果小于,则进一步判断未进行数据回传的各个目标监控设备的剩余数量,是否大于上述预设并发度与上述目标数量的差值。
其中,若未进行数据回传的各个目标监控设备的剩余数量不大于上述预设并发度与上述目标数量的差值,则可以直接将未进行数据回传的全部目标监控设备作为指定监控设备;若未进行数据回传的各个目标监控设备的剩余数量大于上述预设并发度与上述目标数量的差值,则可以按照未进行数据回传的各个目标监控设备的回传优先级,确定上述差值个未进行数据回传的目标监控设备作为指定监控设备。
例如,预设并发度为3,需要进行数据回传的目标监控设备为5个:目标监控设备1、目标监控设备2、目标监控设备3、目标监控设备4和目标监控设备5,则在进行数据回传时,首先,确定目标监控设备1、目标监控设备2和目标监控设备3作为指定监控设备,并将备份存储设备中存储的目标监控设备1、目标监控设备2和目标监控设备3所采集的数据,回传到目标主存储设备,当目标监控设备2和目标监控设备3完成数据回传,且目标监控设备1未完成数据回传时,可以将目标监控设备4和目标监控设备5确定为指定监控设备作为补充,继续进行数据回传,直至目标监控设备1、目标监控设备4和目标监控设备5全部完成数据回传。
可选的,一种具体实现方式中,目标回传策略还包括:执行时间,其中,上述执行时间可以是一个时刻,也可以是一个时间范围。
可选的,若执行时间是是一个时刻,则上述步骤S103,按照回传优先级,依次将备份存储设备中存储的目标监控设备所采集的数据,回传到目标主存储设备,可以包括如下步骤1031:
步骤1031:在到达执行时间对应的时刻时,按照回传优先级,依次将备份存储设备中存储的目标监控设备所采集的数据,回传到目标主存储设备。
在本具体实现方式中,在到达目标回传策略中的执行时间对应的时刻时,便可以按照上述回传优先级,依次将备份存储设备中存储的上述目标监控设备所采集的数据,回传到上述目标监控设备对应的目标主存储设备,直至上述备份存储设备中存储的所有上述目标监控设备所采集的数据,全部回传到上述目标监控设备对应的目标主存储设备后,结束数据回传。
例如,目标回传策略中的执行时间对应的时刻为23点,则在到达23点时,按照上述回传优先级,依次将备份存储设备中存储的上述目标监控设备所采集的数据,回传到上述目标监控设备对应的目标主存储设备,直至上述备份存储设备中存储的所有上述目标监控设备所采集的数据,全部回传到上述目标监控设备对应的目标主存储设备后,结束数据回传。
可选的,若执行时间是是一个时间范围,则上述步骤S103,按照回传优先级,依次将备份存储设备中存储的目标监控设备所采集的数据,回传到目标主存储设备,可以包括如下步骤1032:
步骤1032:在执行时间对应的时间范围内,按照回传优先级,依次将备份存储设备中存储的目标监控设备所采集的数据,回传到目标主存储设备。
在本具体实现方式中,在上述目标回传策略中的执行时间对应的时间范围内,按照上述回传优先级,依次将备份存储设备中存储的上述目标监控设备所采集的数据,回传到上述目标监控设备对应的目标主存储设备,直至到达上述执行时间对应的时间范围结束。
可选的,若在上述时间范围内未将上述备份存储设备中存储的所有上述目标监控设备所采集的数据,全部回传到上述目标监控设备对应的目标主存储设备,则可以在下次到达上述执行时间对应的时间范围时,再次进行回传。
例如,目标回传策略中的执行时间对应的时间范围为每天的23点到次日的5点,则在到达2022年3月7日的23点时,按照上述回传优先级,依次将备份存储设备中存储的上述目标监控设备所采集的数据,回传到上述目标监控设备对应的目标主存储设备,直至到达2022年3月8日的5点结束。进而,在上述时间范围内未回传到上述目标主存储设备的数据可以在到达2022年3月8日的23点时,再次进行回传。
为了方便说明上述本发明实施例提供的一种数据回传方法,图4为本发明提供的一种具体实例的示意图。
示例性的,如图4所示,图4中SAM模块为本发明实施例提供的一种数据回传方法的执行主体中所设置的具有数据回传功能的功能模块,该执行主体可以利用SAM模块执行本发明实施例提供的一种数据回传方法,图4中的备云存储即本发明实施例中的备份存储设备,图4中的主云存储即本发明实施例中的待回传的目标主云存储设备,图4中的配置回传任务即SAM模块根据关于主云存储的目标回传策略向备云存储下发的数据回传任务,该任务中可以包括:主云存储的标识和主云存储对应的目标监控设备的标识,图4中的数据回传即将备云存储中存储的目标监控设备所采集的数据,回传到主云存储的过程。
其中,可以预先在SAM模块中设置关于各个主云存储设备的回传策略,在确定出待回传的目标主存储设备后,SAM模块可以在预设的各个回传策略中,选取关于主云存储的目标回传策略,并由SAM模块向备云存储设备配置回传任务,然后,由备云存储根据所接收到的回传任务向主云存储传输主云存储对应的目标监控设备所采集的数据,完成数据回传。
相应于上述本发明实施例提供的一种数据回传方法,本发明实施例还提供了一种数据回传装置。
图5为本发明实施例提供的一种数据回传装置的结构示意图,如图5所示,该装置可以包括如下模块:
策略确定模块510,用于确定关于目标主存储设备的目标回传策略;其中,所述目标回传策略包括:所述目标主存储设备、所述目标主存储设备对应的目标监控设备以及存储所述目标监控设备所采集数据的备份存储设备;
回传优先级确定模块520,用于根据关于各个主存储设备的回传策略的策略优先级和各个监控设备的监控优先级,确定所述目标监控设备的回传优先级;
回传模块530,用于按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备。
以上可见,应用本发明实施例提供的方案,在进行数据回传的过程中,首先,确定关于目标主存储设备的包括有上述目标主存储设备、上述目标主存储设备对应的目标监控设备以及存储上述目标监控设备所采集数据的备份存储设备的目标回传策略,然后,根据关于各个主存储设备的回传策略的策略优先级和各个监控设备的监控优先级,确定上述目标监控设备的回传优先级,从而,可以按照上述回传优先级,依次将上述备份存储设备中存储的所述目标监控设备所采集的数据,回传到上述目标主存储设备。
基于此,应用本发明实施例提供的方案,上述策略优先级可以表征各个策略中包括的监控设备所采集的数据的重要程度,上述监控优先级可以表征各个监控设备所采集的数据的重要程度。从而,可以通过上述策略优先级和监控优先级,所确定的目标监控设备的回传优先级可以表征目标回传策略中的各个监控设备所采集的数据的重要程度,并且,上述目标监控设备的回传优先级越高,表征上述目标监控设备所采集的数据的重要程度越高,从而,越先进行数据回传。这样,在按照上述回传优先级,依次对目标监控设备所采集的数据进行数据回传时,可以实现将重要数据进行优先回传,提高数据回传效果。
可选的,一种具体实现方式中,所述目标回传策略为多个;所述回传优先级确定模块520包括:
执行顺序确定子模块,用于根据关于各个主存储设备的回传策略的策略优先级,确定每个所述目标回传策略的优先级,并按照各个监控设备的监控优先级,确定每个所述目标回传策略包括的各个所述目标监控设备的执行顺序;
回传优先级确定子模块,用于按照所述执行顺序由先到后的顺序,将所述执行顺序相同的各个所述目标监控设备,按照所属目标回传策略的优先级进行排序,得到各个所述目标监控设备的回传优先级。
可选的,一种具体实现方式中,所述回传优先级确定子模块具体用于:
按照每个所述目标回传策略的优先级,纵向排列各个所述目标回传策略;
针对每个所述目标回传策略,按照所述执行顺序由先到后的顺序,横向排列每个所述目标回传策略所包括的各个所述目标监控设备,得到监控点矩阵;
按照各个所述目标回传策略的由先到后的纵向排列顺序,将位于同一列的各个所述目标监控设备,按照所在行的由先到后的顺序依次排序,得到各个所述目标监控设备的回传优先级。
可选的,一种具体实现方式中,所述回传模块530具体用于:
按照所述回传优先级和预设并发度,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备。
可选的,一种具体实现方式中,所述回传模块530具体用于:
按照所述回传优先级,依次从所述目标监控设备确定预设并发度个指定监控设备,并将所述备份存储设备中存储的所述指定监控设备所采集的数据,回传到所述目标主存储设备;
或者,
按照所述回传优先级,从第一个所述目标监控设备开始,确定预设并发度个指定监控设备,并将所述备份存储设备中存储的所述指定监控设备所采集的数据,回传到所述目标主存储设备;在检测到当前正在进行数据回传的所述指定监控设备的目标数量小于所述预设并发度时,按照所述回传优先级,依次从未进行数据回传的各个所述目标监控设备确定指定数量个新的指定监控设备,并将所述备份存储设备中存储的所述新的指定监控设备所采集的数据,回传到所述目标主存储设备;
其中,若未进行数据回传的各个所述目标监控设备的剩余数量不大于所述预设并发度与所述目标数量的差值,则所述指定数量为剩余数量;若所述剩余数量大于所述预设并发度与所述目标数量的差值,则所述指定数量为所述差值。可选的,一种具体实现方式中,所述目标回传策略还包括:执行时间,所述回传模块530具体用于:
在到达所述执行时间对应的时刻时,按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备;
或者,
在所述执行时间对应的时间范围内,按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备。
可选的,一种具体实现方式中,所述装置还包括:
删除模块,用于删除所述备份存储设备中所存储的已完成回传的数据;或者,删除所述备份存储设备中所存储的回传完成时长达到预设时长的已完成回传的数据。
可选的,一种具体实现方式中,所述策略确定模块510包括:
设备确定子模块,用于确定待回传的目标主存储设备;
策略确定子模块,用于从预设的关于各个主存储设备的回传策略中,选取关于所述目标主存储设备的目标回传策略。
可选的,一种具体实现方式中,所述设备确定子模块具体用于:
在检测到由不在线状态转换为在线状态的主存储设备时,将所检测到的主存储设备,确定为待回传的目标主存储设备。
相应于上述本发明实施例提供的一种数据回传方法,本发明实施例还提供了一种电子设备,如图6所示,包括处理器601、通信接口602、存储设备603和通信总线604,其中,处理器601,通信接口602,存储设备603通过通信总线604完成相互间的通信,
存储设备603,用于存放计算机程序;
处理器601,用于执行存储设备603上所存放的程序时,实现上述本发明实施例提供的任一数据回传方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储设备可以包括随机存取存储设备(Random Access Memory,RAM),也可以包括非易失性存储设备(Non-Volatile Memory,NVM),例如至少一个磁盘存储设备。可选的,存储设备还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一数据回传方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一数据回传方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、移动机器人实施例、计算机可读存储介质实施例,以及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种数据回传方法,其特征在于,所述方法包括:
确定关于目标主存储设备的目标回传策略;其中,所述目标回传策略包括:所述目标主存储设备、所述目标主存储设备对应的目标监控设备以及存储所述目标监控设备所采集数据的备份存储设备;
根据关于各个主存储设备的回传策略的策略优先级和各个监控设备的监控优先级,确定所述目标监控设备的回传优先级;
按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备;
所述按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备,包括:
按照所述回传优先级和预设并发度,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备;
所述按照所述回传优先级和预设并发度,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备,包括:
按照所述回传优先级,依次从所述目标监控设备确定预设并发度个指定监控设备,并将所述备份存储设备中存储的所述指定监控设备所采集的数据,回传到所述目标主存储设备;
或者,
按照所述回传优先级,从第一个所述目标监控设备开始,确定预设并发度个指定监控设备,并将所述备份存储设备中存储的所述指定监控设备所采集的数据,回传到所述目标主存储设备;在检测到当前正在进行数据回传的所述指定监控设备的目标数量小于所述预设并发度时,按照所述回传优先级,依次从未进行数据回传的各个所述目标监控设备确定指定数量个新的指定监控设备,并将所述备份存储设备中存储的所述新的指定监控设备所采集的数据,回传到所述目标主存储设备;其中,若未进行数据回传的各个所述目标监控设备的剩余数量不大于所述预设并发度与所述目标数量的差值,则所述指定数量为剩余数量;若所述剩余数量大于所述预设并发度与所述目标数量的差值,则所述指定数量为所述差值。
2.根据权利要求1所述的方法,其特征在于,所述目标回传策略为多个;所述根据关于各个主存储设备的回传策略的策略优先级和各个监控设备的监控优先级,确定所述目标监控设备的回传优先级,包括:
根据关于各个主存储设备的回传策略的策略优先级,确定每个所述目标回传策略的优先级,并按照各个监控设备的监控优先级,确定每个所述目标回传策略包括的各个所述目标监控设备的执行顺序;
按照所述执行顺序由先到后的顺序,将所述执行顺序相同的各个所述目标监控设备,按照所属目标回传策略的优先级进行排序,得到各个所述目标监控设备的回传优先级。
3.根据权利要求2所述的方法,其特征在于,所述按照所述执行顺序由先到后的顺序,将所述执行顺序相同的各个所述目标监控设备,按照所属目标回传策略的优先级进行排序,得到各个所述目标监控设备的回传优先级,包括:
按照每个所述目标回传策略的优先级,纵向排列各个所述目标回传策略;
针对每个所述目标回传策略,按照所述执行顺序由先到后的顺序,横向排列每个所述目标回传策略所包括的各个所述目标监控设备,得到监控点矩阵;
按照各个所述目标回传策略的由先到后的纵向排列顺序,将位于同一列的各个所述目标监控设备,按照所在行的由先到后的顺序依次排序,得到各个所述目标监控设备的回传优先级。
4.根据权利要求1所述的方法,其特征在于,所述目标回传策略还包括:执行时间,所述按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备,包括:
在到达所述执行时间对应的时刻时,按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备;
或者,
在所述执行时间对应的时间范围内,按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
删除所述备份存储设备中所存储的已完成回传的数据;
或者,
删除所述备份存储设备中所存储的回传完成时长达到预设时长的已完成回传的数据。
6.根据权利要求1所述的方法,其特征在于,所述确定关于目标主存储设备的目标回传策略,包括:
确定待回传的目标主存储设备,并从预设的关于各个主存储设备的回传策略中,选取关于所述目标主存储设备的目标回传策略。
7.根据权利要求6所述的方法,其特征在于,所述确定待回传的目标主存储设备,包括:
在检测到由不在线状态转换为在线状态的主存储设备时,将所检测到的主存储设备,确定为待回传的目标主存储设备。
8.一种数据回传装置,其特征在于,所述装置包括;
策略确定模块,用于确定关于目标主存储设备的目标回传策略;其中,所述目标回传策略包括:所述目标主存储设备、所述目标主存储设备对应的目标监控设备以及存储所述目标监控设备所采集数据的备份存储设备;
回传优先级确定模块,用于根据关于各个主存储设备的回传策略的策略优先级和各个监控设备的监控优先级,确定所述目标监控设备的回传优先级;
回传模块,用于按照所述回传优先级,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备;
所述回传模块具体用于,按照所述回传优先级和预设并发度,依次将所述备份存储设备中存储的所述目标监控设备所采集的数据,回传到所述目标主存储设备;
所述回传模块具体用于,按照所述回传优先级,依次从所述目标监控设备确定预设并发度个指定监控设备,并将所述备份存储设备中存储的所述指定监控设备所采集的数据,回传到所述目标主存储设备;
或者,
按照所述回传优先级,从第一个所述目标监控设备开始,确定预设并发度个指定监控设备,并将所述备份存储设备中存储的所述指定监控设备所采集的数据,回传到所述目标主存储设备;在检测到当前正在进行数据回传的所述指定监控设备的目标数量小于所述预设并发度时,按照所述回传优先级,依次从未进行数据回传的各个所述目标监控设备确定指定数量个新的指定监控设备,并将所述备份存储设备中存储的所述新的指定监控设备所采集的数据,回传到所述目标主存储设备;其中,若未进行数据回传的各个所述目标监控设备的剩余数量不大于所述预设并发度与所述目标数量的差值,则所述指定数量为剩余数量;若所述剩余数量大于所述预设并发度与所述目标数量的差值,则所述指定数量为所述差值。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储设备和通信总线,其中,处理器,通信接口,存储设备通过通信总线完成相互间的通信;
存储设备,用于存放计算机程序;
处理器,用于执行存储设备上所存放的程序时,实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN202210273223.XA 2022-03-18 2022-03-18 一种数据回传方法、装置及电子设备 Active CN114666524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210273223.XA CN114666524B (zh) 2022-03-18 2022-03-18 一种数据回传方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210273223.XA CN114666524B (zh) 2022-03-18 2022-03-18 一种数据回传方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN114666524A CN114666524A (zh) 2022-06-24
CN114666524B true CN114666524B (zh) 2024-02-02

Family

ID=82031196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210273223.XA Active CN114666524B (zh) 2022-03-18 2022-03-18 一种数据回传方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114666524B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108933798A (zh) * 2017-05-23 2018-12-04 杭州海康威视数字技术股份有限公司 数据存储方法、存储服务器及系统
CN111030945A (zh) * 2019-12-06 2020-04-17 深信服科技股份有限公司 容灾方法、容灾网关、存储介质、装置以及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677782A (zh) * 2020-12-24 2022-06-28 北京百度网讯科技有限公司 信息处理方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108933798A (zh) * 2017-05-23 2018-12-04 杭州海康威视数字技术股份有限公司 数据存储方法、存储服务器及系统
CN111030945A (zh) * 2019-12-06 2020-04-17 深信服科技股份有限公司 容灾方法、容灾网关、存储介质、装置以及系统

Also Published As

Publication number Publication date
CN114666524A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
US20140181035A1 (en) Data management method and information processing apparatus
CN109951547B (zh) 事务请求并行处理方法、装置、设备和介质
CN104335159A (zh) 间隔控制复制
CN109739435B (zh) 文件存储和更新方法及装置
Xia et al. Performance and availability modeling of ITSystems with data backup and restore
CN106934027A (zh) 分布式爬虫实现方法及系统
US20160057222A1 (en) Replica server systems and methods
CN110717761B (zh) 一种数据处理方法、装置及计算机存储介质
CN110336813B (zh) 一种访问控制方法、装置、设备及存储介质
CN111294377B (zh) 一种依赖关系的网络请求发送方法、终端装置及存储介质
CN114528104A (zh) 任务处理方法及装置
CN114666524B (zh) 一种数据回传方法、装置及电子设备
US11120513B2 (en) Capital chain information traceability method, system, server and readable storage medium
CN116483546B (zh) 分布式训练任务调度方法、装置、设备及存储介质
CN111046004B (zh) 一种数据文件存储方法、装置、设备及存储介质
CN110659303A (zh) 一种数据库节点的读写控制方法及装置
CN109525408B (zh) 一种设备异常处理方法、装置及云存储系统
CN114493598A (zh) 计算资源管理方法、装置、计算机设备和存储介质
CN109783191B (zh) 容器镜像的管理、使用及构建方法、装置
CN106909473A (zh) 一种节点重启后的数据处理方法及设备
CN112527760A (zh) 数据存储方法、装置、服务器及介质
CN105446651B (zh) 内存镜像方法和系统与数据发送装置和数据接收装置
CN113051152B (zh) 一种任务数据的生成方法、装置以及处理设备
CN110413686A (zh) 一种数据写入方法、装置、设备及存储介质
CN117707936B (zh) 多系统多版本全链路测试方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant