CN112104730B - 存储任务的调度方法、装置及电子设备 - Google Patents
存储任务的调度方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112104730B CN112104730B CN202010953928.7A CN202010953928A CN112104730B CN 112104730 B CN112104730 B CN 112104730B CN 202010953928 A CN202010953928 A CN 202010953928A CN 112104730 B CN112104730 B CN 112104730B
- Authority
- CN
- China
- Prior art keywords
- storage
- image acquisition
- target
- storage node
- target storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明实施例提供了存储任务的调度方法、装置及电子设备,涉及存储技术领域。该方法包括:获取待调度的各个目标存储任务;获取关于图像采集设备和存储节点的数据存储对应关系;数据存储对应关系中,具有关联关系的图像采集设备对应不同的存储节点,具有关联关系的图像采集设备为:在预设时间段内采集到的视频数据的相似度不小于预设相似度阈值的图像采集设备;针对每一目标存储任务,从数据存储对应关系中,确定该目标存储任务所针对的图像采集设备对应的存储节点,作为该目标存储任务对应的目标存储节点;基于各个目标存储任务分别对应的目标存储节点,对各个目标存储任务进行调度。本方案可以解决存储系统的视频数据存储的可靠性低的问题。
Description
技术领域
本发明涉及存储技术领域,特别是涉及存储任务的调度方法、装置及电子设备。
背景技术
在视频监控系统应用中,为了存储视频数据,需要拉取诸如摄像机、数字视频录像机等图像采集设备采集到的视频流、音频流等视频数据,对获取到的视频数据进行存储。
目前存储视频数据的存储系统,根据存储节点的资源利用率来分配存储任务。在实际业务场景下,有可能会将同一个区域内各个图像采集设备采集到的视频数据都调度到同一存储节点,如果该存储节点出现宕机或者硬件设备出现故障,会导致同一个区域内各个图像采集设备采集到的视频数据都会丢失,需要查询区域内的视频数据时,将无从查询,如此导致视频数据存储的可靠性较低。
发明内容
本发明实施例的目的在于提供一种存储任务的调度方法、装置及电子设备,以实现解决现有技术中存储系统的视频数据存储的可靠性低的问题。具体技术方案如下:
在本申请实施例的第一方面,本申请实施例提供一种存储任务的调度方法,所述方法包括:
获取待调度的各个目标存储任务;其中,每一目标存储任务为针对一图像采集设备的存储任务;
获取关于图像采集设备和存储节点的数据存储对应关系;其中,所述数据存储对应关系中,具有关联关系的图像采集设备对应不同的存储节点,所述具有关联关系的图像采集设备为:在预设时间段内采集到的视频数据的相似度不小于预设相似度阈值的图像采集设备;
针对每一目标存储任务,从所述数据存储对应关系中,确定该目标存储任务所针对的图像采集设备对应的存储节点,作为该目标存储任务对应的目标存储节点;
基于所确定出的各个所述目标存储任务分别对应的目标存储节点,对各个所述目标存储任务进行调度。
在本申请实施例的第二方面,本申请实施例提供一种存储任务的调度装置,所述装置包括:
第一获取模块,用于获取待调度的各个目标存储任务;其中,每一目标存储任务为针对一图像采集设备的存储任务;
第二获取模块,用于获取关于图像采集设备和存储节点的数据存储对应关系;其中,所述数据存储对应关系中,具有关联关系的图像采集设备对应不同的存储节点,所述具有关联关系的图像采集设备为:在预设时间段内采集到的视频数据的相似度不小于预设相似度阈值的图像采集设备;
确定模块,用于针对每一目标存储任务,从所述数据存储对应关系中,确定该目标存储任务所针对的图像采集设备对应的存储节点,作为该目标存储任务对应的目标存储节点;
调度模块,用于基于所确定出的各个所述目标存储任务分别对应的目标存储节点,对各个所述目标存储任务进行调度。
在本申请实施例的又一方面,本申请实施例提供一种电子设备,包括:处理器、通信接口、存储器和通信总线,其中,所述处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面任一项所述的存储任务的调度方法。
在本申请实施例的又一方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面任一所述的存储任务的调度方法。
在本申请实施例的又一方面,本申请实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面任一所述的存储任务的调度方法。
本发明实施例有益效果:
本发明实施例提供的存储任务的调度方法、装置、电子设备、计算机可读存储介质及包含指令的计算机程序产品,其中,存储任务的调度方法包括:获取待调度的各个目标存储任务,获取关于图像采集设备和存储节点的数据存储对应关系,针对每一目标存储任务,从数据存储对应关系中,确定该目标存储任务所针对的图像采集设备对应的存储节点,作为该目标存储任务对应的目标存储节点;基于所确定出的各个目标存储任务分别对应的目标存储节点,对各个目标存储任务进行调度。
本方案中,在确定图像采集设备和存储节点的数据存储对应关系时,将在预设时间段内采集到的视频数据的相似度不小于预设相似度阈值的图像采集设备作为具有关联关系的图像采集设备,将具有关联关系的图像采集设备对应不同的存储节点。在任务调度时,因为每一目标存储任务为针对一图像采集设备的存储任务,则针对每一目标存储任务,可以从数据存储对应关系中,确定该目标存储任务所针对的图像采集设备对应的存储节点,作为该目标存储任务对应的目标存储节点,以此实现了将具有关联关系的图像采集设备采集到的视频数据存储在不同的存储节点。通过本方案,当其中一个存储节点出现故障时,可以从其他存储节点分析出该存储节点存储的数据,解决了现有技术中存储系统的视频数据存储的可靠性低的问题。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的存储任务的调度方法的第一种流程示意图;
图2为本发明实施例提供的存储任务的调度方法的第二种流程示意图;
图3为本发明实施例提供的存储任务的调度方法中离散系数确定的一种流程示意图;
图4a为本发明实施例提供的存储任务的调度方法中存储任务接入能力评估的一种流程示意图;
图4b为本发明实施例提供的存储任务的调度方法中性能系数与轮次的对应关系的示意图;
图5为本发明实施例提供的存储任务的调度方法的第三种流程示意图;
图6为本发明实施例提供的存储任务的存储方法的一种流程示意图;
图7为本发明实施例提供的存储任务的调度方法的第四种流程示意图;
图8a为本发明实施例提供的存储任务的调度装置的第一种示意图;
图8b为本发明实施例提供的存储任务的调度装置的第二种示意图;
图8c为本发明实施例提供的存储任务的调度装置的第三种示意图;
图9为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决现有技术中存储系统的视频数据存储的可靠性低的问题,本发明实施例提供了一种存储任务的调度方法、装置、电子设备、存储介质及包含指令的计算机程序产品。
下面,首先对本发明实施例提供的存储任务的调度方法进行介绍。该方法应用于电子设备,具体的,该电子设备可以为任一可以提供存储任务的调度服务的电子设备,例如,个人计算机、服务器等。针对视频监控领域而言,该电子设备可以为存储系统中的管理节点,该存储系统还包括:多个存储节点。其中,管理节点用于将存储任务调度至存储节点,存储节点用于响应于管理节点对存储任务的调度,即对存储任务所针对的图像采集设备的视频数据进行存储。本发明实施例所提供的存储任务的调度方法可以被设置于电子设备中的软件、硬件电路和逻辑电路中的至少一种实现。
另外,图像采集设备在采集视频数据后,可以将采集的视频数据进行存储,如此可根据图像采集设备采集的视频数据生成目标存储任务,也就是说,为了存储图像采集设备采集的视频数据,可以生成针对图像采集设备的存储任务。在存储任务生成后,该电子设备通过本发明实施例所提供的方法进行存储任务的调度,即将存储任务分配至存储节点,以通过存储节点完成视频数据的存储。下面结合附图,对本发明实施例所提供的存储任务调度方法进行介绍。
如图1所示,图1为本发明实施例提供的存储任务的调度方法的第一种流程示意图,可以包括:
S110,获取待调度的各个目标存储任务;其中,每一目标存储任务为针对一图像采集设备的存储任务。
其中,待调度的各个目标存储任务可以人工指定或系统自动指定,这都是合理的。而每一目标存储任务具体指:将一图像采集设备采集到的视频数据进行存储的任务。
在获取到待调度的各个目标存储任务后,为了实现视频数据的存储,首先可以通过后续S120-S140,将生成的各个目标存储任务调度到相应的目标存储节点;然后,由目标存储节点完成目标存储任务,即从图像采集设备中获取并存储视频数据,以达到目标存储节点存储目标存储任务对应的图像采集设备采集的视频数据。
S120,获取关于图像采集设备和存储节点的数据存储对应关系;其中,上述数据存储对应关系中,具有关联关系的图像采集设备对应不同的存储节点,上述具有关联关系的图像采集设备为:在预设时间段内采集到的视频数据的相似度不小于预设相似度阈值的图像采集设备。
其中,通过关于图像采集设备和存储节点的数据存储对应关系,可以获知图像采集设备的视频数据可以被存储在哪些存储节点中,也就是,该数据存储对应关系具体为:表征图像采集设备的视频数据和存储节点的存储对应关系。并且,考虑到同一区域的不同图像采集设备的视频数据具有很高的相似性,因此,为了解决现有技术问题,在数据存储对应关系中,具有关联关系的图像采集设备对应不同的存储节点,以此大大降低同一区域的不同图像采集设备的视频数据被存储到同一个存储节点的可能性。
关于图像采集设备和存储节点的数据存储对应关系可以是预先生成的,其中,可以先确定各图像采集设备是否具有关联关系,将具有关联关系的图像采集设备对应不同的存储节点,以此可以得到图像采集设备和存储节点的数据存储对应关系。其中,图像采集设备和存储节点的数据存储对应关系可以是数据表的形式,也可以是拓扑图的形式,当然并不局限于此。可以理解的是,预先生成图像采集设备和存储节点的数据存储对应关系,这样在进行存储任务的调度时,可以减少存储任务的调度的处理时间,节约资源。
为了方案清楚以及布局清晰,关于数据存储对应关系的具体生成过程,下文进行详细介绍。
S130,针对每一目标存储任务,从上述数据存储对应关系中,确定该目标存储任务所针对的图像采集设备对应的存储节点,作为该目标存储任务对应的目标存储节点。
由于每一目标存储为针对一图像采集设备的存储任务,因此,每一目标存储任务可以对应一图像采集设备。那么,在获取到数据存储对应关系后,可以利用该数据存储对应关系以及每一目标存储任务对应的图像采集设备,确定出每一目标存储任务对应的目标存储节点。
S140,基于所确定出的各个上述目标存储任务分别对应的目标存储节点,对各个上述目标存储任务进行调度。
示例性的,在一种实现方式中,在确定出各个目标存储任务对应的目标存储节点后,可以针对每一目标存储任务,将该目标任务调度至所对应的目标存储节点。这样,每一目标服务节点在接收到对应的目标存储任务后,可以按照该目标存储任务的任务信息,获取并存储该目标存储任务对应的图像采集设备中的视频数据。
另外,考虑到各个存储节点的存储任务接入能力,也可以基于所确定出的各个上述目标存储任务分别对应的目标存储节点和各个目标存储节点的存储任务接入能力,对各个上述目标存储任务进行调度。其中,任一存储节点的存储任务接入能力为表征该目标存储节点还能够处理的待调度的存储任务的个数。为了方案清楚以及布局清晰,下文结合另一实施例进行详细说明。
应用本发明实施例,在确定图像采集设备和存储节点的数据存储对应关系时,会将在预设时间段内采集到的视频数据的相似度不小于预设相似度阈值的图像采集设备作为具有关联关系的图像采集设备,将具有关联关系的图像采集设备对应不同的存储节点,因为每一目标存储任务为针对一图像采集设备的存储任务,则针对每一目标存储任务,可以从数据存储对应关系中,确定该目标存储任务所针对的图像采集设备对应的存储节点,作为该目标存储任务对应的目标存储节点,以此实现了将具有关联关系的图像采集设备采集到的视频数据存储在不同的存储节点,当其中一个存储节点出现故障时,可以从其他存储节点分析出该存储节点存储的数据,解决了现有技术中存储系统的视频数据存储的可靠性低的问题。
在一种可能的实施例中,基于图1的实施例,参见图2,图2为本发明实施例提供的存储任务的调度方法的第二种流程示意图,S140具体可以通过如下步骤实现:
S1401,获取每一目标存储节点的存储任务接入能力,上述存储任务接入能力表征上述目标存储节点还能够处理的待调度的存储任务的个数;
S1402,根据各目标存储节点的存储任务接入能力和各目标存储节点对应的目标个数,利用各个目标存储节点,对各个目标存储任务进行调度;
其中,每一目标存储节点对应的目标个数为该存储节点对应的目标存储任务的个数。
每一目标存储节点的存储任务接入能力表征目标存储节点还能够处理的待调度的存储任务的个数。其中,各个存储节点的存储任务接入能力可以是周期性计算得到的,也可以在存储任务的调度过程中实时获取的。
另外,每个目标存储任务对应存储的视频数据的大小是根据预设的视频数据的大小进行设定的。
为了方案清楚以及布局清晰,下文对每一目标存储节点的存储任务接入能力的确定过程进行介绍,以及对根据各目标存储节点的存储任务接入能力和各目标存储节点对应的目标个数,利用各个目标存储节点,对各个目标存储任务进行调度的具体实现方式进行介绍。
本实施例所提供的方案,可以解决现有技术中存储系统的视频数据存储的可靠性低的问题。并且,在调度过程中,通过考虑存储节点的存储任务接入能力来对各个存储任务进行调度,以此达到各存储节点的负载平衡,避免出现某一存储节点过载或者空闲的情况。
在一种可能的实施例中,在步骤S120中,关于图像采集设备和存储节点的数据存储对应关系的生成过程包括步骤A-步骤C:
步骤A,获取各个图像采集设备的历史视频数据,上述历史视频数据为预设时间段内采集的视频数据;
步骤B,分别计算每两个图像采集设备的历史视频数据的相似度,当上述相似度不小于预设相似度阈值时,确定该相似度对应的图像采集设备具有关联关系;
步骤C,基于所确定出的具有关联关系的图像采集设备,按照具有关联关系的图像采集设备对应不同的存储节点的分配原则,从多个存储节点中,为每一图像采集设备分配对应的存储节点,得到关于图像采集设备和存储节点的数据存储对应关系。
在步骤A中,历史视频数据的获取方式存在多种。示例性的,在一种实现方式中,可以获取用户基于经验指定的预设时间段,并获取各个图像采集设备在预设时间段内采集到的视频数据,得到各个图像采集设备的历史视频数据。而在一种实现方式中,可以获取指定的图像采集设备的报警日志,根据报警日志中的各个时间段内的报警事件的时间信息和报警类型,如移动侦测、区域入侵、车牌检测和跨线跨区域等类型;并基于时间信息和报警类型,确定各个时间段内的物体活动规则;进而,因为物体活动规则是根据各个时间信息系和报警类型确定的,因此可以根据各个时间段内的物体活动规则,确定待利用的历史视频数据所属的时间段,作为预设时间段;并获取各个图像采集设备在预设时间段内采集的视频数据,得到各个图像采集设备的历史视频数据。
在步骤B中,历史视频数据的相似度的计算过程可以包括但不局限于:对各个图像采集设备的历史视频数据进行分析,得到物体的运动特征信息和/或属性特征信息;针对每两个图像采集设备,比对该两个图像采集设备对应的运动特征信息和/或属性特征信息的相似度,并利用比对到的相似度,确定出该两个图像采集设备的历史视频数据的相似度。其中,运动特征信息可以包括但不局限于:运动轨迹;而属性特征信息可以包括但不局限于物体的外观特征信息,例如:针对车辆而言,属性特征信息可以包括颜色,形状或类别,等等。并且,相似度计算时所采用的方式可以采用余弦相似度计算方式,欧几里得评价方式,或者皮尔逊相关系数等方式。可以理解的是,在计算相似度时,可以将上述的运动特征信息和/或属性特征信息进行向量化,利用向量化的结果来进行相似度计算。
另外,针对步骤C而言,为了方便理解存储节点的分配过程,下面结合示例进行说明:假设有4个图像采集设备,分别为,图像采集设备1,图像采集设备2,图像采集设备3,图像采集设备4,确定出的具有关联关系的图像采集设备为图像采集设备1和图像采集设备2,图像采集设备2和图像采集设备3,存储节点包括存储节点1,存储节点2,存储节点3,则上述步骤A3中,按照具有关联关系的图像采集设备对应不同的存储节点的分配原则,可以将图像采集设备1对应存储节点1,当确定图像采集设备1对应的存储节点为存储节点1时,则图像采集设备2对应的存储节点不能为存储节点1,可以确定图像采集设备2对应的存储节点为存储节点2;同理,图像采集设备3对应的存储节点不能为存储节点2,图像采集设备3可以对应存储节点3,因为图像采集设备4与其他三个图像采集设备均没有关联关系,则可以从3个存储节点中,任意选择一个存储节点作为图像采集设备4对应的存储节点。
在一种可能的实施例中,上述步骤B具体可以通过以下方式实现:
分别计算同一区域内每两个图像采集设备的历史视频数据的相似度;其中,每个图像采集设备所属的区域为基于该图像采集设备的位置信息,按照预设的区域划分规则所确定的。
在布置图像采集设备时,每个图像采集设备都会有自己所处的经纬度信息,预设的区域划分规则可以是根据经纬度信息,给各个图像采集设备进行区域划分的。示例性的,基于各个图像采集设备的经纬度信息,从至少一个预定的经纬度范围中,确定每一图像采集设备所位于的预定的经纬度范围,将位于同一经纬度范围的图像采集设备判定为属于同一区域的图像采集设备;在该种实现方式中,在一个小区中,可以将同一个单元楼的图像采集设备划分为同一个区域。
该实施例中,分别计算同一区域内每两个图像采集设备的历史视频数据的相似度可以缩小匹配的范围,以此减少计算资源,提高计算速度。
在一种可能的实施例中,上述步骤C具体可以通过以下步骤C1-C2实现:
步骤C1,针对每两个图像采集设备,根据所确定出的相似度,确定该两个图像采集设备的关联系数,上述关联系数与上述相似度成正比。
示例性的,根据所确定出的相似度,确定该两个图像采集设备的关联系数可以包括:
第一种实现方式:针对每两个图像采集设备,将该两个图像采集设备的相似度作为该两个图像采集设备的关联系数;
第二种实现方式:针对每两个图像采集设备,将该两个图像采集设备的相似度进行加权计算,加权计算的结果作为该两个图像采集设备的关联系数,使得关联系数与上述相似度成正比。
为了方便理解针对每两个图像采集设备,根据所确定出的相似度,确定该两个图像采集设备的关联系数的第一种具体实现方式,下面结合表1进行示例性说明:假设有4个图像采集设备,分别为,图像采集设备1,图像采集设备2,图像采集设备3,图像采集设备4,其中每两个图像采集设备的相似度和关联系数如下表1所示:
表1
假设相似度不小于60%的图像采集设备具有关联关系,则具有关联关系的设备为设备1和设备2,设备1和设备3;设备2和设备3。
步骤C2,基于所确定出的具有关联关系的图像采集设备以及关联系数,按照具有关联关系的图像采集设备对应不同的存储节点的分配原则,从多个存储节点中,为每一图像采集设备分配对应的存储节点,得到关于图像采集设备和存储节点的数据存储对应关系。
示例性的,在一种实现方式中,可以按照关联系数从大到小的顺序,按照具有关联关系的图像采集设备对应不同的存储节点的分配原则,从多个存储节点中,依次为每一图像采集设备分配对应的存储节点,得到关于图像采集设备和存储节点的数据存储对应关系。
该种实现方式中,由于关联系数越大,表明数据的相似性越高,存储在同一节点所带来的不可靠性越大,因此,可以通过该关联系数的大小,确定出优先为哪些设备分配节点,以及优先保证哪些具有关联关系的设备对应不同的存储节点。
仍以上述表1中的各个设备为例,设备1和设备2的关联系数为最大,则先确定设备1和设备2对应的存储节点,例如一共包括存储节点1,存储节点2,和存储节点3,则当确定设备1对应的存储节点为存储节点1时,则设备2对应的存储节点不能为存储节点1,可以确定设备2对应的存储节点为存储节点2;即,设备1对应的存储节点为存储节点1,设备2对应的存储节点为存储节点2;然后设备2和设备3的关联系数位于第二,则在确定设备1和设备2对应的存储节点后,确定设备2和设备3对应的存储节点,因为设备2对应的存储节点为存储节点2,设备2和设备3具有关联关系,则设备3对应的存储节点为存储节点3。因为设备4与其他三个设备均没有关联关系,则可以从3个存储节点中,任意选择一个存储节点作为设备4对应的存储节点。
另外,为了达到各存储节点的负载平衡,可以根据设备采集的视频数据的多少,来确定设备4对应的存储节点。
在一种可能的实施例中,上述步骤C1还可以通过步骤C11-C12实现:
步骤C11,针对每两个图像采集设备,获取该两个图像采集设备的区域权重,其中,位于同一区域的两个图像采集设备的区域权重大于位于不同区域的两个图像采集设备的区域权重。
基于上述实施例中对各个图像采集设备进行区域划分,则可以给每个图像采集设备设定区域权重,其中,位于同一区域的两个图像采集设备的区域权重大于位于不同区域的两个图像采集设备的区域权重。示例性的,在一种实现方式中,位于同一小区的两个图像采集设备的区域权重可以为第一权重,而位于不同小区的两个图像采集设备的区域权重可以为第二权重,其中,第一权重大于第二权重,例如,同一个区域的区域权重为0.9,不同区域的区域权重为0.1。示例性的,在另一种实现方式中,位于同一小区的两个图像采集的区域权重可以为第一权重范围内的值,而位于不同小区的两个图像采集设备的区域权重可以为第二权重范围内的值,针对任两个图像采集设备,在通过是否属于同一区域确定出第一权重范围或第二权重范围后,可以基于该两个图像采集设备之间的距离,从第一权重范围或第二权重范围中选取具体值,作为该两个图像采集设备的区域权重,距离越大,权重越小。例如:若第一权重范围为:0.6~0.95,当两个图像采集设备的距离小于100米时,该图像采集设备的区域权重为0.9;当两个图像采集设备的距离小于500米大于100米时,该图像采集设备的区域权重为0.8;当两个图像采集设备的大于500米时,该图像采集设备的区域权重为0.7,其中距离的大小和区域权重的大小可以根据实际需要进行设定,在此不作限定。
步骤C12,针对每两个图像采集设备,根据该两个图像采集设备对应的相似度,以及区域权重,确定该两个图像采集设备的关联系数,上述关联系数与上述相似度成正比,上述关联系数与上述区域权重成正比。
示例性的,在一种实现方式中,将该两个图像采集设备对应的相似度与该两个图像采集设备对应的区域权重的和作为该两个图像采集设备的关联系数;或,将该两个图像采集设备对应的相似度与该两个图像采集设备对应的区域权重进行加权求和,将加权求和结果作为该两个图像采集设备的关联系数。根据该两个图像采集设备对应的相似度,以及区域权重,确定该两个图像采集设备的关联系数的计算方式可以根据实际需要进行设定,在此不作限定。
在一种可能的实施例中,每个图像采集设备对应有优先级;
上述步骤C2具体可以通过以下步骤C21-C23实现:
步骤C21,针对每一图像采集设备,根据该图像采集设备对应的优先级,确定该图像采集设备的优先级权重,其中,优先级高的图像采集设备的优先级权重大于优先级低的图像采集设备的优先级权重。
优先级的类别可以根据实际需要进行设定,例如,优先级的类别包括高优先级,低优先级,示例性的,设定高优先级的图像采集设备的优先级权重的权重为0.8,低优先级的图像采集设备的优先级权重的权重为0.2。或者优先级的类别包括高优先级,中优先级和低优先级,示例性的,设定高优先级的图像采集设备的优先级权重的权重为0.6,中优先级的图像采集设备的优先级权重的权重为0.3,低优先级的图像采集设备的优先级权重的权重为0.1。
步骤C22,针对每一图像采集设备,根据该图像采集设备的优先级权重和该图像采集设备与其他图像采集设备的关联系数,确定该图像采集设备的离散系数,上述离散系数分别与上述图像采集设备的优先级权重和上述关联系数成正比。
示例性的,根据该图像采集设备的优先级权重和该图像采集设备与其他图像采集设备的关联系数,确定该图像采集设备的离散系数,包括:
根据该图像采集设备与其他图像采集设备的关联系数,确定该图像采集设备的关联权重;
根据该图像采集设备的关联权重和该图像采集设备的优先级权重确定该图像采集设备的离散系数。上述离散系数分别与上述图像采集设备的优先级权重和上述关联权重成正比。
其中,根据该图像采集设备与其他图像采集设备的关联系数,确定该图像采集设备的关联权重可以包括:将图像采集设备与其他图像采集设备的关联系数的平均值作为该图像采集设备的关联权重。示例性的,仍以上述表1中的各个设备为例,则设备1的关联权重为(0.8+0.6+0.5)/3=0.63。
根据该图像采集设备与其他图像采集设备的关联系数,确定该图像采集设备的关联权重也可以包括:将图像采集设备与其他图像采集设备的关联系数的和作为该图像采集设备的关联权重。
其中,根据该图像采集设备的关联权重和该图像采集设备的优先级权重确定该图像采集设备的离散系数的方式可以包括:
将该图像采集设备的关联权重和该图像采集设备的优先级权重的和作为该图像采集设备的离散系数;
或
分别给该图像采集设备的关联权重和该图像采集设备的优先级权重设定相应的权重,将该图像采集设备的关联权重和该图像采集设备的优先级权重加权求和的结果作为该图像采集设备的离散系数。
步骤C23,基于所确定出的具有关联关系的图像采集设备,按照上述离散系数从大到小的顺序,以及,具有关联关系的图像采集设备对应不同的存储节点的分配原则和对应的优先级高于第一指定优先级的图像采集设备对应不同的存储节点的分配原则,从多个存储节点中,为每一图像采集设备分配对应的存储节点,得到关于图像采集设备和存储节点的数据存储对应关系。
其中,第一指定优先级可以根据实际情况进行设定。例如,优先级的类别包括高优先级和低优先级,则第一指定优先级可以为低优先级,那么,高优先级的图像采集设备对应不同的存储节点。又如:优先级的类别包括高优先级,中优先级和低优先级,则第一指定优先级可以为中优先级,或者,低优先级,相应的,高优先级的图像采集设备对应不同的存储节点,或者,中优先级的图像采集设备对应不同的存储节点。
仍以上述表1中的各个设备为例,假设设备1的优先级权重为0.7,设备2的优先级权重为0.2,设备3的优先级权重为0.7,设备4的优先级权重为0.1,离散系数是该图像采集设备的关联权重和该图像采集设备的优先级权重的和,针对任一图像采集设备,该图像采集设备的关联权重为图像采集设备与其他图像采集设备的关联系数的平均值,则计算得到的设备1的离散系数为1.33,设备2的离散系数为0.83,设备3的离散系数为1.2,设备4的离散系数为0.47;假设存储节点包括存储节点1,存储节点2和存储节点3,按照上述离散系数从大到小的顺序,先确定设备1对应的存储节点,假设确定设备1对应的存储节点1,因为设备1与设备2具有关联关系,则确定设备2对应的存储节点不能为存储节点1,因为存储节点3的优先级权重和设备1一样,则存储节点3对应的存储节点不能为存储节点1,因为设备2和设备3具有关联关系,则设备2和设备3不能对应同一存储节点,则可以确定设备2对应存储节点2,设备3对应存储节点3。
上述实施例进行存储任务的调度的过程中,图像采集设备和存储节点的数据存储对应关系既考虑到各图像采集设备采集的视频数据的相似性以及图像采集设备的优先级,实现了具有关联的图像采集设备采集的视频数据存储在不同的存储节点,对应的优先级高于第一指定优先级的图像采集设备采集的视频数据存储在不同的存储节点,这样,当其中一个存储节点出现故障时,可以从其他存储节点分析出该存储节点存储的数据,解决了现有技术中存储系统的视频数据存储的可靠性低的问题。
为了方便理解,下面结合附图,对离散系数的一种确定过程进行介绍。如图3所示,图3为本发明实施例提供的存储任务的调度方法中离散系数确定的一种流程示意图,可以包括:
S210,根据各图像采集设备所处的经纬度信息,从至少一个预定的经纬度范围中,确定每一图像采集设备所位于的预定的经纬度范围,将位于同一经纬度范围的图像采集设备判定为属于同一区域的图像采集设备。
S220,针对每两个图像采集设备,根据该两个图像采集设备所属的区域,获取该两个图像采集设备的区域权重,其中,位于同一区域的两个图像采集设备的区域权重大于位于不同区域的两个图像采集设备的区域权重;
S230,针对每两个图像采集设备,获取该两个图像采集设备的历史视频数据,分别计算该两个图像采集设备的历史视频数据的相似度;
S240,针对每两个图像采集设备,根据该两个图像采集设备对应的相似度,以及区域权重,确定该两个图像采集设备的关联系数,上述关联系数与上述相似度成正比,上述关联系数与上述区域权重成正比;
S250,针对每一图像采集设备,根据该图像采集设备与其他图像采集设备的关联系数,确定该图像采集设备的关联权重;
S260,针对每一图像采集设备,根据该图像采集设备对应的优先级,确定该图像采集设备的优先级权重,其中,优先级高的图像采集设备的优先级权重大于优先级低的图像采集设备的优先级权重;
S270,针对每一图像采集设备,根据该图像采集设备的关联权重和该图像采集设备的优先级权重,确定该图像采集设备的离散系数。上述离散系数分别与上述图像采集设备的优先级权重和上述关联权重成正比。
上述实施例进行存储任务的调度的过程中,图像采集设备和存储节点的数据存储对应关系既考虑到各图像采集设备采集的视频数据的相似性,图像采集设备位于的区域信息,以及图像采集设备的优先级,具有关联关系的图像采集设备对应不同的存储节点,对应的优先级高于第一指定优先级的图像采集设备对应不同的存储节点,实现了具有关联的图像采集设备采集的视频数据存储在不同的存储节点,对应的优先级高于第一指定优先级的图像采集设备采集的视频数据存储在不同的存储节点。这样,当其中一个存储节点出现故障时,可以从其他存储节点分析出该存储节点存储的数据,解决了现有技术中存储系统的视频数据存储的可靠性低的问题。
在一种可能的实施例中,每一目标存储节点的存储任务接入能力的确定方式,包括:
获取多个样本存储任务,上述样本存储任务为针对一图像采集设备的存储任务;
将上述样本存储任务分别调度到该存储节点,以使该存储节点模拟处理上述存储任务;
在该存储节点模拟存储上述样本存储任务对应存储的视频数据后,根据预设参数确定上述存储节点的性能系数;其中,上述预设参数包括平均CPU占用率,平均磁盘IO占用率,平均Mem占用率中的至少一个;
当上述存储节点的性能系数达到预设性能系数阈值时,确定上述存储节点模拟处理的存储任务的个数,作为上述存储节点的存储任务接入能力。
存储节点模拟处理样本存储任务的过程是指模拟存储节点可以并发处理的存储任务的个数的过程,并发处理的存储任务的个数根据预设参数进行考量,其中预设参数包括平均CPU占用率,平均磁盘IO占用率,平均Mem占用率中的至少一个。示例性的,将样本存储任务对应存储的视频数据的主码流和子码流分别记录在内存中,存储节点模拟处理样本存储任务的过程,可以包括:
存储节点模拟存储样本存储任务中对应数据的主码流数据,或者存储节点模拟存储样本存储任务中对应数据的子码流数据,或者存储节点模拟存储样本存储任务中对应数据的主码流数据和子码流数据。
其中,存储节点模拟处理上述存储任务的过程中,存储任务下发数量采用的是指数级增加的策略,即,每次下发的存储任务比上次下发的存储任务增加2n个存储任务,以使存储节点比上次多处理2n个存储任务,n为任务增长系数,n的初始值可以为1,n可以随着存储节点的性能系数的变化情况而变化。
在该存储节点模拟存储上述存储任务对应存储的视频数据后,根据预设参数,确定上述存储节点的性能系数。当预设参数中包括多个参数时,性能系数符合木桶定律。例如,当预设参数为平均CPU占用率,平均磁盘IO占用率,平均Mem占用率,性能系数的计算方式可以为,在平均CPU占用率不超过预设CPU占用率阈值,平均磁盘IO占用率不超过预设磁盘IO占用率阈值和平均Mem占用率不超过预设Mem占用率阈值的情况下,通过以下公式计算性能系数;
当上述存储节点的性能系数达到预设性能系数阈值时,确定上述存储节点模拟处理的存储任务的个数为上述存储节点还能够处理的待调度的存储任务的个数,当上述存储节点的性能系数未达到预设性能系数阈值时,可以采用AIMD(Additive IncreaseMultiplicative Decrease,加法增大乘法减小算法)算法根据性能系数大小的变化情况,增加任务增长系数n。当上述存储节点的性能系数超过预设性能系数阈值时,则降低2n-1个任务,并将n设置为1,重新进行模拟,以得到存储节点还能够处理的待调度的存储任务的个数。
通过利用样本存储任务,样本存储任务为针对一图像采集设备的存储任务来模拟模拟处理,以此来获取存储节点的存储任务接入能力,使得在对存储任务进行调度时,可以提高调度的速度,而且通过对样本存储任务的模拟来获取存储节点的存储任务接入能力,可以获取较为准确的存储任务接入能力,提高计算的准确率。
如图4a所示,图4a为本发明实施例提供的存储任务的调度方法中存储任务接入能力评估的一种流程示意图,针对任一存储节点,该存储节点的存储任务接入能力的确定方式可以包括:
S310,随机获取任一图像采集设备的样本存储任务,获取该存储任务对应存储的视频数据的主码流和子码流。将该视频数据的主码流和子码流存在内存中;
S320,将指定数量样本存储任务分别下发至该存储节点,以使该存储节点模拟处理样本存储任务。
其中,每轮为该存储节点下发的样本存储任务的数量为指定数量个,首轮中该指定数量可以为2n个任务,n的初始值为1。
S330,在该存储节点模拟存储上述存储任务对应存储的视频数据后,根据预设参数确定上述存储节点的性能系数,判断当前该存储节点的性能系数是否超过预设性能系数阈值;如果是,则执行步骤S350,如果否,则执行步骤S340;
S340,调整指定数量的值,并跳至步骤S320继续执行模拟。
S350,判断当前该存储节点的性能系数是否达到预设性能系数阈值;如果是,则执行步骤S360,如果否,则执行步骤S370;
其中,降低2n-1个任务,则本轮下发给该存储节点的样本存储任务的数量变为2n-1,并将n设置为1,从步骤S320继续执行模拟。例如,如果当前情况下,给该存储节点下发的样本存储任务的数量为27,当前该存储节点的性能系数超过预设性能系数阈值,则将本轮下发给该存储节点的样本存储任务的数量变为26。即,当前确定下发给该存储节点的样本存储任务的数量变为26,则下轮下发给该存储节点的样本存储任务的数量变为26+21。如图4b所示,图4b为本发明实施例提供的本发明实施例提供的存储任务的调度方法中性能系数与轮次的对应关系的示意图,其中,横坐标表示模拟的轮数,纵坐标表示性能系数的大小。其中,当前该存储节点的性能系数超过预设性能系数阈值时,降低2n-1个任务,并将n设置为1时的状态,可对应图4b中轮次为7的状态。
S360,则确定存储节点模拟处理的存储任务的个数为存储节点还能够处理的待调度的存储任务的个数;
S370,则根据性能系数的增长情况设置n,并跳至步骤S320继续执行模拟。
每一目标存储节点的存储任务接入能力,存储任务接入能力表征目标存储节点还能够处理的待调度的存储任务的个数,其中,每个目标存储任务对应存储的视频数据的大小是根据预设的视频数据的大小进行设定的,根据各目标存储节点的存储任务接入能力和各目标存储节点对应的目标存储任务的个数,利用各个目标存储节点的存储任务接入能力,对各个目标存储任务进行调度。以此可以达到存储节点负载的平衡。
在一种可能的实施例中,上述根据各目标存储节点的存储任务接入能力和各目标存储节点对应的目标个数,利用各个目标存储节点,对各个目标存储任务进行调度,包括:
针对任一目标存储节点,如果该目标存储节点对应的目标个数大于该目标存储节点的存储任务接入能力,将预设数量的存储任务下发至该目标存储节点,其中预设数量不大于该目标存储节点还能够处理的待调度的存储任务的个数,然后按照具有关联关系的图像采集设备对应不同的存储节点的分配原则,并根据其他目标存储节点的存储任务接入能力,将未下发至该目标存储节点的目标存储任务下发至其他目标存储节点。
针对任一目标存储节点,如果该目标存储节点对应的目标个数不大于该目标存储节点的存储任务接入能力,则将该目标存储节点对应的目标存储任务下发给该目标存储节点。
如果任一目标存储节点对应的目标个数大于该目标存储节点的存储任务接入能力,示例性的,针对对应的目标个数大于存储任务接入能力的每一第一类存储节点,可以线性下降的调整方式,对该第一类存储节点对应的目标个数进行调整,得到下发给该存储节点的目标存储任务的个数,将该个数的与该第一类存储节点对应的目标存储任务,下发至该第一类存储节点;针对对应的目标个数不大于存储任务接入能力的每一第二类存储节点,将该第二类存储节点对应的目标存储任务下发至该第二类存储节点;并且,针对第二类存储节点,在保证为该第二类存储节点下发的目标存储任务总个数不大于该第二类存储节点的存储任务接入能力的前提下,可以将未下发到第一类存储节点的目标存储任务下发至该第二类存储节点,以此可以达到各存储节点的负载均衡。另外,当图像采集设备具有优先级时,可以根据优先级的高低来确定实际下发给各目标存储节点的个数。
示例性的,在得到目标存储节点的存储任务接入能力后,可以根据预先设定的下发任务数量和性能系数的增长关系计算存储节点能够接受处理的存储任务的趋势值,根据趋势值来确定在存储任务的调度过程中下发给存储节点的存储任务的数量,趋势值表征了性能系数随任务增长而增长的速度。
因为任务的增长对存储节点的性能的影响情况,在存储任务数量缓慢增长无线接近目标存储节点的存储任务接入能力时,说明存储节点对于任务数的敏感程度比较高,则可以根据存储任务对于存储节点资源消耗占比来确定任务分配系数,任务分配系数用于确定下发给存储节点的存储任务的个数,一般而言,任务分配系数的取值范围为[0,1]。
示例性的,针对任一目标存储节点,可以根据该目标存储节点的趋势值,确定该目标存储节点的任务分配系数,根据该目标存储节点的存储任务接入能力,确定下发给该目标存储节点的存储任务的个数,在一种可能的实施例中,上述步骤S140具体可以通过以下步骤S410-S440实现。如图5所示,图5为本发明实施例提供的存储任务的调度方法的第三种流程示意图,可以包括:
S410,获取各目标存储节点的存储任务接入能力和待下发给各目标存储节点的存储任务的个数。
S420,针对任一目标存储节点,判断该目标存储节点对应的目标个数是否大于该目标存储节点的存储任务接入能力,如果是,则执行步骤S430,如果否,则执行步骤S440;
S430,线性下降下发给该目标存储节点的目标存储任务的个数,得到预设数量的存储任务,将预设数量的存储任务下发至该目标存储节点,其中预设数量不大于该目标存储节点还能够处理的待调度的存储任务的个数,然后按照具有关联关系的图像采集设备对应不同的存储节点的分配原则,并根据其他目标存储节点的存储任务接入能力,将未下发至该目标存储节点的目标存储任务下发至其他目标存储节点;
S440,目标存储任务调度完毕。
在存储任务调度的过程中,如果任一目标存储节点对应的目标个数大于该目标存储节点的存储任务接入能力,则可以线性下降下发给该目标存储节点的目标存储任务的个数,如果其他目标存储节点对应的目标个数小于该目标存储节点的存储任务接入能力,则可以增加调度到该目标存储节点的目标存储任务的个数,以此达到各存储节点的负载均衡。
在一种可能的实施例中,每个图像采集设备对应有优先级;上述根据各目标存储节点的存储任务接入能力和各目标存储节点对应的目标个数,利用各个目标存储节点,对各个目标存储任务进行调度,包括:
如果任一目标存储节点对应的目标个数大于该目标存储节点的存储任务接入能力,将针对目标采集设备的目标存储任务调度至对应的目标存储节点;其中,上述目标采集设备为对应优先级高于第二指定优先级的图像采集设备。
如果任一目标存储节点对应的目标个数大于该目标存储节点的存储任务接入能力,可以仅处理对应的优先级高于第二指定优先级的图像采集设备对应的目标存储任务。例如,优先级分为三级,优先级的类别包括高优先级、中优先级和低优先级,如果任一目标存储节点对应的目标个数大于该目标存储节点的存储任务接入能力,则仅处理高优先级和中优先级的图像采集设备对应的目标存储任务,将该目标存储任务调度至对应的目标存储节点,低优先级的图像采集设备对应的目标存储任务不进行调度;或者,优先级分为2级,优先级的类别包括高优先级和低优先级,如果任一目标存储节点对应的目标个数大于该目标存储节点的存储任务接入能力,则仅处理高优先级的图像采集设备对应的目标存储任务,将该目标存储任务调度至对应的目标存储节点,低优先级的图像采集设备对应的目标存储任务不进行调度。使得当存储节点的接入能力不足时,可以优先保证高优先级的图像采集设备采集的视频数据的存储。
通过上述存储任务的调度方式,不仅可以考虑到图像采集设备之间的关联关系,图像采集设备的优先级,在调度过程中,还可以根据各存储节点的存储任务接入能力来对各个存储任务进行调度,以此达到各存储节点的负载平衡,不会出现某一存储节点过载或者空闲的情况。将具有关联性的图像采集设备采集的视频数据调度到不同的存储节点进行存储,以此可以减少当存储节点存储任务接入能力不足,或者存储节点出现故障或者宕机时,优先级别高的图像采集设备对应的存储任务无法处理的情况发生,以此可以减少数据丢失的概率。
在一种可能的实施例中,各上述图像采集设备对应有优先级;上述根据各目标存储节点的存储任务接入能力和各目标存储节点对应的目标个数,利用各个目标存储节点,对各个目标存储任务进行调度,包括:
如果任一目标存储节点对应的目标个数大于该目标存储节点的存储任务接入能力,针对每个目标存储节点,将该目标存储节点对应的目标存储任务下发给该目标存储节点,其中该目标存储任务包括该数据存储策略;其中,不同优先级的图像采集设备对应的数据存储策略不同。
如果任一目标存储节点对应的目标个数大于该目标存储节点的存储任务接入能力,则不同的优先级对应不同的数据存储策略,使得当存储节点的接入能力不足时,可以优先保证高优先级的图像采集设备采集的视频数据的存储。
在一种可能的实施例中,上述优先级的类别包括高优先级、中优先级和低优先级;
上述高优先级的图像采集设备对应的数据存储策略为:在该图像采集设备采集的视频数据满足预设告警条件的情况下,存储该视频数据的主码流数据;在该图像采集设备采集的视频数据不满足预设告警条件的情况下,存储该视频数据的子码流数据;其中,上述子码流数据的码率低于上述主码流数据的码率;
上述中优先级的图像采集设备对应的数据存储策略为:存储图像采集设备采集的视频数据的子码流数据;
上述低优先级的图像采集设备对应的数据存储策略为:在该图像采集设备采集的视频数据满足预设告警条件的情况下,存储该视频数据的子码流数据。
预设告警条件可以根据实际情况进行设定,例如,在一些应用场景中,如企业,机关,或者教育行业,不会出现某几个图像采集设备同时出现大量人流,车流的情况,则预设告警条件可以为当人流量超少预设流量预设时,则该图像采集设备采集的视频数据满足预设告警条件。
或者预设告警条件可以为当采集的视频数据与预设的视频数据的相似度低于预设阈值时,则确定采集的视频数据满足告警条件。例如,在家庭中安装的录像设备,为了查看外出时,是否有他人进入家中,则可以设置无人的画面为正常画面,当出采集的视频数据中有人物时,则确定采集的视频数据满足告警条件。
不同的优先级对应不同的数据存储策略,使得当存储节点的接入能力不足时,可以优先保证高优先级的图像采集设备采集的视频数据的存储,而且,通过设置对应码流存储的策略,可以节约资源。
基于上述实施例中上述的存储任务的调度方法,为了方便理解,如图6所示,图6为本发明实施例提供的存储任务的存储方法的一种流程示意图,该方法应用于存储系统,系统包括:
图像采集设备,设备接入节点,管理节点,存储节点,其中,存储节点包括:视频接入模块,存储模块。
该方法包括:
S510,上述图像采集设备采集视频数据;
S520,上述设备接入节点获取各个图像采集设备的历史视频数据,历史视频数据为预设时间段内采集的视频数据;分别计算每两个图像采集设备的历史视频数据的相似度,当相似度不小于预设相似度阈值时,确定该相似度对应的图像采集设备具有关联关系;基于所确定出的具有关联关系的图像采集设备,按照具有关联关系的图像采集设备对应不同的存储模块的分配原则,从多个存储模块中,为每一图像采集设备分配对应的存储模块,得到关于图像采集设备和存储模块的数据存储对应关系;并将图像采集设备和存储模块的数据存储对应关系发送给上述管理节点;
S530,每一个存储模块确定该存储模块的存储任务接入能力,并将该存储模块的存储任务接入能力发送给上述管理节点;
S540,上述管理节点获取待调度的各个目标存储任务,根据从设备接入节点接收到的图像采集设备和存储模块的数据存储对应关系和从各存储模块接收到的各存储模块的存储任务接入能力,给视频接入模块下发各目标存储任务的调度指令;
S550,上述视频接入模块根据上述调度指令,从相应的图像采集设备中拉取视频数据,并将视频数据进行组装,得到画面组,将画面组发送至相应的存储模块进行存储;
S560,各上述存储模块接收到上述视频接入模块发送的画面组后,将画面组进行存储。
基于图6的实施例,如图7所示,图7为本发明实施例提供的存储任务的调度方法的第四种流程示意图,当在任务进行调度过程中,如果出现存储模块故障或者宕机的情况,各图像采集设备对应有优先级,优先级的类别包括高优先级、中优先级和低优先级,步骤S540具体可以通过以下步骤实现:
S610,管理节点获取各存储模块的存储任务接入能力和待调度的目标存储任务的个数;
S620,针对任一存储模块,若存储模块的存储任务接入能力小于待调度的目标存储任务的个数,管理节点向视频接入模块下发该存储模块对应的各图像采集设备的存储任务的调度指令,调度指令中包含的该图像采集设备对应的数据存储策略。
其中,低优先级的图像采集设备对应的数据存储策略为:在该图像采集设备采集的视频数据满足预设告警条件的情况下,存储该视频数据的子码流数据。
中优先级的图像采集设备对应的数据存储策略为:存储该视频数据的子码流数据。
高优先级的图像采集设备的对应的数据存储策略为:在该图像采集设备采集的视频数据满足预设告警条件的情况下,存储该视频数据的主码流数据;在该图像采集设备采集的视频数据不满足预设告警条件的情况下,存储该视频数据的子码流数据。
S630,管理节点针对任一存储模块,根据该存储模块的存储任务接入能力判断该存储模块是否还能够处理新的存储任务,如果是,则执行步骤S640,如果否则执行步骤S650;
S640,管理节点以线性增长的模式向该存储模块调度存储任务;判断任务是否调度完成,如果是,则任务调度完成,如果否则跳至步骤S650继续执行;
S650,按照图像采集设备优先级从低到高的顺序,依次将低优先级的图像采集设备对应的存储任务删除,以保证高优先级的图像采集设备对应的存储任务的调度。
通过上述存储任务的调度方式,不仅可以考虑到图像采集设备之间的关联关系,图像采集设备的优先级,在调度过程中,还可以根据各存储模块的存储任务接入能力来对各个存储任务进行调度,以此达到各存储模块的负载平衡,不会出现某一存储模块过载或者空闲的情况。将具有关联性的图像采集设备采集的视频数据调度到不同的存储模块进行存储,以此可以减少当存储模块存储任务接入能力不足,或者存储模块出现故障或者宕机时,优先级别高的图像采集设备对应的存储任务无法处理的情况发生,以此可以减少数据丢失的概率。
基于上述方法实施例,本发明实施例提供了一种存储任务的调度装置,如图8a所示,图8a为本申请实施例提供的存储任务的调度装置的第一种示意图,该装置可以包括:
第一获取模块810,用于获取待调度的各个目标存储任务;其中,每一目标存储任务为针对一图像采集设备的存储任务;
第二获取模块820,用于获取关于图像采集设备和存储节点的数据存储对应关系;其中,上述数据存储对应关系中,具有关联关系的图像采集设备对应不同的存储节点,上述具有关联关系的图像采集设备为:在预设时间段内采集到的视频数据的相似度不小于预设相似度阈值的图像采集设备;
确定模块830,用于针对每一目标存储任务,从上述数据存储对应关系中,确定该目标存储任务所针对的图像采集设备对应的存储节点,作为该目标存储任务对应的目标存储节点;
调度模块840,用于基于所确定出的各个上述目标存储任务分别对应的目标存储节点,对各个上述目标存储任务进行调度。
如图8b所示,图8b为本申请实施例提供的存储任务的调度装置的第二种示意图,在一种可能的实施例中,第二获取模块820包括:
获取子模块821,用于获取各个图像采集设备的历史视频数据,上述历史视频数据为预设时间段内采集的视频数据;
相似度计算子模块822,用于分别计算每两个图像采集设备的历史视频数据的相似度,当上述相似度不小于预设相似度阈值时,确定该相似度对应的图像采集设备具有关联关系;
处理子模块823,用于基于所确定出的具有关联关系的图像采集设备,按照具有关联关系的图像采集设备对应不同的存储节点的分配原则,从多个存储节点中,为每一图像采集设备分配对应的存储节点,得到关于图像采集设备和存储节点的数据存储对应关系。
在一种可能的实施例中,上述相似度计算子模块822具体用于:
分别计算同一区域内每两个图像采集设备的历史视频数据的相似度;其中,每个图像采集设备所属的区域为基于该图像采集设备的位置信息,按照预设的区域划分规则所确定的。
在一种可能的实施例中,上述处理子模块823包括:
确定单元,用于针对每两个图像采集设备,根据所确定出的相似度,确定该两个图像采集设备的关联系数,上述关联系数与上述相似度成正比;
处理单元,用于基于所确定出的具有关联关系的图像采集设备以及关联系数,按照具有关联关系的图像采集设备对应不同的存储节点的分配原则,从多个存储节点中,为每一图像采集设备分配对应的存储节点,得到关于图像采集设备和存储节点的数据存储对应关系。
在一种可能的实施例中,上述确定单元包括:
区域权重子单元,用于针对每两个图像采集设备,获取该两个图像采集设备的区域权重,其中,位于同一区域的两个图像采集设备的区域权重大于位于不同区域的两个图像采集设备的区域权重;
关联系数确定子单元,用于针对每两个图像采集设备,根据该两个图像采集设备对应的相似度,以及区域权重,确定该两个图像采集设备的关联系数,上述关联系数与上述相似度成正比,上述关联系数与上述区域权重成正比。
在一种可能的实施例中,每个图像采集设备对应有优先级;
上述处理单元具体包括:
优先级权重子单元,用于针对每一图像采集设备,根据该图像采集设备对应的优先级,确定该图像采集设备的优先级权重,其中,优先级高的图像采集设备的优先级权重大于优先级低的图像采集设备的优先级权重;
离散系数确定子单元,用于针对每一图像采集设备,根据该图像采集设备的优先级权重和该图像采集设备与其他图像采集设备的关联系数,确定该图像采集设备的离散系数,上述离散系数分别与上述图像采集设备的优先级权重和上述关联系数成正比;
处理子单元,用于基于所确定出的具有关联关系的图像采集设备,按照上述离散系数从大到小的顺序,以及,具有关联关系的图像采集设备对应不同的存储节点的分配原则和对应的优先级高于第一指定优先级的图像采集设备对应不同的存储节点的分配原则,从多个存储节点中,为每一图像采集设备分配对应的存储节点,得到关于图像采集设备和存储节点的数据存储对应关系。
如图8c所示,图8c为本申请实施例提供的存储任务的调度装置的第三种示意图,在一种可能的实施例中,上述调度模块840包括:
接入能力获取子模块841,用于获取每一目标存储节点的存储任务接入能力,上述存储任务接入能力表征上述目标存储节点还能够处理的待调度的存储任务的个数;
调度子模块842,用于根据各目标存储节点的存储任务接入能力和各目标存储节点对应的目标个数,利用各个目标存储节点,对各个目标存储任务进行调度;其中,每一目标存储节点对应的目标个数为该存储节点对应的目标存储任务的个数。
在一种可能的实施例中,上述调度子模块842具体用于:
针对任一目标存储节点,如果该目标存储节点对应的目标个数大于该目标存储节点的存储任务接入能力,将预设数量的存储任务下发至该目标存储节点,其中预设数量不大于该目标存储节点还能够处理的待调度的存储任务的个数,然后按照具有关联关系的图像采集设备对应不同的存储节点的分配原则,并根据其他目标存储节点的存储任务接入能力,将未下发至该目标存储节点的目标存储任务下发至其他目标存储节点;
针对任一目标存储节点,如果该目标存储节点对应的目标个数不大于该目标存储节点的存储任务接入能力,则将该目标存储节点对应的目标存储任务下发给该目标存储节点。
在一种可能的实施例中,每个图像采集设备对应有优先级;上述调度子模块842具体用于:
如果任一目标存储节点对应的目标个数大于该目标存储节点的存储任务接入能力,将针对目标采集设备的目标存储任务调度至对应的目标存储节点;其中,上述目标采集设备为对应优先级高于第二指定优先级的图像采集设备。
在一种可能的实施例中,各上述图像采集设备对应有优先级;上述调度子模块842具体用于:
如果任一目标存储节点对应的目标个数大于该目标存储节点的存储任务接入能力,针对每个目标存储节点,将该目标存储节点对应的目标存储任务下发给该目标存储节点,其中该目标存储任务包括数据存储策略;其中,不同优先级的图像采集设备对应的数据存储策略不同。
在一种可能的实施例中,上述优先级的类别包括高优先级、中优先级和低优先级;
上述高优先级的图像采集设备对应的数据存储策略为:在该图像采集设备采集的视频数据满足预设告警条件的情况下,存储该视频数据的主码流数据;在该图像采集设备采集的视频数据不满足预设告警条件的情况下,存储该视频数据的子码流数据;其中,上述子码流数据的码率低于上述主码流数据的码率;
上述中优先级的图像采集设备对应的数据存储策略为:存储图像采集设备采集的视频数据的子码流数据;
上述低优先级的图像采集设备对应的数据存储策略为:在该图像采集设备采集的视频数据满足预设告警条件的情况下,存储该视频数据的子码流数据。
在一种可能的实施例中,针对每一目标存储节点,上述接入能力获取子模块841包括:
历史获取单元,用于获取多个样本存储任务,上述样本存储任务为针对一图像采集设备的样本存储任务;
模拟单元,用于将上述样本存储任务分别调度到该存储节点,以使该存储节点模拟处理上述存储任务;
性能系数确定单元,用于在该存储节点模拟存储上述样本存储任务对应存储的视频数据后,根据预设参数确定上述存储节点的性能系数;其中,上述预设参数包括CPU占用率,平均磁盘IO占用率,平均Mem占用率中的至少一个;
个数确定单元,用于当上述存储节点的性能系数达到预设性能系数阈值时,确定上述存储节点模拟处理的存储任务的个数,作为上述存储节点的存储任务接入能力。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本发明实施例还提供了一种电子设备,如图9所示,图9为本发明实施例提供的电子设备的一种结构示意图,包括处理器901、通信接口902、存储器903和通信总线904,其中,处理器901,通信接口902,存储器903通过通信总线904完成相互间的通信,
存储器903,用于存放计算机程序;
处理器901,用于执行存储器903上所存放的程序时,实现如下步骤:
获取待调度的各个目标存储任务;其中,每一目标存储任务为针对一图像采集设备的存储任务;
获取关于图像采集设备和存储节点的数据存储对应关系;其中,上述数据存储对应关系中,具有关联关系的图像采集设备对应不同的存储节点,上述具有关联关系的图像采集设备为:在预设时间段内采集到的视频数据的相似度不小于预设相似度阈值的图像采集设备;
针对每一目标存储任务,从上述数据存储对应关系中,确定该目标存储任务所针对的图像采集设备对应的存储节点,作为该目标存储任务对应的目标存储节点;
基于所确定出的各个上述目标存储任务分别对应的目标存储节点,对各个上述目标存储任务进行调度。
可选的,处理器901,用于执行存储器903上所存放的程序时,还可以实现上述任一存储任务的调度方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一存储任务的调度方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一存储任务的调度方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (15)
1.一种存储任务的调度方法,其特征在于,所述方法包括:
获取待调度的各个目标存储任务;其中,每一目标存储任务为针对一图像采集设备的存储任务;
获取关于图像采集设备和存储节点的数据存储对应关系;其中,所述数据存储对应关系中,具有关联关系的图像采集设备对应不同的存储节点,所述具有关联关系的图像采集设备为:在预设时间段内采集到的视频数据的相似度不小于预设相似度阈值的图像采集设备;
针对每一目标存储任务,从所述数据存储对应关系中,确定该目标存储任务所针对的图像采集设备对应的存储节点,作为该目标存储任务对应的目标存储节点;
基于所确定出的各个所述目标存储任务分别对应的目标存储节点,对各个所述目标存储任务进行调度。
2.根据权利要求1所述的方法,其特征在于,关于图像采集设备和存储节点的数据存储对应关系的生成过程包括:
获取各个图像采集设备的历史视频数据,所述历史视频数据为预设时间段内采集的视频数据;
分别计算每两个图像采集设备的历史视频数据的相似度,当所述相似度不小于预设相似度阈值时,确定该相似度对应的图像采集设备具有关联关系;
基于所确定出的具有关联关系的图像采集设备,按照具有关联关系的图像采集设备对应不同的存储节点的分配原则,从多个存储节点中,为每一图像采集设备分配对应的存储节点,得到关于图像采集设备和存储节点的数据存储对应关系。
3.根据权利要求2所述的方法,其特征在于,所述分别计算每两个图像采集设备的历史视频数据的相似度,包括:
分别计算同一区域内每两个图像采集设备的历史视频数据的相似度;其中,每个图像采集设备所属的区域为基于该图像采集设备的位置信息,按照预设的区域划分规则所确定的。
4.根据权利要求2所述的方法,其特征在于,所述基于所确定出的具有关联关系的图像采集设备,按照具有关联关系的图像采集设备对应不同的存储节点的分配原则,从多个存储节点中,为每一图像采集设备分配对应的存储节点,得到关于图像采集设备和存储节点的数据存储对应关系,包括:
针对每两个图像采集设备,根据所确定出的相似度,确定该两个图像采集设备的关联系数,所述关联系数与所述相似度成正比;
基于所确定出的具有关联关系的图像采集设备以及关联系数,按照具有关联关系的图像采集设备对应不同的存储节点的分配原则,从多个存储节点中,为每一图像采集设备分配对应的存储节点,得到关于图像采集设备和存储节点的数据存储对应关系。
5.根据权利要求4所述的方法,其特征在于,所述针对每两个图像采集设备,根据所确定出的相似度,确定该两个图像采集设备的关联系数,包括:
针对每两个图像采集设备,获取该两个图像采集设备的区域权重,其中,位于同一区域的两个图像采集设备的区域权重大于位于不同区域的两个图像采集设备的区域权重;
针对每两个图像采集设备,根据该两个图像采集设备对应的相似度,以及区域权重,确定该两个图像采集设备的关联系数,所述关联系数与所述相似度成正比,所述关联系数与所述区域权重成正比。
6.根据权利要求4或5所述的方法,其特征在于,每个图像采集设备对应有优先级;
所述基于所确定出的具有关联关系的图像采集设备以及关联系数,按照具有关联关系的图像采集设备对应不同的存储节点的分配原则,从多个存储节点中,为每一图像采集设备分配对应的存储节点,得到关于图像采集设备和存储节点的数据存储对应关系,包括:
针对每一图像采集设备,根据该图像采集设备对应的优先级,确定该图像采集设备的优先级权重,其中,优先级高的图像采集设备的优先级权重大于优先级低的图像采集设备的优先级权重;
针对每一图像采集设备,根据该图像采集设备的优先级权重和该图像采集设备与其他图像采集设备的关联系数,确定该图像采集设备的离散系数,所述离散系数分别与所述图像采集设备的优先级权重和所述关联系数成正比;
基于所确定出的具有关联关系的图像采集设备,按照所述离散系数从大到小的顺序,以及,具有关联关系的图像采集设备对应不同的存储节点的分配原则和对应的优先级高于第一指定优先级的图像采集设备对应不同的存储节点的分配原则,从多个存储节点中,为每一图像采集设备分配对应的存储节点,得到关于图像采集设备和存储节点的数据存储对应关系。
7.根据权利要求1所述的方法,其特征在于,所述基于所确定出的各个所述目标存储任务分别对应的目标存储节点,对各个所述目标存储任务进行调度,包括:
获取每一目标存储节点的存储任务接入能力,所述存储任务接入能力表征所述目标存储节点还能够处理的待调度的存储任务的个数;
根据各目标存储节点的存储任务接入能力和各目标存储节点对应的目标个数,利用各个目标存储节点,对各个目标存储任务进行调度;
其中,每一目标存储节点对应的目标个数为该存储节点对应的目标存储任务的个数。
8.根据权利要求7所述的方法,其特征在于,所述根据各目标存储节点的存储任务接入能力和各目标存储节点对应的目标个数,利用各个目标存储节点,对各个目标存储任务进行调度,包括:
针对任一目标存储节点,如果该目标存储节点对应的目标个数大于该目标存储节点的存储任务接入能力,将预设数量的存储任务下发至该目标存储节点,其中预设数量不大于该目标存储节点还能够处理的待调度的存储任务的个数,然后按照具有关联关系的图像采集设备对应不同的存储节点的分配原则,并根据其他目标存储节点的存储任务接入能力,将未下发至该目标存储节点的目标存储任务下发至其他目标存储节点;
针对任一目标存储节点,如果该目标存储节点对应的目标个数不大于该目标存储节点的存储任务接入能力,则将该目标存储节点对应的目标存储任务下发给该目标存储节点。
9.根据权利要求7所述的方法,其特征在于,每个图像采集设备对应有优先级;所述根据各目标存储节点的存储任务接入能力和各目标存储节点对应的目标个数,利用各个目标存储节点,对各个目标存储任务进行调度,包括:
如果任一目标存储节点对应的目标个数大于该目标存储节点的存储任务接入能力,将针对目标采集设备的目标存储任务调度至对应的目标存储节点;其中,所述目标采集设备为对应优先级高于第二指定优先级的图像采集设备。
10.根据权利要求7所述的方法,其特征在于,各所述图像采集设备对应有优先级;所述根据各目标存储节点的存储任务接入能力和各目标存储节点对应的目标个数,利用各个目标存储节点,对各个目标存储任务进行调度,包括:
如果任一目标存储节点对应的目标个数大于该目标存储节点的存储任务接入能力,针对每个目标存储节点,将该目标存储节点对应的目标存储任务下发给该目标存储节点,其中该目标存储任务包括数据存储策略;其中,不同优先级的图像采集设备对应的数据存储策略不同。
11.根据权利要求10所述的方法,其特征在于,所述优先级的类别包括高优先级、中优先级和低优先级;
所述高优先级的图像采集设备对应的数据存储策略为:在该图像采集设备采集的视频数据满足预设告警条件的情况下,存储该视频数据的主码流数据;在该图像采集设备采集的视频数据不满足预设告警条件的情况下,存储该视频数据的子码流数据;其中,所述子码流数据的码率低于所述主码流数据的码率;
所述中优先级的图像采集设备对应的数据存储策略为:存储图像采集设备采集的视频数据的子码流数据;
所述低优先级的图像采集设备对应的数据存储策略为:在该图像采集设备采集的视频数据满足预设告警条件的情况下,存储该视频数据的子码流数据。
12.根据权利要求7-11任一所述的方法,其特征在于,每一目标存储节点的存储任务接入能力的确定方式,包括:
获取样本存储任务,所述样本存储任务为针对一图像采集设备的存储任务;
将所述样本存储任务分别调度到该存储节点,以使该存储节点模拟处理所述存储任务;
在该存储节点模拟存储所述样本存储任务对应存储的视频数据后,根据预设参数确定所述存储节点的性能系数;其中,所述预设参数包括平均CPU占用率,平均磁盘IO占用率,平均Mem占用率中的至少一个;
当所述存储节点的性能系数达到预设性能系数阈值时,确定所述存储节点模拟处理的存储任务的个数,作为所述存储节点的存储任务接入能力。
13.一种存储任务的调度装置,其特征在于,所述装置包括:
第一获取模块,用于获取待调度的各个目标存储任务;其中,每一目标存储任务为针对一图像采集设备的存储任务;
第二获取模块,用于获取关于图像采集设备和存储节点的数据存储对应关系;其中,所述数据存储对应关系中,具有关联关系的图像采集设备对应不同的存储节点,所述具有关联关系的图像采集设备为:在预设时间段内采集到的视频数据的相似度不小于预设相似度阈值的图像采集设备;
确定模块,用于针对每一目标存储任务,从所述数据存储对应关系中,确定该目标存储任务所针对的图像采集设备对应的存储节点,作为该目标存储任务对应的目标存储节点;
调度模块,用于基于所确定出的各个所述目标存储任务分别对应的目标存储节点,对各个所述目标存储任务进行调度。
14.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-12任一所述的方法步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-12任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010953928.7A CN112104730B (zh) | 2020-09-11 | 2020-09-11 | 存储任务的调度方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010953928.7A CN112104730B (zh) | 2020-09-11 | 2020-09-11 | 存储任务的调度方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112104730A CN112104730A (zh) | 2020-12-18 |
CN112104730B true CN112104730B (zh) | 2023-03-28 |
Family
ID=73751418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010953928.7A Active CN112104730B (zh) | 2020-09-11 | 2020-09-11 | 存储任务的调度方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112104730B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112650687B (zh) * | 2020-12-30 | 2024-03-19 | 绿盟科技集团股份有限公司 | 引擎调度动作执行优先级的测试方法、装置、设备及介质 |
CN113159022B (zh) * | 2021-03-12 | 2023-05-30 | 杭州海康威视系统技术有限公司 | 一种关联关系的确定方法和装置、存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101656094A (zh) * | 2009-09-25 | 2010-02-24 | 杭州华三通信技术有限公司 | 数据存储方法和存储设备 |
CN103942239A (zh) * | 2013-01-23 | 2014-07-23 | 富士施乐株式会社 | 信息处理装置和信息处理方法 |
CN105022741A (zh) * | 2014-04-23 | 2015-11-04 | 苏宁云商集团股份有限公司 | 压缩方法和系统以及云存储方法和系统 |
CN108734072A (zh) * | 2017-04-24 | 2018-11-02 | 杭州海康威视数字技术股份有限公司 | 一种多源对象关联方法及装置 |
CN109635072A (zh) * | 2018-11-12 | 2019-04-16 | 平安科技(深圳)有限公司 | 舆情数据分布式存储方法、装置、存储介质和终端设备 |
CN110147459A (zh) * | 2017-07-28 | 2019-08-20 | 杭州海康威视数字技术股份有限公司 | 一种图像检索方法、装置及电子设备 |
CN111400555A (zh) * | 2020-03-05 | 2020-07-10 | 湖南大学 | 图数据查询任务处理方法、装置、计算机设备和存储介质 |
CN111428063A (zh) * | 2020-03-31 | 2020-07-17 | 杭州博雅鸿图视频技术有限公司 | 基于地理空间位置划分的图像特征关联处理方法及系统 |
CN111461630A (zh) * | 2020-05-08 | 2020-07-28 | 上海东普信息科技有限公司 | 派送快递包裹的监控方法、装置、设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9310518B2 (en) * | 2014-01-24 | 2016-04-12 | International Business Machines Corporation | Weather forecasting system and methods |
-
2020
- 2020-09-11 CN CN202010953928.7A patent/CN112104730B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101656094A (zh) * | 2009-09-25 | 2010-02-24 | 杭州华三通信技术有限公司 | 数据存储方法和存储设备 |
CN103942239A (zh) * | 2013-01-23 | 2014-07-23 | 富士施乐株式会社 | 信息处理装置和信息处理方法 |
CN105022741A (zh) * | 2014-04-23 | 2015-11-04 | 苏宁云商集团股份有限公司 | 压缩方法和系统以及云存储方法和系统 |
CN108734072A (zh) * | 2017-04-24 | 2018-11-02 | 杭州海康威视数字技术股份有限公司 | 一种多源对象关联方法及装置 |
CN110147459A (zh) * | 2017-07-28 | 2019-08-20 | 杭州海康威视数字技术股份有限公司 | 一种图像检索方法、装置及电子设备 |
CN109635072A (zh) * | 2018-11-12 | 2019-04-16 | 平安科技(深圳)有限公司 | 舆情数据分布式存储方法、装置、存储介质和终端设备 |
CN111400555A (zh) * | 2020-03-05 | 2020-07-10 | 湖南大学 | 图数据查询任务处理方法、装置、计算机设备和存储介质 |
CN111428063A (zh) * | 2020-03-31 | 2020-07-17 | 杭州博雅鸿图视频技术有限公司 | 基于地理空间位置划分的图像特征关联处理方法及系统 |
CN111461630A (zh) * | 2020-05-08 | 2020-07-28 | 上海东普信息科技有限公司 | 派送快递包裹的监控方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112104730A (zh) | 2020-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112104730B (zh) | 存储任务的调度方法、装置及电子设备 | |
CN111985726B (zh) | 资源数量预测方法、装置、电子设备及存储介质 | |
CN109787915B (zh) | 网络访问的流量控制方法、装置、电子设备及存储介质 | |
CN111294812A (zh) | 一种资源扩容规划的方法及系统 | |
CN111325451B (zh) | 智能楼宇多级调度方法、智能楼宇调度中心及系统 | |
WO2022213565A1 (zh) | 一种人工智能模型预测结果的复审方法及装置 | |
CN107948004A (zh) | 一种视频cdn调取优化方法及装置 | |
CN112214316A (zh) | 基于物联网的数据资源分配方法及云计算服务器 | |
CN115017400A (zh) | 一种应用app推荐方法及电子设备 | |
CN113553160A (zh) | 用于人工智能物联网的边缘计算节点任务调度方法及系统 | |
CN109783236B (zh) | 用于输出信息的方法和装置 | |
CN112037520B (zh) | 道路监控方法、系统和电子设备 | |
CN117056018A (zh) | 资源调度方法、装置、设备、程序产品和存储介质 | |
CN115309520A (zh) | 任务迁移方法、装置、电子设备及存储介质 | |
CN115037968A (zh) | 视频的播放方法、装置、存储介质及电子装置 | |
CN113377519B (zh) | 一种基于cdn的内容调度方法 | |
CN107464571B (zh) | 一种数据质量评估的方法、设备及系统 | |
CN114816755A (zh) | 调度方法及调度装置、处理核、电子设备、可读介质 | |
CN113419863A (zh) | 一种基于节点能力的数据分配处理方法及装置 | |
CN112714037A (zh) | 一种线上服务质量的保障性能评估方法、装置及设备 | |
CN113867926A (zh) | 一种云环境管理方法、云环境管理平台及存储介质 | |
CN114124733B (zh) | 业务流量的预测方法和装置 | |
CN110660216A (zh) | 行程时间阈值确定方法、系统及智能设备 | |
CN110569475A (zh) | 一种网民影响力的评估方法、装置、设备和存储介质 | |
CN113949624B (zh) | 链路采样数的分配方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |