CN106506665A - 一种分布式视频监控系统的负载均衡方法及平台 - Google Patents
一种分布式视频监控系统的负载均衡方法及平台 Download PDFInfo
- Publication number
- CN106506665A CN106506665A CN201611034692.7A CN201611034692A CN106506665A CN 106506665 A CN106506665 A CN 106506665A CN 201611034692 A CN201611034692 A CN 201611034692A CN 106506665 A CN106506665 A CN 106506665A
- Authority
- CN
- China
- Prior art keywords
- node
- video
- file
- load
- monitoring system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012216 screening Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本申请公开了一种分布式视频监控系统的负载均衡方法,包括:确定当前的视频存放任务中每个视频文件所对应的文件复杂度,并预估每个视频文件所对应的潜在访问度;利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量;按照基于节点负载需求量均衡分布原则确定的分组规则,对视频存放任务中的所有视频文件进行分组,得到N组视频文件;将N组视频文件分别保存至分布式视频监控系统中的N个节点。本申请实现了视频监控系统的负载均衡,提高了视频监控系统的存储性能,并有利于提升视频监控系统中的数据完整性和安全性。另外,本申请还相应公开了一种分布式视频监控系统的负载均衡平台。
Description
技术领域
本发明涉及负载均衡技术领域,特别涉及一种分布式视频监控系统的负载均衡方法及平台。
背景技术
目前,随着视频监控行业的快速发展,采用高清摄像机的视频监控系统越来越多,所拍摄的画面质量也越来越清晰,这样使得视频监控系统中的监控数据容量呈爆炸性增长趋势。由于视频监控数据本身是非结构化数据,普通的关系型数据库根本无法满足其存储需求,导致海量视频监控数据的存储和安全性问题日益突出。
目前的现有技术中,主要是通过集中存储的方式来对视频监控数据进行存储。然而,由于视频数据量大,会导致存储节点的负载度变得非常大,这样会严重降低视频监控系统的存储性能,并且容易对视频监控数据的完整性和安全性造成不良影响。
综上所述可以看出,如何实现视频监控系统的负载均衡,以提升视频监控系统的存储性能是目前有待于解决的问题。
发明内容
有鉴于此,本发明的目的在于提供一种分布式视频监控系统的负载均衡方法及平台,实现了视频监控系统的负载均衡,由此提高了视频监控系统的存储性能,并有利于提升视频监控系统中的数据完整性和安全性。其具体方案如下:
一种分布式视频监控系统的负载均衡方法,包括:
确定当前的视频存放任务中每个视频文件所对应的文件复杂度,并预估每个视频文件所对应的潜在访问度;
利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量;
按照基于节点负载需求量均衡分布原则确定的分组规则,对所述视频存放任务中的所有视频文件进行分组,得到N组视频文件,N为正整数;
将所述N组视频文件分别保存至分布式视频监控系统中的N个节点。
优选的,所述确定当前的视频存放任务中每个视频文件所对应的文件复杂度的过程,包括:
利用每个视频文件的视频格式和/或文件大小,确定每个视频文件所对应的文件复杂度。
优选的,所述预估每个视频文件所对应的潜在访问度的过程,包括:
利用每个视频文件的采集时间信息和/或采集场所信息,预估每个视频文件所对应的潜在访问度。
优选的,所述利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量的过程,包括:
利用预先确定的文件复杂度权重和文件访问度权重,分别对每个视频文件所对应的文件复杂度和潜在访问度进行相应的加权平均处理,得到相应的加权平均数,并将每个加权平均数确定为相应视频文件所对应的节点负载需求量。
优选的,所述将所述N组视频文件分别保存至分布式视频监控系统中的N个节点的过程,包括:
确定当前所述分布式视频监控系统中每一节点的节点负载;
以节点负载大小为筛选依据,从所述分布式视频监控系统的所有节点中筛选出所述N个节点;其中,所述N个节点中的任一节点的节点负载均小于或等于其余未被筛选到的任一节点的节点负载;
将所述N组视频文件分别一对一地保存至所述N个节点。
优选的,确定当前所述分布式视频监控系统中目标节点的节点负载的过程,包括:
利用所述目标节点的运行状态参数,计算所述目标节点的运行负荷度;
对保存在所述目标节点中的每一视频文件的实际访问度进行相加处理,得到所述目标节点的节点访问度;
利用预先确定的运行负荷度权重和节点访问度权重,对所述目标节点的运行负荷度和节点访问度进行相应的加权平均处理,得到相应的加权平均数,并将该加权平均数确定为所述目标节点的节点负载;
其中,所述目标节点为所述分布式视频监控系统中的任一节点。
优选的,所述利用所述目标节点的运行状态参数,计算所述目标节点的运行负荷度的过程,包括:
获取所述目标节点的CPU使用率、宽带利用率、内存使用率和IO使用率;
对所述目标节点的CPU使用率、宽带利用率、内存使用率和IO使用率进行加权平均处理,得到相应的加权平均数,并将该加权平均数确定为所述目标节点的运行负荷度。
本发明还公开了一种分布式视频监控系统的负载均衡平台,包括:
信息确定模块,用于确定当前的视频存放任务中每个视频文件所对应的文件复杂度,并预估每个视频文件所对应的潜在访问度;
负载需求量计算模块,用于利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量;
文件分组模块,用于按照基于节点负载需求量均衡分布原则确定的分组规则,对所述视频存放任务中的所有视频文件进行分组,得到N组视频文件,N为正整数;
文件保存模块,用于将所述N组视频文件分别保存至分布式视频监控系统中的N个节点。
优选的,所述文件保存模块,包括:
节点负载确定子模块,用于确定当前所述分布式视频监控系统中每一节点的节点负载;
节点筛选子模块,用于以节点负载大小为筛选依据,从所述分布式视频监控系统的所有节点中筛选出所述N个节点;其中,所述N个节点中的任一节点的节点负载均小于或等于其余未被筛选到的任一节点的节点负载;
文件保存子模块,用于将所述N组视频文件分别一对一地保存至所述N个节点。
优选的,所述节点负载确定子模块,包括:
运行负荷度计算单元,用于利用所述目标节点的运行状态参数,计算所述目标节点的运行负荷度;
节点访问度计算单元,用于对保存在所述目标节点中的每一视频文件的实际访问度进行相加处理,得到所述目标节点的节点访问度;
节点负载计算单元,用于利用预先确定的运行负荷度权重和节点访问度权重,对所述目标节点的运行负荷度和节点访问度进行相应的加权平均处理,得到相应的加权平均数,并将该加权平均数确定为所述目标节点的节点负载;
其中,所述目标节点为所述分布式视频监控系统中的任一节点。
本发明中,负载均衡方法,包括:确定当前的视频存放任务中每个视频文件所对应的文件复杂度,并预估每个视频文件所对应的潜在访问度;利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量;按照基于节点负载需求量均衡分布原则确定的分组规则,对视频存放任务中的所有视频文件进行分组,得到N组视频文件;将N组视频文件分别保存至分布式视频监控系统中的N个节点。
可见,本发明中,先基于视频文件对应的文件复杂度和潜在访问度,计算视频文件对应的节点负载需求量,然后基于节点负载需求量均衡分布原则,对当前视频存放任务中的所有视频文件进行分组,这样可以使得每组视频文件之间的总节点负载需求量相同或大致相同,从而使得后续对上述每组视频文件分别进行存储的每个节点之间所增长的负载大致相同,由此实现了视频监控系统的负载均衡,提高了视频监控系统的存储性能,并有利于提升视频监控系统中的数据完整性和安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种分布式视频监控系统的负载均衡方法流程图;
图2为本发明实施例公开的一种分布式视频监控系统的负载均衡平台结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种分布式视频监控系统的负载均衡方法,本实施例中的分布式视频监控系统具体为基于Hadoop体系架构的视频监控系统,参见图1所示,本实施例中的负载均衡方法包括:
步骤S11:确定当前的视频存放任务中每个视频文件所对应的文件复杂度,并预估每个视频文件所对应的潜在访问度。
本实施例中,一个视频存放任务可以同时将多个视频文件存放至分布式视频监控系统。在获取到当前的视频存放任务后,本实施例先确定出该视频存放任务中每个视频文件的文件复杂度以及预估每个视频文件的潜在访问度。
可以理解的是,上述文件复杂度和潜在访问度的具体数值均大于或等于0,并且,小于或等于1。文件复杂度的数值越大,则意味着相应视频文件的复杂性越高,该视频文件所需的节点负载也就越大。
另外,上述视频文件的潜在访问度是指未来的单位时间段内,该视频文件可能的被访问次数与整个视频监控系统中所有视频文件可能的总被访问次数之间的比值。潜在访问度的数值越大,则意味着相应视频文件的可能被访问的次数就越大,这样该视频文件所需的节点负载也就越大。
需要进一步指出的,本实施例中,分布式视频监控系统中包括多种类型的视频采集设备,由于不同类型的视频采集设备所使用的视频格式可能会有所不同,这样使得上述视频存放任务中,可能会存在视频格式不相同的视屏文件。
步骤S12:利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量。
也即,本实施例同时基于视频文件的文件复杂度和潜在访问度,来确定出视频文件所需的节点负载。
为了便于比较,本实施例中,上述节点负载需求量采用归一化形式进行表示,也即,本实施例中节点负载需求量的数值大于或等于0,并且,小于或等于1。
步骤S13:按照基于节点负载需求量均衡分布原则确定的分组规则,对视频存放任务中的所有视频文件进行分组,得到N组视频文件,N为正整数。
可以理解的是,上述基于节点负载需求量均衡分布原则确定的分组规则,具体用于规定在进行视频文件分组时,所得到的每组视频文件之间的总节点负载需求量相同或大致相同。例如,假设上述视频存放任务中,需要对6个视频文件进行存放,其中,在这6个视频文件中,视频文件1的节点负载需求量为0.3,视频文件2的节点负载需求量为0.5,视频文件3的节点负载需求量为0.4,视频文件4的节点负载需求量为0.1,视频文件5的节点负载需求量为0.2,视频文件6的节点负载需求量为0.6,在这种情况下,可以将视频文件1和视频文件3分到同一组,将视频文件2和视频文件5分到同一组,将视频文件4和视频文件6分到同一组,以使得每组视频文件中的总节点负载需求量都相同,均为0.7。
另外,需要说明的是,本实施例中,在对视频存放任务中的所有视频文件进行分组时,所对应的分组组数可以由系统随机确定,但是不能大于分布式视频监控系统中的节点的总数。当然,也可以预先对上述分组组数进行设定,比如默认分为6组。另外,也可以由后台预先根据当前分布式视频监控系统中的所有节点的负载情况,来对上述分组组数进行确定。
步骤S14:将上述N组视频文件分别保存至分布式视频监控系统中的N个节点。
可见,本发明实施例中,先基于视频文件对应的文件复杂度和潜在访问度,计算视频文件对应的节点负载需求量,然后基于节点负载需求量均衡分布原则,对当前视频存放任务中的所有视频文件进行分组,这样可以使得每组视频文件之间的总节点负载需求量相同或大致相同,从而使得后续对上述每组视频文件分别进行存储的每个节点之间所增长的负载大致相同,由此实现了视频监控系统的负载均衡,提高了视频监控系统的存储性能,并有利于提升视频监控系统中的数据完整性和安全性。
本发明实施例公开了一种具体的分布式视频监控系统的负载均衡方法,相对于上一实施例,本实施例对技术方案作了进一步的说明和优化。具体的:
上一实施例步骤S11中,需要对当前的视频存放任务中每个视频文件所对应的文件复杂度进行确定。具体的,本实施例中,上述确定当前的视频存放任务中每个视频文件所对应的文件复杂度的过程,包括:
利用每个视频文件的视频格式和/或文件大小,确定每个视频文件所对应的文件复杂度。
本实施例中,视频文件的视频格式可以包括但不限于AVI、MP4、MPG、ASF、FLV、DAV、SV4和SV5等。需要说明的是,不同的视频格式对应于不同的视频压缩算法,能够反映出视频文件的复杂程度,除此之外,也可以将视频文件的文件大小作为反映其复杂程度的参数,基于此,本实施例可以基于视频格式和/或文件大小,确定每个视频文件所对应的文件复杂度。具体的,本实施例可以预先为不同的视频格式设定不同的第一类复杂系数,同理,也可以预先为不同范围的视频大小数值设定不同的第二类复杂系数。在获取到每个视频文件的视频格式和/或视频大小之后,相应地利用预先设定的信息确定每个视频文件的视频格式所对应的第一类复杂系数和/或确定每个视频文件的视频大小所对应的第二类复杂系数,进而利用相应的第一类复杂系数和/或第二类复杂系数,确定出视频文件的文件复杂度。如果只利用第一类复杂系数或第二类复杂系数来确定视频文件的文件复杂度,则第一类复杂系数或第二类复杂系数本身便作为相应视频文件的文件复杂度,如果需要同时利用第一类复杂系数和第二类复杂系数来确定视频文件的文件复杂度,则视频文件的文件复杂度具体可以由相应的第一类复杂系数和第二类复杂系数经过加权平均处理后得到。
另外,在上一实施例步骤S11中,还需要对每个视频文件所对应的潜在访问度进行预估。具体的,本实施例中,上述预估每个视频文件所对应的潜在访问度的过程,可以包括:
利用每个视频文件的采集时间信息和/或采集场所信息,预估每个视频文件所对应的潜在访问度。
本实施例中,视频文件的采集时间信息包括视频文件的采集日期以及采集时间段,视频文件的采集场所信息包括采集地点周围的环境信息。本实施例中,节假日里采集的视频文件所对应的潜在访问度高于非节假日采集的视频文件,夜晚采集的视频文件所对应的潜在访问度高于白天采集的视频文件,采集地点周围的人流量越大,相应视频文件所对应的潜在访问度就越高。
上一实施例步骤S12中,需要利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量。具体的,本实施例中,上述利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量的过程,可以包括:
利用预先确定的文件复杂度权重和文件访问度权重,分别对每个视频文件所对应的文件复杂度和潜在访问度进行相应的加权平均处理,得到相应的加权平均数,并将每个加权平均数确定为相应视频文件所对应的节点负载需求量。
本实施例中,文件复杂度权重和文件访问度权重均可以分别设为0.5,当然,也可以将文件复杂度权重设的比文件访问度高,例如,可以将文件复杂度权重设为0.6,文件访问度权重设为0.4。
上一实施例步骤S14中,将N组视频文件分别保存至分布式视频监控系统中的N个节点的过程,可以具体包括下面步骤S141至S143:
步骤S141:确定当前分布式视频监控系统中每一节点的节点负载;
步骤S142:以节点负载大小为筛选依据,从分布式视频监控系统的所有节点中筛选出N个节点;其中,上述N个节点中的任一节点的节点负载均小于或等于其余未被筛选到的任一节点的节点负载;
步骤S143:将上述N组视频文件分别一对一地保存至上述N个节点。
也即,本实施例在得到上述N组视频文件之后,可以从分布式视频监控系统中筛选出当前节点负载较小的N个节点,然后将上述N组视频文件分别一对一地保存至上述N个节点。
另外,上述步骤S141中,确定当前分布式视频监控系统中目标节点的节点负载的过程,具体可以包括下面步骤S1411至S1413:
步骤S1411:利用目标节点的运行状态参数,计算目标节点的运行负荷度;
步骤S1412:对保存在目标节点中的每一视频文件的实际访问度进行相加处理,得到目标节点的节点访问度;
步骤S1413:利用预先确定的运行负荷度权重和节点访问度权重,对目标节点的运行负荷度和节点访问度进行相应的加权平均处理,得到相应的加权平均数,并将该加权平均数确定为目标节点的节点负载;
可以理解的是,上述目标节点为分布式视频监控系统中的任一节点。
另外,需要说明的是,上述视频文件的实际访问度是指单位历史时间段内,该视频文件被访问的次数与整个视频监控系统中所有视频文件总的被访问次数之间的比值。
具体的,上述步骤S1411中,利用目标节点的运行状态参数,计算目标节点的运行负荷度的过程,具体可以包括:
获取目标节点的CPU使用率、宽带利用率、内存使用率和IO使用率,然后对目标节点的CPU使用率、宽带利用率、内存使用率和IO使用率进行加权平均处理,得到相应的加权平均数,并将该加权平均数确定为目标节点的运行负荷度。
相应的,本发明实施例中还公开了一种分布式视频监控系统的负载均衡平台,参见图2所示,该平台包括:
信息确定模块11,用于确定当前的视频存放任务中每个视频文件所对应的文件复杂度,并预估每个视频文件所对应的潜在访问度;
负载需求量计算模块12,用于利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量;
文件分组模块13,用于按照基于节点负载需求量均衡分布原则确定的分组规则,对视频存放任务中的所有视频文件进行分组,得到N组视频文件,N为正整数;
文件保存模块14,用于将上述N组视频文件分别保存至分布式视频监控系统中的N个节点。
可见,本发明实施例中,先基于视频文件对应的文件复杂度和潜在访问度,计算视频文件对应的节点负载需求量,然后基于节点负载需求量均衡分布原则,对当前视频存放任务中的所有视频文件进行分组,这样可以使得每组视频文件之间的总节点负载需求量相同或大致相同,从而使得后续对上述每组视频文件分别进行存储的每个节点之间所增长的负载大致相同,由此实现了视频监控系统的负载均衡,提高了视频监控系统的存储性能,并有利于提升视频监控系统中的数据完整性和安全性。
具体的,上述文件保存模块,包括节点负载确定子模块、节点筛选子模块和文件保存子模块;其中,
节点负载确定子模块,用于确定当前分布式视频监控系统中每一节点的节点负载;
节点筛选子模块,用于以节点负载大小为筛选依据,从分布式视频监控系统的所有节点中筛选出N个节点;其中,上述N个节点中的任一节点的节点负载均小于或等于其余未被筛选到的任一节点的节点负载;
文件保存子模块,用于将上述N组视频文件分别一对一地保存至上述N个节点。
另外,上述节点负载确定子模块,包括运行负荷度计算单元、节点访问度计算单元和节点负载计算单元;其中,
运行负荷度计算单元,用于利用目标节点的运行状态参数,计算目标节点的运行负荷度;
节点访问度计算单元,用于对保存在目标节点中的每一视频文件的实际访问度进行相加处理,得到目标节点的节点访问度;
节点负载计算单元,用于利用预先确定的运行负荷度权重和节点访问度权重,对目标节点的运行负荷度和节点访问度进行相应的加权平均处理,得到相应的加权平均数,并将该加权平均数确定为目标节点的节点负载;
其中,上述目标节点为分布式视频监控系统中的任一节点。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种分布式视频监控系统的负载均衡方法及平台进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种分布式视频监控系统的负载均衡方法,其特征在于,包括:
确定当前的视频存放任务中每个视频文件所对应的文件复杂度,并预估每个视频文件所对应的潜在访问度;
利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量;
按照基于节点负载需求量均衡分布原则确定的分组规则,对所述视频存放任务中的所有视频文件进行分组,得到N组视频文件,N为正整数;
将所述N组视频文件分别保存至分布式视频监控系统中的N个节点。
2.根据权利要求1所述的分布式视频监控系统的负载均衡方法,其特征在于,所述确定当前的视频存放任务中每个视频文件所对应的文件复杂度的过程,包括:
利用每个视频文件的视频格式和/或文件大小,确定每个视频文件所对应的文件复杂度。
3.根据权利要求1所述的分布式视频监控系统的负载均衡方法,其特征在于,所述预估每个视频文件所对应的潜在访问度的过程,包括:
利用每个视频文件的采集时间信息和/或采集场所信息,预估每个视频文件所对应的潜在访问度。
4.根据权利要求1所述的分布式视频监控系统的负载均衡方法,其特征在于,所述利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量的过程,包括:
利用预先确定的文件复杂度权重和文件访问度权重,分别对每个视频文件所对应的文件复杂度和潜在访问度进行相应的加权平均处理,得到相应的加权平均数,并将每个加权平均数确定为相应视频文件所对应的节点负载需求量。
5.根据权利要求1至4任一项所述的分布式视频监控系统的负载均衡方法,其特征在于,所述将所述N组视频文件分别保存至分布式视频监控系统中的N个节点的过程,包括:
确定当前所述分布式视频监控系统中每一节点的节点负载;
以节点负载大小为筛选依据,从所述分布式视频监控系统的所有节点中筛选出所述N个节点;其中,所述N个节点中的任一节点的节点负载均小于或等于其余未被筛选到的任一节点的节点负载;
将所述N组视频文件分别一对一地保存至所述N个节点。
6.根据权利要求5所述的分布式视频监控系统的负载均衡方法,其特征在于,确定当前所述分布式视频监控系统中目标节点的节点负载的过程,包括:
利用所述目标节点的运行状态参数,计算所述目标节点的运行负荷度;
对保存在所述目标节点中的每一视频文件的实际访问度进行相加处理,得到所述目标节点的节点访问度;
利用预先确定的运行负荷度权重和节点访问度权重,对所述目标节点的运行负荷度和节点访问度进行相应的加权平均处理,得到相应的加权平均数,并将该加权平均数确定为所述目标节点的节点负载;
其中,所述目标节点为所述分布式视频监控系统中的任一节点。
7.根据权利要求6所述的分布式视频监控系统的负载均衡方法,其特征在于,所述利用所述目标节点的运行状态参数,计算所述目标节点的运行负荷度的过程,包括:
获取所述目标节点的CPU使用率、宽带利用率、内存使用率和IO使用率;
对所述目标节点的CPU使用率、宽带利用率、内存使用率和IO使用率进行加权平均处理,得到相应的加权平均数,并将该加权平均数确定为所述目标节点的运行负荷度。
8.一种分布式视频监控系统的负载均衡平台,其特征在于,包括:
信息确定模块,用于确定当前的视频存放任务中每个视频文件所对应的文件复杂度,并预估每个视频文件所对应的潜在访问度;
负载需求量计算模块,用于利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量;
文件分组模块,用于按照基于节点负载需求量均衡分布原则确定的分组规则,对所述视频存放任务中的所有视频文件进行分组,得到N组视频文件,N为正整数;
文件保存模块,用于将所述N组视频文件分别保存至分布式视频监控系统中的N个节点。
9.根据权利要求8所述的分布式视频监控系统的负载均衡平台,其特征在于,所述文件保存模块,包括:
节点负载确定子模块,用于确定当前所述分布式视频监控系统中每一节点的节点负载;
节点筛选子模块,用于以节点负载大小为筛选依据,从所述分布式视频监控系统的所有节点中筛选出所述N个节点;其中,所述N个节点中的任一节点的节点负载均小于或等于其余未被筛选到的任一节点的节点负载;
文件保存子模块,用于将所述N组视频文件分别一对一地保存至所述N个节点。
10.根据权利要求9所述的分布式视频监控系统的负载均衡平台,其特征在于,所述节点负载确定子模块,包括:
运行负荷度计算单元,用于利用所述目标节点的运行状态参数,计算所述目标节点的运行负荷度;
节点访问度计算单元,用于对保存在所述目标节点中的每一视频文件的实际访问度进行相加处理,得到所述目标节点的节点访问度;
节点负载计算单元,用于利用预先确定的运行负荷度权重和节点访问度权重,对所述目标节点的运行负荷度和节点访问度进行相应的加权平均处理,得到相应的加权平均数,并将该加权平均数确定为所述目标节点的节点负载;
其中,所述目标节点为所述分布式视频监控系统中的任一节点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611034692.7A CN106506665B (zh) | 2016-11-18 | 2016-11-18 | 一种分布式视频监控系统的负载均衡方法及平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611034692.7A CN106506665B (zh) | 2016-11-18 | 2016-11-18 | 一种分布式视频监控系统的负载均衡方法及平台 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106506665A true CN106506665A (zh) | 2017-03-15 |
CN106506665B CN106506665B (zh) | 2019-09-24 |
Family
ID=58327433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611034692.7A Active CN106506665B (zh) | 2016-11-18 | 2016-11-18 | 一种分布式视频监控系统的负载均衡方法及平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106506665B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107360395A (zh) * | 2017-06-21 | 2017-11-17 | 安徽森度科技有限公司 | 一种基于分布式部署的远程自适应视频诊断方法 |
CN107645541A (zh) * | 2017-08-24 | 2018-01-30 | 阿里巴巴集团控股有限公司 | 数据存储方法、装置及服务器 |
CN108600290A (zh) * | 2018-01-31 | 2018-09-28 | 天讯瑞达通信技术有限公司 | 一种移动视频直播/监控视频源分布式接入方法 |
JP2019080115A (ja) * | 2017-10-20 | 2019-05-23 | 株式会社システム・ケイ | 映像管理装置、映像管理方法、及び映像管理プログラム、並びに監視システム |
WO2019141247A1 (zh) * | 2018-01-19 | 2019-07-25 | 杭州海康威视系统技术有限公司 | 负载均衡方法、装置及计算机可读存储介质 |
CN111581068A (zh) * | 2020-04-22 | 2020-08-25 | 北京华宇信息技术有限公司 | 终端的工作量计算方法及其装置、存储介质、终端、云服务系统 |
CN111953938A (zh) * | 2020-07-31 | 2020-11-17 | 中标慧安信息技术股份有限公司 | 监控视频轮换上传方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080104609A1 (en) * | 2006-10-26 | 2008-05-01 | D Amora Bruce D | System and method for load balancing distributed simulations in virtual environments |
CN101232600A (zh) * | 2008-03-04 | 2008-07-30 | 华为技术有限公司 | 一种提供点播内容的方法、系统和装置 |
CN102508902A (zh) * | 2011-11-08 | 2012-06-20 | 西安电子科技大学 | 云存储系统中可变分块大小的块数据分块方法 |
CN103077221A (zh) * | 2012-12-29 | 2013-05-01 | 深圳先进技术研究院 | 一种海量数据自动放置装置和方法 |
CN103345430A (zh) * | 2013-07-03 | 2013-10-09 | 中国科学院高能物理研究所 | 分布式存储池的模糊平衡方法及系统 |
CN104301671A (zh) * | 2014-09-23 | 2015-01-21 | 同济大学 | Hdfs中基于事件密集度的交通监控视频存储方法 |
CN104424240A (zh) * | 2013-08-27 | 2015-03-18 | 腾讯科技(深圳)有限公司 | 多表关联方法、主服务节点、计算节点及系统 |
CN105554149A (zh) * | 2015-12-31 | 2016-05-04 | 康佳集团股份有限公司 | 一种基于视频排名的视频云存储负载均衡方法及系统 |
CN105701209A (zh) * | 2016-01-13 | 2016-06-22 | 广西师范大学 | 一种提高大数据上并行连接性能的负载平衡方法 |
CN105791427A (zh) * | 2016-04-22 | 2016-07-20 | 百度在线网络技术(北京)有限公司 | 资源热度补充方法、装置和系统 |
-
2016
- 2016-11-18 CN CN201611034692.7A patent/CN106506665B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080104609A1 (en) * | 2006-10-26 | 2008-05-01 | D Amora Bruce D | System and method for load balancing distributed simulations in virtual environments |
CN101232600A (zh) * | 2008-03-04 | 2008-07-30 | 华为技术有限公司 | 一种提供点播内容的方法、系统和装置 |
CN102508902A (zh) * | 2011-11-08 | 2012-06-20 | 西安电子科技大学 | 云存储系统中可变分块大小的块数据分块方法 |
CN103077221A (zh) * | 2012-12-29 | 2013-05-01 | 深圳先进技术研究院 | 一种海量数据自动放置装置和方法 |
CN103345430A (zh) * | 2013-07-03 | 2013-10-09 | 中国科学院高能物理研究所 | 分布式存储池的模糊平衡方法及系统 |
CN104424240A (zh) * | 2013-08-27 | 2015-03-18 | 腾讯科技(深圳)有限公司 | 多表关联方法、主服务节点、计算节点及系统 |
CN104301671A (zh) * | 2014-09-23 | 2015-01-21 | 同济大学 | Hdfs中基于事件密集度的交通监控视频存储方法 |
CN105554149A (zh) * | 2015-12-31 | 2016-05-04 | 康佳集团股份有限公司 | 一种基于视频排名的视频云存储负载均衡方法及系统 |
CN105701209A (zh) * | 2016-01-13 | 2016-06-22 | 广西师范大学 | 一种提高大数据上并行连接性能的负载平衡方法 |
CN105791427A (zh) * | 2016-04-22 | 2016-07-20 | 百度在线网络技术(北京)有限公司 | 资源热度补充方法、装置和系统 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107360395A (zh) * | 2017-06-21 | 2017-11-17 | 安徽森度科技有限公司 | 一种基于分布式部署的远程自适应视频诊断方法 |
CN107645541A (zh) * | 2017-08-24 | 2018-01-30 | 阿里巴巴集团控股有限公司 | 数据存储方法、装置及服务器 |
CN107645541B (zh) * | 2017-08-24 | 2021-03-02 | 创新先进技术有限公司 | 数据存储方法、装置及服务器 |
JP2019080115A (ja) * | 2017-10-20 | 2019-05-23 | 株式会社システム・ケイ | 映像管理装置、映像管理方法、及び映像管理プログラム、並びに監視システム |
WO2019141247A1 (zh) * | 2018-01-19 | 2019-07-25 | 杭州海康威视系统技术有限公司 | 负载均衡方法、装置及计算机可读存储介质 |
CN110062199A (zh) * | 2018-01-19 | 2019-07-26 | 杭州海康威视系统技术有限公司 | 负载均衡方法、装置及计算机可读存储介质 |
CN110062199B (zh) * | 2018-01-19 | 2020-07-10 | 杭州海康威视系统技术有限公司 | 负载均衡方法、装置及计算机可读存储介质 |
CN108600290A (zh) * | 2018-01-31 | 2018-09-28 | 天讯瑞达通信技术有限公司 | 一种移动视频直播/监控视频源分布式接入方法 |
CN108600290B (zh) * | 2018-01-31 | 2020-11-10 | 天讯瑞达通信技术有限公司 | 一种移动视频直播/监控视频源分布式接入方法 |
CN111581068A (zh) * | 2020-04-22 | 2020-08-25 | 北京华宇信息技术有限公司 | 终端的工作量计算方法及其装置、存储介质、终端、云服务系统 |
CN111953938A (zh) * | 2020-07-31 | 2020-11-17 | 中标慧安信息技术股份有限公司 | 监控视频轮换上传方法及系统 |
CN111953938B (zh) * | 2020-07-31 | 2021-06-22 | 中标慧安信息技术股份有限公司 | 监控视频轮换上传方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106506665B (zh) | 2019-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106506665B (zh) | 一种分布式视频监控系统的负载均衡方法及平台 | |
CN108229260B (zh) | 一种身份信息核验方法及系统 | |
CN104301671B (zh) | Hdfs中基于事件密集度的交通监控视频存储方法 | |
CN111882426A (zh) | 业务风险分类器训练方法、装置、设备及存储介质 | |
CN111695602A (zh) | 多维度任务人脸美丽预测方法、系统及存储介质 | |
CN111860590B (zh) | 车牌投票方法、装置、计算机设备和存储介质 | |
CN111738474A (zh) | 交通状态预测方法和装置 | |
US20180203636A1 (en) | Likelihood of access based object storage in a cloud environment | |
CN114138468B (zh) | 一种封装任务量自适应分配方法、装置及存储介质 | |
CN112187870B (zh) | 一种带宽平滑方法及装置 | |
US11249991B2 (en) | System and method for creating storage containers in a data storage system | |
US11544242B2 (en) | System and method for storing and retrieving data in different data spaces | |
CN116168462A (zh) | 基于智能巡检设备的安全隐患识别方法、装置和设备 | |
CN113807539B (zh) | 机器学习与图形算力的高复用方法、系统、介质及终端 | |
CN115499513A (zh) | 数据请求的处理方法、装置、计算机设备和存储介质 | |
CN114513498A (zh) | 文件传输校验方法、装置、计算机设备和存储介质 | |
US11330054B2 (en) | System and method for load balancing in a data storage system | |
CN113761033A (zh) | 基于档案数字化管理的信息整理方法及系统 | |
TW201837742A (zh) | 資料收集與儲存系統及其方法 | |
CN108984614B (zh) | 一种基于大数据环境下的视图像快速识别方法 | |
CN105812203A (zh) | 一种请求消息处理方法及设备 | |
CN106557469A (zh) | 一种处理数据仓库中数据的方法及装置 | |
CN118210658B (zh) | 基于人工智能的数据备份方法及系统 | |
CN113608909B (zh) | 数据处理方法、装置、设备、系统、存储介质及程序产品 | |
CN110597767B (zh) | 一种数据分割方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |