CN106506665A - 一种分布式视频监控系统的负载均衡方法及平台 - Google Patents

一种分布式视频监控系统的负载均衡方法及平台 Download PDF

Info

Publication number
CN106506665A
CN106506665A CN201611034692.7A CN201611034692A CN106506665A CN 106506665 A CN106506665 A CN 106506665A CN 201611034692 A CN201611034692 A CN 201611034692A CN 106506665 A CN106506665 A CN 106506665A
Authority
CN
China
Prior art keywords
node
video
file
load
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611034692.7A
Other languages
English (en)
Other versions
CN106506665B (zh
Inventor
徐晓阳
魏坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201611034692.7A priority Critical patent/CN106506665B/zh
Publication of CN106506665A publication Critical patent/CN106506665A/zh
Application granted granted Critical
Publication of CN106506665B publication Critical patent/CN106506665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请公开了一种分布式视频监控系统的负载均衡方法,包括:确定当前的视频存放任务中每个视频文件所对应的文件复杂度,并预估每个视频文件所对应的潜在访问度;利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量;按照基于节点负载需求量均衡分布原则确定的分组规则,对视频存放任务中的所有视频文件进行分组,得到N组视频文件;将N组视频文件分别保存至分布式视频监控系统中的N个节点。本申请实现了视频监控系统的负载均衡,提高了视频监控系统的存储性能,并有利于提升视频监控系统中的数据完整性和安全性。另外,本申请还相应公开了一种分布式视频监控系统的负载均衡平台。

Description

一种分布式视频监控系统的负载均衡方法及平台
技术领域
本发明涉及负载均衡技术领域,特别涉及一种分布式视频监控系统的负载均衡方法及平台。
背景技术
目前,随着视频监控行业的快速发展,采用高清摄像机的视频监控系统越来越多,所拍摄的画面质量也越来越清晰,这样使得视频监控系统中的监控数据容量呈爆炸性增长趋势。由于视频监控数据本身是非结构化数据,普通的关系型数据库根本无法满足其存储需求,导致海量视频监控数据的存储和安全性问题日益突出。
目前的现有技术中,主要是通过集中存储的方式来对视频监控数据进行存储。然而,由于视频数据量大,会导致存储节点的负载度变得非常大,这样会严重降低视频监控系统的存储性能,并且容易对视频监控数据的完整性和安全性造成不良影响。
综上所述可以看出,如何实现视频监控系统的负载均衡,以提升视频监控系统的存储性能是目前有待于解决的问题。
发明内容
有鉴于此,本发明的目的在于提供一种分布式视频监控系统的负载均衡方法及平台,实现了视频监控系统的负载均衡,由此提高了视频监控系统的存储性能,并有利于提升视频监控系统中的数据完整性和安全性。其具体方案如下:
一种分布式视频监控系统的负载均衡方法,包括:
确定当前的视频存放任务中每个视频文件所对应的文件复杂度,并预估每个视频文件所对应的潜在访问度;
利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量;
按照基于节点负载需求量均衡分布原则确定的分组规则,对所述视频存放任务中的所有视频文件进行分组,得到N组视频文件,N为正整数;
将所述N组视频文件分别保存至分布式视频监控系统中的N个节点。
优选的,所述确定当前的视频存放任务中每个视频文件所对应的文件复杂度的过程,包括:
利用每个视频文件的视频格式和/或文件大小,确定每个视频文件所对应的文件复杂度。
优选的,所述预估每个视频文件所对应的潜在访问度的过程,包括:
利用每个视频文件的采集时间信息和/或采集场所信息,预估每个视频文件所对应的潜在访问度。
优选的,所述利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量的过程,包括:
利用预先确定的文件复杂度权重和文件访问度权重,分别对每个视频文件所对应的文件复杂度和潜在访问度进行相应的加权平均处理,得到相应的加权平均数,并将每个加权平均数确定为相应视频文件所对应的节点负载需求量。
优选的,所述将所述N组视频文件分别保存至分布式视频监控系统中的N个节点的过程,包括:
确定当前所述分布式视频监控系统中每一节点的节点负载;
以节点负载大小为筛选依据,从所述分布式视频监控系统的所有节点中筛选出所述N个节点;其中,所述N个节点中的任一节点的节点负载均小于或等于其余未被筛选到的任一节点的节点负载;
将所述N组视频文件分别一对一地保存至所述N个节点。
优选的,确定当前所述分布式视频监控系统中目标节点的节点负载的过程,包括:
利用所述目标节点的运行状态参数,计算所述目标节点的运行负荷度;
对保存在所述目标节点中的每一视频文件的实际访问度进行相加处理,得到所述目标节点的节点访问度;
利用预先确定的运行负荷度权重和节点访问度权重,对所述目标节点的运行负荷度和节点访问度进行相应的加权平均处理,得到相应的加权平均数,并将该加权平均数确定为所述目标节点的节点负载;
其中,所述目标节点为所述分布式视频监控系统中的任一节点。
优选的,所述利用所述目标节点的运行状态参数,计算所述目标节点的运行负荷度的过程,包括:
获取所述目标节点的CPU使用率、宽带利用率、内存使用率和IO使用率;
对所述目标节点的CPU使用率、宽带利用率、内存使用率和IO使用率进行加权平均处理,得到相应的加权平均数,并将该加权平均数确定为所述目标节点的运行负荷度。
本发明还公开了一种分布式视频监控系统的负载均衡平台,包括:
信息确定模块,用于确定当前的视频存放任务中每个视频文件所对应的文件复杂度,并预估每个视频文件所对应的潜在访问度;
负载需求量计算模块,用于利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量;
文件分组模块,用于按照基于节点负载需求量均衡分布原则确定的分组规则,对所述视频存放任务中的所有视频文件进行分组,得到N组视频文件,N为正整数;
文件保存模块,用于将所述N组视频文件分别保存至分布式视频监控系统中的N个节点。
优选的,所述文件保存模块,包括:
节点负载确定子模块,用于确定当前所述分布式视频监控系统中每一节点的节点负载;
节点筛选子模块,用于以节点负载大小为筛选依据,从所述分布式视频监控系统的所有节点中筛选出所述N个节点;其中,所述N个节点中的任一节点的节点负载均小于或等于其余未被筛选到的任一节点的节点负载;
文件保存子模块,用于将所述N组视频文件分别一对一地保存至所述N个节点。
优选的,所述节点负载确定子模块,包括:
运行负荷度计算单元,用于利用所述目标节点的运行状态参数,计算所述目标节点的运行负荷度;
节点访问度计算单元,用于对保存在所述目标节点中的每一视频文件的实际访问度进行相加处理,得到所述目标节点的节点访问度;
节点负载计算单元,用于利用预先确定的运行负荷度权重和节点访问度权重,对所述目标节点的运行负荷度和节点访问度进行相应的加权平均处理,得到相应的加权平均数,并将该加权平均数确定为所述目标节点的节点负载;
其中,所述目标节点为所述分布式视频监控系统中的任一节点。
本发明中,负载均衡方法,包括:确定当前的视频存放任务中每个视频文件所对应的文件复杂度,并预估每个视频文件所对应的潜在访问度;利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量;按照基于节点负载需求量均衡分布原则确定的分组规则,对视频存放任务中的所有视频文件进行分组,得到N组视频文件;将N组视频文件分别保存至分布式视频监控系统中的N个节点。
可见,本发明中,先基于视频文件对应的文件复杂度和潜在访问度,计算视频文件对应的节点负载需求量,然后基于节点负载需求量均衡分布原则,对当前视频存放任务中的所有视频文件进行分组,这样可以使得每组视频文件之间的总节点负载需求量相同或大致相同,从而使得后续对上述每组视频文件分别进行存储的每个节点之间所增长的负载大致相同,由此实现了视频监控系统的负载均衡,提高了视频监控系统的存储性能,并有利于提升视频监控系统中的数据完整性和安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种分布式视频监控系统的负载均衡方法流程图;
图2为本发明实施例公开的一种分布式视频监控系统的负载均衡平台结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种分布式视频监控系统的负载均衡方法,本实施例中的分布式视频监控系统具体为基于Hadoop体系架构的视频监控系统,参见图1所示,本实施例中的负载均衡方法包括:
步骤S11:确定当前的视频存放任务中每个视频文件所对应的文件复杂度,并预估每个视频文件所对应的潜在访问度。
本实施例中,一个视频存放任务可以同时将多个视频文件存放至分布式视频监控系统。在获取到当前的视频存放任务后,本实施例先确定出该视频存放任务中每个视频文件的文件复杂度以及预估每个视频文件的潜在访问度。
可以理解的是,上述文件复杂度和潜在访问度的具体数值均大于或等于0,并且,小于或等于1。文件复杂度的数值越大,则意味着相应视频文件的复杂性越高,该视频文件所需的节点负载也就越大。
另外,上述视频文件的潜在访问度是指未来的单位时间段内,该视频文件可能的被访问次数与整个视频监控系统中所有视频文件可能的总被访问次数之间的比值。潜在访问度的数值越大,则意味着相应视频文件的可能被访问的次数就越大,这样该视频文件所需的节点负载也就越大。
需要进一步指出的,本实施例中,分布式视频监控系统中包括多种类型的视频采集设备,由于不同类型的视频采集设备所使用的视频格式可能会有所不同,这样使得上述视频存放任务中,可能会存在视频格式不相同的视屏文件。
步骤S12:利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量。
也即,本实施例同时基于视频文件的文件复杂度和潜在访问度,来确定出视频文件所需的节点负载。
为了便于比较,本实施例中,上述节点负载需求量采用归一化形式进行表示,也即,本实施例中节点负载需求量的数值大于或等于0,并且,小于或等于1。
步骤S13:按照基于节点负载需求量均衡分布原则确定的分组规则,对视频存放任务中的所有视频文件进行分组,得到N组视频文件,N为正整数。
可以理解的是,上述基于节点负载需求量均衡分布原则确定的分组规则,具体用于规定在进行视频文件分组时,所得到的每组视频文件之间的总节点负载需求量相同或大致相同。例如,假设上述视频存放任务中,需要对6个视频文件进行存放,其中,在这6个视频文件中,视频文件1的节点负载需求量为0.3,视频文件2的节点负载需求量为0.5,视频文件3的节点负载需求量为0.4,视频文件4的节点负载需求量为0.1,视频文件5的节点负载需求量为0.2,视频文件6的节点负载需求量为0.6,在这种情况下,可以将视频文件1和视频文件3分到同一组,将视频文件2和视频文件5分到同一组,将视频文件4和视频文件6分到同一组,以使得每组视频文件中的总节点负载需求量都相同,均为0.7。
另外,需要说明的是,本实施例中,在对视频存放任务中的所有视频文件进行分组时,所对应的分组组数可以由系统随机确定,但是不能大于分布式视频监控系统中的节点的总数。当然,也可以预先对上述分组组数进行设定,比如默认分为6组。另外,也可以由后台预先根据当前分布式视频监控系统中的所有节点的负载情况,来对上述分组组数进行确定。
步骤S14:将上述N组视频文件分别保存至分布式视频监控系统中的N个节点。
可见,本发明实施例中,先基于视频文件对应的文件复杂度和潜在访问度,计算视频文件对应的节点负载需求量,然后基于节点负载需求量均衡分布原则,对当前视频存放任务中的所有视频文件进行分组,这样可以使得每组视频文件之间的总节点负载需求量相同或大致相同,从而使得后续对上述每组视频文件分别进行存储的每个节点之间所增长的负载大致相同,由此实现了视频监控系统的负载均衡,提高了视频监控系统的存储性能,并有利于提升视频监控系统中的数据完整性和安全性。
本发明实施例公开了一种具体的分布式视频监控系统的负载均衡方法,相对于上一实施例,本实施例对技术方案作了进一步的说明和优化。具体的:
上一实施例步骤S11中,需要对当前的视频存放任务中每个视频文件所对应的文件复杂度进行确定。具体的,本实施例中,上述确定当前的视频存放任务中每个视频文件所对应的文件复杂度的过程,包括:
利用每个视频文件的视频格式和/或文件大小,确定每个视频文件所对应的文件复杂度。
本实施例中,视频文件的视频格式可以包括但不限于AVI、MP4、MPG、ASF、FLV、DAV、SV4和SV5等。需要说明的是,不同的视频格式对应于不同的视频压缩算法,能够反映出视频文件的复杂程度,除此之外,也可以将视频文件的文件大小作为反映其复杂程度的参数,基于此,本实施例可以基于视频格式和/或文件大小,确定每个视频文件所对应的文件复杂度。具体的,本实施例可以预先为不同的视频格式设定不同的第一类复杂系数,同理,也可以预先为不同范围的视频大小数值设定不同的第二类复杂系数。在获取到每个视频文件的视频格式和/或视频大小之后,相应地利用预先设定的信息确定每个视频文件的视频格式所对应的第一类复杂系数和/或确定每个视频文件的视频大小所对应的第二类复杂系数,进而利用相应的第一类复杂系数和/或第二类复杂系数,确定出视频文件的文件复杂度。如果只利用第一类复杂系数或第二类复杂系数来确定视频文件的文件复杂度,则第一类复杂系数或第二类复杂系数本身便作为相应视频文件的文件复杂度,如果需要同时利用第一类复杂系数和第二类复杂系数来确定视频文件的文件复杂度,则视频文件的文件复杂度具体可以由相应的第一类复杂系数和第二类复杂系数经过加权平均处理后得到。
另外,在上一实施例步骤S11中,还需要对每个视频文件所对应的潜在访问度进行预估。具体的,本实施例中,上述预估每个视频文件所对应的潜在访问度的过程,可以包括:
利用每个视频文件的采集时间信息和/或采集场所信息,预估每个视频文件所对应的潜在访问度。
本实施例中,视频文件的采集时间信息包括视频文件的采集日期以及采集时间段,视频文件的采集场所信息包括采集地点周围的环境信息。本实施例中,节假日里采集的视频文件所对应的潜在访问度高于非节假日采集的视频文件,夜晚采集的视频文件所对应的潜在访问度高于白天采集的视频文件,采集地点周围的人流量越大,相应视频文件所对应的潜在访问度就越高。
上一实施例步骤S12中,需要利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量。具体的,本实施例中,上述利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量的过程,可以包括:
利用预先确定的文件复杂度权重和文件访问度权重,分别对每个视频文件所对应的文件复杂度和潜在访问度进行相应的加权平均处理,得到相应的加权平均数,并将每个加权平均数确定为相应视频文件所对应的节点负载需求量。
本实施例中,文件复杂度权重和文件访问度权重均可以分别设为0.5,当然,也可以将文件复杂度权重设的比文件访问度高,例如,可以将文件复杂度权重设为0.6,文件访问度权重设为0.4。
上一实施例步骤S14中,将N组视频文件分别保存至分布式视频监控系统中的N个节点的过程,可以具体包括下面步骤S141至S143:
步骤S141:确定当前分布式视频监控系统中每一节点的节点负载;
步骤S142:以节点负载大小为筛选依据,从分布式视频监控系统的所有节点中筛选出N个节点;其中,上述N个节点中的任一节点的节点负载均小于或等于其余未被筛选到的任一节点的节点负载;
步骤S143:将上述N组视频文件分别一对一地保存至上述N个节点。
也即,本实施例在得到上述N组视频文件之后,可以从分布式视频监控系统中筛选出当前节点负载较小的N个节点,然后将上述N组视频文件分别一对一地保存至上述N个节点。
另外,上述步骤S141中,确定当前分布式视频监控系统中目标节点的节点负载的过程,具体可以包括下面步骤S1411至S1413:
步骤S1411:利用目标节点的运行状态参数,计算目标节点的运行负荷度;
步骤S1412:对保存在目标节点中的每一视频文件的实际访问度进行相加处理,得到目标节点的节点访问度;
步骤S1413:利用预先确定的运行负荷度权重和节点访问度权重,对目标节点的运行负荷度和节点访问度进行相应的加权平均处理,得到相应的加权平均数,并将该加权平均数确定为目标节点的节点负载;
可以理解的是,上述目标节点为分布式视频监控系统中的任一节点。
另外,需要说明的是,上述视频文件的实际访问度是指单位历史时间段内,该视频文件被访问的次数与整个视频监控系统中所有视频文件总的被访问次数之间的比值。
具体的,上述步骤S1411中,利用目标节点的运行状态参数,计算目标节点的运行负荷度的过程,具体可以包括:
获取目标节点的CPU使用率、宽带利用率、内存使用率和IO使用率,然后对目标节点的CPU使用率、宽带利用率、内存使用率和IO使用率进行加权平均处理,得到相应的加权平均数,并将该加权平均数确定为目标节点的运行负荷度。
相应的,本发明实施例中还公开了一种分布式视频监控系统的负载均衡平台,参见图2所示,该平台包括:
信息确定模块11,用于确定当前的视频存放任务中每个视频文件所对应的文件复杂度,并预估每个视频文件所对应的潜在访问度;
负载需求量计算模块12,用于利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量;
文件分组模块13,用于按照基于节点负载需求量均衡分布原则确定的分组规则,对视频存放任务中的所有视频文件进行分组,得到N组视频文件,N为正整数;
文件保存模块14,用于将上述N组视频文件分别保存至分布式视频监控系统中的N个节点。
可见,本发明实施例中,先基于视频文件对应的文件复杂度和潜在访问度,计算视频文件对应的节点负载需求量,然后基于节点负载需求量均衡分布原则,对当前视频存放任务中的所有视频文件进行分组,这样可以使得每组视频文件之间的总节点负载需求量相同或大致相同,从而使得后续对上述每组视频文件分别进行存储的每个节点之间所增长的负载大致相同,由此实现了视频监控系统的负载均衡,提高了视频监控系统的存储性能,并有利于提升视频监控系统中的数据完整性和安全性。
具体的,上述文件保存模块,包括节点负载确定子模块、节点筛选子模块和文件保存子模块;其中,
节点负载确定子模块,用于确定当前分布式视频监控系统中每一节点的节点负载;
节点筛选子模块,用于以节点负载大小为筛选依据,从分布式视频监控系统的所有节点中筛选出N个节点;其中,上述N个节点中的任一节点的节点负载均小于或等于其余未被筛选到的任一节点的节点负载;
文件保存子模块,用于将上述N组视频文件分别一对一地保存至上述N个节点。
另外,上述节点负载确定子模块,包括运行负荷度计算单元、节点访问度计算单元和节点负载计算单元;其中,
运行负荷度计算单元,用于利用目标节点的运行状态参数,计算目标节点的运行负荷度;
节点访问度计算单元,用于对保存在目标节点中的每一视频文件的实际访问度进行相加处理,得到目标节点的节点访问度;
节点负载计算单元,用于利用预先确定的运行负荷度权重和节点访问度权重,对目标节点的运行负荷度和节点访问度进行相应的加权平均处理,得到相应的加权平均数,并将该加权平均数确定为目标节点的节点负载;
其中,上述目标节点为分布式视频监控系统中的任一节点。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种分布式视频监控系统的负载均衡方法及平台进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种分布式视频监控系统的负载均衡方法,其特征在于,包括:
确定当前的视频存放任务中每个视频文件所对应的文件复杂度,并预估每个视频文件所对应的潜在访问度;
利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量;
按照基于节点负载需求量均衡分布原则确定的分组规则,对所述视频存放任务中的所有视频文件进行分组,得到N组视频文件,N为正整数;
将所述N组视频文件分别保存至分布式视频监控系统中的N个节点。
2.根据权利要求1所述的分布式视频监控系统的负载均衡方法,其特征在于,所述确定当前的视频存放任务中每个视频文件所对应的文件复杂度的过程,包括:
利用每个视频文件的视频格式和/或文件大小,确定每个视频文件所对应的文件复杂度。
3.根据权利要求1所述的分布式视频监控系统的负载均衡方法,其特征在于,所述预估每个视频文件所对应的潜在访问度的过程,包括:
利用每个视频文件的采集时间信息和/或采集场所信息,预估每个视频文件所对应的潜在访问度。
4.根据权利要求1所述的分布式视频监控系统的负载均衡方法,其特征在于,所述利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量的过程,包括:
利用预先确定的文件复杂度权重和文件访问度权重,分别对每个视频文件所对应的文件复杂度和潜在访问度进行相应的加权平均处理,得到相应的加权平均数,并将每个加权平均数确定为相应视频文件所对应的节点负载需求量。
5.根据权利要求1至4任一项所述的分布式视频监控系统的负载均衡方法,其特征在于,所述将所述N组视频文件分别保存至分布式视频监控系统中的N个节点的过程,包括:
确定当前所述分布式视频监控系统中每一节点的节点负载;
以节点负载大小为筛选依据,从所述分布式视频监控系统的所有节点中筛选出所述N个节点;其中,所述N个节点中的任一节点的节点负载均小于或等于其余未被筛选到的任一节点的节点负载;
将所述N组视频文件分别一对一地保存至所述N个节点。
6.根据权利要求5所述的分布式视频监控系统的负载均衡方法,其特征在于,确定当前所述分布式视频监控系统中目标节点的节点负载的过程,包括:
利用所述目标节点的运行状态参数,计算所述目标节点的运行负荷度;
对保存在所述目标节点中的每一视频文件的实际访问度进行相加处理,得到所述目标节点的节点访问度;
利用预先确定的运行负荷度权重和节点访问度权重,对所述目标节点的运行负荷度和节点访问度进行相应的加权平均处理,得到相应的加权平均数,并将该加权平均数确定为所述目标节点的节点负载;
其中,所述目标节点为所述分布式视频监控系统中的任一节点。
7.根据权利要求6所述的分布式视频监控系统的负载均衡方法,其特征在于,所述利用所述目标节点的运行状态参数,计算所述目标节点的运行负荷度的过程,包括:
获取所述目标节点的CPU使用率、宽带利用率、内存使用率和IO使用率;
对所述目标节点的CPU使用率、宽带利用率、内存使用率和IO使用率进行加权平均处理,得到相应的加权平均数,并将该加权平均数确定为所述目标节点的运行负荷度。
8.一种分布式视频监控系统的负载均衡平台,其特征在于,包括:
信息确定模块,用于确定当前的视频存放任务中每个视频文件所对应的文件复杂度,并预估每个视频文件所对应的潜在访问度;
负载需求量计算模块,用于利用每个视频文件所对应的文件复杂度和潜在访问度,计算每个视频文件所对应的节点负载需求量;
文件分组模块,用于按照基于节点负载需求量均衡分布原则确定的分组规则,对所述视频存放任务中的所有视频文件进行分组,得到N组视频文件,N为正整数;
文件保存模块,用于将所述N组视频文件分别保存至分布式视频监控系统中的N个节点。
9.根据权利要求8所述的分布式视频监控系统的负载均衡平台,其特征在于,所述文件保存模块,包括:
节点负载确定子模块,用于确定当前所述分布式视频监控系统中每一节点的节点负载;
节点筛选子模块,用于以节点负载大小为筛选依据,从所述分布式视频监控系统的所有节点中筛选出所述N个节点;其中,所述N个节点中的任一节点的节点负载均小于或等于其余未被筛选到的任一节点的节点负载;
文件保存子模块,用于将所述N组视频文件分别一对一地保存至所述N个节点。
10.根据权利要求9所述的分布式视频监控系统的负载均衡平台,其特征在于,所述节点负载确定子模块,包括:
运行负荷度计算单元,用于利用所述目标节点的运行状态参数,计算所述目标节点的运行负荷度;
节点访问度计算单元,用于对保存在所述目标节点中的每一视频文件的实际访问度进行相加处理,得到所述目标节点的节点访问度;
节点负载计算单元,用于利用预先确定的运行负荷度权重和节点访问度权重,对所述目标节点的运行负荷度和节点访问度进行相应的加权平均处理,得到相应的加权平均数,并将该加权平均数确定为所述目标节点的节点负载;
其中,所述目标节点为所述分布式视频监控系统中的任一节点。
CN201611034692.7A 2016-11-18 2016-11-18 一种分布式视频监控系统的负载均衡方法及平台 Active CN106506665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611034692.7A CN106506665B (zh) 2016-11-18 2016-11-18 一种分布式视频监控系统的负载均衡方法及平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611034692.7A CN106506665B (zh) 2016-11-18 2016-11-18 一种分布式视频监控系统的负载均衡方法及平台

Publications (2)

Publication Number Publication Date
CN106506665A true CN106506665A (zh) 2017-03-15
CN106506665B CN106506665B (zh) 2019-09-24

Family

ID=58327433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611034692.7A Active CN106506665B (zh) 2016-11-18 2016-11-18 一种分布式视频监控系统的负载均衡方法及平台

Country Status (1)

Country Link
CN (1) CN106506665B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107360395A (zh) * 2017-06-21 2017-11-17 安徽森度科技有限公司 一种基于分布式部署的远程自适应视频诊断方法
CN107645541A (zh) * 2017-08-24 2018-01-30 阿里巴巴集团控股有限公司 数据存储方法、装置及服务器
CN108600290A (zh) * 2018-01-31 2018-09-28 天讯瑞达通信技术有限公司 一种移动视频直播/监控视频源分布式接入方法
JP2019080115A (ja) * 2017-10-20 2019-05-23 株式会社システム・ケイ 映像管理装置、映像管理方法、及び映像管理プログラム、並びに監視システム
WO2019141247A1 (zh) * 2018-01-19 2019-07-25 杭州海康威视系统技术有限公司 负载均衡方法、装置及计算机可读存储介质
CN111581068A (zh) * 2020-04-22 2020-08-25 北京华宇信息技术有限公司 终端的工作量计算方法及其装置、存储介质、终端、云服务系统
CN111953938A (zh) * 2020-07-31 2020-11-17 中标慧安信息技术股份有限公司 监控视频轮换上传方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080104609A1 (en) * 2006-10-26 2008-05-01 D Amora Bruce D System and method for load balancing distributed simulations in virtual environments
CN101232600A (zh) * 2008-03-04 2008-07-30 华为技术有限公司 一种提供点播内容的方法、系统和装置
CN102508902A (zh) * 2011-11-08 2012-06-20 西安电子科技大学 云存储系统中可变分块大小的块数据分块方法
CN103077221A (zh) * 2012-12-29 2013-05-01 深圳先进技术研究院 一种海量数据自动放置装置和方法
CN103345430A (zh) * 2013-07-03 2013-10-09 中国科学院高能物理研究所 分布式存储池的模糊平衡方法及系统
CN104301671A (zh) * 2014-09-23 2015-01-21 同济大学 Hdfs中基于事件密集度的交通监控视频存储方法
CN104424240A (zh) * 2013-08-27 2015-03-18 腾讯科技(深圳)有限公司 多表关联方法、主服务节点、计算节点及系统
CN105554149A (zh) * 2015-12-31 2016-05-04 康佳集团股份有限公司 一种基于视频排名的视频云存储负载均衡方法及系统
CN105701209A (zh) * 2016-01-13 2016-06-22 广西师范大学 一种提高大数据上并行连接性能的负载平衡方法
CN105791427A (zh) * 2016-04-22 2016-07-20 百度在线网络技术(北京)有限公司 资源热度补充方法、装置和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080104609A1 (en) * 2006-10-26 2008-05-01 D Amora Bruce D System and method for load balancing distributed simulations in virtual environments
CN101232600A (zh) * 2008-03-04 2008-07-30 华为技术有限公司 一种提供点播内容的方法、系统和装置
CN102508902A (zh) * 2011-11-08 2012-06-20 西安电子科技大学 云存储系统中可变分块大小的块数据分块方法
CN103077221A (zh) * 2012-12-29 2013-05-01 深圳先进技术研究院 一种海量数据自动放置装置和方法
CN103345430A (zh) * 2013-07-03 2013-10-09 中国科学院高能物理研究所 分布式存储池的模糊平衡方法及系统
CN104424240A (zh) * 2013-08-27 2015-03-18 腾讯科技(深圳)有限公司 多表关联方法、主服务节点、计算节点及系统
CN104301671A (zh) * 2014-09-23 2015-01-21 同济大学 Hdfs中基于事件密集度的交通监控视频存储方法
CN105554149A (zh) * 2015-12-31 2016-05-04 康佳集团股份有限公司 一种基于视频排名的视频云存储负载均衡方法及系统
CN105701209A (zh) * 2016-01-13 2016-06-22 广西师范大学 一种提高大数据上并行连接性能的负载平衡方法
CN105791427A (zh) * 2016-04-22 2016-07-20 百度在线网络技术(北京)有限公司 资源热度补充方法、装置和系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107360395A (zh) * 2017-06-21 2017-11-17 安徽森度科技有限公司 一种基于分布式部署的远程自适应视频诊断方法
CN107645541A (zh) * 2017-08-24 2018-01-30 阿里巴巴集团控股有限公司 数据存储方法、装置及服务器
CN107645541B (zh) * 2017-08-24 2021-03-02 创新先进技术有限公司 数据存储方法、装置及服务器
JP2019080115A (ja) * 2017-10-20 2019-05-23 株式会社システム・ケイ 映像管理装置、映像管理方法、及び映像管理プログラム、並びに監視システム
WO2019141247A1 (zh) * 2018-01-19 2019-07-25 杭州海康威视系统技术有限公司 负载均衡方法、装置及计算机可读存储介质
CN110062199A (zh) * 2018-01-19 2019-07-26 杭州海康威视系统技术有限公司 负载均衡方法、装置及计算机可读存储介质
CN110062199B (zh) * 2018-01-19 2020-07-10 杭州海康威视系统技术有限公司 负载均衡方法、装置及计算机可读存储介质
CN108600290A (zh) * 2018-01-31 2018-09-28 天讯瑞达通信技术有限公司 一种移动视频直播/监控视频源分布式接入方法
CN108600290B (zh) * 2018-01-31 2020-11-10 天讯瑞达通信技术有限公司 一种移动视频直播/监控视频源分布式接入方法
CN111581068A (zh) * 2020-04-22 2020-08-25 北京华宇信息技术有限公司 终端的工作量计算方法及其装置、存储介质、终端、云服务系统
CN111953938A (zh) * 2020-07-31 2020-11-17 中标慧安信息技术股份有限公司 监控视频轮换上传方法及系统
CN111953938B (zh) * 2020-07-31 2021-06-22 中标慧安信息技术股份有限公司 监控视频轮换上传方法及系统

Also Published As

Publication number Publication date
CN106506665B (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN106506665B (zh) 一种分布式视频监控系统的负载均衡方法及平台
CN108229260B (zh) 一种身份信息核验方法及系统
CN104301671B (zh) Hdfs中基于事件密集度的交通监控视频存储方法
CN111882426A (zh) 业务风险分类器训练方法、装置、设备及存储介质
CN111695602A (zh) 多维度任务人脸美丽预测方法、系统及存储介质
CN111860590B (zh) 车牌投票方法、装置、计算机设备和存储介质
CN111738474A (zh) 交通状态预测方法和装置
US20180203636A1 (en) Likelihood of access based object storage in a cloud environment
CN114138468B (zh) 一种封装任务量自适应分配方法、装置及存储介质
CN112187870B (zh) 一种带宽平滑方法及装置
US11249991B2 (en) System and method for creating storage containers in a data storage system
US11544242B2 (en) System and method for storing and retrieving data in different data spaces
CN116168462A (zh) 基于智能巡检设备的安全隐患识别方法、装置和设备
CN113807539B (zh) 机器学习与图形算力的高复用方法、系统、介质及终端
CN115499513A (zh) 数据请求的处理方法、装置、计算机设备和存储介质
CN114513498A (zh) 文件传输校验方法、装置、计算机设备和存储介质
US11330054B2 (en) System and method for load balancing in a data storage system
CN113761033A (zh) 基于档案数字化管理的信息整理方法及系统
TW201837742A (zh) 資料收集與儲存系統及其方法
CN108984614B (zh) 一种基于大数据环境下的视图像快速识别方法
CN105812203A (zh) 一种请求消息处理方法及设备
CN106557469A (zh) 一种处理数据仓库中数据的方法及装置
CN118210658B (zh) 基于人工智能的数据备份方法及系统
CN113608909B (zh) 数据处理方法、装置、设备、系统、存储介质及程序产品
CN110597767B (zh) 一种数据分割方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant