CN104581423A - 一种海量视频智能分析系统的综合调度和负载均衡方法 - Google Patents

一种海量视频智能分析系统的综合调度和负载均衡方法 Download PDF

Info

Publication number
CN104581423A
CN104581423A CN201310475525.6A CN201310475525A CN104581423A CN 104581423 A CN104581423 A CN 104581423A CN 201310475525 A CN201310475525 A CN 201310475525A CN 104581423 A CN104581423 A CN 104581423A
Authority
CN
China
Prior art keywords
video
server
task
analysis
integrated dispatch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310475525.6A
Other languages
English (en)
Inventor
王汗
王安
杜海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Changfeng Science Technology Industry Group Corp
Original Assignee
China Changfeng Science Technology Industry Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Changfeng Science Technology Industry Group Corp filed Critical China Changfeng Science Technology Industry Group Corp
Priority to CN201310475525.6A priority Critical patent/CN104581423A/zh
Publication of CN104581423A publication Critical patent/CN104581423A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2405—Monitoring of the internal components or processes of the server, e.g. server load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load

Abstract

本发明涉及一种海量视频智能分析系统的综合调度和负载均衡方法，前端为客户端，后台为一台综合调度服务器、多台视频分析服务器、一台文件传送服务器；综合调度服务器负责接收到客户端的分析任务，对大数据文件按文件大小、数量及时间长度进行分解，并建立任务映射模型；视频分析服务器定时向综合调度服务器汇报自身运行状态；综合调度服务器根据分析任务的优先级、每台视频分析服务器的状态，将任务分配到适当的视频分析服务器，同时根据各视频分析服务器的状态动态调整任务的分配结果；所述文件传送服务器接收视频分析服务器的分析结果，将进行分析结果合成并传送到客户端。

Description

一种海量视频智能分析系统的综合调度和负载均衡方法
技术领域
本发明是基于城域海量视频的事件快速检索平台而提供的一种海量视频智能分析系统综合调度和负载均衡方法，
背景技术
基于城域海量视频的事件轨迹快速检索平台涉及视频图像处理技术、分布式处理技术、海量数据分析处理技术等。由于海量监控视频的信息量巨大，对其进行智能分析一般需要较长时间。在一种名为“基于海量视频的事件轨迹快速检索平台”的海量视频智能分析系统中，针对视频智能分析处理占用运算资源多、耗费时间长等特点，对传统的分析方法进行了改进，前端以客户端为用户提供操作界面，后台以多台服务器为客户端提供视频智能分析服务。为了保证后台的多台视频分析服务器能够并行稳定运行，需要提出一种视频分析任务调度和负载均衡策略，通过合理调度视频分析任务，节约视频分析时间，提升事件处置效率。
发明内容
本发明的目的在于提供一种海量视频智能分析系统的综合调度和负载均衡方法，采用大数据视频文件分解和任务动态分配的综合调度和负载均衡策略，实现视频摘要、视频内容检索、图像清晰化等视频分析任务的合理调度。
本发明的技术方案如下：
一种海量视频智能分析系统的综合调度和负载均衡方法，所述海量视频智能分析系统的前端为客户端，后台为多台服务器，所述客户端为任务发起端，将视频智能分析任务发送到后台服务器进行处理，后台服务器将处理结果返回客户端，其特征在于：
所述后台服务器包括一台综合调度服务器、多台视频分析服务器、一台文件传送服务器；
所述综合调度服务器负责接收到客户端的分析任务，对大数据文件按文件大小、数量及时间长度进行分解，对于网络视频流和大视频文件，将其分成连续时间段的视频片段，生成一个包含多个子任务的视频映射表，由综合调度服务器统一管理；对于数量比较大的图片信息，将其分成数量等份的图片集，生成一个包含多个子任务的图片集映射表，由综合调度服务器统一管理：
所述多台视频分析服务器定时向综合调度服务器汇报自身运行状态，包括自身的CPU使用率、内存使用率、当前任务参数、当前任务执行进度、等待任务个数及参数信息；
所述综合调度服务器根据分析任务的优先级、每台视频分析服务器的状态，将所述子任务分配到适当的视频分析服务器上，同时根据各视频分析服务器的状态动态调整所述子任务的分配结果；
所述文件传送服务器接收视频分析服务器的分析结果，将进行分析结果合成并传送到客户端。
本发明采用大数据视频文件分解和任务动态分配实现了重负载任务合理分解，并分担到多个视频分析服务器，提高了系统处理能力，节约了视频分析时间，提升了事件处置效率，同时充分利用现有的硬件资源，提高了分析服务器的使用率。
附图说明
图1所示为本发明的任务分解及任务分配方式示意图。
具体实施方式
本发明一种海量视频智能分析系统的综合调度和负载均衡方法，所述海量视频智能分析系统的前端为客户端，后台为多台服务器。所述客户端为任务发起端，将视频智能分析任务发送到后台服务器进行处理；后台服务器包括一台综合调度服务器、多台视频分析服务器、一台文件传送服务器，其中综合调度服务器实现任务的合理调度和整个系统的负载均衡，视频分析服务器实现视频摘要、视频内容检索及图像清晰化处理，并且支持动态扩展，文件传送服务器实现视频分析结果的合成、存储、上传及下载等。
本发明的关键技术包括视频文件的分解和任务的动态分配。
视频文件的分解主要是根据视频文件的长度、数量及大小进行合理的分解，并建立任务映射模型。
任务的动态分配主要是根据各视频分析服务器的运行状态及任务优先级，动态进行任务分配。
本发明的具体实现过程如下：
如图1所示，所述综合调度服务器负责接收到客户端的分析任务，对大数据文件按文件大小、数量及时间长度进行分解，对于网络视频流和大视频文件，将其分成连续时间段的视频片段，生成一个包含多个子任务的视频映射表，由综合调度服务器统一管理；对于数量比较大的图片信息，将其分成数量等份的图片集，生成一个包含多个子任务的图片集映射表，由综合调度服务器统一管理；
所述多台视频分析服务器定时向综合调度服务器汇报自身运行状态，包括自身的CPU使用率、内存使用率、当前任务参数、当前任务执行进度、等待任务个数及参数信息；
所述综合调度服务器根据分析任务的优先级、每台视频分析服务器的状态，将所述子任务分配到适当的视频分析服务器上，同时根据各视频分析服务器的状态动态调整所述子任务的分配结果；
所述文件传送服务器接收视频分析服务器的分析结果，将进行分析结果合成并传送到客户端。

Claims (1)

1.一种海量视频智能分析系统的综合调度和负载均衡方法，所述海量视频智能分析系统的前端为客户端，后台为多台服务器，所述客户端为任务发起端，将视频智能分析任务发送到后台服务器进行处理，后台服务器将处理结果返回客户端，其特征在于：
所述后台服务器包括一台综合调度服务器、多台视频分析服务器、一台文件传送服务器；
所述综合调度服务器负责接收到客户端的分析任务，对大数据文件按文件大小、数量及时间长度进行分解，对于网络视频流和大视频文件，将其分成连续时间段的视频片段，生成一个包含多个子任务的视频映射表，由综合调度服务器统一管理；对于数量比较大的图片信息，将其分成数量等份的图片集，生成一个包含多个子任务的图片集映射表，由综合调度服务器统一管理；
所述多台视频分析服务器定时向综合调度服务器汇报自身运行状态，包括自身的CPU使用率、内存使用率、当前任务参数、当前任务执行进度、等待任务个数及参数信息；
所述综合调度服务器根据分析任务的优先级、每台视频分析服务器的状态，将所述子任务分配到适当的视频分析服务器上，同时根据各视频分析服务器的状态动态调整所述子任务的分配结果；
所述文件传送服务器接收视频分析服务器的分析结果，将进行分析结果合成并传送到客户端。
CN201310475525.6A 2013-10-12 2013-10-12 一种海量视频智能分析系统的综合调度和负载均衡方法 Pending CN104581423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310475525.6A CN104581423A (zh) 2013-10-12 2013-10-12 一种海量视频智能分析系统的综合调度和负载均衡方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310475525.6A CN104581423A (zh) 2013-10-12 2013-10-12 一种海量视频智能分析系统的综合调度和负载均衡方法

Publications (1)

Publication Number Publication Date
CN104581423A true CN104581423A (zh) 2015-04-29

Family

ID=53096461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310475525.6A Pending CN104581423A (zh) 2013-10-12 2013-10-12 一种海量视频智能分析系统的综合调度和负载均衡方法

Country Status (1)

Country Link
CN (1) CN104581423A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404644A (zh) * 2015-10-27 2016-03-16 北京红马传媒文化发展有限公司 一种舆情信息处理方法和系统
CN106331616A (zh) * 2016-08-23 2017-01-11 武汉烽火众智数字技术有限责任公司 一种基于异构环境的海量视频结构化分析系统及方法
CN106375721A (zh) * 2016-09-14 2017-02-01 重庆邮电大学 一种基于云平台的智能视频监控系统
CN107707930A (zh) * 2016-08-09 2018-02-16 北京奇虎科技有限公司 视频处理方法、装置及系统
WO2018113553A1 (zh) * 2016-12-21 2018-06-28 杭州海康威视数字技术股份有限公司 图片分析方法及装置
CN109086152A (zh) * 2017-06-14 2018-12-25 杭州海康威视数字技术股份有限公司 图片分析方法、装置及系统、计算机设备及存储介质
CN109753849A (zh) * 2017-11-03 2019-05-14 杭州海康威视数字技术股份有限公司 处理视频分析任务的方法和装置
CN109874036A (zh) * 2018-12-29 2019-06-11 中兴飞流信息科技有限公司 一种视频分析方法及装置、设备、存储介质
CN110162666A (zh) * 2019-06-26 2019-08-23 银河水滴科技（北京）有限公司 一种检索任务的执行方法及执行装置
CN110275985A (zh) * 2019-06-26 2019-09-24 银河水滴科技（北京）有限公司 一种视频检索任务的处理方法及处理装置
WO2020001427A1 (zh) * 2018-06-28 2020-01-02 杭州海康威视数字技术股份有限公司 一种分析任务执行方法、装置、系统及电子设备
WO2020057178A1 (zh) * 2018-09-21 2020-03-26 华为技术有限公司 智能分析设备资源调整方法及装置
CN111343290A (zh) * 2020-05-22 2020-06-26 南京江北新区科技投资集团有限公司 一种具备负载均衡功能的云平台系统
CN111667355A (zh) * 2020-05-29 2020-09-15 北京睿知图远科技有限公司 一种大数据分析方法与系统
CN113329139A (zh) * 2020-02-28 2021-08-31 中国电信股份有限公司 视频流处理方法、装置及计算机可读存储介质
CN114301816A (zh) * 2022-01-11 2022-04-08 浪潮软件集团有限公司 一种多路分析方法及装置
CN114697705A (zh) * 2020-12-29 2022-07-01 深圳云天励飞技术股份有限公司 视频流对象处理方法、装置、视频流处理系统、电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005235170A (ja) * 2003-12-05 2005-09-02 Gretech Co Ltd 注文型マルチメディア・コンテンツ提供システムおよびその方法
CN101808126A (zh) * 2010-03-12 2010-08-18 清华大学 一种用于实时视频处理的分布式计算系统和方法
CN102663005A (zh) * 2012-03-19 2012-09-12 杭州海康威视系统技术有限公司 基于云计算的海量视频文件存储系统、分析方法及其系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005235170A (ja) * 2003-12-05 2005-09-02 Gretech Co Ltd 注文型マルチメディア・コンテンツ提供システムおよびその方法
CN101808126A (zh) * 2010-03-12 2010-08-18 清华大学 一种用于实时视频处理的分布式计算系统和方法
CN102663005A (zh) * 2012-03-19 2012-09-12 杭州海康威视系统技术有限公司 基于云计算的海量视频文件存储系统、分析方法及其系统

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404644A (zh) * 2015-10-27 2016-03-16 北京红马传媒文化发展有限公司 一种舆情信息处理方法和系统
CN107707930A (zh) * 2016-08-09 2018-02-16 北京奇虎科技有限公司 视频处理方法、装置及系统
CN107707930B (zh) * 2016-08-09 2021-01-15 北京奇虎科技有限公司 视频处理方法、装置及系统
CN106331616A (zh) * 2016-08-23 2017-01-11 武汉烽火众智数字技术有限责任公司 一种基于异构环境的海量视频结构化分析系统及方法
CN106375721A (zh) * 2016-09-14 2017-02-01 重庆邮电大学 一种基于云平台的智能视频监控系统
CN108235134B (zh) * 2016-12-21 2019-12-13 杭州海康威视数字技术股份有限公司 图片分析方法及装置
WO2018113553A1 (zh) * 2016-12-21 2018-06-28 杭州海康威视数字技术股份有限公司 图片分析方法及装置
CN108235134A (zh) * 2016-12-21 2018-06-29 杭州海康威视数字技术股份有限公司 图片分析方法及装置
US11037297B2 (en) 2016-12-21 2021-06-15 Hangzhou Hikvision Digital Technology Co., Ltd. Image analysis method and device
CN109086152A (zh) * 2017-06-14 2018-12-25 杭州海康威视数字技术股份有限公司 图片分析方法、装置及系统、计算机设备及存储介质
CN109086152B (zh) * 2017-06-14 2021-12-14 杭州海康威视数字技术股份有限公司 图片分析方法、装置及系统、计算机设备及存储介质
CN109753849A (zh) * 2017-11-03 2019-05-14 杭州海康威视数字技术股份有限公司 处理视频分析任务的方法和装置
CN109753849B (zh) * 2017-11-03 2021-08-17 杭州海康威视数字技术股份有限公司 处理视频分析任务的方法和装置
WO2020001427A1 (zh) * 2018-06-28 2020-01-02 杭州海康威视数字技术股份有限公司 一种分析任务执行方法、装置、系统及电子设备
US11537810B2 (en) 2018-09-21 2022-12-27 Huawei Technologies Co., Ltd. Method for adjusting resource of intelligent analysis device and apparatus
WO2020057178A1 (zh) * 2018-09-21 2020-03-26 华为技术有限公司 智能分析设备资源调整方法及装置
CN109874036A (zh) * 2018-12-29 2019-06-11 中兴飞流信息科技有限公司 一种视频分析方法及装置、设备、存储介质
CN109874036B (zh) * 2018-12-29 2021-06-04 中兴飞流信息科技有限公司 一种视频分析方法及装置、设备、存储介质
CN110162666A (zh) * 2019-06-26 2019-08-23 银河水滴科技（北京）有限公司 一种检索任务的执行方法及执行装置
CN110275985A (zh) * 2019-06-26 2019-09-24 银河水滴科技（北京）有限公司 一种视频检索任务的处理方法及处理装置
CN113329139B (zh) * 2020-02-28 2023-11-03 天翼云科技有限公司 视频流处理方法、装置及计算机可读存储介质
CN113329139A (zh) * 2020-02-28 2021-08-31 中国电信股份有限公司 视频流处理方法、装置及计算机可读存储介质
CN111343290A (zh) * 2020-05-22 2020-06-26 南京江北新区科技投资集团有限公司 一种具备负载均衡功能的云平台系统
CN111667355A (zh) * 2020-05-29 2020-09-15 北京睿知图远科技有限公司 一种大数据分析方法与系统
CN114697705A (zh) * 2020-12-29 2022-07-01 深圳云天励飞技术股份有限公司 视频流对象处理方法、装置、视频流处理系统、电子设备
CN114697705B (zh) * 2020-12-29 2024-03-22 深圳云天励飞技术股份有限公司 视频流对象处理方法、装置、视频流处理系统、电子设备
CN114301816A (zh) * 2022-01-11 2022-04-08 浪潮软件集团有限公司 一种多路分析方法及装置

Similar Documents

Publication Publication Date Title
CN104581423A (zh) 一种海量视频智能分析系统的综合调度和负载均衡方法
CN101917326B (zh) 一种分布式转码系统及其任务调度方法
US20160140359A1 (en) System and method for distributed computation using heterogeneous computing nodes
CN105718479A (zh) 跨idc大数处理架构下执行策略生成方法、装置
CN103941662A (zh) 一种基于云计算的任务调度系统和调度方法
CN104915407A (zh) 一种基于Hadoop多作业环境下的资源调度方法
CN101652750B (zh) 数据处理装置、分散处理系统、数据处理方法
CN109788315A (zh) 视频转码方法、装置及系统
CN107038071B (zh) 一种基于数据流预测的Storm任务伸缩调度算法
Calafiura et al. The ATLAS Event Service: A new approach to event processing
US11256547B2 (en) Efficient allocation of cloud computing resources to job requests
CN104168310A (zh) 云端虚拟服务器的调度方法及装置
CN106657099B (zh) 一种Spark数据分析服务发布系统
CN108132840B (zh) 一种分布式系统中的资源调度方法及装置
CN113515363B (zh) 面向异型任务高并发的多层次数据处理系统动态调度平台
CN112948088B (zh) 一种云计算平台中的云工作流智能管理与调度系统
CN114138488A (zh) 一种基于弹性高性能计算的云原生实现方法及系统
CN109672731A (zh) 一种分布式节点信息监测方法、系统及应用
CN201726426U (zh) 基于云计算的互联网信息监测系统
CN110879753B (zh) 基于自动化集群资源管理的gpu加速性能优化方法和系统
RU2009102806A (ru) Интеллектуальная грид-система
CN106534312A (zh) 一种面向移动设备的服务请求选择与调度方法
CN109067837A (zh) 配电设备物联与信息采集平台
CN113055126B (zh) 一种飞行数据译码方法、装置及终端设备
CN102904964A (zh) 基于完成端口模型的海量集中器并发处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150429