CN110856018B - 一种基于云计算的监控系统中的快速转码方法及系统 - Google Patents

一种基于云计算的监控系统中的快速转码方法及系统 Download PDF

Info

Publication number
CN110856018B
CN110856018B CN201911115161.4A CN201911115161A CN110856018B CN 110856018 B CN110856018 B CN 110856018B CN 201911115161 A CN201911115161 A CN 201911115161A CN 110856018 B CN110856018 B CN 110856018B
Authority
CN
China
Prior art keywords
video
transcoding
node
task
transcoding task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911115161.4A
Other languages
English (en)
Other versions
CN110856018A (zh
Inventor
彭凯
刘强
詹玮琪
彭麟雅
丁泽彦
谭衡睿
胡祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Luojia Weiye Technology Co ltd
Original Assignee
Wuhan Luojia Weiye Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Luojia Weiye Technology Co ltd filed Critical Wuhan Luojia Weiye Technology Co ltd
Priority to CN201911115161.4A priority Critical patent/CN110856018B/zh
Publication of CN110856018A publication Critical patent/CN110856018A/zh
Application granted granted Critical
Publication of CN110856018B publication Critical patent/CN110856018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Abstract

本发明涉及一种基于云计算的监控系统中的快速转码方法及系统，该方法包括：云服务器接收用户的视频转码任务请求；视频分片服务器对视频进行分片处理并上传至分布式文件系统；建立最小化转码开销时间模型，根据最小化转码开销时间模型求解转码任务的调度方案，根据调度方案向各个节点分发视频分片；各个节点完成分发的视频分片的转码任务后，对各个转码后的视频数据进行合并保存。在多台成本低廉的服务器主机上布置集群，通过有效的资源调度策略，能够使得云资源负载均衡，降低集群转码任务的总开销，节省资源，从而降低了服务器能耗，利用云端丰富的集群资源应对海量的视频转码，具有较强的可扩展性、健壮性提升系统转码任务吞吐量。

Description

一种基于云计算的监控系统中的快速转码方法及系统
技术领域
本发明涉及电子信息技术领域，尤其涉及一种基于云计算的监控系统中的快速转码方法及系统。
背景技术
目前，随着电子硬件技术、网络通信技术以及软件工程技术的高速发展，电子监控系统越来越成为工程设备监测以及社会秩序监督不可或缺的一部分，其能够帮助人们监控工程设备的运作状态是否正常以及提供涉安事件的重要现场证据。
传统的视频监控系统通常在本地部署完成，并且基于USB、SATA等存储协议对监控数据进行本地化存储，采集到的视频数据通常不需要进行特殊处理变传输到监控中心由专人进行后期完成。然而，中小型单位的监控系统中的监控摄像头通常数量有限，覆盖范围小，系统具有一定的封闭性，若需要对移动的目标进行追踪，这会消耗大量的人力物力资源而且实时性不强，容易导致目标丢失。考虑到本地服务器资源有限，传统的视频监控系统在外界摄像头设备数量增多时，随着捕获图像数量增加以及摄像头捕获图像分辨率的增加，会难以应对高质量视频图像存储与处理工作，高分辨率图像对服务器存储能力的要求更高，实时的处理能力也对网络传输的速度以及服务器的计算能力有着严格的要求。此外，用户对监控系统日益提升的需求，诸如高分辨率、高码率、高抗干扰能力以及用户终端功能多样化，使得布置一套完整的本地化监控系统，对一些单位设置中小型企业来说也是一笔不小的开销。
发明内容
本发明针对现有技术中存在的技术问题，提供一种基于云计算的监控系统中的快速转码方法及系统，解决现有技术中监控系统数据量大难以及时处理的问题。
本发明解决上述技术问题的技术方案如下：一种基于云计算的监控系统中的快速转码方法，包括：
步骤1，云服务器接收用户的视频转码任务请求；
步骤2，视频分片服务器对视频进行分片处理并上传至分布式文件系统；
步骤3，建立最小化转码开销时间模型，根据所述最小化转码开销时间模型求解转码任务的调度方案，根据所述调度方案向各个节点分发视频分片；
步骤4，各个节点完成分发的所述视频分片的转码任务后，对各个转码后的视频数据进行合并保存。
一种基于云计算的监控系统中的快速转码系统，包括：
云服务器101，接收用户的视频转码任务请求；
视频分片服务器102，用于对视频进行分片处理并上传至分布式文件系统；
调度方案计算模块103，用于建立最小化转码开销时间模型，根据所述最小化转码开销时间模型求解转码任务的调度方案；
视频数据处理模块104，根据所述调度方案向各个节点分发视频分片，各个节点完成分发的所述视频分片的转码任务后，对各个转码后的视频数据进行合并保存。
本发明的有益效果是：在在多台成本低廉的服务器主机上布置集群，通过有效的资源调度策略，能够使得云资源负载均衡，降低集群转码任务的总开销，节省资源，从而降低了服务器能耗，利用云端丰富的集群资源应对海量的视频转码，具有较强的可扩展性、健壮性提升系统转码任务吞吐量，降低转码开销时间，缩短了用户从发出请求至获取到目标视频的时延，提升了用户体验。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述步骤1中转码请求包括获取其中的视频名称、目标格式、目标比特率以及需要适配的设备配置信息。
进一步，所述步骤1之后还包括：
根据所述视频转码任务的到达时间、截止时间、紧急程度、优先权重以及在队列中的等待时间建立加权打分机制，确定各个所述视频转码任务的优先级，根据各个所述视频转码任务的优先级构建视频转码任务队列
进一步，所述步骤2中视频分片服务器从所述视频转码任务队列中获取视频ID，根据所述视频ID向云数据库请求对应的视频文件，更新当前所述视频转码任务的相关文件信息以及待转码状态，放入视频分片任务队列，由预处理服务器中的分片程序对所述视频分片任务队列中的所述视频文件按照单位时间长度或单位文件大小进行分片；
取出视频分片数据并上传至分布式文件系统中进行冗余存储。
进一步，所述步骤3中所述最小化转码开销时间模型为：
Figure BDA0002273824930000031
Figure BDA0002273824930000032
且i,l为正整数；
Figure BDA0002273824930000033
Figure BDA0002273824930000034
其中，X表示转码任务的调度方案，N表示集群中的节点个数，M为视频vi的种类数量，L为视频vi分成的视频分片
Figure BDA0002273824930000035
的个数，
Figure BDA0002273824930000036
表示视频分片
Figure BDA0002273824930000037
是否被放置在节点n上运行的变量，
Figure BDA0002273824930000038
表示视频分片
Figure BDA0002273824930000039
在节点n的计算开销，
Figure BDA00022738249300000310
表示视频分片
Figure BDA00022738249300000311
的大小，Sn表示节点n的最大存储上限。
进一步，所述视频分片
Figure BDA00022738249300000312
在节点n的计算开销
Figure BDA00022738249300000313
其中，
Figure BDA0002273824930000041
为视频分片
Figure BDA0002273824930000042
的编解码CPU计算复杂度，
Figure BDA0002273824930000043
为视频分片
Figure BDA0002273824930000044
的GPU转码的计算复杂度，dsystem表示程序从启动到消亡期间产生的系统开销常数；cn表示第n个CPU的计算能力，gn表示第n个GPU的计算能力。
进一步，所述步骤3中根据所述最小化转码开销时间模型求解转码任务的调度方案的过程包括：
步骤301，将各个视频分片任务按照复杂度从高到低排序，将节点集合中的各个节点的计算能力按照GPU、CPU优先级排序；
步骤302，依次将各个所述视频分片的转码任务分给所述节点集合中计算能力最强的节点；
步骤303，判断当前节点的预计开销时间超过节点处理所述转码任务的理想开销时间或存储的所述视频分片超过了节点的承受值时，更换加入当前节点的转码任务；判断所述当前节点无法继续添加新的转码任务时，则将所述当前节点从所述节点集合中去除；
若当前节点已无法继续添加新任务，则该当前节点完成调度，则将该当前节点从节点集合中去除。
步骤304，判断存在没有分给所述节点的所述转码任务时，执行步骤302；判断各个所述转码任务均分给各个所述节点后，得到所述转码任务的调度方案X。
进一步，所述视频分片
Figure BDA0002273824930000045
的转码任务的理想开销时间为：
Figure BDA0002273824930000046
采用上述进一步方案的有益效果是：针对视频分片大小可能不一致的情况建立最小化转码开销负载均衡模型，并通过求得的调度方案在分布式框架Hadoop下依据分布式计算框架编写视频转码程序，借助开源多媒体处理软件ffmpeg完成视频编解码操作；将CPU与GPU计算相结合，综合考虑每个计算节点的CPU和GPU计算负载均衡的情况，应用GPU完成计算密集型的视频转码，利用GPU强大的并行计算能力进行进一步加速；
针对服务器出现宕机的情况有冗余存储机制和自动纠错机制，且总体成本低廉。
附图说明
图1为本发明实施例提供的一种基于云计算的监控系统中的快速转码方法的流程图；
图2为本发明提供的一种基于云计算的监控系统中的快速转码方法的实施例的流程图；
图3为本发明提供的一种基于云计算的监控系统中的快速转码系统的实施例的结构框图；
图4为本发明提供实施例提供的一种基于云计算的监控系统中的快速转码系统实现转码过程的流程图。
附图中，各标号所代表的部件列表如下：
101、云服务器，102、视频分片服务器，103、调度方案计算模块，104、视频数据处理模块。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示为本发明实施例提供的一种基于云计算的监控系统中的快速转码方法的流程图，由图1可知，该方法包括：
步骤1，云服务器接收用户的视频转码任务请求。
步骤2，视频分片服务器对视频进行分片处理并上传至分布式文件系统。
步骤3，建立最小化转码开销时间模型，根据最小化转码开销时间模型求解转码任务的调度方案，根据调度方案向各个节点分发视频分片。
步骤4，各个节点完成分发的视频分片的转码任务后，对各个转码后的视频数据进行合并保存。
本发明实施例提供的一种基于云计算的监控系统中的快速转码方法，在多台成本低廉的服务器主机上布置集群，通过有效的资源调度策略，能够使得云资源负载均衡，降低集群转码任务的总开销，节省资源，从而降低了服务器能耗，利用云端丰富的集群资源应对海量的视频转码，具有较强的可扩展性、健壮性提升系统转码任务吞吐量，降低转码开销时间，缩短了用户从发出请求至获取到目标视频的时延，提升了用户体验。
实施例1
本发明提供的实施例1为本发明提供的一种基于云计算的监控系统中的快速转码方法的实施例，如图2所示为本发明提供的一种基于云计算的监控系统中的快速转码方法的实施例的流程图，由图1和图2可知，该方法包括：
步骤1，云服务器接收用户的视频转码任务请求。
云服务器可以接收海量用户发来的视频转码任务，对用户请求偏好、设备信息、网络状况等信息整合，转码请求包括获取其中的视频名称、目标格式、目标比特率以及需要适配的设备配置信息。
优选的，步骤1之后还可以包括：
根据视频转码任务的到达时间、截止时间、紧急程度、优先权重以及在队列中的等待时间建立加权打分机制，确定各个视频转码任务的优先级，根据各个视频转码任务的优先级构建视频转码任务队列。为转码任务分配相匹配的计算资源、存储资源和带宽资源，搭建集群环境。
根据转码任务的优先级将转码任务放入任务队列，构建视频转码任务队列，并且视频转码任务队列随视频转码任务等待时间呈现动态变化。
步骤2，视频分片服务器对视频进行分片处理并上传至分布式文件系统。
具体的，该分布式文件系统可以基于Hadoop架构，Hadoop是一个由Apache基金会所开发的分布式系统基础架构，Hadoop系统中默认的调度方案是先进先出原则。
视频分片服务器从视频转码任务队列中获取视频ID，根据视频ID向云数据库请求对应的视频文件，更新当前视频转码任务的相关文件信息以及待转码状态，放入视频分片任务队列，由预处理服务器中的分片程序对视频分片任务队列中的视频文件按照单位时间长度或单位文件大小进行分片。
取出视频分片数据并上传至分布式文件系统中进行冗余存储。通过冗余机制产生分片视频的多个备份，防止后续服务器节点发宕机数据丢失。
步骤3，建立最小化转码开销时间模型，根据最小化转码开销时间模型求解转码任务的调度方案，根据调度方案向各个节点分发视频分片。
具体的，最小化转码开销时间模型可以为：
Figure BDA0002273824930000071
Figure BDA0002273824930000072
且i,l为正整数；
Figure BDA0002273824930000073
Figure BDA0002273824930000074
其中，X表示转码任务的调度方案，N表示集群中的节点个数，M为视频vi的种类数量，L为视频vi分成的视频分片
Figure BDA0002273824930000075
的个数，
Figure BDA0002273824930000076
表示视频分片
Figure BDA0002273824930000077
是否被放置在节点n上运行的变量，
Figure BDA0002273824930000078
表示视频分片
Figure BDA0002273824930000079
在节点n的计算开销，
Figure BDA00022738249300000710
表示视频分片
Figure BDA00022738249300000711
的大小，Sn表示节点n的最大存储上限。
由于分片后的视频片段并不总是具有相同的长度和大小，而云服务器各个节点的CPU、GPU运算能力也通常呈现异构性，因此在布置到各个节点运行前需进行负载均衡。而资源调度的最终目的是使分布式系统中视频分片转码的开销时间最短，因此构建最小化系统转码开销模型，最终目的是使Hadoop集群的总的转码时间尽可能达到最小并且每台节点运算量相当。Hadoop分布式框架支持第三方负载均衡策略。
最小化转码开销时间模型的目标函数的目的是为了使每个节点处理尽可能多的任务，但总体开销时间达到最小。限制条件
Figure BDA0002273824930000081
是为了保证至少有一个节点对视频分片
Figure BDA0002273824930000082
进行处理，
Figure BDA0002273824930000083
则保证了每个节点缓存的视频数据不超过当前节点存储容量。
当前CPU计算能力用集合C＝{c1,c2,c3,...,cn}表示，GPU的计算能力用集合G＝{g1,g2,g3,...,gn}表示，任务队列中有M类视频用集合V＝{v1,v2,v3,...,vm}表示，视频vi被分为L个视频分片
Figure BDA0002273824930000084
分片大小为
Figure BDA0002273824930000085
变量
Figure BDA0002273824930000086
来表示视频分片是否被放置在节点n上运行，于是调度策略可表示为集合
Figure BDA0002273824930000087
优选的，视频分片
Figure BDA0002273824930000088
在节点n的计算开销
Figure BDA0002273824930000089
其中，
Figure BDA00022738249300000810
为视频分片
Figure BDA00022738249300000811
的编解码CPU计算复杂度，
Figure BDA00022738249300000812
为视频分片
Figure BDA00022738249300000813
的GPU转码的计算复杂度，dsystem表示程序从启动到消亡期间产生的系统开销常数；cn表示第n个CPU的计算能力，gn表示第n个GPU的计算能力。
规定在进行视频编解码及转码工作时，当前分片视频的计算资源不得被抢占，当前调度系统中我们仅考虑视频编码、转码、解码的系统开销，视程序从启动到消亡期间产生的系统开销为常数dsystem,这是合理的因为计算时开销这部分系统开销相对较小。
优选的，步骤3中根据最小化转码开销时间模型求解转码任务的调度方案的过程包括：
步骤301，将各个视频分片任务按照复杂度从高到低排序，将节点集合中的各个节点的计算能力按照GPU、CPU优先级排序。
步骤302，依次将各个视频分片的转码任务分给节点集合中计算能力最强的节点。
步骤303，判断当前节点的预计开销时间超过节点处理转码任务的理想开销时间或存储的视频分片超过了节点的承受值时，更换加入当前节点的转码任务；判断当前节点无法继续添加新的转码任务时，则将当前节点从节点集合中去除。
若当前节点已无法继续添加新任务，则该当前节点完成调度，则将该当前节点从节点集合中去除。
优选的，基于启发式思想对步骤3中建立最小化转码开销时间模型的问题进行求解，具体为假设每台节点处理的计算量近似来确定各个节点处理转码任务的理想开销时间。具体的，视频分片
Figure BDA0002273824930000091
的转码任务的理想开销时间为：
Figure BDA0002273824930000092
步骤304，判断存在没有分给节点的转码任务时，执行步骤302；判断各个转码任务均分给各个节点后，得到转码任务的调度方案X。
步骤4，各个节点完成分发的视频分片的转码任务后，对各个转码后的视频数据进行合并保存。
作业调度进程将HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)中的视频分片上传至集群的主节点，按照该调度方案由主节点将各个视频分片传输至各个子节点进行运算。各个子节点运行Map框架下封装的ffmpeg视频编解码程序，FFmpeg(Fast Forward Mpeg)是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序，其中CPU负责视频的编解码运算，GPU完成视频的转码的密集计算任务。Map框架接受的参数为一对<key,value1>键值对，key值为视频分片ID，value1为视频分片文件。
当所有子节点都返回为转码完成的信息时，各个子节点将转码后的视频分片上传汇聚至主节点进行reduce框架下的基于ffmpeg的视频合并程序，reduce框架接受的参数为一对<key,value2>键值对，key值为视频分片ID，value2为转码后的视频分片文件。
合并成功的视频文件会存储至HDFS，随后写至云监控系统数据库，随后再通过web服务器将视频文件传输至用户手中，任务调度模块对之前创立的集群环境进行清理和销毁以备下次使用时再分配。
实施例2
本发明提供的实施例2为本发明提供的一种基于云计算的监控系统中的快速转码系统的实施例，由图3可知，该系统包括：云服务器101、视频分片服务器102、调度方案计算模块103和视频数据处理模块104。
云服务器101，接收用户的视频转码任务请求；
视频分片服务器102，用于对视频进行分片处理并上传至分布式文件系统。
调度方案计算模块103，用于建立最小化转码开销时间模型，根据最小化转码开销时间模型求解转码任务的调度方案。
视频数据处理模块104，根据调度方案向各个节点分发视频分片，各个节点完成分发的视频分片的转码任务后，对各个转码后的视频数据进行合并保存。
需要说明的是，如图4所示为本发明提供实施例提供的一种基于云计算的监控系统中的快速转码系统实现转码过程的流程图，由图3和图4可知，本发明实施例提供的系统，具体执行上述各实施例中的方法，具体详见上述各方法实施例，本发明实施例对此不再进行赘述。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于云计算的监控系统中的快速转码方法，例如包括：云服务器接收用户的视频转码任务请求；视频分片服务器对视频进行分片处理并上传至分布式文件系统；建立最小化转码开销时间模型，根据最小化转码开销时间模型求解转码任务的调度方案，根据调度方案向各个节点分发视频分片；各个节点完成分发的视频分片的转码任务后，对各个转码后的视频数据进行合并保存。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于云计算的监控系统中的快速转码方法，其特征在于，包括：
步骤1，云服务器接收用户的视频转码任务请求；
步骤2，视频分片服务器对视频进行分片处理并上传至分布式文件系统；
步骤3，建立最小化转码开销时间模型，根据所述最小化转码开销时间模型求解转码任务的调度方案，根据所述调度方案向各个节点分发视频分片；
步骤4，各个节点完成分发的所述视频分片的转码任务后，对各个转码后的视频数据进行合并保存；
所述步骤3中所述最小化转码开销时间模型为：
Figure FDA0002584509530000011
Figure FDA0002584509530000012
且i,l为正整数；
Figure FDA0002584509530000013
Figure FDA0002584509530000014
其中，X表示转码任务的调度方案，N表示集群中的节点个数，M为视频vi的种类数量，L为视频vi分成的视频分片
Figure FDA0002584509530000015
的个数，
Figure FDA0002584509530000016
表示视频分片
Figure FDA0002584509530000017
是否被放置在节点n上运行的变量，
Figure FDA0002584509530000018
表示视频分片
Figure FDA0002584509530000019
在节点n的计算开销，
Figure FDA00025845095300000110
表示视频分片
Figure FDA00025845095300000111
的大小，Sn表示节点n的最大存储上限。
2.根据权利要求1所述的方法，其特征在于，所述步骤1中转码请求包括获取其中的视频名称、目标格式、目标比特率以及需要适配的设备配置信息。
3.根据权利要求1所述的方法，其特征在于，所述步骤1之后还包括：
根据所述视频转码任务的到达时间、截止时间、紧急程度、优先权重以及在队列中的等待时间建立加权打分机制，确定各个所述视频转码任务的优先级，根据各个所述视频转码任务的优先级构建视频转码任务队列。
4.根据权利要求3所述的方法，其特征在于，所述步骤2中视频分片服务器从所述视频转码任务队列中获取视频ID，根据所述视频ID向云数据库请求对应的视频文件，更新当前所述视频转码任务的相关文件信息以及待转码状态，放入视频分片任务队列，由预处理服务器中的分片程序对所述视频分片任务队列中的所述视频文件按照单位时间长度或单位文件大小进行分片；
取出视频分片数据并上传至分布式文件系统中进行冗余存储。
5.根据权利要求1所述的方法，其特征在于，所述视频分片
Figure FDA0002584509530000021
在节点n的计算开销
Figure FDA0002584509530000022
其中，
Figure FDA0002584509530000023
为视频分片
Figure FDA0002584509530000024
的编解码CPU计算复杂度，
Figure FDA0002584509530000025
为视频分片
Figure FDA0002584509530000026
的GPU转码的计算复杂度，dsystem表示程序从启动到消亡期间产生的系统开销常数；cn表示第n个CPU的计算能力，gn表示第n个GPU的计算能力。
6.根据权利要求5所述的方法，其特征在于，所述步骤3中根据所述最小化转码开销时间模型求解转码任务的调度方案的过程包括：
步骤301，将各个视频分片任务按照复杂度从高到低排序，将节点集合中的各个节点的计算能力按照GPU、CPU优先级排序；
步骤302，依次将各个所述视频分片的转码任务分给所述节点集合中计算能力最强的节点；
步骤303，判断当前节点的预计开销时间超过节点处理所述转码任务的理想开销时间或存储的所述视频分片超过了节点的承受值时，更换加入当前节点的转码任务；判断所述当前节点无法继续添加新的转码任务时，则将所述当前节点从所述节点集合中去除；
步骤304，判断存在没有分给所述节点的所述转码任务时，执行步骤302；判断各个所述转码任务均分给各个所述节点后，得到所述转码任务的调度方案X。
7.根据权利要求6所述的方法，其特征在于，所述视频分片
Figure FDA0002584509530000031
的转码任务的理想开销时间为：
Figure FDA0002584509530000032
8.一种基于云计算的监控系统中的快速转码系统，其特征在于，所述系统包括：
云服务器，接收用户的视频转码任务请求；
视频分片服务器，用于对视频进行分片处理并上传至分布式文件系统；
调度方案计算模块，用于建立最小化转码开销时间模型，根据所述最小化转码开销时间模型求解转码任务的调度方案；
视频数据处理模块，根据所述调度方案向各个节点分发视频分片，各个节点完成分发的所述视频分片的转码任务后，对各个转码后的视频数据进行合并保存；
所述最小化转码开销时间模型为：
Figure FDA0002584509530000033
Figure FDA0002584509530000034
且i,l为正整数；
Figure FDA0002584509530000035
Figure FDA0002584509530000036
其中，X表示转码任务的调度方案，N表示集群中的节点个数，M为视频vi的种类数量，L为视频vi分成的视频分片
Figure FDA0002584509530000037
的个数，
Figure FDA0002584509530000038
表示视频分片
Figure FDA0002584509530000039
是否被放置在节点n上运行的变量，
Figure FDA00025845095300000310
表示视频分片
Figure FDA00025845095300000311
在节点n的计算开销，
Figure FDA00025845095300000312
表示视频分片
Figure FDA00025845095300000313
的大小，Sn表示节点n的最大存储上限。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述基于云计算的监控系统中的快速转码的方法的步骤。
CN201911115161.4A 2019-11-14 2019-11-14 一种基于云计算的监控系统中的快速转码方法及系统 Active CN110856018B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911115161.4A CN110856018B (zh) 2019-11-14 2019-11-14 一种基于云计算的监控系统中的快速转码方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911115161.4A CN110856018B (zh) 2019-11-14 2019-11-14 一种基于云计算的监控系统中的快速转码方法及系统

Publications (2)

Publication Number Publication Date
CN110856018A CN110856018A (zh) 2020-02-28
CN110856018B true CN110856018B (zh) 2020-09-08

Family

ID=69601902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911115161.4A Active CN110856018B (zh) 2019-11-14 2019-11-14 一种基于云计算的监控系统中的快速转码方法及系统

Country Status (1)

Country Link
CN (1) CN110856018B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769278B (zh) * 2019-10-29 2022-02-08 鹏城实验室 一种分布式视频转码方法及系统
CN111314735A (zh) * 2020-03-06 2020-06-19 新华智云科技有限公司 视频处理方法、系统及存储介质
CN111432236A (zh) * 2020-03-20 2020-07-17 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN111461958A (zh) * 2020-05-18 2020-07-28 江苏电力信息技术有限公司 一种快速多路数据流实时检测优化处理控制系统及方法
CN112165622B (zh) * 2020-09-23 2023-06-27 上海网达软件股份有限公司 一种单Pod多协程视频文件转码方法及系统
CN112584156B (zh) * 2020-11-18 2022-08-02 卓旺(安徽)航空科技产业股份有限公司 一种基于2k视频数据深度学习转码4k视频算法
CN113347430B (zh) * 2021-05-13 2023-01-24 北京睿芯高通量科技有限公司 一种硬件转码加速设备的分布式调度装置及其使用方法
CN113645471B (zh) * 2021-06-22 2022-06-03 北京邮电大学 多云视频分发策略优化方法及系统
CN113573099A (zh) * 2021-07-07 2021-10-29 上海谙赋信息科技有限公司 一种地产宣传片拍摄效果智能化处理系统
CN115002514B (zh) * 2022-05-27 2023-07-21 浙江大学 基于云原生控制器的spark视频转码系统及视频转码方法
CN115190320A (zh) * 2022-06-09 2022-10-14 武汉鸿宸信信息科技有限公司 一种用于视频处理与存储的云计算系统和方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101459848A (zh) * 2008-12-26 2009-06-17 西安交通大学 一种分布式多格式数字视频转码结构设计方法
CN102780918A (zh) * 2012-08-15 2012-11-14 华数传媒网络有限公司 一种视频分布式转换编码格式方法
CN103297807A (zh) * 2013-06-21 2013-09-11 哈尔滨工业大学深圳研究生院 一种基于hadoop平台的提高视频转码效率的方法
CN105357546A (zh) * 2015-11-17 2016-02-24 国云科技股份有限公司 一种基于云计算的视频转码方法
CN105407413A (zh) * 2014-09-11 2016-03-16 腾讯科技（深圳）有限公司 一种分布式视频转码方法及相关设备、系统
US10275851B1 (en) * 2017-04-25 2019-04-30 EMC IP Holding Company LLC Checkpointing for GPU-as-a-service in cloud computing environment

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577205B2 (en) * 1998-07-30 2013-11-05 Tivo Inc. Digital video recording system
CN102510499A (zh) * 2011-10-19 2012-06-20 清华大学 一种云环境中基于图像组的视频转码方法
CN103188521B (zh) * 2011-12-29 2015-10-28 北京大学 转码分配方法及装置，转码方法及设备
CN104284203A (zh) * 2014-10-31 2015-01-14 云看天下（北京）科技有限公司 一种视频文件混合云转码方法及系统
CN104469396B (zh) * 2014-12-24 2018-01-05 北京中科大洋信息技术有限公司 一种分布式转码系统和方法
CN105828105B (zh) * 2015-12-10 2019-02-22 广东亿迅科技有限公司 一种基于分布式环境的视频转码系统及视频转码方法
CN109788315A (zh) * 2019-01-31 2019-05-21 湖南快乐阳光互动娱乐传媒有限公司 视频转码方法、装置及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101459848A (zh) * 2008-12-26 2009-06-17 西安交通大学 一种分布式多格式数字视频转码结构设计方法
CN102780918A (zh) * 2012-08-15 2012-11-14 华数传媒网络有限公司 一种视频分布式转换编码格式方法
CN103297807A (zh) * 2013-06-21 2013-09-11 哈尔滨工业大学深圳研究生院 一种基于hadoop平台的提高视频转码效率的方法
CN105407413A (zh) * 2014-09-11 2016-03-16 腾讯科技（深圳）有限公司 一种分布式视频转码方法及相关设备、系统
CN105357546A (zh) * 2015-11-17 2016-02-24 国云科技股份有限公司 一种基于云计算的视频转码方法
US10275851B1 (en) * 2017-04-25 2019-04-30 EMC IP Holding Company LLC Checkpointing for GPU-as-a-service in cloud computing environment

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Performance Analysis and Modeling of Video Transcoding Using Heterogeneous Cloud Services;Xiangbo Li等;《IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS》;20190430;第30卷(第4期);第910-922页 *
基于云计算的视频实时转码系统设计与实现;闻谦;《中国优秀硕士学位论文全文数据库信息科技辑》;20180815(第08期);第1-68页 *

Also Published As

Publication number Publication date
CN110856018A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110856018B (zh) 一种基于云计算的监控系统中的快速转码方法及系统
CN109327509B (zh) 一种主/从架构的低耦合的分布式流式计算系统
Baccarelli et al. Energy-efficient dynamic traffic offloading and reconfiguration of networked data centers for big data stream mobile computing: review, challenges, and a case study
US11329928B2 (en) Dynamic allocation of network resources using external inputs
Tsai et al. Distributed analytics in fog computing platforms using tensorflow and kubernetes
US8392596B2 (en) Methods for detecting and handling video and video-like content in remote display system
CN103838779A (zh) 复用空闲计算资源的云转码方法及系统、分布式文件装置
CN105828105A (zh) 一种基于分布式环境的视频转码系统及视频转码方法
CN102882829A (zh) 一种转码方法及系统
WO2017092582A1 (zh) 一种数据处理方法和装置
US10484730B1 (en) Chunked transfer mode bandwidth estimation
CN116980569A (zh) 一种基于云计算的安全监控系统及方法
CN113906764A (zh) 可中断视频转码
CN113329139B (zh) 视频流处理方法、装置及计算机可读存储介质
US11425448B1 (en) Reference-based streaming video enhancement
CN116069493A (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN114327846A (zh) 集群的扩容方法、装置、电子设备及计算机可读存储介质
CN108829516B (zh) 一种图形处理器资源虚拟化调度方法
JP2023031248A (ja) エッジコンピューティングネットワーク、データ伝送方法、装置、機器、及び記憶媒体
CN113472638B (zh) 边缘网关控制方法及系统、装置、电子设备、存储介质
CN112817732B (zh) 一种适应云边协同多数据中心场景下的流数据处理方法及系统
US10306021B1 (en) Streaming content to multiple clients
CN112543373B (zh) 一种转码控制方法、装置及电子设备
CN117076057B (zh) 一种ai服务请求调度的方法、装置、设备及介质
CN117170886B (zh) 一种面向大连接视频分析的连续学习资源调度方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant