CN105357546A - 一种基于云计算的视频转码方法 - Google Patents

一种基于云计算的视频转码方法 Download PDF

Info

Publication number
CN105357546A
CN105357546A CN201510789176.4A CN201510789176A CN105357546A CN 105357546 A CN105357546 A CN 105357546A CN 201510789176 A CN201510789176 A CN 201510789176A CN 105357546 A CN105357546 A CN 105357546A
Authority
CN
China
Prior art keywords
video
transcoding
task
configuration
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510789176.4A
Other languages
English (en)
Inventor
韩超
季统凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
G Cloud Technology Co Ltd
Original Assignee
G Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by G Cloud Technology Co Ltd filed Critical G Cloud Technology Co Ltd
Priority to CN201510789176.4A priority Critical patent/CN105357546A/zh
Publication of CN105357546A publication Critical patent/CN105357546A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及计算机应用技术领域，具体涉及一种基于云计算的视频转码方法。本发明视频转码由本地视频初始化处理器和hadoop处理模块组成的系统完成，通过本地视频初始化处理器实现视频分割，初始化视频的各种参数和配置文件，形成若干个完整的被分割的小视频，然后上传hadoop的分布式文件系统HDFS，并且向作业队列提交相应的作业任务，作业队列接收任务、分析任务，把任务分割给计算节点；MR计算节点负责视频的转码工作和视频合并工作，提供视频转码的效率，节省转码的时间。本发明提供了一种灵活方便的转码平台，缩短转码的时间，提高转码的效率，满足视频转码高速增长的需求；可以用于视频的编码格式转换。

Description

一种基于云计算的视频转码方法
技术领域
本发明涉及计算机应用技术领域，具体涉及一种基于云计算的视频转码方法。
背景技术
随着互联网和各种终端的不断发展，每个人都可以成为视频的制作者和消费者，促进了各种媒体平台的迅速发展，特别是视频平台。视频平台越来越多，相应的传播平台支持媒体格式也越来越多，不同平台对内容格式的要求也不一样，因此视频的编码格式转换是必不可少的，而转码这个环节耗费巨大的计算资源，传统的集中式的视频转码方法不足以满足视频转码高速增长的需要。
发明内容
本发明解决的技术问题在于提供一种基于云计算的视频转码方法，为用户提供灵活方便的转码平台，缩短转码的时间，提高转码的效率，满足视频转码高速增长的需求。
本发明解决上述技术问题的技术方案是：
所述的方法由视频初始化处理器和hadoop系统组成的系统完成；视频初始化处理器负责视频分割、传输、配置参数的设定等初始化工作
视频初始化处理器由视频分割、视频传输和视频作业配置构成，视频作业配置部分主要负责视频的转码格式、分割数量等各种参数配置；视频分割部分主要负责本地视频的分割任务，把一段完整的视频根据配置文件分割成若干个可以独立打开播放的小段视频；视频传输部分则负责把分割好的若干段视频上传转码平台；
hadoop系统主要由MR计算节点、HDFS和视频任务作业队列构成，MR计算节点用于完成视频转码的计算，各个计算节点转码完毕后，把若干视频合并成一段完整的视频，并且存储在HDFS；HDFS用于存储本地上传的转码视频和存储转码之后的视频；视频任务作业队列用于接收本地系统提交的视频转码任务，并且把任务，包括各个转码的参数分配给各个MR计算节点。
用户可以通过配置文件或者命令对视频的任务作业进行参数的配置，视频分割成若干个可以播放的视频段，视频传输则通过hadoop系统提供的接口完成视频的上传；其处理流程包括：(1)完成配置文件的设置；(2)根据配置文件完成视频的分割；(3)把视频上传hadoop系统。
视频任务作业队列负责接收任务作业配置，并且根据任务配置作业生成任务进程，并且把任务压入任务队列；MR计算节点解释键值得到要转码的视频文件的存储地址。
整个工作详细流程如下：
(1)、视频作业配置初始化要分割的视频文件，对分割视频段数量，转码格式，文件质量大小等涉及视频转码的参数进行设置，初始化参数配置文件；
(2)、视频分割模块根据参数配置文件要求对视频进行分割；
(3)、视频传输模块把若干视频上传hadoop系统，并反馈信息给视频作业配置模块
(4)、根据视频传输模块反馈的结果，视频作业配置模块生成任务作业并提交至hadoop系统的视频任务作业队列等待转码处理；
(5)、视频任务作业队列把转码计算任务分配到计算节点完成转码任务；
(6)、结算节点把视频转码并合并后，存储到HDFS。
视频任务作业队列详细的流程如下：
(1)查询任务作业队列是否已经满，如果队列已经满，则等待，如果队列未满，则执行下一步；
(2)获取转码配置，初始化各个配置参数；
(3)构造MAPER键值对处理对象；
(4)构造任务作业；
(5)把任务作业插入队列。
MR计算节点详细流程如下：
(1)读取键值对信息；
(2)通过解释键值对信息来获取视频的存储位置；
(3)获取视频文件；
(4)调用转码模块进行转码；
(5)转码完毕后存储到HDFS，然后生成相应的位置键值对；
(6)计算节点通过解释键值对获取转码后的视频存储位置；
(7)调用视频合并模块对视频进行合并；
(8)把合并的视频写入HDFS。
本发明提供了一种灵活方便的转码平台，缩短转码的时间，提高转码的效率，满足视频转码高速增长的需求。
附图说明
下面结合附图对本发明进一步说明：
图1是本发明的系统架构图；
图2是本发明的视频任务队列流程图
图3是本发明的转码计算流程图
具体实施方式
见图1所示，本发明所涉及系统主要由视频初始化处理器和hadoop系统组成。视频初始化处理器负责视频的初始化工作，例如视频分割、传输、配置参数的设定等工作。
上述视频初始化处理器由以下部分构成：视频分割、视频传输和视频作业配置。视频作业配置部分主要负责视频的各种参数配置，例如转码格式，分割数量等；视频分割部分主要负责本地视频的分割任务，把一段完整的视频根据配置文件分割成若干个可以独立打开播放的小段视频；视频传输部分则负责把分割好的若干段视频上传转码平台。
上述hadoop系统主要由以下部分构成：MR计算节点用于完成视频转码的计算，各个计算节点转码完毕后，把若干视频合并成一段完整的视频，并且存储在HDFS；HDFS用于存储本地上传的转码视频和存储转码之后的视频；视频任务作业队列用于接收本地系统提交的视频转码任务，并且把任务，包括各个转码的参数分配给各个计算节点。
整个工作详细流程如下：
1、视频作业配置初始化要分割的视频文件，对分割视频段数量，转码格式，文件质量大小等涉及视频转码的参数进行设置，初始化参数配置文件；
2、视频分割模块根据参数配置文件要求对视频进行分割；
3、视频传输模块把若干视频上传hadoop系统，并反馈信息给视频作业配置模块
4、根据视频传输模块反馈的结果，视频作业配置模块生成任务作业并提交至hadoop系统的视频任务作业队列等待转码处理；
5、视频任务作业队列把转码计算任务分配到计算节点完成转码任务；
6、结算节点把视频转码并合并后，存储到HDFS。
见图2所示，视频任务队列流程如下：
1、查询任务作业队列是否已经满，如果队列已经满，则等待，如果队列未满，则执行下一步；
2、获取转码配置，初始化各个配置参数；
3、构造MAPER键值对处理对象；
4、构造任务作业；
5、把任务作业插入队列。
见图3所示，计算节点的转码流程如下：
1、读取键值对信息；
2、通过解释键值对信息来获取视频的存储位置；
3、获取视频文件；
4、调用转码模块进行转码；
5、转码完毕后存储到HDFS，然后生成相应的位置键值对；
6、计算节点通过解释键值对获取转码后的视频存储位置；
7、调用视频合并模块对视频进行合并；
8、把合并的视频写入HDFS。

Claims (8)

1.一种基于云计算的视频转码方法，其特征在于：所述的方法由视频初始化处理器和hadoop系统组成的系统完成；视频初始化处理器负责视频分割、传输、配置参数的设定等初始化工作
视频初始化处理器由视频分割、视频传输和视频作业配置构成，视频作业配置部分主要负责视频的转码格式、分割数量等各种参数配置；视频分割部分主要负责本地视频的分割任务，把一段完整的视频根据配置文件分割成若干个可以独立打开播放的小段视频；视频传输部分则负责把分割好的若干段视频上传转码平台；
hadoop系统主要由MR计算节点、HDFS和视频任务作业队列构成，MR计算节点用于完成视频转码的计算，各个计算节点转码完毕后，把若干视频合并成一段完整的视频，并且存储在HDFS；HDFS用于存储本地上传的转码视频和存储转码之后的视频；视频任务作业队列用于接收本地系统提交的视频转码任务，并且把任务，包括各个转码的参数分配给各个MR计算节点。
2.根据权利要求1所述的基于云计算的视频转码方法，其特征在于：用户可以通过配置文件或者命令对视频的任务作业进行参数的配置，视频分割成若干个可以播放的视频段，视频传输则通过hadoop系统提供的接口完成视频的上传；其处理流程包括：(1)完成配置文件的设置；(2)根据配置文件完成视频的分割；(3)把视频上传hadoop系统。
3.根据权利要求1所述的基于云计算的视频转码方法，其特征在于：视频任务作业队列负责接收任务作业配置，并且根据任务配置作业生成任务进程，并且把任务压入任务队列；MR计算节点解释键值得到要转码的视频文件的存储地址。
4.根据权利要求2所述的基于云计算的视频转码方法，其特征在于：视频任务作业队列负责接收任务作业配置，并且根据任务配置作业生成任务进程，并且把任务压入任务队列；MR计算节点解释键值得到要转码的视频文件的存储地址。
5.根据权利要求1至4任一项所述的基于云计算的视频转码方法，其特征在于：整个工作详细流程如下：
(1)、视频作业配置初始化要分割的视频文件，对分割视频段数量，转码格式，文件质量大小等涉及视频转码的参数进行设置，初始化参数配置文件；
(2)、视频分割模块根据参数配置文件要求对视频进行分割；
(3)、视频传输模块把若干视频上传hadoop系统，并反馈信息给视频作业配置模块
(4)、根据视频传输模块反馈的结果，视频作业配置模块生成任务作业并提交至hadoop系统的视频任务作业队列等待转码处理；
(5)、视频任务作业队列把转码计算任务分配到计算节点完成转码任务；
(6)、结算节点把视频转码并合并后，存储到HDFS。
6.根据权利要求5所述的基于云计算的视频转码方法，其特征在于：
视频任务作业队列详细的流程如下：
(1)查询任务作业队列是否已经满，如果队列已经满，则等待，如果队列未满，则执行下一步；
(2)获取转码配置，初始化各个配置参数；
(3)构造MAPER键值对处理对象；
(4)构造任务作业；
(5)把任务作业插入队列。
7.根据权利要5所述的基于云计算的视频转码方法，其特征在于：MR计算节点详细流程如下：
(1)读取键值对信息；
(2)通过解释键值对信息来获取视频的存储位置；
(3)获取视频文件；
(4)调用转码模块进行转码；
(5)转码完毕后存储到HDFS，然后生成相应的位置键值对；
(6)计算节点通过解释键值对获取转码后的视频存储位置；
(7)调用视频合并模块对视频进行合并；
(8)把合并的视频写入HDFS。
8.根据权利要求6所述的基于云计算的视频转码方法，其特征在于：MR计算节点详细流程如下：
(1)读取键值对信息；
(2)通过解释键值对信息来获取视频的存储位置；
(3)获取视频文件；
(4)调用转码模块进行转码；
(5)转码完毕后存储到HDFS，然后生成相应的位置键值对；
(6)计算节点通过解释键值对获取转码后的视频存储位置；
(7)调用视频合并模块对视频进行合并；
(8)把合并的视频写入HDFS。
CN201510789176.4A 2015-11-17 2015-11-17 一种基于云计算的视频转码方法 Pending CN105357546A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510789176.4A CN105357546A (zh) 2015-11-17 2015-11-17 一种基于云计算的视频转码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510789176.4A CN105357546A (zh) 2015-11-17 2015-11-17 一种基于云计算的视频转码方法

Publications (1)

Publication Number Publication Date
CN105357546A true CN105357546A (zh) 2016-02-24

Family

ID=55333385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510789176.4A Pending CN105357546A (zh) 2015-11-17 2015-11-17 一种基于云计算的视频转码方法

Country Status (1)

Country Link
CN (1) CN105357546A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791888A (zh) * 2016-03-09 2016-07-20 浪潮软件股份有限公司 一种视频分析的方法及装置
CN105915910A (zh) * 2016-06-08 2016-08-31 上海增容数据科技有限公司 一种基于云平台的视频转码方法和装置
CN109194976A (zh) * 2018-10-22 2019-01-11 网宿科技股份有限公司 视频处理、发布方法、存储管理、内容管理平台及系统
CN110351571A (zh) * 2019-07-05 2019-10-18 清华大学 基于深度强化学习的直播视频云转码资源分配与调度方法
CN110856018A (zh) * 2019-11-14 2020-02-28 武汉珞佳伟业科技有限公司 一种基于云计算的监控系统中的快速转码方法及系统
CN112866687A (zh) * 2021-01-18 2021-05-28 北京锐马视讯科技有限公司 基于分布式技术的视频检测方法和装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297807A (zh) * 2013-06-21 2013-09-11 哈尔滨工业大学深圳研究生院 一种基于hadoop平台的提高视频转码效率的方法
CN103813213A (zh) * 2014-02-25 2014-05-21 南京工业大学 基于移动云计算的实时视频分享平台和方法
CN103838779A (zh) * 2012-11-27 2014-06-04 深圳市腾讯计算机系统有限公司 复用空闲计算资源的云转码方法及系统、分布式文件装置
CN104539978A (zh) * 2014-12-19 2015-04-22 南京工业大学 一种云环境下的视频转码系统方法
CN104717517A (zh) * 2015-03-31 2015-06-17 北京奇艺世纪科技有限公司 一种视频转码任务调度方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838779A (zh) * 2012-11-27 2014-06-04 深圳市腾讯计算机系统有限公司 复用空闲计算资源的云转码方法及系统、分布式文件装置
CN103297807A (zh) * 2013-06-21 2013-09-11 哈尔滨工业大学深圳研究生院 一种基于hadoop平台的提高视频转码效率的方法
CN103813213A (zh) * 2014-02-25 2014-05-21 南京工业大学 基于移动云计算的实时视频分享平台和方法
CN104539978A (zh) * 2014-12-19 2015-04-22 南京工业大学 一种云环境下的视频转码系统方法
CN104717517A (zh) * 2015-03-31 2015-06-17 北京奇艺世纪科技有限公司 一种视频转码任务调度方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭奕希: "基于Hadoop的视频转码系统设计与实现", 《中国优秀硕士学位论文全文数据库》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791888A (zh) * 2016-03-09 2016-07-20 浪潮软件股份有限公司 一种视频分析的方法及装置
CN105915910A (zh) * 2016-06-08 2016-08-31 上海增容数据科技有限公司 一种基于云平台的视频转码方法和装置
CN105915910B (zh) * 2016-06-08 2019-02-12 上海增容数据科技有限公司 一种基于云平台的视频转码方法和装置
CN109194976A (zh) * 2018-10-22 2019-01-11 网宿科技股份有限公司 视频处理、发布方法、存储管理、内容管理平台及系统
CN110351571A (zh) * 2019-07-05 2019-10-18 清华大学 基于深度强化学习的直播视频云转码资源分配与调度方法
CN110856018A (zh) * 2019-11-14 2020-02-28 武汉珞佳伟业科技有限公司 一种基于云计算的监控系统中的快速转码方法及系统
CN110856018B (zh) * 2019-11-14 2020-09-08 武汉珞佳伟业科技有限公司 一种基于云计算的监控系统中的快速转码方法及系统
CN112866687A (zh) * 2021-01-18 2021-05-28 北京锐马视讯科技有限公司 基于分布式技术的视频检测方法和装置及设备

Similar Documents

Publication Publication Date Title
CN105357546A (zh) 一种基于云计算的视频转码方法
EP3734475A1 (en) Method and device for training data, storage medium, and electronic device
US20180323965A1 (en) Reduction in storage usage in blockchain
CN110889492A (zh) 用于训练深度学习模型的方法和装置
CN105828105A (zh) 一种基于分布式环境的视频转码系统及视频转码方法
Brun et al. The “lightness” of Industry 4.0 lead firms: implications for global value chains
US20140204088A1 (en) Surface codec using reprojection onto depth maps
CN105677763B (zh) 一种基于Hadoop的图像质量评估系统
US9705986B2 (en) Elastic scalability of a content transformation cluster
CN114035937A (zh) 一种基于人工智能的分布式训练和推理方法、系统、设备和可读存储介质
CN104935951B (zh) 一种基于分布式的视频转码方法
CN104539978A (zh) 一种云环境下的视频转码系统方法
CN109918184A (zh) 图片处理系统、方法及相关装置和设备
US11082517B2 (en) Content transformations using a transformation node cluster
CN103530182A (zh) 一种作业调度方法和装置
CN110489437A (zh) 分布式事务处理方法、装置、计算机设备及存储介质
CN114035936B (zh) 一种基于人工智能的多维并行处理方法、系统、设备和可读存储介质
KR102562344B1 (ko) 네트워크 프로세서와 컨볼루션 처리기를 갖는 디바이스용 신경망 처리기
EP3420375A1 (en) System and method for generating, delivering, measuring, and managing media apps to showcase videos, documents, blogs, and slides using a web-based portal
US11107037B2 (en) Method and system of sharing product data in a collaborative environment
CN111124658B (zh) 用于处理目标数据的方法、设备和计算机程序产品
CN105701850A (zh) 用于合作动画的实时方法
CN111124708B (zh) 面向微服务的批推理方法、服务器和计算机可读存储介质
CN112506887A (zh) 车辆终端can总线数据处理方法及装置
CN104410868A (zh) 一种共享文件系统多文件快速聚合和读取的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160224