CN106791928A - 一种自适应的高性能视频转码系统和方法 - Google Patents
一种自适应的高性能视频转码系统和方法 Download PDFInfo
- Publication number
- CN106791928A CN106791928A CN201611245187.7A CN201611245187A CN106791928A CN 106791928 A CN106791928 A CN 106791928A CN 201611245187 A CN201611245187 A CN 201611245187A CN 106791928 A CN106791928 A CN 106791928A
- Authority
- CN
- China
- Prior art keywords
- transcoding
- video
- module
- task
- processing module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000006978 adaptation Effects 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 69
- 238000006243 chemical reaction Methods 0.000 claims abstract description 59
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000005538 encapsulation Methods 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 20
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000000151 deposition Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 description 10
- 238000002955 isolation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种自适应的高性能视频转码系统及方法，包含：S1、调度核心模块接收视频转码请求系统提出的转码任务，在转码处理模块中选取节点资源最富裕的一个；S2、转码处理模块对视频的源文件进行下载、特性提取；S3、转码处理模块根据特性提取的结果，确定视频的转码类型；S4、根据视频的转码类型，由转码处理模块、转码节点模块、转码合并模块对视频执行转码任务；S5、转码合并模块将完成转码的视频传送至视频转码请求系统，并向调度核心模块发送转码完成信息。本发明能最大限度的使用计算资源，避免不必要的排队等待，达到最大的转码速度和最短的平均转码时间。
Description
技术领域
本发明涉及一种视频转码系统和方法，具体是指一种自适应的高性能视频转码系统和方法，属于高性能分布式系统架构设计以及视频编解码技术领域。
背景技术
视频转码是视频分享环节中的关键一环，也是最为费时的一环，转码所耗费的时间长短直接决定了视频分享的效率和体验。现有技术中，常用的转码方法有以下两种：
一、最传统的方法是将整个视频在集群的某一个节点上完成全部转码任务。这一方法无法均匀有效的使用集群的全部计算资源，转码速度完全受限于集群中单个节点的转码能力，转码速度慢，等待时间长。
二、现在使用最广泛的方法是将视频切片以后，发送到所有集群节点中进行转码。这一方法由于可以最均衡、最大程度上的利用集群的全部计算资源，因此转码速度快。
然而，在不同的集群节点分享视频切片，会产生网络传输成本。此外，流程的调度本身也是有成本的。最后，这种方法极容易造成一个较大的转码任务占用全部的集群资源，从而阻塞系统。此时，其他任务都必须在任务队列中排队，即使是个很短的视频，其本身的转码速度很快，也需要等待很长的时间，故而用这种转码方法，实际上等待的时间依然很长。
发明内容
本发明的目的在于提供一种自适应的高性能视频转码系统和方法，能最大限度的使用计算资源，避免不必要的排队等待，达到最大的转码速度和最短的平均转码时间。
为了达到上述目的，本发明提供一种自适应的高性能视频转码系统，包含：调度核心模块，接收视频转码请求系统提出的转码任务，进行控制数据交互，调度并调节视频转码系统的负载情况；转码执行模块，由分别与调度核心模块连接的多个转码处理模块、多个转码节点模块、多个转码合并模块构成，根据调度核心模块的控制，对需要进行转码任务的视频进行预处理、转码类型确定、切片、多节点并行转码、合并封装；集群分布式共享存储模块，分别与各个转码处理模块、转码节点模块、转码合并模块连接，在视频转码任务的执行过程中对视频进行分布式存储。
每个所述的转码处理模块、转码节点模块、转码合并模块均具有一本地存储模块，在视频转码任务的执行过程中对视频进行本地存储。
本发明所述的自适应的高性能视频转码系统，还包含转码任务队列模块，与调度核心模块连接，根据视频转码请求系统提出的转码任务，按照时间顺序进行队列排序，集中进行转码。
为本发明还提供一种自适应的高性能视频转码方法，采用上述的视频转码系统实现，包含以下步骤：
S1、视频转码请求系统提供需要进行转码任务的视频源文件，以及存放转码结果的存储空间；调度核心模块接收视频转码请求系统提出的转码任务，在所有的转码处理模块中选取节点资源最富裕的一个，开始执行转码任务；
S2、转码处理模块对需要进行转码任务的视频的源文件进行下载、特性提取的预处理；
S3、转码处理模块根据特性提取的结果，确定该视频的转码类型；
S4、根据视频的转码类型，由转码处理模块、转码节点模块、转码合并模块对视频执行转码任务；
S5、将完成转码任务的视频文件传送至视频转码请求系统提供的转码结果存储空间，并向调度核心模块发送转码完成信息。
在所述的S1之前，还包含：S0、视频转码请求系统提出的各个转码任务会按照被提出请求的时间先后顺序进入转码任务队列模块排序，集中进行转码。
所述的S2中，具体包含以下步骤：
S21、转码处理模块从视频转码请求系统中下载需要进行转码任务的视频的源文件，存放至本地存储模块中，并对该视频的源文件进行校验；
S22、转码处理模块对下载后的视频的源文件进行特性提取，包括视频的宽高、码率、时长。
所述的S3中，具体包含以下步骤：
S31、转码处理模块根据特性提取的结果，判断该视频是否需要进行转码；如是，继续执行S32；如否，继续执行S33；
S32、转码处理模块根据特性提取的结果，判断该视频是否需要进行多节点并行转码；当视频内容为无法安全切割的视频格式，并且视频的时长小于预设阈值时，判断该视频不进行多节点并行转码，确定该视频的转码类型为单节点本地转码及封装；否则，确定该视频的转码类型为多节点并行转码；
S33、转码处理模块根据特性提取的结果，判断该视频是否需要进行封装；如是，确定该视频的转码类型为无需转码只需封装；如否，确定该视频的转码类型为无需转码及无需封装。
所述的S4中，具体包含以下步骤：
S41、当视频的转码类型为无需转码及无需封装时，无需对视频进行任何处理，继续执行S5，由转码处理模块将完成转码任务的视频文件传送至视频转码请求系统；
S42、当视频的转码类型为无需转码只需封装时，转码处理模块在本地存储模块中将视频封装成需要的格式，并继续执行S5，由转码处理模块将完成转码任务的视频文件传送至视频转码请求系统；
S43、当视频的转码类型为单节点本地转码及封装时，转码处理模块在本地存储模块中对视频进行转码，封装成需要的格式，并继续执行S5，由转码处理模块将完成转码任务的视频文件传送至视频转码请求系统；
S44、当视频的转码类型为多节点并行转码时，转码处理模块、转码节点模块、转码合并模块对视频执行多节点并行转码任务，并继续执行S5，由转码合并模块将完成转码任务的视频文件传送至视频转码请求系统。
所述的S44中，具体包含以下步骤：
S441、转码处理模块对视频进行切片处理，存放至集群分布式共享存储模块中，并将各切片的存放位置发送至调度核心模块；
S442、调度核心模块根据接收到的各切片的存放位置，选取对应数量的空闲的转码节点模块对各切片进行转码任务；
S443、各个转码节点模块在其本地存储模块中，对所分派到的切片进行转码，将切片转码结果存放至集群分布式共享存储模块中，并将各切片转码结果的存放位置发送至调度核心模块；
S444、当调度核心模块接收到所有转码节点模块发送的切片转码结果的存放位置后，选取一个空闲的转码合并模块，在其本地存储模块中，对所有切片转码结果进行合并，并封装成需要的格式。
所述的S5中，转码处理模块或转码合并模块对完成转码任务的视频进行打标签、写入跳转表的后处理。
本发明所提供的自适应的高性能视频转码系统和方法，根据视频特性，在无需转码无需封装、无需转码只需封装、单节点本地转码及封装、多节点并行转码这4种视频转码处理方式中，选取最优的方案；转码处理模块和执行多节点并行转码的转码节点模块在流程上的隔离，保证了短小的转码任务不会被大而长的转码任务阻塞而排队等待，可以最快的速度完成；同时保证了系统中大多数的计算资源被用于处理较大、较长的转码任务。因此，本发明能最大限度的使用计算资源，避免不必要的排队等待，达到最大的转码速度和最短的平均转码时间。
附图说明
图1为本发明中的自适应的高性能视频转码系统的结构示意图；
图2为本发明中的自适应的高性能视频转码方法的流程图。
具体实施方式
以下结合图1～图2，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。
如图1所示，为本发明提供的自适应的高性能视频转码系统，包含：调度核心模块1，接收视频转码请求系统提出的转码任务，进行控制数据交互，调度并调节视频转码系统的负载情况；转码执行模块2（Worker），由分别与调度核心模块1连接的多个转码处理模块21（Gateway Worker）、多个转码节点模块22（Transcode Worker）、多个转码合并模块23（Conclude Worker）构成，根据调度核心模块1发出的控制信号，对需要进行转码任务的视频依次进行预处理、转码类型确定、切片、多节点并行转码、合并封装；集群分布式共享存储模块3，分别与各个转码处理模块21、转码节点模块22、转码合并模块23连接，在视频转码任务的执行过程中对视频进行分布式存储，使得整个视频转码系统中的所有模块均能访问其所存储的视频内容，但会存在网络传输时间损耗。
其中，所述的转码处理模块21、转码节点模块22、转码合并模块23的具体设置数量以及配比，可根据视频转码系统的实际应用情况进行调整。
每个所述的转码处理模块21、转码节点模块22、转码合并模块23均具有一本地存储模块，在视频转码任务的执行过程中对视频进行本地存储，且只能访问各自本地存储的视频内容，不存在任何网络传输的时间损耗。
本发明所述的自适应的高性能视频转码系统，还包含：转码任务队列模块4，与调度核心模块1连接，根据视频转码请求系统提出的转码任务，按照时间顺序进行队列排序，集中进行转码。
如图2所示，为本发明提供的自适应的高性能视频转码方法，采用上述的视频转码系统实现，包含以下步骤：
S1、视频转码请求系统提供需要进行转码任务的视频源文件，以及存放转码结果的存储空间；调度核心模块1接收视频转码请求系统提出的转码任务，在所有的转码处理模块21中选取节点资源最富裕的一个，开始执行转码任务；
S2、转码处理模块21对需要进行转码任务的视频的源文件进行下载、特性提取的预处理；
S3、转码处理模块21根据特性提取的结果，并结合视频转码系统的应用要求，确定该视频的转码类型；
S4、根据视频的转码类型，由转码处理模块21、转码节点模块22、转码合并模块23对视频执行转码任务；
S5、将完成转码任务的视频文件传送至视频转码请求系统提供的转码结果存储空间，并向调度核心模块1发送转码完成信息。
在所述的S1之前，还包含：S0、为平衡视频转码请求系统提出转码任务和视频转码系统处理转码任务的节奏，各个转码任务会按照被提出请求的时间先后顺序进入转码任务队列模块4排序，集中进行转码。
所述的S2中，具体包含以下步骤：
S21、由于需要进行转码任务的视频的源文件往往不会存放在转码处理模块21的本地存储模块中，为了提高转码性能和稳定性，转码处理模块21需要从视频转码请求系统中下载该视频的源文件，存放至本地存储模块中，并对该视频的源文件进行校验以确保准确性；
S22、转码处理模块21对下载后的视频源文件进行特性提取，包括视频的宽高、码率、时长等信息；可以根据视频转码系统的具体应用要求，定制需要提取的特性种类。
所述的S3中，具体包含以下步骤：
S31、转码处理模块21根据特性提取的结果，结合视频转码系统的具体应用要求，判断该视频是否需要进行转码；如是，则继续执行S32；如否，则继续执行S33；
S32、转码处理模块21根据特性提取的结果，结合视频转码系统的具体应用要求，判断该视频是否需要进行多节点并行转码；如是，则确定该视频的转码类型为多节点并行转码；如否，则确定该视频的转码类型为单节点本地转码及封装；
S33、转码处理模块21根据特性提取的结果，结合视频转码系统的具体应用要求，判断该视频是否需要进行封装；如是，则确定该视频的转码类型为无需转码只需封装；如否，则确定该视频的转码类型为无需转码及无需封装。
所述的S32中，当视频内容为无法安全切割的视频格式，并且视频的时长小于预设阈值时，判断该视频不进行多节点并行转码，即确定该视频的转码类型为本地转码及封装；否则，即确定该视频的转码类型为多节点并行转码。
所述的S4中，具体包含以下步骤：
S41、当视频的转码类型为无需转码及无需封装时，无需对视频进行任何处理，继续执行S5，由转码处理模块21将完成转码任务的视频文件传送至视频转码请求系统；
S42、当视频的转码类型为无需转码只需封装时，转码处理模块21在本地存储模块中将视频封装成需要的格式，并继续执行S5，由转码处理模块21将完成转码任务的视频文件传送至视频转码请求系统；
S43、当视频的转码类型为单节点本地转码及封装时，转码处理模块21在本地存储模块中对视频进行转码，封装成需要的格式，并继续执行S5，由转码处理模块21将完成转码任务的视频文件传送至视频转码请求系统；
S44、当视频的转码类型为多节点并行转码时，转码处理模块21、转码节点模块22、转码合并模块23对视频执行多节点并行转码任务，并继续执行S5，由转码合并模块23将完成转码任务的视频文件传送至视频转码请求系统。
所述的S44中，具体包含以下步骤：
S441、转码处理模块21对视频进行切片处理，存放至集群分布式共享存储模块3中，并将各切片的存放位置发送至调度核心模块1；
S442、调度核心模块1根据接收到的各切片的存放位置，选取对应数量的空闲的转码节点模块22对各切片进行转码任务；
S443、各个转码节点模块22在其本地存储模块中，对所分派到的切片进行转码，将切片转码结果存放至集群分布式共享存储模块3中，并将各切片转码结果的存放位置发送至调度核心模块1；
S444、当调度核心模块1接收到所有转码节点模块22发送的切片转码结果的存放位置后，选取一个空闲的转码合并模块23，在其本地存储模块中，对所有切片转码结果进行合并，并封装成需要的格式，随后继续执行S5。
所述的S5中，视频转码系统的具体应用要求，转码处理模块21或转码合并模块23对完成转码任务的视频进行打标签、写入跳转表的后处理。
综上所述，本发明所提供的自适应的高性能视频转码系统和方法，具有以下优点和有益效果：
根据视频的特性，在无需转码无需封装、无需转码只需封装、单节点本地转码及封装、多节点并行转码这4种视频转码处理方式中，选取最优的方案。让一些已经满足要求的视频不转码直接输出、或者只是在本地做一个快速的转封装（重IO轻计算），从而可以极大地节约转码的计算资源，增大了系统的并发能力。而对于真正需要转码的视频，本发明所采用的方法是根据用户对转码的心理预期所制定的。分享短小视频的用户往往没有很多耐心等待，因此需要快速完成转码，此时只采用单节点处理，避免不必要的分享和调度成本，获得最大的性能。而分享长视频的用户由于预期不同，则相对较为耐心，相对而言可以等待较长的时间，此时采用多节点并行处理。
转码处理模块和执行多节点并行转码的转码节点模块在流程上的隔离，保证了短小的转码任务不会被大而长的转码任务阻塞而排队等待，可以最快的速度完成，满足用户的心理预期，给用户较好的体验。
同时这种隔离保证了系统中大多数的计算资源被用于处理较大、较长的转码任务。对于这些任务，由于拥有系统中多数的计算资源，且转码完全并行化，即使会有排队的现象，以及分享和调度的消耗，其转码时间也会远远低于用户的预期，带来超出用户预期的体验。
以下通过一个具体实验，更直观的来说明和体现本发明的有益效果。本实验基于二次元视频网站www.bilibili.com的实际线上用户视频投稿完成。
测试组系统和对照组系统为同批次购买的转码服务器，每个系统规模都是32台，每个节点的CPU为双路Intel E5 2658A，内存为32GB，存储为256G SSD，网络配置为4张千兆网卡。
测试组采用本发明中所提供的视频转码方法；而对照组采用目前广泛使用的切片并行转码方法。在测试时，两个系统均重负载运行，平均CPU占用均略超过90%。测试时间为2小时。
测试结果如下：
| 测试项 | 对照组 | 测试组 | 效率提升 |
| 完成任务数 | 913个 | 1166个 | 27.7% |
| 平均纯执行时间/任务 | 6.25分钟 | 4.8分钟 | 23.2% |
| 平均转码时间/任务 | 51.6分钟 | 10.7分钟 | 79.2% |
可以看到测试组在整体的性能上的明显优势。测试组多完成27.7%的转码任务，单个任务性能提升23.2%。这部分主要来自于不必要的分享和调度成本的优化。在排队等待方面，对照组的平均纯运行时间仅占平均总运行时间12.11%，而测试组达到44.86%，优化效果同样明显。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。
Claims (10)
1.一种自适应的高性能视频转码系统，其特征在于，包含：
调度核心模块，接收视频转码请求系统提出的转码任务，进行控制数据交互，调度并调节视频转码系统的负载情况；
转码执行模块，由分别与调度核心模块连接的多个转码处理模块、多个转码节点模块、多个转码合并模块构成，根据调度核心模块的控制，对需要进行转码任务的视频进行预处理、转码类型确定、切片、多节点并行转码、合并封装；
集群分布式共享存储模块，分别与各个转码处理模块、转码节点模块、转码合并模块连接，在视频转码任务的执行过程中对视频进行分布式存储。
2.如权利要求1所述的自适应的高性能视频转码系统，其特征在于，每个转码处理模块、转码节点模块、转码合并模块均具有一本地存储模块，在视频转码任务的执行过程中对视频进行本地存储。
3.如权利要求1所述的自适应的高性能视频转码系统，其特征在于，还包含转码任务队列模块，与调度核心模块连接，根据视频转码请求系统提出的转码任务，按照时间顺序进行队列排序，集中进行转码。
4.一种自适应的高性能视频转码方法，利用如权利要求1～3中任一项所述的视频转码系统实现，其特征在于，包含以下步骤：
S1、视频转码请求系统提供需要进行转码任务的视频源文件，以及存放转码结果的存储空间；调度核心模块接收视频转码请求系统提出的转码任务，在所有的转码处理模块中选取节点资源最富裕的一个，开始执行转码任务；
S2、转码处理模块对需要进行转码任务的视频的源文件进行下载、特性提取的预处理；
S3、转码处理模块根据特性提取的结果，确定该视频的转码类型；
S4、根据视频的转码类型，由转码处理模块、转码节点模块、转码合并模块对视频执行转码任务；
S5、将完成转码任务的视频文件传送至视频转码请求系统提供的转码结果存储空间，并向调度核心模块发送转码完成信息。
5.如权利要求4所述的自适应的高性能视频转码方法，其特征在于，在所述的S1之前，还包含：S0、视频转码请求系统提出的各个转码任务会按照被提出请求的时间先后顺序进入转码任务队列模块排序，集中进行转码。
6.如权利要求4所述的自适应的高性能视频转码方法，其特征在于，所述的S2中，具体包含以下步骤：
S21、转码处理模块从视频转码请求系统中下载需要进行转码任务的视频的源文件，存放至本地存储模块中，并对该视频的源文件进行校验；
S22、转码处理模块对下载后的视频的源文件进行特性提取，包括视频的宽高、码率、时长。
7.如权利要求6所述的自适应的高性能视频转码方法，其特征在于，所述的S3中，具体包含以下步骤：
S31、转码处理模块根据特性提取的结果，判断该视频是否需要进行转码；如是，继续执行S32；如否，继续执行S33；
S32、转码处理模块根据特性提取的结果，判断该视频是否需要进行多节点并行转码；当视频内容为无法安全切割的视频格式，并且视频的时长小于预设阈值时，判断该视频不进行多节点并行转码，确定该视频的转码类型为单节点本地转码及封装；否则，确定该视频的转码类型为多节点并行转码；
S33、转码处理模块根据特性提取的结果，判断该视频是否需要进行封装；如是，确定该视频的转码类型为无需转码只需封装；如否，确定该视频的转码类型为无需转码及无需封装。
8.如权利要求7所述的自适应的高性能视频转码方法，其特征在于，所述的S4中，具体包含以下步骤：
S41、当视频的转码类型为无需转码及无需封装时，无需对视频进行任何处理，继续执行S5，由转码处理模块将完成转码任务的视频文件传送至视频转码请求系统；
S42、当视频的转码类型为无需转码只需封装时，转码处理模块在本地存储模块中将视频封装成需要的格式，并继续执行S5，由转码处理模块将完成转码任务的视频文件传送至视频转码请求系统；
S43、当视频的转码类型为单节点本地转码及封装时，转码处理模块在本地存储模块中对视频进行转码，封装成需要的格式，并继续执行S5，由转码处理模块将完成转码任务的视频文件传送至视频转码请求系统；
S44、当视频的转码类型为多节点并行转码时，转码处理模块、转码节点模块、转码合并模块对视频执行多节点并行转码任务，并继续执行S5，由转码合并模块将完成转码任务的视频文件传送至视频转码请求系统。
9.如权利要求8所述的自适应的高性能视频转码方法，其特征在于，所述的S44中，具体包含以下步骤：
S441、转码处理模块对视频进行切片处理，存放至集群分布式共享存储模块中，并将各切片的存放位置发送至调度核心模块；
S442、调度核心模块根据接收到的各切片的存放位置，选取对应数量的空闲的转码节点模块对各切片进行转码任务；
S443、各个转码节点模块在其本地存储模块中，对所分派到的切片进行转码，将切片转码结果存放至集群分布式共享存储模块中，并将各切片转码结果的存放位置发送至调度核心模块；
S444、当调度核心模块接收到所有转码节点模块发送的切片转码结果的存放位置后，选取一个空闲的转码合并模块，在其本地存储模块中，对所有切片转码结果进行合并，并封装成需要的格式。
10.如权利要求9所述的自适应的高性能视频转码方法，其特征在于，所述的S5中，转码处理模块或转码合并模块对完成转码任务的视频进行打标签、写入跳转表的后处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611245187.7A CN106791928A (zh) | 2016-12-29 | 2016-12-29 | 一种自适应的高性能视频转码系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611245187.7A CN106791928A (zh) | 2016-12-29 | 2016-12-29 | 一种自适应的高性能视频转码系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106791928A true CN106791928A (zh) | 2017-05-31 |
Family
ID=58928775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611245187.7A Pending CN106791928A (zh) | 2016-12-29 | 2016-12-29 | 一种自适应的高性能视频转码系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106791928A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107147867A (zh) * | 2017-05-12 | 2017-09-08 | 网宿科技股份有限公司 | 分布式转码方法和系统 |
| CN108600863A (zh) * | 2018-03-28 | 2018-09-28 | 腾讯科技（深圳）有限公司 | 多媒体文件处理方法和装置、存储介质及电子装置 |
| CN109240820A (zh) * | 2018-07-03 | 2019-01-18 | 深圳市商汤科技有限公司 | 图像处理任务的处理方法及装置、电子设备及存储介质 |
| CN110062278A (zh) * | 2019-04-12 | 2019-07-26 | 北京字节跳动网络技术有限公司 | 视频数据发布方法、装置、电子设备和存储介质 |
| CN111147926A (zh) * | 2018-11-02 | 2020-05-12 | 杭州海康威视数字技术股份有限公司 | 一种数据转码方法及装置 |
| CN111246291A (zh) * | 2018-11-29 | 2020-06-05 | 浙江宇视科技有限公司 | 一种视频转码方法、装置及电子设备 |
| CN112434061A (zh) * | 2020-08-25 | 2021-03-02 | 上海幻电信息科技有限公司 | 支持循环依赖的任务调度方法和系统 |
| CN112702605A (zh) * | 2020-12-24 | 2021-04-23 | 百果园技术(新加坡)有限公司 | 视频转码系统、视频转码方法、电子设备和存储介质 |
| CN115357400A (zh) * | 2022-10-17 | 2022-11-18 | 成都华栖云科技有限公司 | 一种基于Kubernetes录播厂商的资源入库方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020026645A1 (en) * | 2000-01-28 | 2002-02-28 | Diva Systems Corp. | Method and apparatus for content distribution via non-homogeneous access networks |
| CN102802022A (zh) * | 2012-08-28 | 2012-11-28 | 曙光信息产业(北京)有限公司 | 编解码系统和方法 |
| CN104378665A (zh) * | 2014-11-24 | 2015-02-25 | 深圳市天威视讯股份有限公司 | 一种基于数字电视的分布式转码系统及方法 |
| CN105338371A (zh) * | 2015-10-29 | 2016-02-17 | 南京秦杜明视信息技术有限公司 | 一种多媒体转码调度方法和装置 |
| CN105578206A (zh) * | 2015-12-15 | 2016-05-11 | 无锡天脉聚源传媒科技有限公司 | 一种多媒体文件转码方法及装置 |
| CN105657449A (zh) * | 2014-12-03 | 2016-06-08 | 中国移动通信集团公司 | 一种视频转码分配方法、装置及视频转码系统 |
-
2016
- 2016-12-29 CN CN201611245187.7A patent/CN106791928A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020026645A1 (en) * | 2000-01-28 | 2002-02-28 | Diva Systems Corp. | Method and apparatus for content distribution via non-homogeneous access networks |
| CN102802022A (zh) * | 2012-08-28 | 2012-11-28 | 曙光信息产业(北京)有限公司 | 编解码系统和方法 |
| CN104378665A (zh) * | 2014-11-24 | 2015-02-25 | 深圳市天威视讯股份有限公司 | 一种基于数字电视的分布式转码系统及方法 |
| CN105657449A (zh) * | 2014-12-03 | 2016-06-08 | 中国移动通信集团公司 | 一种视频转码分配方法、装置及视频转码系统 |
| CN105338371A (zh) * | 2015-10-29 | 2016-02-17 | 南京秦杜明视信息技术有限公司 | 一种多媒体转码调度方法和装置 |
| CN105578206A (zh) * | 2015-12-15 | 2016-05-11 | 无锡天脉聚源传媒科技有限公司 | 一种多媒体文件转码方法及装置 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107147867A (zh) * | 2017-05-12 | 2017-09-08 | 网宿科技股份有限公司 | 分布式转码方法和系统 |
| CN107147867B (zh) * | 2017-05-12 | 2020-09-18 | 网宿科技股份有限公司 | 分布式转码方法和系统 |
| CN108600863A (zh) * | 2018-03-28 | 2018-09-28 | 腾讯科技（深圳）有限公司 | 多媒体文件处理方法和装置、存储介质及电子装置 |
| WO2019184822A1 (zh) * | 2018-03-28 | 2019-10-03 | 腾讯科技（深圳）有限公司 | 多媒体文件处理方法和装置、存储介质及电子装置 |
| US11412270B2 (en) | 2018-03-28 | 2022-08-09 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for processing multimedia file, storage medium, and electronic apparatus |
| CN109240820A (zh) * | 2018-07-03 | 2019-01-18 | 深圳市商汤科技有限公司 | 图像处理任务的处理方法及装置、电子设备及存储介质 |
| CN109240820B (zh) * | 2018-07-03 | 2022-09-13 | 深圳市商汤科技有限公司 | 图像处理任务的处理方法及装置、电子设备及存储介质 |
| CN111147926A (zh) * | 2018-11-02 | 2020-05-12 | 杭州海康威视数字技术股份有限公司 | 一种数据转码方法及装置 |
| CN111246291B (zh) * | 2018-11-29 | 2022-03-11 | 浙江宇视科技有限公司 | 一种视频转码方法、装置及电子设备 |
| CN111246291A (zh) * | 2018-11-29 | 2020-06-05 | 浙江宇视科技有限公司 | 一种视频转码方法、装置及电子设备 |
| CN110062278A (zh) * | 2019-04-12 | 2019-07-26 | 北京字节跳动网络技术有限公司 | 视频数据发布方法、装置、电子设备和存储介质 |
| CN112434061A (zh) * | 2020-08-25 | 2021-03-02 | 上海幻电信息科技有限公司 | 支持循环依赖的任务调度方法和系统 |
| CN112434061B (zh) * | 2020-08-25 | 2024-04-16 | 上海幻电信息科技有限公司 | 支持循环依赖的任务调度方法和系统 |
| CN112702605A (zh) * | 2020-12-24 | 2021-04-23 | 百果园技术(新加坡)有限公司 | 视频转码系统、视频转码方法、电子设备和存储介质 |
| CN115357400A (zh) * | 2022-10-17 | 2022-11-18 | 成都华栖云科技有限公司 | 一种基于Kubernetes录播厂商的资源入库方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106791928A (zh) | 一种自适应的高性能视频转码系统和方法 | |
| US8799547B2 (en) | Data packet processing method for a multi core processor | |
| CN104915407B (zh) | 一种基于Hadoop多作业环境下的资源调度方法 | |
| US10992739B2 (en) | Integrated application-aware load balancer incorporated within a distributed-service-application-controlled distributed computer system | |
| US20170185452A1 (en) | Apparatus and method for data processing | |
| CN106503791A (zh) | 用于有效神经网络部署的系统和方法 | |
| CN102594891A (zh) | 用于处理远程过程调用请求的方法及系统 | |
| CN103294548B (zh) | 一种基于分布式文件系统的io请求调度方法和系统 | |
| CN108710535A (zh) | 一种基于智能处理器的任务调度系统 | |
| CN109254846B (zh) | 基于两级调度的cpu与gpu协同计算的动态调度方法及系统 | |
| CN102325255A (zh) | 一种多核心cpu视频转码调度方法及系统 | |
| CN108769162B (zh) | 分布式消息均衡处理方法、装置、电子设备、存储介质 | |
| CN113504985A (zh) | 一种任务处理方法以及网络设备 | |
| CN111160873A (zh) | 基于分布式架构的跑批处理装置及方法 | |
| CN103841647A (zh) | 基于基站资源池的多粒度可伸缩封装装置和方法 | |
| CN110990154A (zh) | 一种大数据应用优化方法、装置及存储介质 | |
| CN114466227B (zh) | 一种视频分析方法、装置、电子设备及存储介质 | |
| CN107657434A (zh) | 游戏充值支付结果的通知方法、装置和网关设备 | |
| CN111061511A (zh) | 一种服务处理方法、装置及存储介质和服务器 | |
| CN116996112B (zh) | 一种遥感卫星数据实时预处理方法 | |
| CN114095537A (zh) | 一种物联网应用中基于Netty的海量数据接入方法及系统 | |
| US20210342197A1 (en) | NOSQL Database Capacity Configuration Optimization System for Cloud Computing | |
| CN106789853A (zh) | 一种转码器的动态调度方法及装置 | |
| CN112380001A (zh) | 日志输出方法、负载均衡设备及计算机可读存储介质 | |
| CN116841714A (zh) | 基于gpgpu芯片的多通道传输管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170531 |