CN110830805A - 一种多分辨率输出的分布式文件转码方法及装置 - Google Patents
一种多分辨率输出的分布式文件转码方法及装置 Download PDFInfo
- Publication number
- CN110830805A CN110830805A CN201911019034.4A CN201911019034A CN110830805A CN 110830805 A CN110830805 A CN 110830805A CN 201911019034 A CN201911019034 A CN 201911019034A CN 110830805 A CN110830805 A CN 110830805A
- Authority
- CN
- China
- Prior art keywords
- video
- slices
- slice
- video slices
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000010586 diagram Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种多分辨率输出的分布式文件转码方法及装置,该方法包括如下步骤：视频切片模块将视频文件切分成多个第一视频切片，并将所有所述第一视频切片发送至多个第一编码模块；所有所述第一编码模块对其接收到的第一视频切片分别进行一次编码，生成第二视频切片，并将所有所述第二视频切片发送至多个第二编码模块；所述第二编码模块分别将每个所述第二视频切片转码为多个具有不同分辨率的第三视频切片，并将所有第三视频切片发送至多个切片合并模块块；所有所述切片合并模块将具有相同分辨率的所有第三视频切片进行合并输出。本发明将多个进程分配到多台转码服务器上，可以降低单个转码进程的资源需求，增加单个转码服务器的资源利用率。
Description
技术领域
本申请涉及视频数据处理技术领域，特别涉及一种多分辨率输出的分布式文件转码方法及装置。
背景技术
随着点播视频需求量的日益增加，例如电影、短视频等，提升批量视频的转码能力也是十分迫切的问题。分布式文件转码是一种批量处理视频文件转码应用中使用较为广泛的方式。
分布式文件转码系统的工作流程包括：(1)通过视频文件打点，获取所有源视频文件进行切分的开始时间和时长信息；(2)将转码任务分配到多台转码服务器上，并分配一定的转码资源，单台转码服务器按照其总资源可以运行多个转码任务；(3)每个转码任务根据获取的时间信息，将视频文件进行转码切片；(4)最后将所有转码后的切片文件进行合并处理，得到需要的转码文件。
分布式文件转码确实提升了整体的转码速度，但是也存在一些问题：(1)对于多分辨率、多码率的转码需求，使用单进程进行处理，不仅需要分配更多的转码资源，同时也可能降低切片的转码速度，不利于单个转码服务器资源的充分利用和整体转码速度的提升；(2)在需要对视频文件进行多进程转码时，每个进程都需要对源文件进行打点处理，不能做到对打点信息的共享；(3)在一进多出需要进行二次编码处理时，需要同时获取所有的输出的一次编码信息，极大地降低了整体转码速度。
因此，针对目前点播视频需求日益增大的趋势，提升整体转码速度和转码资源利用率的需要，迫切提出一种分布式文件转码系统的优化方案。
发明内容
本发明的目的在于提供一种提升整体转码速度和转码资源利用率的分布式文件转码方法及装置。
为了解决上述问题，本发明提供了一种多分辨率输出的分布式文件转码方法,包括如下步骤：S1：视频切片模块将视频文件切分成多个第一视频切片，并将所有所述第一视频切片发送至多个第一编码模块；S2：所有所述第一编码模块对其接收到的第一视频切片分别进行一次编码，生成第二视频切片，并将所有所述第二视频切片发送至多个第二编码模块；S3：所述第二编码模块分别将每个所述第二视频切片转码为多个具有不同分辨率的第三视频切片，并将所有第三视频切片发送至多个切片合并模块，其中，具有相同分辨率的所有第三视频切片发送至同一切片合并模块；S4：所有所述切片合并模块将具有相同分辨率的所有第三视频切片进行合并输出。
较佳地，在所述步骤S1中，所述视频切片模块将视频文件切分成多个第一视频切片后，还将切片位置打点信息存入REDIS数据缓存，所述切片位置打点信息包括视频文件进行切分的开始时间和时长信息。
较佳地，在所述步骤S2中，所有所述第一编码模块对其接收到的第一视频切片分别进行一次编码时，均从所述REDIS数据缓存获取切片位置打点信息。
较佳地，所述第二编码模块分别将每个所述第二视频切片转码为3个具有不同分辨率的第三视频切片。
本发明还提供了一种多分辨率输出的分布式文件转码装置,包括视频切片模块、多个第一编码模块、多个第二编码模块和多个切片合并模块，其中，所述视频切片模块将视频文件切分成多个第一视频切片，并将所有所述第一视频切片发送至多个所述第一编码模块；所述第一编码模块对其接收到的第一视频切片分别进行一次编码，生成第二视频切片，并将所有所述第二视频切片发送至多个所述第二编码模块；所述第二编码模块分别将每个所述第二视频切片转码为多个具有不同分辨率的第三视频切片，并将所有第三视频切片发送至多个切片合并模块，其中，具有相同分辨率的所有第三视频切片发送至同一切片合并模块；所有所述切片合并模块将具有相同分辨率的所有第三视频切片进行合并输出。
较佳地，还包括REDIS数据缓存，用于换成切片位置打点信息，其中，所述切片位置打点信息包括视频文件进行切分的开始时间和时长信息。
较佳地，所述第一编码模块对其接收到的第一视频切片分别进行一次编码时，均从所述REDIS数据缓存获取切片位置打点信息。
较佳地，所述视频切片模块、第一编码模块、第二编码模块和/或切片合并模块为Kubernetes系统控制产生的POD。
与现有技术相比，本发明存在以下技术效果：
1、本发明实施例针对多分辨率、多码率转码需求，将每个切片的单一转码进程拆分为多个转码进程同时进行转码，按照单个转码进程需要的资源，将多个进程分配到多台转码服务器上，可以降低单个转码进程的资源需求，增加单个转码服务器的资源利用率。
2、本发明实施例采用打点信息共享机制，针对多进程转码时，获取切片文件开始切片时间和切片时长的打点信息后，避免同一个源文件相关的多个转码进程再进行打点处理，可以同时获取到所需的打点信息。
3、本发明实施例快速获取一次编码信息和一次编码信息的共享。主要针对多分辨率输出时，通过低分辨率输出的编码参数，快速获取一次编码信息，再通过高分辨率一次编码参数和低分辨率一次编码参数的系数关系，将低分辨率的一次编码信息用于高分率的二次编码。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：
图1为本发明实施例多分辨率输出的分布式文件转码装置结构示意图；
图2为本发明实施例多分辨率输出的分布式文件转码方法流程示意图；
图3为本发明实施例多分辨率输出的分布式文件转码过程示意图。
具体实施方式
以下将结合附图对本发明提供的一种多分辨率输出的分布式文件转码方法及装置进行详细的描述，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例，本领域技术人员在不改变本发明精神和内容的范围内，能够对其进行修改和润色。
请参考图1，本发明提供了一种多分辨率输出的分布式文件转码装置,包括视频切片模块100、多个第一编码模块200、多个第二编码模块300和多个切片合并模块400，其中，
所述视频切片模块100将视频文件切分成多个第一视频切片，并将所有所述第一视频切片发送至多个所述第一编码模块200；
所述第一编码模块200对其接收到的第一视频切片分别进行一次编码，生成第二视频切片，并将所有所述第二视频切片发送至多个所述第二编码模块300；
所述第二编码模块300分别将每个所述第二视频切片转码为多个具有不同分辨率的第三视频切片，并将所有第三视频切片发送至多个切片合并模块400，其中，具有相同分辨率的所有第三视频切片发送至同一切片合并模块400；
所有所述切片合并模块400将具有相同分辨率的所有第三视频切片进行合并输出。
作为一种优选实施例，还包括REDIS数据缓存500，用于换成切片位置打点信息，其中，所述切片位置打点信息包括视频文件进行切分的开始时间和时长信息。
作为一种优选实施例，所述第一编码模块对其接收到的第一视频切片分别进行一次编码时，均从所述REDIS数据缓存获取切片位置打点信息。
作为一种优选实施例，所述视频切片模块100、第一编码模块200、第二编码模块300和/或切片合并模块400为Kubernetes系统控制产生的POD节点服务器。
可以理解地，本实施例所给出的第一编码模块200、第二编码模块300和切片合并模块400的数量及其连接关系仅为一个特定实施例，本发明对于第一编码模块200、第二编码模块300和切片合并模块400的数量不作限制，且第一编码模块200、第二编码模块300和切片合并模块400的数量不存在关联性，第一编码模块200和第二编码模块300、第二编码模块300和切片合并模块400间的连接关系(数据传送)也不存在一一对应的限制，根据实际应用的需要，每个第一编码模块200可以与任意一个或多个第二编码模块300连接，第二编码模块300可以与任意一个或多个切片合并模块400连接。
请参考图2和图3，本发明提供了一种多分辨率输出的分布式文件转码方法,包括如下步骤：
S1：视频切片模块将视频文件切分成多个第一视频切片，并将所有所述第一视频切片发送至多个第一编码模块；
本实施例中，所述视频切片模块将视频文件切分成多个第一视频切片后，还将切片位置打点信息存入REDIS数据缓存，所述切片位置打点信息包括视频文件进行切分的开始时间和时长信息。
具体地，视频切片模块进行视频切片位置打点，并将包括视频文件进行切分的开始时间和时长信息的切片位置打点信息存入REDIS数据缓存，实现切片位置打点信息的共享，在后续多进程转码时，均可以从REDIS数据缓存获取切片文件开始切片时间和切片时长的打点信息后，避免同一个源文件相关的多个转码进程再分别进行打点处理。
S2：所有所述第一编码模块对其接收到的第一视频切片分别进行一次编码，生成第二视频切片，并将所有所述第二视频切片发送至多个第二编码模块；
一次编码完成后生产的第二视频切片为第分辨率视频切片，第二视频切片放入节点服务器中进行存储备用。
S3：所述第二编码模块分别将每个所述第二视频切片转码为多个具有不同分辨率的第三视频切片，并将所有第三视频切片发送至多个切片合并模块，其中，具有相同分辨率的所有第三视频切片发送至同一切片合并模块；
针对多分辨率输出时，第二编码模块通过低分辨率输出(第二视频切片)的编码参数，快速获取一次编码信息，再通过高分辨率一次编码参数和低分辨率一次编码参数的系数关系，将低分辨率的一次编码信息用于高分率的二次编码，生成第三视频切片。
S4：所有所述切片合并模块将具有相同分辨率的所有第三视频切片进行合并输出。
作为一种优选实施例，在所述步骤S2中，所有所述第一编码模块对其接收到的第一视频切片分别进行一次编码时，均从所述REDIS数据缓存获取切片位置打点信息。
作为一种优选实施例，所述第二编码模块分别将每个所述第二视频切片转码为3个具有不同分辨率的第三视频切片。
以上公开的仅为本申请的一个具体实施例，但本申请并非局限于此，任何本领域的技术人员能思之的变化，都应落在本申请的保护范围内。
Claims (8)
1.一种多分辨率输出的分布式文件转码方法,其特征在于，包括如下步骤：
S1：视频切片模块将视频文件切分成多个第一视频切片，并将所有所述第一视频切片发送至多个第一编码模块；
S2：所有所述第一编码模块对其接收到的第一视频切片分别进行一次编码，生成第二视频切片，并将所有所述第二视频切片发送至多个第二编码模块；
S3：所述第二编码模块分别将每个所述第二视频切片转码为多个具有不同分辨率的第三视频切片，并将所有第三视频切片发送至多个切片合并模块，其中，具有相同分辨率的所有第三视频切片发送至同一切片合并模块；
S4：所有所述切片合并模块将具有相同分辨率的所有第三视频切片进行合并输出。
2.根据权利要求1所述的多分辨率输出的分布式文件转码方法,其特征在于，在所述步骤S1中，所述视频切片模块将视频文件切分成多个第一视频切片后，还将切片位置打点信息存入REDIS数据缓存，所述切片位置打点信息包括视频文件进行切分的开始时间和时长信息。
3.根据权利要求2所述的多分辨率输出的分布式文件转码方法,其特征在于，在所述步骤S2中，所有所述第一编码模块对其接收到的第一视频切片分别进行一次编码时，均从所述REDIS数据缓存获取切片位置打点信息。
4.根据权利要求1所述的多分辨率输出的分布式文件转码方法,其特征在于，所述第二编码模块分别将每个所述第二视频切片转码为3个具有不同分辨率的第三视频切片。
5.一种多分辨率输出的分布式文件转码装置,其特征在于，包括视频切片模块、多个第一编码模块、多个第二编码模块和多个切片合并模块，其中，
所述视频切片模块将视频文件切分成多个第一视频切片，并将所有所述第一视频切片发送至多个所述第一编码模块；
所述第一编码模块对其接收到的第一视频切片分别进行一次编码，生成第二视频切片，并将所有所述第二视频切片发送至多个所述第二编码模块；
所述第二编码模块分别将每个所述第二视频切片转码为多个具有不同分辨率的第三视频切片，并将所有第三视频切片发送至多个切片合并模块，其中，具有相同分辨率的所有第三视频切片发送至同一切片合并模块；
所有所述切片合并模块将具有相同分辨率的所有第三视频切片进行合并输出。
6.根据权利要求5所述的多分辨率输出的分布式文件转码装置,其特征在于，还包括REDIS数据缓存，用于换成切片位置打点信息，其中，所述切片位置打点信息包括视频文件进行切分的开始时间和时长信息。
7.根据权利要求6所述的多分辨率输出的分布式文件转码装置,其特征在于，所述第一编码模块对其接收到的第一视频切片分别进行一次编码时，均从所述REDIS数据缓存获取切片位置打点信息。
8.根据权利要求5所述的多分辨率输出的分布式文件转码装置,其特征在于，所述视频切片模块、第一编码模块、第二编码模块和/或切片合并模块为Kubernetes系统控制产生的POD。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911019034.4A CN110830805A (zh) | 2019-10-24 | 2019-10-24 | 一种多分辨率输出的分布式文件转码方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911019034.4A CN110830805A (zh) | 2019-10-24 | 2019-10-24 | 一种多分辨率输出的分布式文件转码方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110830805A true CN110830805A (zh) | 2020-02-21 |
Family
ID=69550478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911019034.4A Pending CN110830805A (zh) | 2019-10-24 | 2019-10-24 | 一种多分辨率输出的分布式文件转码方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110830805A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112165622A (zh) * | 2020-09-23 | 2021-01-01 | 上海网达软件股份有限公司 | 一种单Pod多协程视频文件转码方法及系统 |
| CN112235606A (zh) * | 2020-12-11 | 2021-01-15 | 全时云商务服务股份有限公司 | 一种多层视频处理方法、系统和可读存储介质 |
| CN115174578A (zh) * | 2022-07-25 | 2022-10-11 | 上海网达软件股份有限公司 | 一种基于Kubernetes的点播并行转码方法、装置及存储介质 |
| CN115297328A (zh) * | 2022-10-10 | 2022-11-04 | 湖南马栏山视频先进技术研究院有限公司 | 面向分布式集群的多节点并行视频转码方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103458270A (zh) * | 2013-09-09 | 2013-12-18 | 深圳市融创天下科技股份有限公司 | 视频转码系统和方法 |
| CN105227968A (zh) * | 2014-06-30 | 2016-01-06 | 惠州市伟乐科技股份有限公司 | 基于切片的视频转码加速方法 |
| WO2017107442A1 (zh) * | 2015-12-22 | 2017-06-29 | 乐视控股（北京）有限公司 | 视频转码方法和装置 |
| CN109391825A (zh) * | 2017-08-03 | 2019-02-26 | 腾讯科技（深圳）有限公司 | 一种视频转码方法及其装置、服务器、可读存储介质 |
| CN110139168A (zh) * | 2018-02-02 | 2019-08-16 | 中南大学 | 视频编码方法、装置、计算机设备及存储介质 |
| CN110213615A (zh) * | 2018-04-04 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 视频转码方法、装置、服务器以及存储介质 |
-
2019
- 2019-10-24 CN CN201911019034.4A patent/CN110830805A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103458270A (zh) * | 2013-09-09 | 2013-12-18 | 深圳市融创天下科技股份有限公司 | 视频转码系统和方法 |
| CN105227968A (zh) * | 2014-06-30 | 2016-01-06 | 惠州市伟乐科技股份有限公司 | 基于切片的视频转码加速方法 |
| WO2017107442A1 (zh) * | 2015-12-22 | 2017-06-29 | 乐视控股（北京）有限公司 | 视频转码方法和装置 |
| CN109391825A (zh) * | 2017-08-03 | 2019-02-26 | 腾讯科技（深圳）有限公司 | 一种视频转码方法及其装置、服务器、可读存储介质 |
| CN110139168A (zh) * | 2018-02-02 | 2019-08-16 | 中南大学 | 视频编码方法、装置、计算机设备及存储介质 |
| CN110213615A (zh) * | 2018-04-04 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 视频转码方法、装置、服务器以及存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112165622A (zh) * | 2020-09-23 | 2021-01-01 | 上海网达软件股份有限公司 | 一种单Pod多协程视频文件转码方法及系统 |
| CN112235606A (zh) * | 2020-12-11 | 2021-01-15 | 全时云商务服务股份有限公司 | 一种多层视频处理方法、系统和可读存储介质 |
| CN115174578A (zh) * | 2022-07-25 | 2022-10-11 | 上海网达软件股份有限公司 | 一种基于Kubernetes的点播并行转码方法、装置及存储介质 |
| CN115174578B (zh) * | 2022-07-25 | 2023-10-20 | 上海网达软件股份有限公司 | 一种基于Kubernetes的点播并行转码方法、装置及存储介质 |
| CN115297328A (zh) * | 2022-10-10 | 2022-11-04 | 湖南马栏山视频先进技术研究院有限公司 | 面向分布式集群的多节点并行视频转码方法 |
| CN115297328B (zh) * | 2022-10-10 | 2023-01-20 | 湖南马栏山视频先进技术研究院有限公司 | 面向分布式集群的多节点并行视频转码方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110830805A (zh) | 一种多分辨率输出的分布式文件转码方法及装置 | |
| US9184884B2 (en) | System and method for cloud-based live media ingestion and transcoding | |
| CN110769278A (zh) | 一种分布式视频转码方法及系统 | |
| CN103838779A (zh) | 复用空闲计算资源的云转码方法及系统、分布式文件装置 | |
| CN101986708A (zh) | 一种视频解码方法及解码器 | |
| CN102802022A (zh) | 编解码系统和方法 | |
| EP3657316A1 (en) | Method and system for displaying virtual desktop data | |
| CN110730364B (zh) | 一种云手机数据传输方法、装置及存储介质 | |
| CN111147926A (zh) | 一种数据转码方法及装置 | |
| CN110505523B (zh) | 一种视频转码优先级顺序控制方法及处理终端 | |
| CN107229516B (zh) | 一种数据处理方法及装置 | |
| CN103905843A (zh) | 一种规避连续i帧的分布式音视频处理装置和处理方法 | |
| CN113906764A (zh) | 可中断视频转码 | |
| CN102123275B (zh) | 一种视频分量数据信息获取及提取的方法 | |
| CN105323593A (zh) | 一种多媒体转码调度方法和装置 | |
| CN105915910B (zh) | 一种基于云平台的视频转码方法和装置 | |
| US20230412855A1 (en) | Processing of video operations as subtasks for video fragments | |
| CN115767149A (zh) | 一种视频数据的传输方法和装置 | |
| CN105338371A (zh) | 一种多媒体转码调度方法和装置 | |
| Jeong et al. | Viewport prediction method of 360 vr video using sound localization information | |
| KR102674457B1 (ko) | 미디어 처리 방법 | |
| CN111541941B (zh) | 一种移动端多编码器加速编码的方法 | |
| CN115174578B (zh) | 一种基于Kubernetes的点播并行转码方法、装置及存储介质 | |
| CN113038062B (zh) | 视频通信方法及系统 | |
| CN105338381A (zh) | 一种命令发送方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200221 |
|
| RJ01 | Rejection of invention patent application after publication |