CN112165622A

CN112165622A - 一种单Pod多协程视频文件转码方法及系统

Info

Publication number: CN112165622A
Application number: CN202011008363.1A
Authority: CN
Inventors: 唐杰; 白云飞; 李庆瑜; 戴立言
Original assignee: SHANGHAI WONDERTEK SOFTWARE CO Ltd
Current assignee: SHANGHAI WONDERTEK SOFTWARE CO Ltd
Priority date: 2020-09-23
Filing date: 2020-09-23
Publication date: 2021-01-01
Anticipated expiration: 2040-09-23
Also published as: CN112165622B

Abstract

本发明涉及视频转码的技术领域，提供了一种单Pod多协程视频文件转码方法及系统，其方法包括：预先启动多个常驻Pod，每一个常驻Pod分别对应的执行包括打点、转码、合片在内的不同功能的任务，并进行常驻；当同时对多个视频文件进行转码时，建立包括打点、转码、合片在内的不同的任务队列，将不同的任务队列分别设置于对应功能的常驻Pod上执行；对于每一个视频文件，按照打点、转码、合片的顺序于不同功能的常驻Pod上顺序执行；在每一个常驻Pod上，可并行的执行多个不同的视频文件的同一种功能的任务。解决在批量任务下发等待转码任务完成时，频繁的启动销毁Pod，导致任务时间增加以及可靠性降低的问题。

Description

一种单Pod多协程视频文件转码方法及系统

技术领域

本发明涉及视频转码的技术领域，尤其涉及一种单Pod多协程视频文件转码方法及系统。

背景技术

由于当前视频领域的快速发展，视频文件转码业务量也不断增多，在批量任务下发等待转码任务完成时，一种已有方法为通过任务队列的模式，按照队列FIFO的模式，进行任务的转码，每个任务的功能模块(打点、转码、合片)为进程级别，共享一个任务队列。现有技术中具体的转码流程如下：

(1)打点用来获取源文件切分的开始时间和切片时长信息；

(2)根据获取的开始时间和切片时长信息，对每个视频切片进行转码。

(3)将所有的转码切片进行合并，输出所需的视频。

上述流程运行时，需通过Kubernetes启动各自功能模块对应的Pod，并给其分配资源。Pod是Kubernetes中能够创建和部署的最小单元，是Kuber netes集群中的一个应用实例，部署在同一个节点Node上，每个节点可以根据资源分配情况启动多个Pod。一种已有的方法需要在不同功能模块运行开始时启动Pod，运行结束后销毁Pod,且每个Pod为单进程操作，在此过程中有下述缺点：

(1)频繁的启动销毁Pod需要时间，增加了任务的额外时间开销。

(2)由于需要频繁的创建销毁Pod，存在Pod被卡住无法退出、占用资源无法释放的风险，影响了资源的利用率和转码效率，降低了系统的可靠性。

(3)任务需要先打点、转码、再进行合片，各个功能模块为串行执行，多任务之间未做到并行，增加了转码的时间开销，降低了整体的转码速度。

发明内容

针对上述问题，本发明的目的在于提供一种单Pod多协程视频文件转码方法及系统，解决在批量任务下发等待转码任务完成时，频繁的启动销毁Pod，导致任务时间增加以及可靠性降低的问题，同时能够有效的降低时间开销，提高整体转码速度和可靠性。

本发明的上述发明目的是通过以下技术方案得以实现的：

一种单Pod多协程视频文件转码方法，包括以下步骤：

预先启动多个常驻Pod，每一个所述常驻Pod分别对应的执行包括打点、转码、合片在内的不同功能的任务，并进行常驻；

当同时对多个视频文件进行转码时，建立包括打点、转码、合片在内的不同的任务队列，将不同的所述任务队列分别设置于对应功能的所述常驻Pod上执行；

对于每一个所述视频文件，按照打点、转码、合片的顺序于不同功能的所述常驻Pod上顺序执行；

在每一个所述常驻Pod上，可并行的执行多个不同的所述视频文件的同一种功能的任务。

进一步地，对于每一个所述常驻Pod，分别运行于一单独的机器上，并独占所有资源。

进一步地，对于每一个所述常驻Pod，通过启动多协程的方式，并行的执行包括打点、转码、合片在内的任意一种功能的多个任务。

进一步地，当同时对多个视频进行转码时，具体的步骤为：

建立包括打点、转码、合片在内的不同的任务队列；

当转码任务开启时，将所有的打点部分的功能放入用于打点的所述常驻Pod中运行；

实时监控打点任务的完成情况，当监控到某一个所述视频文件的打点任务完成后，到用于转码的所述常驻Pod中执行当前所述视频文件的转码任务，继续监控其他的所述视频文件的打点任务的完成情况；

实时监控转码任务的完成情况，当监控到某一个所述视频文件的转码任务完成后，到用于合片的所述常驻Pod中执行当前所述视频文件的合片任务，继续监控其他的所述视频文件的转码任务的完成情况。

进一步地，单Pod多协程视频文件转方法，还包括：

创建Redis存储服务；

当打点任务完成后，向所述Redis存储服务中打点任务对应的存储区域中，写入所述视频文件对应的键值以及完成情况；

当转码任务完成后，向所述Redis存储服务中转码任务对应的存储区域中，写入所述视频文件对应的键值以及完成情况。

进一步地，单Pod多协程视频文件转方法，还包括：

创建用于监控任务完成情况的定时器；

开启所述定时器，按照预设时间间隔实时监控打点任务以及转码任务的完成情况。

进一步地，针对于转码任务，创建多个所述常驻Pod，分别用于同时执行所述视频文件对应的不同分片的转码任务。

一种用于执行上述单Pod多协程视频文件转码方法的单Pod多协程视频文件转码系统，包括：

常驻Pod启动模块，用于预先启动多个常驻Pod，每一个所述常驻Pod分别对应的执行包括打点、转码、合片在内的不同功能的任务，并进行常驻

视频文件转码模块，用于当同时对多个视频文件进行转码时，建立包括打点、转码、合片在内的不同的任务队列，将不同的所述任务队列分别设置于对应功能的所述常驻Pod上执行；对于每一个所述视频文件，按照打点、转码、合片的顺序于不同功能的所述常驻Pod上顺序执行；在每一个所述常驻Pod上，可并行的执行多个不同的所述视频文件的同一种功能的任务。

进一步地，所述视频文件转码模块，还包括：

任务队列建立单元，用于建立包括打点、转码、合片在内的不同的任务队列；

打点任务执行单元，用于当转码任务开启时，将所有的打点部分的功能放入用于打点的所述常驻Pod中运行；

转码任务执行单元，用于实时监控打点任务的完成情况，当监控到某一个所述视频文件的打点任务完成后，到用于转码的所述常驻Pod中执行当前所述视频文件的转码任务，继续监控其他的所述视频文件的打点任务的完成情况；

合片任务执行单元，用于实时监控转码任务的完成情况，当监控到某一个所述视频文件的转码任务完成后，到用于合片的所述常驻Pod中执行当前所述视频文件的合片任务，继续监控其他的所述视频文件的转码任务的完成情况。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的单Pod多协程视频文件转方法。

与现有技术相比，本发明包括以下至少一种有益效果是：

(1)通过提出的预先启动多个常驻Pod，每一个所述常驻Pod分别对应的执行包括打点、转码、合片在内的不同功能的任务，并进行常驻；当同时对多个视频文件进行转码时，建立包括打点、转码、合片在内的不同的任务队列，将不同的所述任务队列分别设置于对应功能的所述常驻Pod上执行的技术方案，有效避免现有的方法中由于Pod不断的启动停止，导致的转码任务时间消耗的问题，并且同时减少了使用现有技术中的方式时，由于需要频繁的创建销毁Pod，存在Pod被卡住无法退出、占用资源无法释放的风险，提高了资源的利用率、转码的效率和系统的可靠性。

(2)通过提出的对于每一个所述视频文件，按照打点、转码、合片的顺序于不同功能的所述常驻Pod上顺序执行；在每一个所述常驻Pod上，可并行的执行多个不同的所述视频文件的同一种功能的任务的技术方案，在对每一个视频文件在按照打点、转码、合片的顺序分别于不同的常驻Pod上执行的基础上，多个不同的视频文件之间，相同的任务之间可以并发的在同一个常驻Pod上执行，整体上降低了转码的时间开销，提高了转码的速度。

(3)通过提出的对于每一个常驻Pod,分别运行于一单独的机器上，并独占所有资源的技术方案，针对于对大量任务进行转码时，在将任务分割成打点、转码、合片三个功能模块后，每个机器上只运行一个Pod并独占所有资源，可以避免资源的浪费以及由于资源不足导致的异常，使得系统具有强的鲁莽性。避免了现有技术中需要提前分配资源，根据分配的资源在任务开始时，确定启动Pod的个数，当设置值不合理时可能导致任务转码失败和异常的技术问题。

(4)通过提出的对于每一个所述常驻Pod，通过启动多协程的方式，并行的执行包括打点、转码、合片在内的任意一种功能的多个任务的技术方案，有效提高任务的执行效率，减小转码耗时，提高系统的执行效率。

附图说明

图1为现有技术中对于一个视频文件进行转码的流程框图；

图2为现有技术中对于多个视频文件进行转码的流程框图；

图3为本发明一种单Pod多协程视频文件转码方法的整体流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

根据如图1所示的现有技术中对于一个视频文件进行转码的流程框图和如图2所示的现有技术中对于多个视频文件进行转码的流程框图所示，现有技术中对每一个视频文件进行转码时的打点、转码、合片的每一个步骤均需要单独的启动一个Pod来运行，并在运行结束后销毁，且多个不同视频文件按照串行的顺序逐个进行转码，转码的效率低，时间开销大。同时由于频繁的启动销毁Pod需要时间，增加了任务的额外时间开销。

针对于以上现有技术中，存在的问题，本发明的核心发明点为：预先启动多个常驻Pod，每一个所述常驻Pod分别对应的执行包括打点、转码、合片在内的不同功能的任务，并进行常驻；当同时对多个视频文件进行转码时，建立包括打点、转码、合片在内的不同的任务队列，将不同的所述任务队列分别设置于对应功能的所述常驻Pod上执行。对于每一个所述视频文件，按照打点、转码、合片的顺序于不同功能的所述常驻Pod上顺序执行；在每一个所述常驻Pod上，可并行的执行多个不同的所述视频文件的同一种功能的任务，以下通过具体的实施例详细说明：

第一实施例

如图3所示，为本发明提出的一种单Pod多协程视频文件转码方法示意图，具体包括：

首先，在对具体的视频文件进行转码之前，需要预先启动多个常驻Pod，每一个所述常驻Pod分别对应的执行包括打点、转码、合片在内的不同功能的任务，并进行常驻。

优选地，对于每一个所述常驻Pod，分别运行于一单独的机器上，并独占所有资源。通过将每一个常驻Pod分别于一单独的机器上运行的技术方案，当有大量的视频文件需要转码时，在将任务分割成打点、转码、合片三个功能模块后，每个机器上只运行一个Pod并独占所有资源，可以避免资源的浪费以及由于资源不足导致的异常，使得系统具有强的鲁莽性。避免了现有技术中需要提前分配资源，根据分配的资源在任务开始时，确定启动Pod的个数，当设置值不合理时可能导致任务转码失败和异常的技术问题。

当然，当需要转码的视频文件的数量不太多，对资源的需求不那么大时，我们也可以在同一个机器上同时启动多个常驻Pod，分别用于执行包括打点、转码、合片在内的不同功能的任务，并进行常驻，根据任务量的大小选择一个或者多个机器启动常驻Pod进行我们的视频转码任务。

进一步地，对于用于开启常驻Pod的机器，优选的可以是放置于机房中的物理主机，也可以是云端平台上的云主机。当机器为物理主机时，可以同时将所有的机器全部开启，确保视频转码的资源充足，当为云主机时，可以配合的使用弹性伸缩的技术，根据每一台云主机的使用情况，开启适量的云主机用于转码服务。

进一步地，针对于转码任务，创建多个所述常驻Pod，分别用于同时执行所述视频文件对应的不同分片的转码任务。一般来说，当对视频文件进行打点后，将分成若干个视频片段，需要对所有的视频片段进行转码，在打点、转码、合片三个步骤中，转码的任务量远大于打点和合片，并且打点后的视频文件的每一个视频片段理论上来说，转码时，相互之间没有任何的关联，为了提高转码的效率，可以并发的同时执行。因此，在实际转码时，我们可以开启多个常驻Pod用于执行转码任务，将每一个视频文件的每一个视频片段分布于不同的常驻Pod上执行，当每一个视频片段全部转码完成之后，再通过用于合片的常驻Pod进行合片。

进一步地，在每一个所述常驻Pod中，通过启动多协程的方式，并行的执行包括打点、转码、合片在内的任意一种功能的多个任务，有效提高任务的执行效率，减小转码耗时，提高系统的执行效率。

在常驻Pod启动完成之后，同时对多个视频文件进行转码，建立包括打点、转码、合片在内的不同的任务队列，将不同的所述任务队列分别设置于对应功能的所述常驻Pod上执行。对于每一个所述视频文件，按照打点、转码、合片的顺序于不同功能的所述常驻Pod上顺序执行。在每一个所述常驻Pod上，可并行的执行多个不同的所述视频文件的同一种功能的任务。上述技术方案，在对每一个视频文件在按照打点、转码、合片的顺序分别于不同的常驻Pod上执行的基础上，多个不同的视频文件之间，相同的任务之间可以并发的在同一个常驻Pod上执行，整体上降低了转码的时间开销，提高了转码的速度。

进一步地，同时对多个视频进行转码，具体的步骤为：

(1)建立包括打点、转码、合片在内的不同的任务队列。

(2)当转码任务开启时，将所有的打点部分的功能放入用于打点的所述常驻Pod中运行。

其中，通过打点对视频文件进行切割时，可以是使用包括预先配置一个具体的切片数或者是预先配置一个每一个切片的固定时长在内的任意一种方式来进行切割。需要注意的是，在预先开启常用Pod时，必须预先开启个数不少于对视频文件打点后形成的视频切片的数量的用于转码的常用Pod。

(3)实时监控打点任务的完成情况，当监控到某一个所述视频文件的打点任务完成后，到用于转码的所述常驻Pod中执行当前所述视频文件的转码任务，继续监控其他的所述视频文件的打点任务的完成情况；

(4)实时监控转码任务的完成情况，当监控到某一个所述视频文件的转码任务完成后，到用于合片的所述常驻Pod中执行当前所述视频文件的合片任务，继续监控其他的所述视频文件的转码任务的完成情况。

进一步地，创建Redis存储服务；当打点任务完成后，向所述Redis存储服务中打点任务对应的存储区域中，写入所述视频文件对应的键值以及完成情况；当转码任务完成后，向所述Redis存储服务中转码任务对应的存储区域中，写入所述视频文件对应的键值以及完成情况。

需要说明的是，使用Redis存储服务存储速度快，不需要频繁的进行数据的交互，是本发明的一种优选的方案，并不用于限定本发明，其他任意一种存储方式都可以应用于本发明。

进一步地，创建用于监控任务完成情况的定时器，开启所述定时器，按照预设时间间隔实时监控打点任务以及转码任务的完成情况。

具体地，使用定时器，按照预设时间间隔调用读取Redis存储服务中存储的数据的程序，对于打点任务，只需要监控到当前视频文件打点成功的标记即可以进入转码任务，对于转码任务，必须监控到当前视频文件的所有的切片全部转码完成才可以进入合片任务。

第二实施例

为了执行第一实施例中的单Pod多协程视频文件转码方法，本实施例提供了一种单Pod多协程视频文件转码系统，包括：

常驻Pod启动模块1，用于预先启动多个常驻Pod，每一个所述常驻Pod分别对应的执行包括打点、转码、合片在内的不同功能的任务，并进行常驻

视频文件转码模块2，用于当同时对多个视频文件进行转码时，建立包括打点、转码、合片在内的不同的任务队列，将不同的所述任务队列分别设置于对应功能的所述常驻Pod上执行；对于每一个所述视频文件，按照打点、转码、合片的顺序于不同功能的所述常驻Pod上顺序执行；在每一个所述常驻Pod上，可并行的执行多个不同的所述视频文件的同一种功能的任务。

进一步地，所述视频文件转码模块2，还包括：

任务队列建立单元21，用于建立包括打点、转码、合片在内的不同的任务队列；

打点任务执行单元22，用于当转码任务开启时，将所有的打点部分的功能放入用于打点的所述常驻Pod中运行；

转码任务执行单元23，用于实时监控打点任务的完成情况，当监控到某一个所述视频文件的打点任务完成后，到用于转码的所述常驻Pod中执行当前所述视频文件的转码任务，继续监控其他的所述视频文件的打点任务的完成情况；

合片任务执行单元24，用于实时监控转码任务的完成情况，当监控到某一个所述视频文件的转码任务完成后，到用于合片的所述常驻Pod中执行当前所述视频文件的合片任务，继续监控其他的所述视频文件的转码任务的完成情况。

需要说明的是，系统中其他的执行步骤与第一实施例中相同，本实施例不再赘述。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一实施例中的单Pod多协程视频文件转方法。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种单Pod多协程视频文件转码方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的单Pod多协程视频文件转码方法，其特征在于，还包括：对于每一个所述常驻Pod，分别运行于一单独的机器上，并独占所有资源。

3.根据权利要求1所述的单Pod多协程视频文件转码方法，其特征在于，还包括：对于每一个所述常驻Pod，通过启动多协程的方式，并行的执行包括打点、转码、合片在内的任意一种功能的多个任务。

4.根据权利要求1所述的单Pod多协程视频文件转方法，其特征在于，当同时对多个视频进行转码时，具体的步骤为：

建立包括打点、转码、合片在内的不同的任务队列；

5.根据权利要求4所述的单Pod多协程视频文件转方法，其特征在于，还包括：

创建Redis存储服务；

6.根据权利要求5所述的单Pod多协程视频文件转方法，其特征在于，还包括：

创建用于监控任务完成情况的定时器；

7.根据权利要求1所述的单Pod多协程视频文件转方法，其特征在于，还包括：

针对于转码任务，创建多个所述常驻Pod，分别用于同时执行所述视频文件对应的不同分片的转码任务。

8.一种用于执行如权利要求1-7中任意一项所述的单Pod多协程视频文件转码方法的单Pod多协程视频文件转码系统，其特征在于，包括：

9.根据权利要求8所述的单Pod多协程视频文件转码系统，其特征在于，所述视频文件转码模块，还包括：

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述的单Pod多协程视频文件转方法。