CN117676202A - 一种音视频转码播放方法、音视频转码播放系统 - Google Patents

Abstract

本发明公开一种音视频转码播放方法、音视频转码播放系统，应用于服务端，包括如下步骤：S1:接收客户端的播放请求，触发转码处理，所述转码处理为将源音视频转码拆分为多个音视频数据文件的转码片段；S2:对第一个转码片段进行转码处理，并将其moov数据以及音视频裸数据发送至客户端，所述moov数据包含剩余转码片段的的位置、时间和大小信息；S3:依次对剩余转码片段进行处理，使得转码后的音视频格式的音视频裸数据按照第一个转码片段中moov数据所确定位置、时间和大小信息组装为mdat数据，并将mdat数据进行存储或者发送至客户端。本申请大大提高了转码播放的速度。

Description

一种音视频转码播放方法、音视频转码播放系统

技术领域

本发明涉及视频技术领域，尤其涉及一种音视频转码播放方法、音视频转码播放系统。

背景技术

随着计算机技术的发展，各种音频、音视频或者音视频的多媒体信息越来越多，基本都通过云的方式进行存储、传输，当终端在访问的时候，通过网络来进行访问并播放，由于终端以及应用场景的多样性，导致各种音频、音视频或者音视频的存储方式、编码格式等等也是多种多样，因此都需要对这些音频、音视频或者音视频进行转码，才能播放。

现有技术中，一种解决方案是提前离线在云端进行转码成各种可能需要播放的格式，并进行存储，用以适配不同的终端，这种方式可以直接支持播放，但这种方式需要消耗大量的转码服务器和存储空间，导致计算成本和存储成本急剧上升。而且目前大部分的视频转码都是通过异步处理的方式来实现，使得音视频内容从生成到分发到终端用户的业务流量复杂且时间长。

此外，上述的的音视频处理(存储、传输以及转码)通常的做法，都是要先异步转码好之后，下载、播放转码后的文件才能确认转码效果。确认转码效果之后再用转码后的文件去做分发、访问，从而增加了内容生成、分发业务流程的复杂性。

发明内容

本发明为解决现有技术中存在的技术问题，提供一种音视频转码播放方法，应用于服务端，包括以下步骤：

S1:接收客户端的播放请求，触发转码处理，所述转码处理为将源音视频转码拆分为多个音视频数据文件的转码片段；

S2:对第一个转码片段进行转码处理，并将其moov数据以及音视频裸数据发送至客户端，所述moov数据包含剩余转码片段的的位置、时间和大小信息；

S3:依次对剩余转码片段进行处理，使得转码后的音视频格式的音视频裸数据按照第一个转码片段中moov数据所确定位置、时间和大小信息组装为mdat数据，并将mdat数据进行存储或者发送至客户端。

进一步地，步骤S2还包括音视频封装头数据的处理，其步骤为：

生成音视频封装头数据，音视频封装头中按照预设固定大小估算出每一帧音视频的位置以及时间信息，并写到moov数据中；

音视频封装头后面跟随转码后的若干帧mdat数据。

进一步地，音视频封装头数据和第一个转码片段的转码同步处理，第一个转码片段转码处理完后响应客户端请求，返回完整的音视频封装头信息，并根据客户端的请求，顺序返回已经转码的音视频数据。

进一步地，步骤S2中对第一个音视频片段的转码处理，其拆分关键帧、转码速度和播放时长，默认按原始视频关键帧间隔切，当关键帧太长，超过预设时间，则结合切片速度和播放时长，从间隔1、2、4、8、...中选择一个合适的间隔作为第一个音视频片段的时长。

进一步地，若接收到客户端跳转或者拖拽至音视频某个时段的播放指令，其步骤包括：

结合音视频封装格式的索引信息描述，触发相应时段所指的音视频片段文件的转码处理，保存为临时数据；

根据所述moov中对应的时间、位置、大小对所述临时数据进行重组并发送给客户端；

对全部音视频片段进行转码处理，按照顺序拼接为完整的最终音视频文件，并保存或发送至客户端。

进一步地，还包括任务处理步骤：

对源文件内容进行hash处理得到hash值；

根据源文件名、hash值以及转码处理命令，计算得到一个任务的唯一标识，用以标识已经进行处理的音视频片段。

本发明还提供一种音视频转码播放方法，应用于服务端和客户端，包括如下步骤：

客户端发起播放请求；

服务端根据播放请求，触发对播放视频的转码处理，所述转码处理为将源音视频转码为音视频封装格式的音视频文件以及将所述音视频文件转码拆分为多个音视频片段文件的转码片段，并将转码后的音视频裸数据按照顺序实时发送至客户端。

进一步地，第一个转码片段的moov中包含了后续所有转码片段中音视频裸数据片段的时间、位置、大小等信息。

本发明还提供一种音视频转码播放系统，包括服务端和客户端，其中：

客户端用以向服务端发起播放请求；

服务端用以根据播放请求，以上述任一方法对播放的视频进行转码处理，并实时发送至客户端。

本发明还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述任一所述的音视频转码播放方法。

本发明公开的方法中所述模块，在实际应用中，即可以在一台目标服务器上部署多个模块，也可以每一模块独立部署在不同的目标服务器上，特别的，根据需要，为了提供更强大的计算处理能力，也可以根据需要将模块部署到集群目标服务器上。

使用本发明，转码处理触发、转码效果查看、转码后文件的分发，使用同一个访问链接即可，大大简化了音视频内容生成、分发的业务流程。

由此可见，本发明采取的技术方案，转码处理触发、转码效果查看、转码后文件的分发，使用同一个访问链接即可，大大简化了音视频内容生成、分发的业务流程，具体表现为：

1、无需提前做转码处理、在访问文件/使用文件时触发处理、即刻获取转码后的音视频文件，大大简化业务处理流程。

2、转码处理通过访问链接触发后会在同一个请求里获取到转码后的文件，可以实时查看到转码效果，以往的转码需要提交转码任务后、等待转码完成、再下载结果文件查看转码效果。

3、播放速度大幅度提高，首帧秒级的转码播放体验。

为了对本发明有更清楚全面的了解，下面结合附图，对本发明的具体实施方式进行详细描述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的一种音视频转码播放方法的流程示意图。

具体实施方式

本申请中所述的音视频，泛指：单独的音频文件、单独的视频文件、音视频都有的文件，也包括各种形式的音视频文件。

本申请以基于MPEG-4标准的各种音视频文件为实施例，比如MP4、MOV等音视频文件作为实施例进行说明，音视频文件是一种将音视频按照顺序存储的音视频文件格式，一个完整的音视频文件包括封装头、音频流、视频流、数据块等信息。一般封装头中包含moov数据，主要记录媒体信息，如时间、位置、大小等；音视频中的mdat数据是媒体数据的载体，主要是裸的音视频数据；moov中记录了mdat中每一帧数据的关键信息，如位置、时间等。音视频格式中moov和mdat的位置顺序没有限制，即moov可以在mdate后面也可以在前面，当需要网路传输的时候moov在mdat前有助于mdat的快速解析。

请参阅图1，图1为本申请实施例的一种音视频转码播放方法的流程示意图。本申请基于上述基于源文件存在的技术缺陷，提出了一种新的音视频转码播放方法及系统，其技术方案为：

S1:接收客户端的播放请求，触发转码处理，所述转码处理为将源音视频转码拆分为多个音视频数据文件的转码片段；

S2:对第一个转码片段进行转码处理，并将其moov数据以及音视频裸数据发送至客户端，所述moov数据包含剩余转码片段的的位置、时间和大小信息；

S3:依次对剩余转码片段进行处理，使得转码后的音视频格式的音视频裸数据按照第一个转码片段中moov数据所确定位置、时间和大小信息组装为mdat数据，并将mdat数据进行存储或者发送至客户端。

本申请将源音视频转码为音视频封装格式的音视频文件，可以将一个大音视频转码任务拆分为N个小音视频转码任务，从而可以缩短转码时长、结合并行处理机制，达到实时转码的效果，更友好的支持客户端播放以及查看转码效果。

下面以一个例子并结合各种优选的实施方式进一步说明本申请的技术方案。

S1:接收客户端的播放请求，触发转码处理，所述转码处理为将源音视频转码拆分为多个音视频数据文件的转码片段。

一个源视频文件为abc.MP4存储在服务端，其可以播放的时长30分钟，当客户端发起请求播放该源视频文件时，触发了转码处理，则生成转码播放链接http://abcd.com/ abc-1.MP4请求服务端。

服务端接到播放请求，获取abc.MP4文件，转码生成第一个音视频转码片段，同时会触发剩余的音视频转码片段，并且根据客户端range请求的范围返回对应的音视频转码片段，其简单示意如下：

Index0.MP4 Index1.MP4 Index2.MP4....IndexN.MP4

其中Index0.MP4为第一个音视频转码片段，同时包含整个音视频的媒体信息和第一个片段的音视频数据，后续剩余的Index1.MP4、Index2.MP4、Index3.MP4以及剩下所有的音视频片段，仅仅只包含视频数据，在全部子任务转码完成后，所有的片段拼接在一起，就是一个完整的音视频文件。

S2:对第一个转码片段进行转码处理，并将其moov数据以及音视频裸数据发送至客户端，所述moov数据包含剩余转码片段的的位置、时间和大小信息。

作为一种优选的实施方式，服务端接到客户端的转码播放请求后，第一个音视频片段转码处理完后响应客户端请求返回整个音视频媒体信息和第一个片段的音视频数据，并在客户端随后请求播放第二段音视频片段数据时直接返回已转码的Index1.MP4文件，从而可以实现在客户端的首帧播放时间可达秒级的速度(即从最开始请求转码到能播放第一个已转码的MP4文件)，大大提升用户的播放体验。

如何将播放的音视频切片成合理的音视频片段，对于播放的体验也具有重要的影响，作为一种优选的实施方式，当把所述音视频文件转码拆分为多个音视频片段文件的转码片段时，需要综合关键帧、转码速度和播放时长等因素，对于第一个音视频片段，默认按原始视频关键帧间隔切；当关键帧太长，超过预设时间，则结合切片速度和播放时长，从间隔1、2、4、8、...中选择一个合适的间隔作为第一个音视频片段时长。

本申请实施例在触发第一个音视频片段文件的转码处理，第一个音视频片段文件转码完成后，服务端把第一个音视频片段文件返回给客户端，此外，还可以把第一个音视频片段文件内容保存下来，并临时保存下来、其他序列的音视频片段文件也是可以如此操作，当全部转码完成后拼接完成的最终音视频文件则采用永久存储的方式，从而音视频片段文件的下次访问就不需要再触发转码处理。

在一般的使用场景中，客户端播放按照列表，从第一个音视频片段文件开始播放，使用range请求服务端，顺序地进行转码处理以及播放后续的音视频片段文件。

此外，作为一种优选的实施方式，本申请还支持视频拖拽或者跳转(如用户突然点击后面某个时间点的视频开始播放)的操作，即时触发单个音视频片段文件的转码。由于音视频片段文件不存在触发转码处理，为此，本申请根据客户端向服务端发起range请求，设置有触发条件的音视频片段转码任务，则结合音视频封装格式的索引信息描述，触发该range所指的音视频片段文件的转码处理。当客户端拖拽、请求播放音视频片段文件时服务器端根据range信息会实时触发对应音视频片段文件的转码处理，服务端会直接返回转码后的音视频片段文件内容给客户端播放，并临时保存下来、音视频片段文件的下次访问就不会再触发转码处理，直到全部转码完成，会拼接为最终的一个完整的音视频，永久存储下来。

具体实现方法为：

若接收到客户端跳转或者拖拽至音视频某个时段的播放指令，则优先先处理用户的临时任务，结合音视频封装格式的索引信息描述，触发相应时段所指的音视频片段文件，进行转码处理，得到临时数据；

然后根据所述moov中该片段文件对应的时间、位置、大小，对所述临时数据进行重组并发送给客户端；

优先响应该临时任务之后，最后对全部音视频片段进行转码处理，按照顺序拼接为完整的最终音视频文件，若客户端发起访问则发送至客户端，若没有发起访问请求，则保存完整的转码文件，留着下次或者其他的客户端访问使用。

比如终端用户在客户端拖拽视频播放位置中间位置，客户端向服务端发起range请求为5000-10000，服务端接收到请求后，若TS75尚未完成转码，服务端根据计算开始执行对应音视频片段的转码处理，完成后服务端就把音视频片段内容返回给客户端做播放，并把音视频片段文件内容保存下来。

后续其他终端用户2在客户端也播放音视频片段时，服务端会直接把保存好的音视频片段内容返回、而不会再触发转码处理。

在对第一转码片段进行处理时，还包括对音视频的封装头数据进行处理，生成音视频封装头数据，音视频封装头中按照预设固定大小估算出每一帧音视频的位置以及时间信息，并写到moov数据中；

音视频封装头后面还跟随转码后的若干帧mdat数据。

音视频封装头数据和第一个转码片段的转码可以同步处理，第一个转码片段转码处理完后响应客户端请求返回完整的音视频封装头信息，并在客户端随后发起请求，在发起的播放音视频数据范围(如range 320～10000)后开始按顺序返回给客户端已转码完成的音视频裸数据(mdat)。

S3:依次对剩余转码片段进行处理，使得转码后的音视频格式的音视频裸数据按照第一个转码片段中moov数据所确定位置、时间和大小信息组装为mdat数据，并将mdat数据进行存储或者发送至客户端。

一般情况，客户端播放按照列表，从第一个音视频片段文件开始播放，或者优先响应拖拽或者跳转的处理后，接着依次将剩余的转码片段进行处理完成。

此外，对于服务端应对多客户端的访问来说，还需要考虑重复访问的问题，本申请对源文件内容进行hash处理，得到hash值，把源文件名、hash值以及转码处理命令拼接成一个字符串，然后进行base64编码，编码后得到的一串字符作为任务的唯一标识，用以标识已经进行处理的音视频片段文件，当接到其他客户端访问该音视频片段文件时，不再进行转码处理，从而可以防止高并发或是恶意攻击的情况下重复创建多个任务，避免转码处理资源浪费。

由此可以看出，本申请优化了从源文件到转码完成到播放转码完文件的流程，实现了源文件到转码播放同步进行，边转码边播放，大大提高了播放转码后文件内容的响应速度至秒开，无需等待源文件的完整转码。

基于上述实施例，本申请还提供一种音视频转码播放方法，应用于服务端和客户端，包括如下步骤：

客户端发起播放请求；

服务端根据播放请求，触发对播放视频的转码处理，所述转码处理为将源音视频转码为音视频封装格式的音视频文件以及将所述音视频文件转码拆分为多个音视频片段文件的转码片段，并将转码后的音视频裸数据按照顺序实时发送至客户端。

基于上述实施例的技术方案构成的播放系统，包括服务端和客户端，客户端用以向服务端发起播放请求；服务端用以根据播放请求，对播放的视频进行转码处理，并实时发送至客户端。

本申请实施例还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如所述的音视频转码播放方法。

本申请实施例还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述任一所述的音视频转码播放方法。

需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种音视频转码播放方法，应用于服务端，其特征是，包括如下步骤：

S1:接收客户端的播放请求，触发转码处理，所述转码处理为将源音视频转码拆分为多个音视频数据文件的转码片段；

S2:对第一个转码片段进行转码处理，并将其moov数据以及音视频裸数据发送至客户端，所述moov数据包含剩余转码片段的的位置、时间和大小信息；

S3:依次对剩余转码片段进行处理，使得转码后的音视频格式的音视频裸数据按照第一个转码片段中moov数据所确定位置、时间和大小信息组装为mdat数据，并将mdat数据进行存储或者发送至客户端。

2.如权利要求1所述的音视频转码播放方法，其特征是，步骤S2还包括音视频封装头数据的处理，其步骤为：

生成音视频封装头数据，音视频封装头中按照预设固定大小估算出每一帧音视频的位置以及时间信息，并写到moov数据中；

音视频封装头后面跟随转码后的若干帧mdat数据。

3.如权利要求2所述的音视频转码方法，其特征是，音视频封装头数据和第一个转码片段的转码同步处理，第一个转码片段转码处理完后响应客户端请求，返回完整的音视频封装头信息，并根据客户端的请求，顺序返回已经转码的音视频数据。

4.如权利要求1所述的音视频转码播放方法，其特征是，步骤S2中对第一个音视频片段的转码处理，其拆分关键帧、转码速度和播放时长，默认按原始视频关键帧间隔切，当关键帧太长，超过预设时间，则结合切片速度和播放时长，从间隔1、2、4、8、...中选择一个合适的间隔作为第一个音视频片段的时长。

5.如权利要求1所述的音视频转码播放方法，其特征是，若接收到客户端跳转或者拖拽至音视频某个时段的播放指令，其步骤包括：

结合音视频封装格式的索引信息描述，触发相应时段所指的音视频片段文件的转码处理，保存为临时数据；

根据所述moov中对应的时间、位置、大小对所述临时数据进行重组并发送给客户端；

对全部音视频片段进行转码处理，按照顺序拼接为完整的最终音视频文件，并保存或发送至客户端。

6.如权利要求1所述的音视频转码播放方法，其特征是，还包括任务处理步骤：

对源文件内容进行hash处理得到hash值；

根据源文件名、hash值以及转码处理命令，计算得到一个任务的唯一标识，用以标识已经进行处理的音视频片段。

7.一种音视频转码播放方法，应用于服务端和客户端，其特征是，包括如下步骤：

客户端发起播放请求；

服务端根据播放请求，触发对播放视频的转码处理，所述转码处理为将源音视频转码为音视频封装格式的音视频文件以及将所述音视频文件转码拆分为多个音视频片段文件的转码片段，并将转码后的音视频裸数据按照顺序实时发送至客户端。

8.如权利要求7所述的音视频转码播放方法，其特征是，第一个转码片段的moov中包含了后续所有转码片段中音视频裸数据片段的时间、位置、大小等信息。

9.一种音视频转码播放系统，其特征是，包括服务端和客户端，其中：

客户端用以向服务端发起播放请求；

服务端用以根据播放请求，以权利要求1至8之任一方法对播放的视频进行转码处理，并实时发送至客户端。

10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要1至9任一所述的音视频转码播放方法。