CN109195012A - 一种基于对象存储分片转码/合成闪拼成mp4文件的方法 - Google Patents

Abstract

本发明公开了一种基于对象存储分片转码/合成闪拼成MP4文件的方法，涉及视频处理技术领域，本发明包括S1：将源文件分片并发转码为多个MP4临时文件，所述每个MP4临时文件均包括VA文件和idx文件；S2：读取各idx文件，生成目标文件header；S3：读取各VA文件，以引用各VA文件的方式将各VA文件加入目标文件；S4：对目标文件header进行修改，使之描述目标MP4文件的文件头、各临时文件中的VA文件以及目标MP4文件的文件尾；S5：将修改后的目标文件header与所引用的VA文件进行拼接，合并为目标MP4文件，本发明将视频文件切分成多个片段并发进行分布式集群转码操作后进行秒级别的拼接，能够大幅提高视频文件转码/合成效率。

Description

一种基于对象存储分片转码/合成闪拼成MP4文件的方法

技术领域

本发明涉及视频处理技术领域，更具体的是涉及一种基于对象存储分片转码/合成闪拼成MP4文件的方法。

背景技术

伴随着超高清视频技术的发展，超高清视频相较于高清时代，分辨率从1280x720/1920*1080到3840*2160/7680x4320，量化从8/10比特到10/12比特，色域从ITU-R BT.709到ITU-R BT.2020，MP4文件作为主流视音频格式，数据量呈指数级的增长。目前普遍的集中式串行处理转码/合成方式面对这样爆炸增长的数据量，暴露出系统利用效率低，处理时间长的问题，由于目前在超高清视频转码/合成阶段的处理效率低下，超高清视频面临着制作成本高，产出率低的困境，目前视频处理存在以下问题：

1、传统单机串行转码/合成视频文件方式效率过低

目前同一超高清视频文件使用单机方式进行转码/合成处理，假设转码/合成一个高清视频的时间是5分钟，那么转码/合成一个同样时长超高清视频可能会需要30分钟乃至更长时间，在没有将视频分片转码/合成的情况下，超高清视频庞大的数据量使用集中式处理会遇到极大的时间瓶颈；

2、集群转码/合成文件后拼接操作繁琐

目前使用单机转码/合成效率过低，如果采用分布式集群转码/合成的方式分片转码/合成文件至MP4格式文件，那么分片的文件在转码/合成后需要进行拼接，但现有的技术在进行拼接时需要先将文件逐一进行拷贝，繁复的拷贝操作不仅拖长制作周期，还给存储和传输带来数据量上的巨大压力，这样的拼接方式导致制作效率低，周期长

发明内容

本发明的目的在于：为了解决现有的超高清视频文件转码/合成为MP4文件的效率较低的问题，本发明提供一种基于对象存储分片转码/合成闪拼成MP4文件的方法，将视频文件切分成多个片段并发进行分布式集群转码操作后进行秒级别的拼接，以提高视频文件转码/合成效率。

本发明为了实现上述目的具体采用以下技术方案：

一种基于对象存储分片转码/合成闪拼成MP4文件的方法，包括如下步骤：

S1：将源文件分片并发转码为多个MP4临时文件，所述每个MP4临时文件均包括VA文件和idx文件；

S2：读取各idx文件，生成目标文件header；

S3：读取各VA文件，以引用各VA文件的方式将各VA文件加入目标文件；

S4：对目标文件header进行修改，使之描述目标MP4文件的文件头、各临时文件中的VA文件以及目标MP4文件的文件尾；

S5：将修改后的目标文件header与所引用的VA文件进行拼接，合并为目标MP4文件。

进一步的，所述S4中对目标文件header进行修改，是对目标文件header中描述对象存储中各对象信息的manifest进行修改。

进一步的，所述目标MP4文件包括用于存储数据的ftyp.box、moov.box和mdat.box，其中mdat.box用于存储媒体数据。

进一步的，所述mdat.box包括box.size、box.type和VA文件，所述VA文件由多个chunk组成。

进一步的，所述idx文件和目标文件header均包括ftyp.box和moov.box，所述S2中生成目标文件header包括如下步骤：

S2.1：复制第一个idx文件的ftyp.box，得到目标文件header的ftyp.box；

S2.2：合并各idx文件的moov.box及各idx文件的其他子box，得到目标文件header的moov.box；

S2.3：向mdat.box写入目标MP4文件mdat.box的box.size和box.type。

进一步的，所述合并各idx文件的其他子box包括track.box、tkhd.box、mdia.box、minf.box、stbl.box、stsz.box、stts.box、ctts.box和stsc.box，所述S2.2中合并idx文件的其他子box包括如下步骤：

S2.2.1：合并moov.box后，复制第一个idx文件的tkhd.box及修改其duration信息；

S2.2.2：然后合并track.box，并复制第一个idx文件的tkhd.box及修改其duration信息；

S2.2.3：然后合并mdia.box，并复制第一个idx文件的tkhd.box及修改其duration信息，然后复制第一个idx文件hdlr.box；

S2.2.4：然后合并minf.box，并复制第一个idx文件的minf.header和dinf.box；

S2.2.5：然后合并stbl.box，并复制第一个idx文件的stsd.box；

S2.2.6：最后合并各idx文件的stsz.box、stts.box、ctts.box和stsc.box。

本发明的有益效果如下：

1、本发明的源文件可以是一个或多个素材，也可以是一条时间线节目，本发明的方法将源文件分片为多个片段，使用多台计算资源并发地进行转码/合成，各个分片转码/合成的结果以MP4临时文件的方式写在对象存储上，其中MP4临时文件的格式是根据目标MP4文件格式而设计，使得拼接更为流畅。

2、本发明的方法根据MP4临时文件中记录的信息，生成目标文件header，写在对象存储上，然后利用对象存储的特性，修改目标文件header对象的manifest，使之描述目标MP4文件的文件头、各临时文件中的VA文件以及目标MP4文件的文件尾后，完成目标MP4文件拼接合并，其中MP4临时文件中的VA文件，占据了目标MP4文件的绝大部分数据量，但因其是以引用的方式加入目标MP4文件的，不需要进行数据拷贝操作，极大提高了拼接效率，并且文件码率越高，拼接优势越明显，几乎达到零耗时。

附图说明

图1是本发明的方法流程示意图。

图2是本发明目标MP4文件的格式示意图。

图3是本发明idx文件的结构示意图。

图4是本发明mdat.box的结构示意图。

图5是本发明VA文件的结构示意图。

图6是本发明合并各idx文件的其他子box的流程示意图。

具体实施方式

为了本技术领域的人员更好的理解本发明，下面结合附图和以下实施例对本发明作进一步详细描述。

实施例1

如图1到3所示，本实施例提供一种基于对象存储分片转码/合成闪拼成MP4文件的方法，包括如下步骤：

S1：将源文件分片并发转码为多个MP4临时文件，所述每个MP4临时文件均包括VA文件和idx文件；

S2：读取各idx文件，生成目标文件header，所述idx文件包括ftyp.box和moov.box，生成目标文件header包括如下步骤：

S2.1：复制第一个idx文件的ftyp.box；

S2.2：合并各idx文件的moov.box及各idx文件的其他子box；

合并各idx文件的其他子box包括track.box、tkhd.box、mdia.box、minf.box、stbl.box、stsz.box、stts.box、ctts.box和stsc.box，所述合并idx文件的其他子box包括如下步骤：

S2.2.1：合并moov.box后，复制第一个idx文件的tkhd.box及修改其duration信息；

S2.2.2：然后合并track.box，并复制第一个idx文件的tkhd.box及修改其duration信息；

S2.2.3：然后合并mdia.box，并复制第一个idx文件的tkhd.box及修改其duration信息，然后复制第一个idx文件hdlr.box；

S2.2.4：然后合并minf.box，并复制第一个idx文件的minf.header和dinf.box；

S2.2.5：然后合并stbl.box，并复制第一个idx文件的stsd.box；

S2.2.6：最后合并各idx文件的stsz.box、stts.box、ctts.box和stsc.box；

S2.3：写入mdat.box的box.size和box.type

S3：读取各VA文件，以引用各VA文件的方式将各VA文件加入目标文件；

S4：对目标文件header进行修改，使之描述目标MP4文件的文件头、各临时文件中的VA文件以及目标MP4文件的文件尾，其中对目标文件header进行修改，是对目标文件header中描述对象存储中各对象信息的manifest进行修改；

S5：将修改后的目标文件header与所引用的VA文件进行拼接，合并为目标MP4文件。

所述目标MP4文件包括用于存储数据的ftyp.box、moov.box和mdat.box，其中mdat.box用于存储媒体数据，所述mdat.box包括box.size、box.type和多个chunk，所述VA文件由多个chunk组成。

以上所述，仅为本发明的较佳实施例，并不用以限制本发明，本发明的专利保护范围以权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (6)

1.一种基于对象存储分片转码/合成闪拼成MP4文件的方法，其特征在于，包括如下步骤：

S1：将源文件分片并发转码为多个MP4临时文件，所述每个MP4临时文件均包括VA文件和idx文件；

S2：读取各idx文件，生成目标文件header；

S3：读取各VA文件，以引用各VA文件的方式将各VA文件加入目标文件；

S4：对目标文件header进行修改，使之描述目标MP4文件的文件头和各临时文件中的VA文件；

S5：将修改后的目标文件header与所引用的VA文件进行拼接，合并为目标MP4文件。

2.根据权利要求1所述的一种基于对象存储分片转码/合成闪拼成MP4文件的方法，其特征在于，所述S4中对目标文件header进行修改，是对目标文件header中描述对象存储中各对象信息的manifest进行修改。

3.根据权利要求1所述的一种基于对象存储分片转码/合成闪拼成MP4文件的方法，其特征在于，所述目标MP4文件包括用于存储数据的ftyp.box、moov.box和mdat.box，其中mdat.box用于存储媒体数据。

4.根据权利要求3所述的一种基于对象存储分片转码/合成闪拼成MP4文件的方法，其特征在于，所述mdat.box包括box.size、box.type和VA文件，所述VA文件由多个chunk组成。

5.根据权利要求4所述的一种基于对象存储分片转码/合成闪拼成MP4文件的方法，其特征在于，所述idx文件和目标文件header均包括ftyp.box和moov.box，所述S2中生成目标文件header包括如下步骤：

S2.1：复制第一个idx文件的ftyp.box，得到目标文件header的ftyp.box；

S2.2：合并各idx文件的moov.box及各idx文件的其他子box，得到目标文件header的moov.box；

S2.3：向mdat.box写入目标MP4文件mdat.box的box.size和box.type。

6.根据权利要求5所述的一种基于对象存储分片转码/合成闪拼成MP4文件的方法，其特征在于，所述合并各idx文件的其他子box包括track.box、tkhd.box、mdia.box、minf.box、stbl.box、stsz.box、stts.box、ctts.box和stsc.box，所述S2.2中合并idx文件的其他子box包括如下步骤：

S2.2.1：合并moov.box后，复制第一个idx文件的tkhd.box及修改其duration信息；

S2.2.2：然后合并track.box，并复制第一个idx文件的tkhd.box及修改其duration信息；

S2.2.3：然后合并mdia.box，并复制第一个idx文件的tkhd.box及修改其duration信息，然后复制第一个idx文件hdlr.box；

S2.2.4：然后合并minf.box，并复制第一个idx文件的minf.header和dinf.box；

S2.2.5：然后合并stbl.box，并复制第一个idx文件的stsd.box；

S2.2.6：最后合并各idx文件的stsz.box、stts.box、ctts.box和stsc.box。