CN111063376A - 一种mp4修复中音视频同步的方法、终端设备和存储介质 - Google Patents

Abstract

本发明公开了一种MP4修复中音视频同步的方法、终端设备和存储介质,涉及计算机数据恢复领域，该方法包括以下步骤：搜索损坏文件或者参照同源文件来获取相关编解码信息，并根据信息对损坏文件提取有效的音频数据和视频数据；根据音视频文件的相对偏移位置来关联音视频时间点，分别计算音视频数据块在各自轨道的位置，根据轨道位置差，判断是否有音频或视频轨道需要填补播放时长；通过修改最后一帧视频显示时间或者填充空音频数据，使音视频播放时长一致。本发明的方法，依赖于存储时的音视频位置相关性，能校正从数据中提取到的音视频轨道播放时间信息，提升了文件的恢复效果；该方法扩展了MP4文件的恢复方式，有重大创新性和实际意义。

Description

一种MP4修复中音视频同步的方法、终端设备和存储介质

技术领域

本发明涉及计算机数据恢复领域，尤其涉及一种MP4修复中音视频同步的方法、终端设备和存储介质。

背景技术

MP4是一种常见的多媒体容器格式，基于MPEG-4 Part 14或相关规范实现，现在大部分智能手机、无人机、行车记录仪等录像设备都以MP4作为视频封装格式。在“ISO/IEC14496-14”标准文件中定义了MP4文件封装规范细则，属于MPEG-4的一部分。

国内外现存有几款软件能够针对MP4视频文件进行修复。对异常的MP4视频文件这些软件针主要采取如下方案：搜索MP4的容器特征信息(如ftyp、mdat、moov等)，根据容器的长度信息或者特征信息的存储位置差，提取、保存数据。

现有的MP4修复方法存在的问题：只处理视频数据、没有对音频数据处理，导致播放时音频、视频不同步。

发明内容

有鉴于现有技术的上述缺陷，本发明的目的是提供一种MP4修复中音视频同步的方法、终端设备和存储介质，通过对视频数据和音频数据的关联和处理，以解决MP4修复中音视频的同步问题。

为实现上述目的，本发明提供了以下技术方案：

一种MP4修复中音视频同步的方法，包括以下步骤：

(1)搜索损坏文件或者参照同源文件来获取相关编解码信息，并根据信息对损坏文件提取有效的音频数据和视频数据；

(2)根据算法关联音视频时间点，分别计算音视频数据块偏移位置相对存储典型值的余数。在偏移位置各个典型值倍数范围内，余数最相近的是一组关联时间点；然后判断是否有未关联的音频/视频数据，即对应视频/音频轨道需要填补播放时长；

(3)通过修改最后一帧视频显示时间或者填充空音频数据，使音视频播放时长一致；

(4)根据新的音频数据、视频数据更新MP4文件的编解码信息，并将新的音频数据、视频数据和编解码信息重新封装为MP4文件。

进一步的，所述MP4修复中音视频同步的方法具体包括：

步骤1:搜索损坏文件或者从同源参照文件获取编解码等信息；

步骤2:从损坏文件提取音频数据信息，获取音频数据相对文件头的偏移信息存为APx，同时获取音频块数据存为ADx，并构成音频信息集：APS＝{{AP1，AD1}，{AP2，AD2}，…，{APx，ADx}}；

步骤3:从损坏文件提取视频数据信息，获取视频数据相对文件头的偏移信息存为VPy，同时获取视频trunk数据存为VDy，并构成视频信息集：VPS＝{{VP1，VD1}，{VP2，VD2}，…，{VPy，VDy}}；

步骤4:依次对APS和VPS元素根据偏移信息计算AMx和VMy；然后根据计算音视频差异绝度值JV，在期望差异内最小的一组音/视频元素认为是关联的；

AMx＝APx/TV

VMy＝VPy/TV

JVxy＝abs(AMx－VMy)

其中TV：基于扇区大小或帧的大小的典型值；

步骤5:根据音视频的关联信息判断音视频同步情况。在相邻的关联位置间，判断音视频播放时长情景，若两组关联的音视频之间，存在未关联的视频数据，则执行步骤6；若存在未关联的音频数据，则执行步骤7；

步骤6:如果两组关联的音视频之间，存在未关联的视频数据，则计算缺少的音频时长、填充空音频数据信息APx，填充空音频数据可以避免噪音；

步骤7:如果两组关联的音视频之间，存在未关联的音频数据，则计算缺少的视频时长、延长前一关联视频的最后视频帧的持续时间；

步骤8:循环步骤4～7，直到处理完所有数据，形成新的音频信息集和视频信息集，并更新编解码信息；

步骤9:根据新的音频信息集、视频信息集和编解码信息，重新封装为MP4文件。

一种MP4修复终端设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例所述的MP4修复中音视频同步的方法的步骤。

一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例所述的MP4修复中音视频同步的方法的步骤。

本发明实现了如下技术效果：

本发明的MP4修复中的音视频同步的方法，依赖于存储时的音视频位置相关性，能校正从数据中提取到的音视频轨道播放时间信息，提升了文件的恢复效果；该方法扩展了MP4文件的恢复方式，有重大创新性和实际意义。

附图说明

图1是MP4的封装格式；

图2是MP4的音视频的存放方式图示；

图3是修复的MP4的音视频不同步示意图；

图4是本发明的MP4修复的一个示例；

图5是损坏的MP4样本的语音时长信息；

图6是损坏的MP4样本的视频时长信息；

图7是修复的MP4样本的视频时长信息。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

如图1所示，MP4封装格式是一种打包格式，把已有的数据按照一定的格式进行封装打包。MP4数据封装以容器方式用box(块)为单位，其中的moov块存储着文件总体的信息，播放需要的元数据(metadata)：创建时间、修改时间、时间度量标尺、文件时长等；视频的编解码类型、分辨率等；音频的声道、采样率等。音频、视频的编解码信息通常分别于各自的trak块中存储，同时各自保存着存储chunk偏移、采样映射等信息。通常实际音视频数据以chunk块的方式间隔分布存放在mdat块中。

表1

如表1所示，对MP4文件的Box定义及用途进行说明，以便于理解。其中涉及几个概念：

track表示一些sample的集合，对于媒体数据来说，track表示一个视频或音频序列；

hint track这个特殊的track并不包含媒体数据，而是包含了一些将其他数据track打包成流媒体的指示信息；

sample对于非hint track来说，video sample即为一帧视频，或一组连续视频帧，audio sample即为一段连续的压缩音频，它们统称sample。对于hint track，sample定义一个或多个流媒体包的格式；

sample table指明sampe时序和物理布局的表；

chunk一个track的几个sample组成的单元。

在moov块中，mvhd对整个文件所包含的媒体数据作全面的全局的描述；trak块中的tkhd则包含了单个媒体轨道(Track)所特有的描述信息，我们一般所看的MP4文件中moov下都至少是mvhd-trak-trak-trak...这种构成。进一步的，在stbl块(即sample tablebox)中包含了stsc和stco/co64等含有音视频的位置长度相关的信息，Stsc块为sample和chunk的映射表；stco/co64块为每个chunk的文件偏移。

Moov块的信息和mdat块的音视频数据的关联如图2所示。从图2可以看到音视频以chunk块的方式间隔分布存放，stsz块给出了sample块的集合，stco/co64块用于指向各chunk块在文件中的偏移位置。

如图3所示，MP4修复中音视频同步原理如下：

MP4中的音频、视频是两个相对独立的轨道(对应trak块)，当恢复的数据不一致时，会导致两个轨道时长不一致，导致音视频不同步。当视频在裁剪、分割及重新编辑时，或数据丢失时，很容易出现视频数据和音频数据长度不一致情况。通常音视频数据在mdat文件中以chunk块交替存放，且有一定的位置相关性，因此，修复MP4文件可通过以下方式进行：

(1)搜索损坏文件或者参照同源文件来获取相关编解码信息，并根据信息对损坏文件提取有效的音频数据，和视频数据。音视频的编解码信息存放在各自的trak块中，并通过其中的hdlr块中的handler type指定track的类型是视频(视频为“vide”)、音频(音频为“soun”)还是hint。

(2)根据音视频文件的相对偏移位置来关联音视频时间点；分别计算音视频chunk在各自轨道的位置，根据轨道位置差，判断是否有音频或视频轨道需要填补播放时长。

(3)通过修改最后一帧视频显示时间或者填充空音频数据，使音视频播放时长一致。

本发明的MP4修复中音视频同步的方法流程，包括以下步骤：

步骤1:搜索损坏文件或者从同源参照文件获取编解码等信息。在本实施例中，具体的，损坏文件的编解码信息存放在moov块中，可通过读取mvhd块中的timnescale和duration可以获得破损的MP4文件的时长；在音频或视频的tkhd块中的duration也可以获得破损的MP4文件中的音频时长或视频时长。

步骤2:从损坏文件提取音频数据信息，获取音频数据相对文件头的偏移信息存为APx，同时获取音频块数据存为ADx，并构成音频信息集：APS＝{{AP1，AD1}，{AP2，AD2}，…，{APx，ADx}}。

在本实施例中，具体的，音频数据相对文件头的偏移信息可从音频trak块中的stco/co64块读取；并根据偏移信息，读取mdat块中的音频块数据(即音频chunk块)。

步骤3:从损坏文件提取视频数据信息，获取视频数据相对文件头的偏移信息存为VPy，同时获取视频trunk数据存为VDy，并构成视频信息集：VPS＝{{VP1，VD1}，{VP2，VD2}，…，{VPy，VDy}}。

在本实施例中，具体的，视频数据相对文件头的偏移信息可从视频trak块中的stco/co64块读取；并根据偏移信息，读取mdat块中的视频块数据(即视频chunk块)。

步骤4:依次对APS和VPS元素根据偏移信息计算AMx和VMy；然后根据计算音视频差异绝度值JV，在期望差异内最小的一组音/视频元素认为是关联的。

AMx＝APx/TV

VMy＝VPy/TV

JVxy＝abs(AMx–VMy)

其中TV：基于扇区大小或帧的大小的典型值，根据不同视频存储差异调整，如数据帧sample。

步骤5:根据音视频的关联信息判断音视频同步情况；在相邻的关联位置间，判断音视频播放时长情景，若两组关联的音视频之间，存在未关联的视频数据，则执行步骤6；若存在未关联的音频数据，则执行步骤7；

步骤6:如果两组关联的音视频之间，存在未关联的视频数据，则计算缺少的音频时长、填充空音频数据信息APx(填充空音频数据可以避免噪音)；

步骤7:如果两组关联的音视频之间，存在未关联的音频数据，则计算缺少的视频时长、延长前一关联视频的最后视频帧的持续时间；

步骤8:循环步骤4～7，直到处理完所有数据；此时需要更新moov块的相关数据，特别是根据音频信息集APS和视频信息集VPS更新音视频trak块中的stco/co64块中的偏移信息等块信息。

步骤9:根据更新的的编解码等信息，重新封装为MP4文件。

图4给出了MP4修复的一个示例。

(1)通过步骤4的判断，{AP1，AD1}和{VP1，VD1}关联，{AP2，AD2}和{VP3，VD3}关联，{VP2，VD2}是未关联的视频数据，因此在{AP1，AD1}和{AP2，AD2}之间填充空音频数据信息APx。

(2)通过步骤4的判断，{AP3，AD3}和{VP4，VD4}关联，{AP6，AD6}和{VP5，VD51}关联，{AP4，AD4}和{AP4，VD4}是未关联的音频数据，则将{VP4，VD4}的持续时间延长以完成填充。

实验测试验证：

为验证本发明的MP4修复中音视频同步的方法，针对一破损的MP4文件，我们采用视频格式分析工具Elecard Video Format Analyzer进行分析，在图5中，我们从mvhd box的timnescale和duration可以获得破损的MP4文件的时长为57秒，在图6中，我们从tkhdbox的duration可以获得破损的MP4文件的视频时长为50秒，整个MP4文件的时长由音频时长和视频时长的较大者决定，由此可见，音频的时长为57秒。

通过本发明的MP4修复中音视频同步的方法对破损的MP4文件进行修复，然后通过视频格式分析工具Elecard Video Format Analyzer进行检查，如图7所示，同样检查tkhdbox的duration可以获得破损的MP4文件的视频时长为57秒，和MP4文件的时长一致，实现了MP4中音视频的同步。

该技术实现的特性和创新性：

MP4格式文件作为目前使用最为广泛的视频文件格式之一，诸多的数据与资料以MP4文件的方式存储着，对其的恢复研究具有很高的意义。

本发明的MP4修复中音视频同步的方法，依赖于存储时的音视频位置相关性，能校正从数据中提取到的音视频轨道播放时间信息，提升了文件的恢复效果；该方法扩展了MP4文件的恢复方式，有重大创新性和实际意义。

实施例二：

本发明还提供一种MP4修复终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。

进一步地，作为一个可执行方案，所述MP4修复终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述MP4修复终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述MP4修复终端设备的组成结构仅仅是MP4修复终端设备的示例，并不构成对MP4修复终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述MP4修复终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)或现成可编程门阵列(Field-Programmable Gate Array，FPGA)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述MP4修复终端设备的控制中心，利用各种接口和线路连接整个MP4修复终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述MP4修复终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储MP4修复前后的音视频数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。

所述MP4修复终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (8)

1.一种MP4修复中音视频同步的方法，其特征在于，包括以下步骤：

(1)搜索损坏文件或者参照同源文件来获取相关编解码信息，并根据信息对损坏文件提取有效的音频数据、视频数据以及各音视频数据相对文件的偏移信息；

(2)根据算法关联音视频时间点，分别计算音视频数据块偏移位置相对存储典型值的余数；在偏移位置各个典型值倍数范围内，余数最相近的是一组关联时间点；然后判断是否有未关联的音频/视频数据，即对应视频/音频轨道需要填补播放时长；

(3)通过修改最后一帧视频显示时间或者填充空音频数据，使音视频播放时长一致；

(4)根据新的音频数据、视频数据更新MP4文件的编解码信息，并将新的音频数据、视频数据和编解码信息重新封装为MP4文件。

2.如权利要求1所述的MP4修复中音视频同步的方法，其特征在于：所述MP4修复中音视频同步的方法具体包括：

步骤1:搜索损坏文件或者从同源参照文件获取编解码等信息；

步骤2:从损坏文件提取音频数据信息，获取音频数据相对文件头的偏移信息存为APx，同时获取音频块数据存为ADx，并构成音频信息集：APS＝{{AP1，AD1}，{AP2，AD2}，…，{APx，ADx}}；

步骤3:从损坏文件提取视频数据信息，获取视频数据相对文件头的偏移信息存为VPy，同时获取视频块数据存为VDy，并构成视频信息集：VPS＝{{VP1，VD1}，{VP2，VD2}，…，{VPy，VDy}}；

步骤4:依次对APS和VPS元素根据偏移信息计算AMx和VMy；然后根据计算得到的音视频差异绝度值JV，在期望差异内最小的一组音/视频元素认为是关联的；

AMx＝APx/TV

VMy＝VPy/TV

JVxy＝abs(AMx－VMy)

其中TV：基于扇区大小或帧的大小的典型值；

步骤5:根据音视频的关联信息判断音视频同步情况；在相邻的关联位置间，判断音视频播放时长情景，若两组关联的音视频之间，存在未关联的视频数据，则执行步骤6；若存在未关联的音频数据，则执行步骤7；

步骤6:如果两组关联的音视频之间，存在未关联的视频数据，则计算缺少的音频时长、填充空音频数据信息APx；

步骤7:如果两组关联的音视频之间，存在未关联的音频数据，则计算缺少的视频时长、延长前一关联视频的最后视频帧的持续时间；

步骤8:循环步骤4～7，直到处理完所有数据，形成新的音频信息集和视频信息集，并更新编解码信息；

步骤9:根据新的音频信息集、视频信息集和编解码信息，重新封装为MP4文件。

3.如权利要求2所述的MP4修复中音视频同步的方法，其特征在于：所述步骤1中的编解码信息存放在moov块中，包括：通过读取mvhd块中的timnescale和duration获得破损的MP4文件的时长；或通过音频或视频的tkhd块中的duration获得破损的MP4文件中的音频时长或视频时长。

4.如权利要求2所述的MP4修复中音视频同步的方法，其特征在于：所述步骤4中的音视频数据时间点关联算法，根据存储典型值计算余数，并关联各范围内的音视频数据。

5.如权利要求2所述的MP4修复中音视频同步的方法，其特征在于：所述TV，能够根据不同视频存储差异调整。

6.如权利要求2所述的MP4修复中音视频同步的方法，其特征在于：所述步骤8中的编解码信息，包括整个moov块。

7.一种MP4修复终端设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～6中任意一项所述的MP4修复中音视频同步的方法的步骤。

8.一种计算机存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的MP4修复中音视频同步的方法的步骤。

Images