CN105280205B - 非线性编辑软件音视频同步处理方法及装置 - Google Patents

Abstract

本发明适用于视频技术领域，提供了一种非线性编辑软件音视频同步处理方法及装置。所述方法包括：通过获取编码器的视频流和音频流，并缓存对应的视频帧和音频帧；读取所述视频帧和音频帧；对读取的视频帧和音频帧进行写入操作，所述写入操作包括：将所述视频帧和音频帧进行均匀分布处理和时戳同步处理。本发明中由于对视频帧和音频帧进行重写，对视频帧和音频帧进行均匀分布处理和时戳同步处理，这样能够保证非线性编辑软件播放时音视频同步，同时不需要重新解码和编码，提高了效率。

Description

非线性编辑软件音视频同步处理方法及装置

技术领域

本发明属于视频技术领域，尤其涉及一种非线性编辑软件音视频同步处理方法及装置。

背景技术

录制好的文件经常需要通过非线性编辑软件编辑(包括复制、剪切、添加片头片尾等)，原录播系统录制的文件通过播放器可以音视频同步播放，但在用非线性编辑软件播放时音视频播放不同步，原因是播放器播放文件是按照音视频的时戳播放，而非线性编辑软件不会读取音视频的时戳。现有的常用方法是通过编解码软件进行处理，但是编解码软件需要对音视频文件重新进行解码和编码，耗费的时间很长。

发明内容

本发明的目的在于提供一种非线性编辑软件音视频同步处理方法，旨在解决现有录播系统录制的音视频文件在播放器中播放音视频同步，但在非线性编辑软件中播放音视频不同步，音视频文件需要重新进行解码和编码，耗费的时间很长的问题。

本发明提供了一种非线性编辑软件音视频同步处理方法，包括：

获取编码器的视频流和音频流，并缓存对应的视频帧和音频帧；

读取所述视频帧和音频帧；

对读取的所述视频帧和音频帧进行写入操作，所述写入操作包括：将所述视频帧和音频帧进行均匀分布处理和时戳同步处理。

进一步的，所述将所述视频帧和音频帧进行均匀分布处理和时戳同步处理，包括：

根据帧率计算所述视频帧帧间时差，并根据所述视频帧帧间时差对所述视频帧进行均匀分布处理和时戳同步处理；

根据采样率计算音频帧帧间时差，并根据所述音频帧帧间时差对所述音频帧进行均匀分布处理和时戳同步处理。

进一步的，根据所述视频帧帧间时差对所述视频帧进行均匀分布处理和时戳同步处理，包括：

调整I帧的时戳，使得两个I帧之间的时间间隔等于所述视频帧帧间时差的整数倍；

根据相邻两个I帧之间的时间间隔，计算所述相邻两个I帧之间的P帧数目，若计算得到的所述相邻两个I帧之间的P帧数目大于读取时的所述相邻两个I帧之间的P帧数目，则在所述相邻两个I帧之间进行补帧；若计算得到的所述相邻两个I帧之间的P帧数目小于读取时的所述相邻两个I帧之间的P帧数目，则在所述相邻两个I帧之间进行减帧。

进一步的，所述调整I帧的时戳，包括将I帧进行向前调整或向后调整，调整的时间范围小于等于所述视频帧帧间时差。

进一步的，所述根据所述音频帧帧间时差对所述音频帧进行均匀分布处理和时戳同步处理，包括：

根据所述音频帧帧间时差计算所述音频帧的真实时戳Tr，如果To-Tr>AUDIO_INTERVAL，则插入一个空帧，如果Tr-To>AUDIO_INTERVAL就减掉所述音频帧，所述To表示读取时所述音频帧的原始时戳,所述AUDIO_INTERVA表示所述音频帧帧间时差。

本发明还提供了一种非线性编辑软件音视频同步处理装置，包括：

获取缓存模块、读取模块以及写入模块，所述写入模块包括均匀分布与时戳同步处理模块；

所述获取缓存模块，用于获取编码器的视频流和音频流，并缓存对应的视频帧和音频帧；

所述读取模块，用于读取所述视频帧和音频帧；

所述写入模块，用于对读取的所述视频帧和音频帧进行写入操作；

所述均匀分布与时戳同步处理模块，用于将所述视频帧和音频帧进行均匀分布处理和时戳同步处理。

进一步的，所述均匀分布与时戳同步处理模块，包括：

第一计算模块以及第二计算模块；

所述第一计算模块，用于根据帧率计算所述视频帧帧间时差，并根据所述视频帧帧间时差对所述视频帧进行均匀分布处理和时戳同步处理；

所述第二计算模块，用于根据采样率计算音频帧帧间时差，并根据所述音频帧帧间时差对所述音频帧进行均匀分布处理和时戳同步处理。

进一步的，所述第一计算模块还包括：

调整模块、第一计算子模块、第一补帧模块以及第一减帧模块；

所述调整模块，用于调整I帧的时戳，使得两个I帧之间的时间间隔等于所述视频帧帧间时差的整数倍；

所述第一计算子模块，用于根据相邻两个I帧之间的时间间隔，计算所述相邻两个I帧之间的P帧数目n；

所述第一补帧模块，用于当计算得到的所述相邻两个I帧之间的P帧数目大于读取时的所述相邻两个I帧之间的P帧数目时，在所述相邻两个I帧之间进行补帧；

所述第一减帧模块，用于当计算得到的所述相邻两个I帧之间的P帧数目小于读取时的所述相邻两个I帧之间的P帧数目时，在所述相邻两个I帧之间进行减帧。

进一步的，所述调整模块，还用于将I帧进行向前调整或向后调整，调整的时间范围小于等于所述视频帧帧间时差。

进一步的，所述第二计算模块还包括：

第二计算子模块、第二补帧模块以及第二减帧模块；

所述第二计算子模块，用于根据所述音频帧帧间时差计算所述音频帧的真实时戳Tr；

所述第二补帧模块，用于当To-Tr>AUDIO_INTERVAL时，插入一个空帧；

所述第二减帧模块，用于当Tr-To>AUDIO_INTERVAL时，减掉所述音频帧；所述To表示读取时所述音频帧的原始时戳,所述AUDIO_INTERVA表示所述音频帧帧间时差。

在本发明中，通过获取编码器的视频流和音频流，并缓存对应的视频帧和音频帧；读取所述视频帧和音频帧；对读取的视频帧和音频帧进行写入操作，所述写入操作包括：将所述视频帧和音频帧进行均匀分布处理和时戳同步处理。本发明中由于对视频帧和音频帧进行重写，对视频帧和音频帧进行均匀分布处理和时戳同步处理，这样能够保证非线性编辑软件播放时音视频同步，同时不需要重新解码和编码，提高了效率。

附图说明

图1是本发明实施例提供的非线性编辑软件音视频同步处理方法的实现流程图；

图2是本发明实施例提供的从编码器获取的音视频流的一个示意图；

图3是本发明实施例提供的非线性编辑软件音视频同步处理装置的结构框图；

图4是本发明实施例提供的图3中的均匀分布与时戳同步处理模块的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明实施例提供的一种非线性编辑软件音视频同步处理方法的实现流程，详述如下：

步骤101、获取编码器的视频流和音频流，并缓存对应的视频帧和音频帧。

本发明实施例中，首先获取编码器的视频流和音频流，获取音视频流后并不直接进行写入操作，而是先缓存对应的音视频帧。优选的，对两个视频I帧之间的音视频数据进行一次缓存。如图2所示，图2为从编码器获取的音视频流的一个示意图。两个I帧对应的时间为T1和T2，则对T1和T2之间的数据进行一次缓存，也即缓存的视频帧为第一个I帧VI-1以及P帧P-1至P-29，缓存的音频帧为AI-1至AI-30。当然具体的两个I帧之间的P帧数目，以及两个I帧之间对应的音频帧数目不一定与图2相同，图2只是一示意图。需要说明的是，前述I帧和P帧是本领域中帧图像定义的帧类型，I帧为帧内编码帧，P帧为前向预测编码帧。

步骤102、读取所述视频帧和音频帧。

本发明实施例中，对缓存后的视频帧和音频帧进行读取操作。优选的，每次读取的数据与一次缓存数据相对应。本实施例中，每次读取两个I帧之间的对应的视频帧和音频帧。

步骤103、对读取的视频帧和音频帧进行写入操作，所述写入操作包括：将所述视频帧和音频帧进行均匀分布处理和时戳同步处理。

本发明实施例中，对读取的视频帧和音频帧进行重新写入操作。写入操作包括：将视频帧和音频帧进行均匀分布处理和时戳同步处理。优选的，将视频帧和音频帧进行均匀分布处理和时戳同步处理，包括：根据帧率计算视频帧帧间时差，并根据视频帧帧间时差对视频帧进行均匀分布处理和时戳同步处理。帧率是视频帧有的参数，比如帧率为25，那么1s内应该有25帧，视频帧的时戳分布应该为0ms,40ms,80ms.....，那么视频帧的时差为40ms,即视频帧帧间时差为：VIDEO_INTERVAL＝1000/帧率，单位为毫秒ms。具体的，根据视频帧帧间时差对所述视频帧进行均匀分布处理和时戳同步处理，包括：调整I帧的时戳，使得两个I帧之间的时间间隔等于视频帧帧间时差的整数倍,这样保证I帧的时戳在均匀分布点上，也即在视频帧的时差的整数倍的时间点上分布，I帧可以向前调整也可以向后调整，调整的时间范围不大于视频帧帧间时差VIDEO_INTERVAL。然后根据相邻两个I帧之间的时间间隔，计算所述相邻两个I帧之间的P帧数目m，若计算得到的所述相邻两个I帧之间的P帧数目大于读取时的所述相邻两个I帧之间的P帧数目n，即m>n,则在所述相邻两个I帧之间进行补帧，具体的可以将相邻两个I帧的前一个帧进行复制拷贝到其后面的均匀分布点上；若计算得到的相邻两个I帧之间的P帧数目小于于读取时的相邻两个I帧之间的P帧数目，则在相邻两个I帧之间进行减帧，优选的，可以减掉后一个I帧前面的P帧。比如，在图2中，确定VI-1和VI-2之间实际应该有n帧P帧，而读取时也即缓存中有m帧P帧，如果n>m就应该补帧，补帧只需要拷贝VI-1并插到VI-1后面。如果n<m就应该减帧，减掉的帧为VI-2前面的P帧。同时调整相邻两个I帧之间的P帧，保证P帧与P帧之间的时差以及P帧与I帧之间的时差都为视频帧帧间时差的整数倍,这样保证P帧的时戳也在均匀分布点上。这样，通过上面的操作就能够使得视频帧满足帧率要求，且能均匀分布。

进一步的，上述将视频帧和音频帧进行均匀分布处理和时戳同步处理还包括：根根据采样率计算音频帧帧间时差，比如若编码器音频格式为he-aac格式，相应的音频帧帧间时差单位为毫秒ms,然后根据音频帧帧间时差对音频帧进行均匀分布处理和时戳同步处理。具体的，根据音频帧帧间时差对音频帧进行均匀分布处理和时戳同步处理，包括：根据音频帧帧间时差计算音频帧的真实时戳Tr，若当前音频帧为第N帧，则当前音频帧的真实时戳为Tr＝AUDIO_INTERVA×N，如果To-Tr>AUDIO_INTERVAL，则插入一个空帧(空帧即静音帧)，如果Tr-To>AUDIO_INTERVAL就减掉当前音频帧，其中To表示读取时音频帧的原始时戳,AUDIO_INTERVA表示音频帧帧间时差。如图2所示，AI-1～AI-30的真实时戳计算出来之后，如果发现某个帧的To-Tr>AUDIO_INTERVAL，说明原始帧的时戳超前了实际帧，且偏差超过一帧，那么就在该原始帧前面插入一个空帧，直到原始帧和实际帧的时戳差距在一帧之内。如果发现Tr-To>AUDIO_INTERVAL，说明原始帧的时戳落后于实际帧，且超过一帧，那么就减掉该帧，直到原始帧和实际帧的时戳差距在一帧之内。这样，能够保证音视频的同步，且采用插入空帧和减帧的方法保证数据的正确性，能够满足采样率要求。

这样，通过对视频帧和音频帧进行均匀分布处理和时戳同步处理，能够使得视频帧满足帧率要求且能均匀分布，音频帧满足采样率要求，同时能够保证音视频帧的同步。

本发明中由于对视频帧和音频帧进行重写，对视频帧和音频帧进行均匀分布处理和时戳同步处理，这样能够保证非线性编辑软件播放时音视频同步，同时不需要要重新解码和编码，提高了效率。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。

图3示出了本发明实施例提供的一种非线性编辑软件音视频同步处理装置的结构框图，该装置可以实现前述方法实施例所描述的方法。为了便于说明，仅示出了与本实施例相关的部分。参照图3，该非线性编辑软件音视频同步处理装置，包括：

获取缓存模块31、读取模块32以及写入模块33，所述写入模块33包括均匀分布与时戳同步处理模块331。

获取缓存模块31，用于获取编码器的视频流和音频流，并缓存对应的视频帧和音频帧。读取模块32，用于读取所述视频帧和音频帧。写入模块33，用于对读取的视频帧和音频帧进行写入操作。均匀分布与时戳同步处理模块331，用于将所述视频帧和音频帧进行均匀分布处理和时戳同步处理。由于通过写入模块33对视频帧和音频帧进行重写，并通过均匀分布与时戳同步处理模块对视频帧和音频帧进行均匀分布处理和时戳同步处理，这样能够保证非线性编辑软件播放时音视频同步，同时不需要重新解码和编码，提高了效率。

图4示出了本发明实施例提供的图3中的均匀分布与时戳同步处理模块331的结构框图，均匀分布与时戳同步处理模块331，包括：第一计算模块3311以及第二计算模块3312。

第一计算模块3311，用于根据帧率计算所述视频帧帧间时差，并根据所述视频帧帧间时差对所述视频帧进行均匀分布处理和时戳同步处理。

第二计算模块3312，用于根据采样率计算音频帧帧间时差，并根据所述音频帧帧间时差对所述音频帧进行均匀分布处理和时戳同步处理。

进一步的，第一计算模块3311还包括：调整模块33111、第一计算子模块33112、第一补帧模块33113以及第一减帧模块33114。

调整模块33111，用于调整I帧的时戳，使得两个I帧之间的时间间隔等于所述视频帧帧间时差的整数倍。进一步的，调整模块33111，还用于将I帧进行向前调整或向后调整，调整的时间范围小于等于所述视频帧帧间时差。调整模块33111，还用于调整相邻两个I帧之间的P帧，保证P帧与P帧之间的时差以及P帧与I帧之间的时差都为视频帧帧间时差的整数倍。这样保证I帧与P帧的时戳都在均匀分布点上

第一计算子模块33112，用于根据相邻两个I帧之间的时间间隔，计算所述相邻两个I帧之间的P帧数目。

第一补帧模块33113，用于当计算得到的所述相邻两个I帧之间的P帧数目大于读取时的所述相邻两个I帧之间的P帧数目时，在所述相邻两个I帧之间进行补帧。

第一减帧模块33114，用于当计算得到的所述相邻两个I帧之间的P帧数目大于读取时的所述相邻两个I帧之间的P帧数目时，在所述相邻两个I帧之间进行减帧。

进一步的，所述第二计算模块3312还包括：第二计算子模块33121、第二补帧模块33122以及第二减帧模块33123。

第二计算子模块33121，用于根据所述音频帧帧间时差计算所述音频帧的真实时戳Tr。

第二补帧模块33122，用于当To-Tr>AUDIO_INTERVAL时，插入一个空帧。

第二减帧模块33123，用于当Tr-To>AUDIO_INTERVAL时，减掉所述音频帧，其中所述To表示读取时所述音频帧的原始时戳,所述AUDIO_INTERVA表示所述音频帧帧间时差。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元或模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元或模块既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员还可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，包括ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.非线性编辑软件音视频同步处理方法，其特征在于，包括：

获取编码器的视频流和音频流，并缓存对应的视频帧和音频帧；

读取所述视频帧和音频帧；

对读取的所述视频帧和音频帧进行写入操作，所述写入操作包括：

根据帧率计算视频帧帧间时差，并根据所述视频帧帧间时差对所述视频帧进行均匀分布处理和时戳同步处理；

根据采样率计算音频帧帧间时差，并根据所述音频帧帧间时差对所述音频帧进行均匀分布处理和时戳同步处理；

所述根据所述视频帧帧间时差对所述视频帧进行均匀分布处理和时戳同步处理，包括：

调整I帧的时戳，使得两个I帧之间的时间间隔等于所述视频帧帧间时差的整数倍；

根据相邻两个I帧之间的时间间隔，计算所述相邻两个I帧之间的P帧数目，若计算得到的所述相邻两个I帧之间的P帧数目大于读取时的所述相邻两个I帧之间的P帧数目，则在所述相邻两个I帧之间进行补帧；若计算得到的所述相邻两个I帧之间的P帧数目小于读取时的所述相邻两个I帧之间的P帧数目，则在所述相邻两个I帧之间进行减帧。

2.如权利要1所述的方法，其特征在于，所述调整I帧的时戳，包括将I帧进行向前调整或向后调整，调整的时间范围小于等于所述视频帧帧间时差。

3.如权利要求1所述的方法，其特征在于，所述根据所述音频帧帧间时差对所述音频帧进行均匀分布处理和时戳同步处理，包括：

根据所述音频帧帧间时差计算所述音频帧的真实时戳Tr，如果To-Tr>AUDIO_INTERVAL，则插入一个空帧，如果Tr-To>AUDIO_INTERVAL就减掉所述音频帧，所述To表示读取时所述音频帧的原始时戳,所述AUDIO_INTERVA表示所述音频帧帧间时差。

4.非线性编辑软件音视频同步处理装置，其特征在于，包括：

获取缓存模块、读取模块以及写入模块，所述写入模块包括第一计算模块以及第二计算模块；

所述获取缓存模块，用于获取编码器的视频流和音频流，并缓存对应的视频帧和音频帧；

所述读取模块，用于读取所述视频帧和音频帧；

所述写入模块，用于对读取的所述视频帧和音频帧进行写入操作；

所述第一计算模块，用于根据帧率计算视频帧帧间时差，并根据所述视频帧帧间时差对所述视频帧进行均匀分布处理和时戳同步处理；

所述第二计算模块，用于根据采样率计算音频帧帧间时差，并根据所述音频帧帧间时差对所述音频帧进行均匀分布处理和时戳同步处理；

所述第一计算模块还包括：

调整模块、第一计算子模块、第一补帧模块以及第一减帧模块；

所述调整模块，用于调整I帧的时戳，使得两个I帧之间的时间间隔等于所述视频帧帧间时差的整数倍；

所述第一计算子模块，用于根据相邻两个I帧之间的时间间隔，计算所述相邻两个I帧之间的P帧数目n；

所述第一补帧模块，用于当计算得到的所述相邻两个I帧之间的P帧数目大于读取时的所述相邻两个I帧之间的P帧数目时，在所述相邻两个I帧之间进行补帧；

所述第一减帧模块，用于当计算得到的所述相邻两个I帧之间的P帧数目小于读取时的所述相邻两个I帧之间的P帧数目时，在所述相邻两个I帧之间进行减帧。

5.如权利要4所述的装置，其特征在于，所述调整模块，还用于将I帧进行向前调整或向后调整，调整的时间范围小于等于所述视频帧帧间时差。

6.如权利要求4所述的装置，其特征在于，所述第二计算模块还包括：

第二计算子模块、第二补帧模块以及第二减帧模块；

所述第二计算子模块，用于根据所述音频帧帧间时差计算所述音频帧的真实时戳Tr；

所述第二补帧模块，用于当To-Tr>AUDIO_INTERVAL时，插入一个空帧；

所述第二减帧模块，用于当Tr-To>AUDIO_INTERVAL时，减掉所述音频帧；所述To表示读取时所述音频帧的原始时戳,所述AUDIO_INTERVA表示所述音频帧帧间时差。