CN113259738A - 音视频同步的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种音视频同步的方法、装置、电子设备及存储介质。其中，该同步的方法包括步骤：获取编码后的音视频数据以及所述音视频数据的基本信息；根据所述帧率以及所述时间戳，判断所述视频数据是否有丢帧；在所述视频数据有丢帧时，在发生丢帧的位置对所述视频数据补入视频帧；根据所述采样率以及所述时间戳，判断所述音频数据是否有丢帧；在所述音频数据有丢帧时，在发生丢帧的位置对所述音频数据补入音频帧。本发明通过比对时间戳与帧间间隔的关系，发现出现丢帧的位置，在丢帧的位置上补入视频帧或音频帧，强制使得视频数据与音频数据回到原来的轨道上，从而实现了视频数据与音频数据之间的同步，解决音视频数据在封装时候的同步问题。

Description

音视频同步的方法、装置、电子设备及存储介质

技术领域

本发明涉及多媒体处理技术领域，尤其涉及一种音视频同步的方法、装置、电子设备及存储介质。

背景技术

在视频录播中，硬件的音视频采集卡同时采集原始音视频数据。由于采集到的原始视音频数据一般都比较大，所以要进一步送到编码器对原始视音频数据进行编码，然后封装成各种格式的文件，例如mp4文件。

通常地，音视频从采集、编码再到封装，一共经过了好几个不同的流程，对于每个流程，音视频都是分别单独处理，没有协调同步的机制。然而，实际情况下，音视频单独处理中的任何一个环节都可能出现错误，这些错误可能造成的一个结果就是：音视频之间不同步。如果直接对这些编码后的有错误的音视频进行封装，最终封装后的视频必然也会音视频不同步。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，本发明提供一种音视频同步的方法、装置、电子设备及存储介质。通过使用本发明的音视频同步的方法，能够解决音视频数据在封装时候的同步问题，本发明采用的技术方案如下。

第一方面，本发明提供一种音视频同步的方法，包括步骤：

获取编码后的音视频数据以及所述音视频数据的基本信息；

其中，所述基本信息包括：所述音视频数据中的视频数据的帧率、所述音视频数据中的音频数据的采样率以及采集机器采集所述音视频数据时的时间戳；

根据所述帧率以及所述时间戳，判断所述视频数据是否有丢帧；

在所述视频数据有丢帧时，在发生丢帧的位置对所述视频数据补入视频帧；

根据所述采样率以及所述时间戳，判断所述音频数据是否有丢帧；

在所述音频数据有丢帧时，在发生丢帧的位置对所述音频数据补入音频帧。

在一种实施方式中，还包括步骤：

对所述视频数据和所述音频数据进行比较，得到音视频偏差；

根据所述音视频偏差，补入或丢弃视频帧和/或音频帧。

在一种实施方式中，在所述根据所述音视频偏差，补入或丢弃视频帧和/或音频帧的过程中，根据所述音视频偏差，补入或丢弃音频帧。

在一种实施方式中，补入的音频帧为空帧。

在一种实施方式中，补入的视频帧为补入位置的前一帧的视频帧。

第二方面，本发明提供一种音视频封装的方法，包括步骤：

采集原始音视频数据；

对所述原始音视频数据添加采集时的时间戳；

对所述原始音视频数据进行编码，得到编码后的音视频数据；

对所述编码后的音视频数据分开音频通道和视频通道，分别实时封装到格式容器里面；

其中，所述对所述编码后的音视频数据分开音频通道和视频通道，分别实时封装到格式容器里面的过程中，使用上述任一实施方式的所述的音视频同步的方法。

第三方面，本发明提供一种音视频同步装置，包括：

获取模块，用于获取编码后的音视频数据以及所述音视频数据的基本信息；

其中，所述基本信息包括：所述音视频数据中的视频数据的帧率、所述音视频数据中的音频数据的采样率以及采集机器采集所述音视频数据时的时间戳；

判断模块，用于根据所述帧率以及所述时间戳，判断所述视频数据是否有丢帧，根据所述采样率以及所述时间戳，判断所述音频数据是否有丢帧；

补帧模块，用于在所述视频数据有丢帧时，在发生丢帧的位置对所述视频数据补入视频帧，在所述音频数据有丢帧时，在发生丢帧的位置对所述音频数据补入音频帧。

第四方面，本发明提供一种音视频封装装置，包括：

采集单元，用于采集原始音视频数据，对所述原始音视频数据添加采集时的时间戳；

编码单元，用于对所述原始音视频数据进行编码，得到编码后的音视频数据；

封装单元，用于对所述编码后的音视频数据分开音频通道和视频通道，分别实时封装到格式容器里面；

其中，所述封装单元还包括上述音视频同步装置。

第五方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施方式的方法。

第六方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一实施方式的方法。

本发明在数据封装前对编码后的音视频数据进行检查，利用音视频数据采集时的时间戳，通过比对时间戳与帧间间隔的关系，发现出现丢帧的位置，在丢帧的位置上补入视频帧或音频帧，强制使得视频数据与音频数据回到原来的轨道上，从而实现了视频数据与音频数据之间的同步。并且相对应地与之配合，在采集原始音视频数据时对所述原始音视频数据添加采集时的时间戳，在封装时采用了音视频同步的方法，解决音视频数据在封装时候的同步问题。

附图说明

图1是实施例一的流程示意图。

图2是实施例二的流程示意图。

图3是实施例三的结构示意图。

图4是实施例四的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被

这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

需要说明的是，本发明实施例所涉及的术语“第一\第二\……”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\……”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\……”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

实施例一

一般来说，硬件音视频采集卡同时采集原始音视频数据，由于原始音视频数据较大，要进一步送音视频编码器编码，音视频数据才能被封装成指定格式

的文件，例如mp4文件(由于mp4是比较常用的文件格式，后面的内容就以mp4文件作为例子介绍本发明的技术)，原始数据送编码器的时候会带上当下采集数据的机器的系统时间作为同步参考的时间戳。对音视频编码器分别设置编码参数，其中，对于视频，设置分辨率、码率、帧率等编码参数；对于音频，设置采样率、码率等编码参数。准备好mp4的封装容器，设置好对应的音视频编码参数，让音视频编码器对原始音视频数据进行编码，然后获取视音频编码器编码后的音视频流，分开音频跟视频通道，分别实时封装到mp4容器里面。

本实施例的音视频同步的方法，就是在分别实时封装到mp4容器里面时使用的，通过本音视频同步的方法能够实现封装后的音视频同步。

请参见图1，图1为本发明实施例一提供的一种音视频同步的方法的流程示意图，该方法包括步骤S110、步骤S120、步骤S130、步骤S140和步骤S150。需要注意的是，步骤S110、步骤S120、步骤S130、步骤S140和步骤S150仅为附图标记，用于清晰解释实施例与附图1的对应关系，不代表对本实施例中的方法的各方法步骤的顺序限定。

步骤S110，获取编码后的音视频数据以及所述音视频数据的基本信息。

其中，所述基本信息包括：所述音视频数据中的视频数据的帧率、所述音视频数据中的音频数据的采样率以及采集机器采集所述音视频数据时的时间戳。

由于本实施例的方法是要对编码后的音视频数据进行处理，从而达到音视频同步，所以也要获取编码后的音视频数据以待后面的步骤处理。另外，由于造成音视频不同步的最主要原因是封装到mp4里面的最终音视频中的音频和/或视频帧率不足，出现丢帧的问题，而产生这种丢帧的问题的其中一个根源在于原始音视频数据在视音频编码器编码的过程中有可能出现音视频数据丢失，所以mp4封装音视频端要实时检查编码后的音视频数据，判断是否有丢帧。又由于通过检查音视频数据的基本信息可以判断对应的音视频数据有没有发生丢帧，所以获取编码后的音视频数据的同时还获取其所对应的的基本信息。其中，这些基本信息包括：所述音视频数据中的视频数据的帧率、所述音视频数据中的音频数据的采样率以及采集机器采集所述音视频数据时的时间戳。

步骤S120，根据所述帧率以及所述时间戳，判断所述视频数据是否有丢帧。

通过视频数据的帧率可以得知每个视频帧之间的时间间隔，通过该时间间隔，就可以得出每一帧的时间戳的正常序列。例如，视频编码帧率为30的，每帧之间的时间间隔就是33ms，如果时间戳从0开始，单位为ms，其时间戳的正常序列为：0，33，66，100，133，166，200……与此同时，我们实际接收到的时间戳也会形成序列，我们称之为实际序列。继续前面的例子，当我们接收到的实际序列为：0，33，100，133……时，用正常序列与实际序列比对，发现少了66ms的数据，那就可以判断出66ms这个位置上的视频帧丢失。

步骤S130，在所述视频数据有丢帧时，在发生丢帧的位置对所述视频数据补入视频帧。

通常发生了丢帧后，后面的视频帧会顺势向前补位。继续上面的例子，此时丢失了66ms这个位置上的视频帧，这时候100ms位置的视频帧就会补位到66ms的位置，继而133ms位置的视频帧补位到100ms的位置，如此类推。在这种情况下，视频数据实际上是比正常视频数据快了33ms，如果音频数据是保持正常的话，那么就会比音频数据快了33ms，造成了音视频之间的不同步。为了避免这种情况发生，本发明在发生丢帧的位置对视频数据补入视频帧，补入视频帧后，后面的视频帧就不会向前补位，继续在原来的时间位置上，所以保证了视频数据与原始数据速度一致。

步骤S140，根据所述采样率以及所述时间戳，判断所述音频数据是否有丢帧。

与步骤S120相类似，通过音频数据的采样率可以得知每个音频帧之间的时间间隔，通过该时间间隔，就可以得出每一帧的时间戳的正常序列。例如，音频采样率为32kHz，时间戳也是从0开始，单位为ms，正常的序列号为0，32，64，96，128……当我们接收到的时间戳所形成的实际序列为：0，64，96，128……时，用正常序列与实际序列比对，发现少了32ms的数据，那就可以判断出32ms这个位置上的音频帧丢失。

步骤S150，在所述音频数据有丢帧时，在发生丢帧的位置对所述音频数据补入音频帧。

与视频数据相类似，当发生音频帧丢帧时，后面的音频帧也会向前补位。为了避免后面的音频帧向前补位，本发明同样地在发生丢帧的位置对音频数据补入音频帧，使得后面的音频帧也同样保持在原来的时间位置上，此时音频数据也跟原始数据的速度一致。

由于步骤S130保证了视频数据与原始数据速度一致，步骤S150又保证了音频数据与原始数据速度一致，在二者皆与原始数据速度一致的情况下，自然而然，视频数据与音频数据是同步的。

本发明的音视频同步方法在数据封装前对编码后的音视频数据进行检查，利用音视频数据采集时的时间戳，通过比对时间戳与帧间间隔的关系，发现出现丢帧的位置，在丢帧的位置上补入视频帧或音频帧，强制使得视频数据与音频数据回到原来的轨道上，从而实现了视频数据与音频数据之间的同步。

在一种实施方式中，本音视频同步的方法还包括：步骤S160和步骤S170。

步骤S160，对所述视频数据和所述音频数据进行比较，得到音视频偏差。

系统采集音视频数据和对音视频数据进行编码也有可能存在硬件上的音视频数据整体的偏差，这个偏差基本都是固定的，一般也比较小，200ms以下。例如，假设这个偏差是96ms，那音频数据从开始到结束，始终都比视频数据快96ms。这个偏差同样造成了音视频数据不同步。因此，在本步骤中，对视频数据和音频数据进行比较，得到这个音视频偏差。

步骤S170，根据所述音视频偏差，补入或丢弃视频帧和/或音频帧。

得到了这个音视频偏差后，就可以通过补入或丢弃视频帧和/或音频帧的方法，使得音视频到达同步。例如，前面的例子所说，音频数据比视频数据快96ms，音频采样率为32kHz，可以补入3帧音频帧，使得这3帧音频帧后面的数据顺势往后推迟96ms，继而音频数据整体上慢96ms，从而达到音视频数据同步。当然，也可以通过丢弃3帧视频帧(帧率为30)的方法，使得后面的视频帧往前挪了100ms，让音视频数据达至同步；又或者，既补入音频帧又丢弃视频帧。

总之，本领域技术人员可以根据实际情况，选择合适的补入或丢弃帧的方案。

这里必须指出的是，丢弃视频帧时，还要考虑视频帧之间的参考问题，否则有可能造成花屏。

在一种实施方式中，在所述根据所述音视频偏差，补入或丢弃视频帧和/或音频帧的过程中，根据所述音视频偏差，补入或丢弃音频帧。

因为丢弃或补入视频帧，对观感影响比较大，而音频帧则相对比较柔和，所以在发生系统性的音视频偏差时，补入或丢弃音频帧。

在一种实施方式中，补入的音频帧为空帧。

空帧(即没音量的数据帧)感知不强，不容易被发现，不会太影响用户的体验。需要说明的是，这里说的补入的音频帧，既包括了步骤S150补入的音频帧，也包括步骤S170补入的音频帧。

在一种实施方式中，补入的视频帧为补入位置的前一帧的视频帧。

补入与补入位置的前一帧相同的视频帧，在观感上不会有太多的感知，用户不容易发现，不会太影响用户的体验。需要说明的是，这里说的补入的视频帧，既包括了步骤S130补入的视频帧，也包括步骤S170补入的视频帧。

实施例二

请参见图2，图2为本发明实施例二提供的一种音视频封装的方法的流程示意图，该方法包括步骤S210、步骤S220、步骤S230和步骤S240。需要注意的是，步骤S210、步骤S220、步骤S230和步骤S240仅为附图标记，用于清晰解释实施例与附图2的对应关系，不代表对本实施例中的方法的各方法步骤的顺序限定。

步骤S210，采集原始音视频数据。

步骤S220，对所述原始音视频数据添加采集时的时间戳。

采集机器硬件音视频采集卡同时采集原始音视频数据，由于原始音视频数据较大，要进一步送音视频编码器编码，音视频数据才能封装成指定格式的文件，例如mp4文件(由于mp4是比较常用的文件格式，后面的内容就以mp4文件作为例子介绍本发明的技术)，原始数据送编码器的时候会带上当下采集数据的机器的系统时间作为同步参考的时间戳，以供后续同步检查的步骤使用。

步骤S230，对所述原始音视频数据进行编码，得到编码后的音视频数据。

对音视频编码器分别设置编码参数，对于视频，设置的编码参数是：分辨率、码率、帧率等；对于音频，设置的编码参数是：采样率、码率等。准备好mp4的封装容器，设置好对应的音视频编码参数，让音视频编码器对原始音视频数据进行编码。这些编码参数当中，视频帧率和音频采样率是后续同步检查音视频同步的重要参数依据。

步骤S240，对所述编码后的音视频数据分开音频通道和视频通道，分别实时封装到格式容器里面；

其中，所述对所述编码后的音视频数据分开音频通道和视频通道，分别实时封装到格式容器里面的过程中，使用实施例一所述的音视频同步的方法。

准备好mp4的封装容器，设置好对应的音视频编码参数，然后获取编码器的音视频流分开音频跟视频通道分别实时封装到mp4容器里面。由于音视频采集端或者编码端都有可能出现音视频数据丢失，也就是丢帧问题，这样封装到mp4里面的音视频最终会帧率不足，更严重的会出现音视频不同步问题，因此用实施例一的音视频同步的方法，对音视频数据进行同步，解决音视频数据在封装时候的同步问题。

本实施例的封装方法利用了前述的音视频同步的方法并与之配合，在采集原始音视频数据时对所述原始音视频数据添加采集时的时间戳，解决音视频数据在封装时候的同步问题。

实施例三

与实施例一的方法相对应，如图3所示，本发明还提供一种音视频同步装置3，包括：获取模块301、判断模块302和补帧模块303。

获取模块301，用于获取编码后的音视频数据以及所述音视频数据的基本信息；其中，所述基本信息包括：所述音视频数据中的视频数据的帧率、所述音视频数据中的音频数据的采样率以及采集机器采集所述音视频数据时的时间戳；

判断模块302，用于根据所述帧率以及所述时间戳，判断所述视频数据是否有丢帧，根据所述采样率以及所述时间戳，判断所述音频数据是否有丢帧；

补帧模块303，用于在所述视频数据有丢帧时，在发生丢帧的位置对所述视频数据补入视频帧，在所述音频数据有丢帧时，在发生丢帧的位置对所述音频数据补入音频帧。

在一种实施方式中，所述音视频同步装置3还包括：纠正模块。

纠正模块，用于对所述视频数据和所述音频数据进行比较，得到音视频偏差，根据所述音视频偏差，补入或丢弃视频帧和/或音频帧。

在一种实施方式中，所述纠正模块根据所述音视频偏差，补入或丢弃音频帧。

在一种实施方式中，补入的音频帧为空帧。

在一种实施方式中，补入的视频帧为补入位置的前一帧的视频帧。

本发明的音视频同步装置在数据封装前对编码后的音视频数据进行检查，利用音视频数据采集时的时间戳，通过比对时间戳与帧间间隔的关系，发现出现丢帧的位置，在丢帧的位置上补入视频帧或音频帧，强制使得视频数据与音频数据回到原来的轨道上，从而实现了视频数据与音频数据之间的同步。

实施例四

与实施例二的方法相对应，如图4所示，本发明还提供一种音视频封装装置4，包括：采集单元401、编码单元402和封装单元403。

采集单元401，用于采集原始音视频数据，对所述原始音视频数据添加采集时的时间戳；

编码单元402，用于对所述原始音视频数据进行编码，得到编码后的音视频数据；

封装单元403，用于对所述编码后的音视频数据分开音频通道和视频通道，分别实时封装到格式容器里面；

其中，封装单元403还包括实施例三所述的音视频同步装置。

本实施例的音视频封装装置利用了前述的音视频同步装置并与之配合，在采集原始音视频数据时对所述原始音视频数据添加采集时的时间戳，解决音视频数据在封装时候的同步问题。

实施例五

本发明实施例还提供了一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一实施例的音视频同步的方法和音视频封装的方法。

本领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、终端、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

与上述的计算机存储介质对应的是，在一个实施例中还提供一种计算机设备，该计算机设备包括存储器、编码器及存储在存储器上并可在编码器上运行的计算机程序，其中，编码器执行程序时实现如上述各实施例中的任意一种音视频同步的方法和音视频封装的方法。

上述计算机设备，在数据封装前对编码后的音视频数据进行检查，利用音视频数据采集时的时间戳，通过比对时间戳与帧间间隔的关系，发现出现丢帧的位置，在丢帧的位置上补入视频帧或音频帧，强制使得视频数据与音频数据回到原来的轨道上，从而实现了视频数据与音频数据之间的同步。并且相对应地与之配合，在采集原始音视频数据时对所述原始音视频数据添加采集时的时间戳，在封装时采用了音视频同步的方法，解决音视频数据在封装时候的同步问题。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种音视频同步的方法，其特征在于，包括步骤：

获取编码后的音视频数据以及所述音视频数据的基本信息；

其中，所述基本信息包括：所述音视频数据中的视频数据的帧率、所述音视频数据中的音频数据的采样率以及采集机器采集所述音视频数据时的时间戳；

根据所述帧率以及所述时间戳，判断所述视频数据是否有丢帧；

在所述视频数据有丢帧时，在发生丢帧的位置对所述视频数据补入视频帧；

根据所述采样率以及所述时间戳，判断所述音频数据是否有丢帧；

在所述音频数据有丢帧时，在发生丢帧的位置对所述音频数据补入音频帧。

2.根据权利要求1所述的音视频同步的方法，其特征在于，还包括步骤：

对所述视频数据和所述音频数据进行比较，得到音视频偏差；

根据所述音视频偏差，补入或丢弃视频帧和/或音频帧。

3.根据权利要求2所述的音视频同步的方法，其特征在于，在所述根据所述音视频偏差，补入或丢弃视频帧和/或音频帧的过程中，根据所述音视频偏差，补入或丢弃音频帧。

4.根据权利要求1-3任一项所述的音视频同步的方法，其特征在于，补入的音频帧为空帧。

5.根据权利要求1-3任一项所述的音视频同步的方法，其特征在于，补入的视频帧为补入位置的前一帧的视频帧。

6.一种音视频封装的方法，其特征在于，包括步骤：

采集原始音视频数据；

对所述原始音视频数据添加采集时的时间戳；

对所述原始音视频数据进行编码，得到编码后的音视频数据；

对所述编码后的音视频数据分开音频通道和视频通道，分别实时封装到格式容器里面；

其中，所述对所述编码后的音视频数据分开音频通道和视频通道，分别实时封装到格式容器里面的过程中，使用如权利要求1-5任一项所述的音视频同步的方法。

7.一种音视频同步装置，其特征在于，包括：

获取模块，用于获取编码后的音视频数据以及所述音视频数据的基本信息；

其中，所述基本信息包括：所述音视频数据中的视频数据的帧率、所述音视频数据中的音频数据的采样率以及采集机器采集所述音视频数据时的时间戳；

判断模块，用于根据所述帧率以及所述时间戳，判断所述视频数据是否有丢帧，根据所述采样率以及所述时间戳，判断所述音频数据是否有丢帧；

补帧模块，用于在所述视频数据有丢帧时，在发生丢帧的位置对所述视频数据补入视频帧，在所述音频数据有丢帧时，在发生丢帧的位置对所述音频数据补入音频帧。

8.一种音视频封装装置，其特征在于，包括：

采集单元，用于采集原始音视频数据，对所述原始音视频数据添加采集时的时间戳；

编码单元，用于对所述原始音视频数据进行编码，得到编码后的音视频数据；

封装单元，用于对所述编码后的音视频数据分开音频通道和视频通道，分别实时封装到格式容器里面；

其中，所述封装单元还包括权利要求7所述的音视频同步装置。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。

Images