CN109587542B - 音视频数据同步设备、方法、数据处理设备、介质 - Google Patents

Abstract

本发明公开了音视频数据同步设备、方法、数据处理设备、介质。一种音视频数据同步设备，包括：解码器，被配置用于解码获得的音视频数据，分别得到音频流和视频流；音频延迟计算装置，被配置用于利用杂音消除部件，计算得到音频延迟；以及视频延迟装置，被配置用于基于由延迟计算装置得到的音频延迟，使视频流也延迟相应的时间，从而达到音视频数据的自适应同步。通过调整音视频直播的逻辑以及采用杂音消除算法，本发明能够准确、自适应地计算音视频直播过程中产生的音视频之间的延迟，从而能够有效地去除延迟，保证直播的准确同步。

Description

音视频数据同步设备、方法、数据处理设备、介质

技术领域

本发明涉及数据同步技术，尤其涉及音视频数据同步设备、方法、数据处理设备、介质。

背景技术

直播影视剧音视频的同步问题主要由视频渲染推流和扬声器采集推流不同步导致。在直播中，推流是指采集现场的声音数据和视频数据之后再推送出去，例如推送到服务器，再通过服务器推送到网络乃至终端用户。

其中，视频渲染过程的延迟可以很方便计算得知，但是音频渲染因为存在音频缓冲、设备驱动缓冲、扬声器采集等等导致的延迟，计算方式比较复杂，所以现有的影视剧直播技术在计算音频延迟这方面无法做到准确计算、动态调整，只能通过给定参数由人为来主动调整音视频不同步，这种人为调整的方法操作起来太依赖主观判断，无法做到真正意义上的准确同步。

因此，亟需解决如何自适应地、准确地计算直播影视剧过程中产生的音视频之间的延迟，以有效去除延迟，保证直播的准确同步。

发明内容

为了解决以上问题之一，本发明提供了一种音视频数据同步设备、方法、数据处理设备、介质。

根据本发明的一个示例性实施例，提供一种音视频数据同步设备，包括：解码器，被配置用于解码获得的音视频数据，分别得到音频流和视频流；音频延迟计算装置，被配置用于通过调整音频流和视频流推流的顺序以及通过利用用于消除杂音的杂音消除部件，计算得到音频延迟；以及视频延迟装置，被配置用于基于由音频延迟计算装置得到的音频延迟，使视频流也延迟相应的时间，从而达到音视频数据的自适应同步。

可选地，上述的音视频数据同步设备还包括：逻辑控制开关，被配置用于开启和关闭音视频数据的自适应同步。

可选地，解码器解码音视频数据得到解码的音频流之后，缓冲解码的音频流，并且杂音消除部件启动杂音消除算法以通过采集器从扬声器采集的声音数据而得到杂音参考。

可选地，在得到杂音参考之后，将解码后的音频帧送到扬声器，并且采集器从扬声器采集声音数据，音频延迟计算装置基于采集器采集的声音数据和杂音参考，计算得到杂音消除音频数据，再由音频延迟计算装置通过对比解码后的音频帧不经过扬声器直接传送到音频延迟计算装置的原始音频数据与经由音频延迟计算装置计算出的杂音消除音频数据的波形，得到的时间差作为一个解码后的音频帧的所述音频延迟。

可选地，音频延迟计算装置通过将采集到的声音数据减去杂音参考，得到所述杂音消除音频数据。

可选地，在关闭音视频数据的自适应同步的情况下，解码器解码后的音频流直接送到扬声器，并且从扬声器采集声音数据，将采集的声音数据减去所述杂音参考，得到杂音消除音频数据并播放所述杂音消除音频数据。

根据本发明的另一个示例性实施例，提供一种音视频数据同步方法，包括：解码获得的音视频数据，分别得到音频流和视频流；通过调整音频流和视频流推流的顺序以及通过利用用于消除杂音的杂音消除算法，计算得到音频延迟；以及基于所述音频延迟，使视频流也延迟相应的时间，从而达到音视频数据的自适应同步。

可选地，上述方法还包括：定时或不定时地开启和关闭音视频数据的自适应同步。

可选地，通过对比直接传送的原始音频数据与解码后的音频流经过杂音消除算法得到的声音数据，得到所述音频延迟。

可选地，在解码音视频数据得到解码的音频流之后，所述方法还包括：缓冲解码的音频流，并且启动杂音消除算法以从扬声器采集得到杂音参考，并将解码后的音频帧送到扬声器，并且从扬声器采集声音数据；基于采集的声音数据和杂音参考，计算得到杂音消除音频数据，再通过对比以下两组音频数据，得到这两组音频数据的波形的时间差作为一个解码后的音频帧的所述音频延迟：(1)解码后的音频帧不经过扬声器而直接传送的原始音频数据的波形；以及(2)计算得到的杂音消除音频数据的波形。

可选地，通过将采集到的声音数据减去杂音参考，得到所述杂音消除音频数据。

可选地，在关闭音视频数据的自适应同步的情况下，解码后的音频流直接送到扬声器，并且从扬声器采集声音数据，将采集的声音数据减去所述杂音参考，得到杂音消除音频数据并播放所述杂音消除音频数据。

根据本发明的又一个示例性实施例，提供一种数据处理设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行上述方法之一。

根据本发明的再一个示例性实施例，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行上述方法之一。

通过调整音视频直播的逻辑以及采用杂音消除算法，本发明能够准确、自适应地计算音视频直播过程中产生的音视频之间的延迟，从而能够有效地去除延迟，保证直播的准确同步。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的附图标记通常代表相同部件。

图1给出了根据本发明的一个示例性实施例的音视频数据同步方法的示意性流程图。

图2给出了根据本发明的一个示例性实施例的音视频数据同步设备的示意性框图。

图3给出了根据本发明的一个示例性实施例的音视频数据同步框架的示意图。

图4给出了根据本发明的一个示例性实施例的数据处理设备的示意性框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。这里需要说明的是，本申请中的数字、序号以及附图标记仅是为了方便描述而出现的，对于本发明的步骤、顺序等等均不构成任何限制，除非在说明书中明确指出了步骤的执行有特定的先后顺序。

如前所述，直播影视剧音视频同步的难点在于如何同步视频推流的画面和采集的音频数据，所以，同步的重点就是如何准确地计算影视剧声音输出再到采集回来的延迟。而影响这个音频延迟的计算的干扰因素有很多，例如音频缓冲、设备驱动缓冲、扬声器采集等等，使得现有技术中很难找到合适的方法来准确地计算音频延迟。

为了能准确计算音频与画面的延迟，本发明的发明人发现，如果通过对直播影视剧的音视频推流顺序(即播放逻辑)做一些调整，再结合使用通常仅在音频上用来去除杂音的杂音消除算法，先去除系统杂音，便能够方便地计算出音频的延迟，由此实现音视频播放的同步。

图1给出了根据本发明的一个示例性实施例的音视频数据同步方法的示意性流程图。

具体地，如图1所示，在步骤S101，首先对获得的音视频流信息进行解码，分别得到视频流和音频流。

在步骤S102，通过调整音频流和视频流的推流顺序并且利用杂音消除算法，来计算得到音频延迟。

本发明通过在本步骤中使用杂音消除算法，来准确计算音频延迟，从而避免了现有技术中延迟计算不准确，需要主观来设置音视频同步时间差的缺点。

在步骤S103，根据在步骤S102准确得到的音频延迟，让视频帧也相应地延后与该音频延迟同样的时间，再推送画面，就可以确保直播影视剧的音视频同步。

请注意，杂音消除算法常规上使用在单纯的音频杂音消除方面，而在本发明中，发明人打破传统思维，突破常规，巧妙地通过调整音频流和视频流的推流顺序并且利用杂音消除算法来计算得到音频延迟，这对于缺乏创造性思维的普通本领域技术人员而言是很难想到的。

由于本发明能够准确地计算出音频延迟，从而能够较好地解决本申请的背景技术中提到的“无法准确计算音频延迟、只能人为主动调整音视频数据的同步”的技术问题。

进一步地，在现有技术中，是将解码得到的视频帧直接推流，将解码得到的音频帧送到扬声器播放，然后从扬声器采集音频数据来推流，这不可避免地会产生音频延迟，导致音视频无法同步，从而影响观看效果和用户体验。如前所述，这也是本发明期望解决的问题之一。

而在本发明中，与常规技术不同，在开启音视频同步的情况下，将解码后的音频流等待(即缓冲)特定时间才推流到扬声器，等待特定时间是为了要在得到杂音参考之后才往外(例如向扬声器)推流音频帧，而不是像现有技术那样将解码后的音频流直接送到扬声器去播放和采集。并且在音频流缓冲期间，启动杂音消除算法(例如可以使用NLMS(归一化最小均方误差滤波器)杂音消除算法)，将此时从扬声器采集的声音(只有噪音+其他软件或系统声音，因为没有音频帧推流出来，所以没有音频帧的声音)作为杂音参考，由此确保得到的杂音参考中没有掺杂音频流数据，只有杂音。

然后，音频流才送到扬声器(即，在得到杂音参考之后，也就是经过上述的特定时间之后)，再从扬声器采集声音数据，然后基于从扬声器采集的声音数据和杂音参考(例如将从扬声器采集到的声音数据减去杂音参考)，就能得到杂音消除音频数据，此时，杂音已经被消除，那么接下来就可以计算音频延迟了。

请注意，也可以通过其他方式来得到杂音消除音频数据，而不是仅限于使从扬声器采集到的声音数据与杂音参考相减的方式，因此，本发明对此不作任何限制。

本发明再通过对比直送的原始音频数据(解码后的原始音频流不经扬声器而直传过来的)和上述的杂音消除音频数据的波形，得到这两个音频数据之间的时间差值，即，杂音消除音频数据比直送的原始音频数据所晚的时间值(例如，可通过波形匹配的方式得到)，可以得到一个音频帧经过扬声器播放和采集所经历的延迟，即音频延迟。

这里需要注意，理论上如果对每一帧音视频都采用上述方法，可以保证每一帧的同步，但是这样可能会比较影响性能。所以，在本发明中，还可以进一步在功能上加上逻辑控制开关，以便可以例如定时地或者主动地开启自适应同步，这样可以在不影响性能的基础之上，实现自适应音视频同步。

通过调整音视频直播的逻辑以及采用杂音消除算法，本发明能够准确、自适应地计算音视频直播过程中产生的音视频之间的延迟，从而能够有效地去除延迟，保证直播的准确同步，即能够消除传统计算方式的不准确性以及主观设置同步差值的不客观性。总而言之，本发明可以消除非网络因素导致的音视频同步问题，有效提升用户的对于直播影视剧的观看体验。

另外，本发明还可以在不采用自适应同步的情况下，即在关闭音视频数据的自适应同步的情况下，将解码后的音频流直接送到扬声器，并且从扬声器采集声音数据，将采集的声音数据减去所述杂音参考，得到杂音消除音频数据并播放，由此也能够消除杂音，获得更清晰更好的音频效果。

图2给出了根据本发明的一个示例性实施例的音视频数据同步设备的示意性框图。

如图2所示，根据本发明的一个示例性实施例的音视频数据同步设备100包括解码器101、音频延迟计算装置102、视频延迟装置103以及杂音消除部件104。

其中，解码器101可以被配置用于解码获得的音视频数据，分别得到音频流和视频流。

音频延迟计算装置102可以被配置用于利用杂音消除部件104，计算得到音频延迟。

视频延迟装置103可以被配置用于基于由延迟计算装置得到的音频延迟，使视频流也延迟相应的时间，从而达到音视频数据的自适应同步。

由于本发明能够准确地计算出音频延迟，从而能够较好地解决本申请的背景技术中提到的“无法准确计算音频延迟、只能人为主动调整音视频数据的同步”的技术问题。

另外，可选地，上述的音视频数据同步设备100还可以包括逻辑控制开关105，被配置用于开启和关闭音视频数据的自适应同步。

另外，可选地，解码器101解码音视频数据得到解码的音频流之后，缓冲解码的音频流，并且杂音消除部件104启动杂音消除算法以通过采集器106从扬声器采集的声音数据而得到杂音参考。

即，在特定时间内，例如在得到杂音参考之前，缓冲解码的音频流，而不是将其直接推流出去，这是与现有技术的信号逻辑截然不同之处。

另外，可选地，上述的音视频数据同步设备100还可以包括采集器106，可以被配置用于从扬声器采集声音数据。

另外，可选地，在得到杂音参考之后，将解码后的音频帧送到扬声器，并且采集器106从扬声器采集声音数据，音频延迟计算装置102基于采集器106采集的声音数据以及得到的杂音参考，计算得到杂音消除音频数据，再由音频延迟计算装置102通过对比解码后的音频帧不经过扬声器直接传送到音频延迟计算装置的原始音频数据与经由音频延迟计算装置计算出的杂音消除音频数据的波形，将得到的时间差作为一个解码后的音频帧的所述音频延迟。

另外，可选地，例如，在本发明中，音频延迟计算装置102可以通过将采集到的声音数据减去杂音参考，得到所述杂音消除音频数据。也可以通过其他方式来得到杂音消除音频数据，本发明对此不作任何限制。

另外，可选地，在关闭音视频数据的自适应同步的情况下(例如通过逻辑控制开关来关闭音视频数据的自适应同步)，可以将解码器102解码后的音频流直接送到扬声器，并且采集器106可以从扬声器采集声音数据，音频延迟计算装置可以通过将采集的声音数据减去所述杂音参考，得到杂音消除音频数据并播放所述杂音消除音频数据。由此能够消除杂音，获得更清晰更好的音频播放效果。

图3给出了根据本发明的一个示例性实施例的完整的音视频数据同步过程的示意图。

如图3所示，首先，解码器101解码收到的音视频数据，将其解码成为单独的视频流/帧和音频流/帧。然后，视频流/帧可以被传送到视频延迟装置103，以等待视频延迟之后被推流。

音频流/帧可以经由逻辑控制开关105确定是否要开启自适应同步，如果是，则在特定时间内(例如该特定时间可以为大于或等于得到杂音参考的时间，以便能够有充足的时间在后续处理中得到杂音参考)，不将解码的音频流输入扬声器，却用采集器106采集扬声器的输出信号，并且将采集的扬声器的输出信号进入杂音消除部件104进行处理，以得到杂音参考。

在得到杂音参考之后，经历了上述的特定时间，此时将音频流输入到扬声器，用采集器106采集扬声器的输出，以得到采集音，并将采集音输送到音频延迟计算装置102，音频延迟计算装置102基于杂音消除部件103输入的杂音参考和该采集音，计算得到音频延迟，并将音频流推流出去，同时将该音频延迟输入到视频延迟装置103，以使得视频流/帧延迟与音频延迟相对应的时间之后才进行视频推流，由此达到了视频推流和音频推流的自适应同步。

请注意，图3中所示出的部件虽然是分立的，但本发明不限于是这样的形式，它们也可以是集成在一起的部件，或者是互相组合的。另外，图3中示出的采集器、扬声器等虽然出现了多次，但是这是为了图示和理解方便所作，本领域技术人员可以理解，实际上在本发明中可以是有多个扬声器或采集器，也可以是只有一个扬声器和一个采集器，这些方面不应该构成对本发明的限制。

图4给出了根据本发明的一个示例性实施例的数据处理设备的示意性框图。

参见图4，该数据处理设备200包括存储器210和处理器220。

处理器220可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器220可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器220可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。

存储器210上存储有可执行代码，当所述可执行代码被所述处理器20执行时，使所述处理器220执行上面描述的数据迁移方法之一。其中，存储器210可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器220或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器210可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图等等显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种音视频数据同步设备，其特征在于，包括：

解码器，被配置用于解码获得的音视频数据，分别得到音频流和视频流；

音频延迟计算装置，被配置用于通过调整音频流和视频流推流的顺序以及通过利用用于消除杂音的杂音消除部件，计算得到音频延迟；以及

视频延迟装置，被配置用于基于由音频延迟计算装置得到的音频延迟，使视频流也延迟相应的时间，从而达到音视频数据的自适应同步；

其中，所述通过调整音频流和视频流推流的顺序以及通过利用用于消除杂音的杂音消除部件，计算得到音频延迟，包括：

所述解码器解码音视频数据得到解码的音频流之后，缓冲解码的音频流，并且所述杂音消除部件启动杂音消除算法以通过采集器从扬声器采集的第一声音数据而作为杂音参考；

在得到所述杂音参考之后，将解码后的音频流送到所述扬声器，并且所述采集器从所述扬声器采集第二声音数据，所述音频延迟计算装置基于所述第二声音数据和所述杂音参考，计算得到将被推流的杂音消除音频数据，再由所述音频延迟计算装置通过对比解码后的音频流不经过所述扬声器直接传送到音频延迟计算装置的原始音频数据与经由音频延迟计算装置计算出的所述杂音消除音频数据的波形，得到的时间差作为一个解码后的音频帧的所述音频延迟。

2.如权利要求1所述的音视频数据同步设备，其特征在于，还包括：

逻辑控制开关，被配置用于开启和关闭音视频数据的自适应同步。

3.如权利要求1所述的音视频数据同步设备，其特征在于，其中，音频延迟计算装置通过将采集到的所述第二声音数据减去所述杂音参考，得到所述杂音消除音频数据。

4.如权利要求2所述的音视频数据同步设备，其特征在于，其中，在关闭音视频数据的自适应同步的情况下，解码器解码后的音频流直接送到所述扬声器，并且从所述扬声器采集第三声音数据，将采集的所述第三声音数据减去所述杂音参考，得到杂音消除音频数据并播放所述杂音消除音频数据。

5.一种音视频数据同步方法，其特征在于，包括：

解码获得的音视频数据，分别得到音频流和视频流；

通过调整音频流和视频流推流的顺序以及通过利用用于消除杂音的杂音消除算法，计算得到音频延迟；以及

基于所述音频延迟，使视频流也延迟相应的时间，从而达到音视频数据的自适应同步；

其中，所述通过调整音频流和视频流推流的顺序以及通过利用用于消除杂音的杂音消除算法，计算得到音频延迟，包括：

缓冲解码的音频流，并且启动所述杂音消除算法以通过采集器从扬声器采集的第一声音数据作为杂音参考；

在得到所述杂音参考之后，将解码后的音频流送到所述扬声器，所述采集器从所述扬声器采集第二声音数据，基于所述第二声音数据和所述杂音参考，计算得到杂音消除音频数据，对比解码后的音频流不经过所述扬声器直接传送的原始音频数据与所述杂音消除音频数据的波形，得到的时间差作为一个解码后的音频帧的所述音频延迟。

6.如权利要求5所述的音视频数据同步方法，其特征在于，还包括：

定时或不定时地开启和关闭音视频数据的自适应同步。

7.如权利要求5所述的音视频数据同步方法，其特征在于，其中，通过将采集到的所述第二声音数据减去所述杂音参考，得到所述杂音消除音频数据。

8.如权利要求6所述的音视频数据同步方法，其特征在于，其中，在关闭音视频数据的自适应同步的情况下，解码后的音频流直接送到所述扬声器，并且从所述扬声器采集第三声音数据，将采集的所述第三声音数据减去所述杂音参考，得到杂音消除音频数据并播放所述杂音消除音频数据。

9.一种数据处理设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求5～8中任何一项所述的方法。

10.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行如权利要求5～8中任何一项所述的方法。

Images