CN107371053B - 音频视频流对比分析方法及装置 - Google Patents

Abstract

本发明提供一种音频视频流对比分析方法及装置，涉及播放器技术领域，其中，音频视频流对比分析方法包括：获取视音频源文件；从视音频源文件中提取音频数据；根据音频数据生成音频波形文件；根据音频波形文件以及视音频源文件，判断音频视频是否同步；如果否，则对音频波形文件进行采样点数据调整。通过该音频视频流对比分析方法，能够对从视音频源文件中提取并生成的波形文件进行采样点数据的调整，以使多个短的视音频源文件在连续串行播放时，音频数据能够以图形图像等直观方式展现波形，同时做到音频视频同步，避免因为音频视频不同步导致的声音滞后或者提前的情况发生。

Description

音频视频流对比分析方法及装置

技术领域

本发明涉及播放器技术领域，尤其是涉及一种音频视频流对比分析方法及装置。

背景技术

现有的视音频源文件有很多种，TS流文件是MPEG-2的数字电视标准格式，目前使用最为广泛。其全称是Transport Stream，主要特点是从视频流的任一片段开始都可以独立解码，因此，广泛应用于实时传送的节目，比如实时广播的电视节目。

在对视音频源文件进行播放的过程中，每一个视音频源文件与音频波形文件时间长度都存在误差，同时由于音视频素材处于离散状态，总个数多达数十个或者上百个，经过这多个文件将误差的不断累加，当播放到全天时间后半段时，累加误差可能达到数分钟至十几分钟，此问题会严重影响视音频源文件的播放质量，导致声音与图像画面不匹配的情况发生。

发明内容

有鉴于此，本发明的目的在于提供一种音频视频流对比分析方法及装置，能够对从视音频源文件中提取并生成的波形文件进行采样点数据的调整，以使视音频源文件在播放时，音频视频同步，避免因为音频视频不同步导致的声音滞后或者提前的情况发生。

第一方面，本发明实施例提供了一种音频视频流对比分析方法，包括：

获取视音频源文件；

从视音频源文件中提取音频数据；

根据音频数据生成音频波形文件；

根据音频波形文件以及视音频源文件，判断音频视频是否同步；

如果否，则对音频波形文件进行采样点数据调整。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，根据音频波形文件以及视音频源文件，判断音频视频是否同步，具体包括：

获取音频波形文件的时间长度以及视音频源文件的时间长度；

计算音频波形文件的时间长度与视音频源文件的时间长度的差值；

当差值在预设阈值范围内时，判定音频视频同步；

当差值超过预设阈值范围时，判定音频视频不同步。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，对音频波形文件进行采样点数据调整，具体包括：

根据音频波形文件的时间长度、视音频源文件的时间长度以及音频波形文件采样率，计算音频波形文件需要调整的采样点数量；

在音频波形文件的基础上进行采样点数量的采样点数据的调整。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，根据音频波形文件的时间长度、视音频源文件的时间长度以及音频波形文件采样率，计算音频波形文件需要调整的采样点数量，具体包括：

当音频波形文件的时间长度大于视音频源文件的时间长度时，第一采样点数量＝音频波形文件采样率*(音频波形文件的时间长度-视音频源文件的时间长度)；

当音频波形文件的时间长度小于视音频源文件的时间长度时，第二采样点数量＝音频文件采样率*(视音频源文件的时间长度-音频波形文件的时间长度)。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，在音频波形文件的基础上进行采样点数量的采样点数据的调整，具体包括：

当音频波形文件的时间长度大于视音频源文件的时间长度时，在音频波形文件的基础上删除第一采样点数量的采样点数据；

当音频波形文件的时间长度小于视音频源文件的时间长度时，在音频波形文件的基础上补充第二采样点数量的采样点数据。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，在对音频波形文件进行采样点数据调整之后，还包括：

根据所述音频波形文件以及调整的采样点数据，生成新的音频波形文件；

根据所述新的音频波形文件绘制所述视音频源文件的音频波形；

从音频波形中提取出静音时间超过预设阈值的多个静音波段；

根据多个静音波段，生成静音区间信息；

判断静音区间信息为异常信息时，删除视音频源文件中与静音区间信息相匹配的视音频片段。

第二方面，本发明实施例还提供一种音频视频流对比分析装置，包括：

视音频源文件获取单元，用于获取视音频源文件；

音频数据提取单元，用于从视音频源文件中提取音频数据；

波形文件生成单元，用于根据音频数据生成音频波形文件；

音频视频判断单元，用于根据音频波形文件以及视音频源文件，判断音频视频是否同步；

音频波形调整单元，用于在音频视频判断单元的判断结果为否时，对音频波形文件进行采样点数据调整。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，音频视频判断单元包括：

时间长度获取模块，用于获取音频波形文件的时间长度以及视音频源文件的时间长度；

差值计算模块，用于计算音频波形文件的时间长度与视音频源文件的时间长度的差值；

音频视频判断模块，用于在差值在预设阈值范围内时，判定音频视频同步；在差值超过预设阈值范围时，判定音频视频不同步。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，音频波形调整单元包括：

采样点数量计算模块，用于根据音频波形文件的时间长度、视音频源文件的时间长度以及音频文件采样率，计算音频波形文件需要调整的采样点数量；

采样点数据调整模块，用于在音频波形文件的基础上进行采样点数量的采样点数据的调整。

第三方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面所述的方法的步骤。

本发明实施例带来了以下有益效果：本发明实施例所提供的音频视频流对比分析方法中，首先获取视音频源文件，然后从视音频源文件中提取音频数据，进而根据音频数据生成音频波形文件，然后根据音频波形文件以及视音频源文件，判断音频视频是否同步；如果同步，则不需要调整；如果不同步，则对音频波形文件进行采样点数据调整。通过对音频波形文件采样点数据的调整，能够使视音频源文件在播放时，音频视频同步，避免因为音频视频不同步导致的声音滞后或者提前的情况发生。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种音频视频流对比分析方法的流程图；

图2为本发明实施例一提供的另一种音频视频流对比分析方法的流程图；

图3为本发明实施例一提供的另一种音频视频流对比分析方法的流程图；

图4为本发明实施例一提供的另一种音频视频流对比分析方法的流程图；

图5为本发明实施例二提供的一种音频视频流对比分析装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有的视音频源文件进行播放的过程中，每一个视音频源文件与音频波形文件时间长度都存在误差，同时由于音视频素材处于离散状态，总个数多达数十个或者上百个，经过这多个文件将误差的不断累加，当播放到全天时间后半段时，累加误差可能达到数分钟至十几分钟，此问题会严重影响视音频源文件的播放质量，导致声音与图像画面不匹配的情况发生。

基于此，本发明实施例提供的一种音频视频流对比分析方法，能够对从视音频源文件中提取并生成的波形文件进行采样点数据的调整，以使视音频源文件在播放时，音频视频同步，避免因为音频视频不同步导致的声音滞后或者提前的情况发生。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种音频视频流对比分析方法进行详细介绍。

实施例一：

本发明实施例提供了一种音频视频流对比分析方法，参见图1所示，该方法包括以下步骤：

S101：获取视音频源文件。

S102：从视音频源文件中提取音频数据。

S103：根据音频数据生成音频波形文件。

S104：根据音频波形文件以及视音频源文件，判断音频视频是否同步。

S105：如果否，则对音频波形文件进行采样点数据调整。

具体实现的时候，首先获取视音频源文件，该视音频源文件可以为不同类型的源文件，比如TS媒体文件素材。在获取到视音频源文件后，从原始的视音频源文件中提取出音频数据，再根据该音频数据生成与视音频源文件相对应的音频波形文件，然后通过音频波形文件和视音频源文件比对进行判断，当音频视频不同步时，对上述生成的音频波形文件进行采样点数据的调整。

具体的，根据音频波形文件以及视音频源文件，判断音频视频是否同步，参见图2所示，包括以下步骤：

S201：获取音频波形文件的时间长度以及视音频源文件的时间长度。

S202：计算音频波形文件的时间长度与视音频源文件的时间长度的差值。

S203：当差值在预设阈值范围内时，判定音频视频同步。

S204：当差值超过预设阈值范围时，判定音频视频不同步。

首先获取上述音频波形文件与视音频源文件的时间长度，由于从视音频源文件中抽取的音频数据而生成的音频波形文件常常都与源文件的时间长度不同，时间差大概从0ms-900ms都能观察到，因此，通过其时间长度差值就可判断音频视频是否同步。具体的，在服务器中，预先设置有阈值范围，当计算出的音频波形文件的时间长度与视音频源文件的时间长度的差值，在预设阈值范围内时，则判定音频视频同步，此时不需要调整；当计算出的音频波形文件的时间长度与视音频源文件的时间长度的差值，超过了预设阈值范围，则判定音频视频不同步，此时需要对音频波形文件进行采样点数据的调整。

参见图3所示，对音频波形文件进行采样点数据调整，具体包括以下步骤：

S301：根据音频波形文件的时间长度、视音频源文件的时间长度以及音频波形文件采样率，计算音频波形文件需要调整的采样点数量。

因为音频波形文件的采样率是固定的，只要计算得到音频波形文件和视音频源文件时间长度差，就可以得到需要向音频波形文件采样点序列中补充或去掉的采样点的个数。具体的，采样点数量通过以下方式获得：

当音频波形文件的时间长度大于视音频源文件的时间长度时，

第一采样点数量＝音频波形文件采样率*(音频波形文件的时间长度-视音频源文件的时间长度)。

当音频波形文件的时间长度小于视音频源文件的时间长度时，

第二采样点数量＝音频文件采样率*(视音频源文件的时间长度-音频波形文件的时间长度)。

上述时间长度均为毫秒级。

S302：在音频波形文件的基础上进行采样点数量的采样点数据的调整。

在计算出采样点数量后，通过以下方式对音频波形文件进行采样点数据调整：

当音频波形文件的时间长度大于视音频源文件的时间长度时，在音频波形文件的基础上删除第一采样点数量的采样点数据。

当音频波形文件的时间长度小于视音频源文件的时间长度时，在音频波形文件的基础上补充第二采样点数量的采样点数据。

上述删除采样点数据具体可以通过对音频波形文件采样点序列中的数据按着一定比例进行删除来实现。

上述补充采样点数据具体可以通过对音频波形文件采样点序列中的三点二次插值法对原有的数据进行计算得到新数据并插入来实现。

二次插值法亦是用于一元函数在确定的初始区间内搜索极小点的一种方法。它属于曲线拟合方法的范畴。

在对音频波形文件进行采样点数据调整之后，还可以包括以下步骤，参见图4所示：

S401：根据所述音频波形文件以及调整的采样点数据，生成新的音频波形文件。

S402：根据所述新的音频波形文件绘制所述视音频源文件的音频波形。

在对音频波形文件进行删除或者补充采样点数据后，会生成新的音频波形文件，然后根据新的音频波形文件绘制出视音频源文件的音频波形。

S403：从音频波形中提取出静音时间超过预设阈值的多个静音波段。

S404：根据多个静音波段，生成静音区间信息。

根据音频波形的波峰波谷波形数据，从音频波形中提取出静音时间超过预设阈值的多个静音波段。并根据多个静音波段，生成静音区间信息。

S405：判断静音区间信息为异常信息时，删除视音频源文件中与静音区间信息相匹配的视音频片段。

对上述静音波段信息进行判断，当静音波段信息属于异常信息时，比如：播放画面静止或者出现乱码等，删除视音频源文件中与该静音区间信息相匹配的视音频片段。从而使最终播放的视频图像为正常画面，且图像和声音同步。

本发明实施例所提供的音频视频流对比分析方法，能够对从视音频源文件中提取并生成的波形文件进行采样点数据的调整，以使视音频源文件在播放时，音频视频同步，避免因为音频视频不同步导致的声音滞后或者提前的情况发生。

实施例二：

本发明实施例提供一种音频视频流对比分析装置，参见图5所示，该装置包括：视音频源文件获取单元11、音频数据提取单元12、波形文件生成单元13、音频视频判断单元14、音频波形调整单元15。

其中，视音频源文件获取单元11，用于获取视音频源文件；音频数据提取单元12，用于从视音频源文件中提取音频数据；波形文件生成单元13，用于根据音频数据生成音频波形文件；音频视频判断单元14，用于根据音频波形文件以及视音频源文件，判断音频视频是否同步；音频波形调整单元15，用于在音频视频判断单元的判断结果为否时，对音频波形文件进行采样点数据调整。

音频视频判断单元14具体包括：时间长度获取模块141、差值计算模块142、音频视频判断模块143。

时间长度获取模块141，用于获取音频波形文件的时间长度以及视音频源文件的时间长度；差值计算模块142，用于计算音频波形文件的时间长度与视音频源文件的时间长度的差值；音频视频判断模块143，用于在差值在预设阈值范围内时，判定音频视频同步；在差值超过预设阈值范围时，判定音频视频不同步。

音频波形调整单元15包括：采样点数量计算模块151、采样点数据调整模块152。

采样点数量计算模块151，用于根据音频波形文件的时间长度、视音频源文件的时间长度以及音频文件采样率，计算音频波形文件需要调整的采样点数量；采样点数据调整模块152，用于在音频波形文件的基础上进行采样点数量的采样点数据的调整。

本发明实施例提供的音频视频流对比分析装置中，各个单元或者模块的具体实现可参见前述方法实施例，在此不再赘述。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述第一方面所述的方法的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的网站服务器、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种音频视频流对比分析方法，其特征在于，包括：

获取视音频源文件；

从所述视音频源文件中提取音频数据；

根据所述音频数据生成音频波形文件；

根据所述音频波形文件以及所述视音频源文件，判断音频视频是否同步；

如果否，则对所述音频波形文件进行采样点数据调整；

在所述对所述音频波形文件进行采样点数据调整之后，还包括：

根据所述音频波形文件以及调整的采样点数据，生成新的音频波形文件；

根据所述新的音频波形文件绘制所述视音频源文件的音频波形；

从所述音频波形中提取出静音时间超过预设阈值的多个静音波段；

根据多个所述静音波段，生成静音区间信息；

判断所述静音区间信息为异常信息时，删除所述视音频源文件中与所述静音区间信息相匹配的视音频片段；

所述对所述音频波形文件进行采样点数据调整，具体包括：

根据所述音频波形文件的时间长度、所述视音频源文件的时间长度以及所述音频波形文件采样率，计算所述音频波形文件需要调整的采样点数量；

在所述音频波形文件的基础上进行所述采样点数量的采样点数据的调整。

2.根据权利要求1所述的方法，其特征在于，所述根据所述音频波形文件以及所述视音频源文件，判断音频视频是否同步，具体包括：

获取所述音频波形文件的时间长度以及所述视音频源文件的时间长度；

计算所述音频波形文件的时间长度与所述视音频源文件的时间长度的差值；

当所述差值在预设阈值范围内时，判定音频视频同步；

当所述差值超过所述预设阈值范围时，判定所述音频视频不同步。

3.根据权利要求1所述的方法，其特征在于，所述根据所述音频波形文件的时间长度、所述视音频源文件的时间长度以及所述音频波形文件采样率，计算所述音频波形文件需要调整的采样点数量，具体包括：

当所述音频波形文件的时间长度大于所述视音频源文件的时间长度时，第一采样点数量＝音频波形文件采样率*(音频波形文件的时间长度-视音频源文件的时间长度)；

当所述音频波形文件的时间长度小于所述视音频源文件的时间长度时，第二采样点数量＝音频文件采样率*(视音频源文件的时间长度-音频波形文件的时间长度)。

4.根据权利要求3所述的方法，其特征在于，所述在所述音频波形文件的基础上进行所述采样点数量的采样点数据的调整，具体包括：

当所述音频波形文件的时间长度大于所述视音频源文件的时间长度时，在所述音频波形文件的基础上删除所述第一采样点数量的采样点数据；

当所述音频波形文件的时间长度小于所述视音频源文件的时间长度时，在所述音频波形文件的基础上补充所述第二采样点数量的采样点数据。

5.一种音频视频流对比分析装置，其特征在于，包括：

视音频源文件获取单元，用于获取视音频源文件；

音频数据提取单元，用于从所述视音频源文件中提取音频数据；

波形文件生成单元，用于根据所述音频数据生成音频波形文件；

音频视频判断单元，用于根据所述音频波形文件以及所述视音频源文件，判断音频视频是否同步；

音频波形调整单元，用于在所述音频视频判断单元的判断结果为否时，对所述音频波形文件进行采样点数据调整；

所述装置还包括：异常数据处理模块，用于：

根据所述音频波形文件以及调整的采样点数据，生成新的音频波形文件；

根据所述新的音频波形文件绘制所述视音频源文件的音频波形；

从所述音频波形中提取出静音时间超过预设阈值的多个静音波段；

根据多个所述静音波段，生成静音区间信息；

判断所述静音区间信息为异常信息时，删除所述视音频源文件中与所述静音区间信息相匹配的视音频片段；

所述音频波形调整单元包括：

采样点数量计算模块，用于根据所述音频波形文件的时间长度、所述视音频源文件的时间长度以及所述音频文件采样率，计算所述音频波形文件需要调整的采样点数量；

采样点数据调整模块，用于在所述音频波形文件的基础上进行所述采样点数量的采样点数据的调整。

6.根据权利要求5所述的装置，其特征在于，所述音频视频判断单元包括：

时间长度获取模块，用于获取所述音频波形文件的时间长度以及所述视音频源文件的时间长度；

差值计算模块，用于计算所述音频波形文件的时间长度与所述视音频源文件的时间长度的差值；

音频视频判断模块，用于在所述差值在预设阈值范围内时，判定音频视频同步；在所述差值超过所述预设阈值范围时，判定所述音频视频不同步。

7.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至4任一项所述的方法的步骤。

Images