CN109889876A - 一种基于直通音频的ts传输流音视频同步装置和方法 - Google Patents

Abstract

本发明涉及信息传输技术领域，具体公开了一种基于直通音频的TS传输流音视频同步装置和方法，所述TS再编码模块，用于对源TS传输流进行再编码，获得再编码TS传输流；所述音频延时模块，用于将源TS传输流中的音频包进行延时，延时的时间对应为源TS传输流再编码所需时间；所述频差计算模块，用于计算并输出源编码基准时钟与再编码基准时钟之间的频率偏差表征量；所述校准模块，用于根据所述频差计算模块所输出的频率偏差表征量，校准再编码TS传输流；所述码流复用模块，将校准后的再编码TS传输流与延时后的源TS传输流中的音频包进行复用输出，本发明能够解决再编码音频直通时终端播放唇音不同步问题，且实现简单无需大量缓存，降低了资源的占用率。

Description

一种基于直通音频的TS传输流音视频同步装置和方法

技术领域

本发明涉及信息传输技术领域，尤其涉及一种基于直通音频的TS传输流音视频同步装置和方法。

背景技术

电视运动图像及伴音在数字化以后通常是使用TS传输流(Transport Stream，传送数据流)的格式传输。TS传输流在应用的过程中，很多时候需要进行再编码操作，以实现视频像素点、清晰度的转换。然而再编码后输出的音频可能会存在失真，在质量上不够原来的音频信号好，因此需要将编码后的视频和编码前的音频一起组合重新复用为一个新的TS传输流后输出。由于再编码后使用的基准时钟不可能是源编码时钟，会存在微小的频偏，这就带来了编码后的视频和编码前的音频时钟基准不一致的问题，在再编码一段时间之后就会出现音视频不同步的情况，由此带来画面播放过程中唇音不同步的情况。

音视频不同步，其原因在于音频数据和视频数据的编码27MHz基准时钟存在细微的频偏，长期运行后音频数据和视频数据之间的DTS/PTS的偏差会累积，达到一定程度后本应同时播放的音频数据和视频数据其播放的时间就不一致了。

现有音视频同步技术多是检测累积时延误差，当误差达到一定程度后强制重同步消除误差的定期重同步的方式来进行同步操作。这种方法的问题在于，重同步时必有以音频或视频一方作为基准(一般是以音频为基准)，强制同步另一方的时间基准时正好有一小段数据落在这个时间区间，则会导致该段数据的播放顺序是错误的，从而影响播放的流畅性。

发明内容

针对上述技术问题，本发明提供了一种可以快速的、自适应的调整源TS传输流音频包和再编码后的视频包之间的DTS/PTS之间的偏差，无需涉及实际的硬件部件，达到实时快速准确的目的，消除音视频不同步现象的基于直通音频的TS传输流音视频同步装置和方法。

为了解决上述技术问题，本发明提供的具体方案如下：一种基于直通音频的TS传输流音视频同步装置，包括：

TS再编码模块、音频延时模块、频差计算模块、校准模块和码流复用模块；

所述TS再编码模块，用于对源TS传输流进行再编码，获得再编码TS传输流；

所述音频延时模块，用于将所述源TS传输流中的音频包进行延时，所述延时的时间对应为所述源TS传输流再编码所需时间；

所述频差计算模块，用于计算并输出源编码基准时钟与再编码基准时钟之间的频率偏差表征量；

所述校准模块，用于根据所述频差计算模块所输出的频率偏差表征量，校准所述再编码TS传输流；以及

所述码流复用模块，用于将校准后的再编码TS传输流与所述延时后的源TS传输流中的音频包进行复用输出。

优选的，所述频差计算模块包括时间信息提取模块；所述时间信息提取模块，用于提取所述源TS传输流中音频包包含的源编码基准时钟时间信息参量与表征再编码基准时钟时间信息参量。

优选的，所述源编码基准时钟时间信息参量包括PTS时间戳和DTS时间戳；所述再编码基准时钟时间信息参量包括PCR时间戳。

优选的，所述频差计算模块包括计数器CNT0，所述计数器CNT0用于所述再编码基准时钟的计数；所述校准模块包括计数器CNT1，通过使用再编码基准时钟对计数器CNT1进行计数。

本发明还提供了一种基于直通音频的TS传输流音视频同步方法，应用于权利要求1-4中任意一项所述的基于直通音频的TS传输流音视频同步装置，所述方法包括以下步骤：

将源TS传输流进行再编码；

将源TS传输流中的音频包匹配源TS传输流再编码所需时间的延时量；

计算源编码基准时钟与再编码基准时钟的频率偏差表征量；

根据频率偏差表征量，校准再编码TS传输流；

将校准后的再编码TS传输流与延后的源TS传输流中的音频包进行复用输出。

优选的，所述计算源编码基准时钟与再编码基准时钟的频率偏差表征量，具体包括：

提取所述源TS传输流中音频包包含的源编码基准时钟时间信息参量与表征再编码基准时钟时间信息参量；

依据所述源编码基准时钟时间信息参量与所述再编码基准时钟时间信息参量计算得到频率偏差表征量。

优选的，所述依据源编码基准时钟时间信息参量与再编码基准时钟时间信息参量计算得到频率偏差表征量，具体包括：

使用计数器CNT0用于再编码基准时钟的计数，在相同的时间区间内，比较计数器的差值与时间区间的比值，得到频率偏差表征量。

优选的，所述根据频率偏差表征量，校准再编码TS传输流，具体包括：

根据频率偏差表征量，校准再编码TS传输流的PCR值、再编码视频包的DTS值和PTS值。

优选的，所述根据频率偏差表征量，校准再编码TS传输流的PCR值、再编码视频包的DTS值和PTS值，具体包括：

获取再编码基准时钟的同一个时间信息参量的两次到达时刻；

确定两次到达时刻所对应的时间段长度与频率偏差表征量的比值；

根据所述比值确定再编码时钟与源编码时钟相差的时钟个数。

优选的，所述将校准后的再编码TS传输流与延后的源TS传输流中的音频包进行复用输出，具体包括：

预先设定时间偏差阈值T，所述时间偏差阈值T用于失步判定依据；

使用校准后的时间信息参量与源编码时钟时间信息参量进行失步判定；

若判定为失步，则重新执行所述校准再编码TS传输流的步骤。

本发明的有益效果在于：本发明提供的音视频同步方法具有通用性，可以使用在TS码流再编码后使用音频直通方式的所有场合，能够解决再编码直通时终端播放唇音不同步问题。

附图说明

图1为本发明实施例提供的基于直通音频的TS传输流音视频同步装置的功能模块框图。

图2为本发明实施例提供的基于直通音频的TS传输流音视频同步方法流程图。

图3为本发明实施例提供的获得频率偏差表征量的流程图。

图4为本发明实施例提供的校准再编码TS传输流的流程图。

具体实施方式

为了详细说明本发明的技术方案，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参照图1，图中示出了本申请实施例提供的基于直通音频的TS传输流音视频同步装置的功能模块框图。

该基于直通音频的TS传输流音视频同步装置可以使用在TS码流再编码后使用音频直通方式的所有场合，包括TS再编码模块、音频延时模块、频差计算模块、校准模块和码流复用模块。

具体的，TS再编码模块，用于对源TS传输流进行再编码，获得再编码TS传输流，在电视运动图像及伴音在数字化以后通常是使用TS传输流的格式传输，TS传输流再应用过程中，需要进行再编码操作，以实现视频像素点、清晰度的转换，因此，为提高视频像素点及清晰度的转换，需先对源TS传输流进行再编码。

音频延时模块，用于将源TS传输流中的音频包进行固定的延时，延时时间对应为源TS传输流再编码所需时间，音视频同步的最主要点在于如何保证实际应同时解码和播放的音频数据和视频数据其所携带的时间信息是一致的，即保证音频编码基准时钟和视频编码基准时钟的频率是一致的，由于两台分别编码音频和视频的设备无法共同用一个时钟晶振，因此，该音频延时模块将源TS传输流中的音频包进行固定的延时，延时时间对应为源TS传输流再编码所需时间，实现音频编码基准时钟与视频编码时钟的频率一致性。

频差计算模块，用于计算并输出源编码基准时钟与再编码基准时钟的频率偏差表征量，该频差计算模块包括时间信息提取模块和计数器CNT0，时间信息提取模块用于提取源TS传输流中音频包包含的源编码基准时钟时间信息参量与表征再编码基准时钟时间信息参量，计数器CNT0用于再编码基准时钟的计数，本实施例中，源编码基准时钟时间信息参量包括PTS时间戳和DTS时间戳，再编码基准时钟时间信息参量包括PCR时间戳。

该装置在应用时，先通过音频延时模块将源TS传输流中的音频包匹配源TS传输流再编码所需时间的延时量，同时依据时间信息提取模块提取的源编码基准时钟时间信息参量与再编码基准时钟时间信息参量，使用计数器CNT0作为再编码基准时钟的计数，比较源编码基准时钟与再编码基准时钟两个时钟的频偏，在于相同的时间区间内，比较两个计数器的计数个数，计数器的差值与时间区间的比值即为频率偏差表征量。

校准模块，用于根据频差计算模块所输出的频率偏差表征量，校准再编码TS传输流，该校准模块包括计数器CNT1，通过使用再编码基准时钟对计数器CNT1进行计数。

该校准模块选取再编码时钟的同一个时间信息参量的两次到达时刻所对应的时间段长度与频率偏差表征量的比值确定再编码时钟与源编码时钟相差的时钟个数，使用源TS传输流中的视频包所携带的时间信息参量的某一次值来校准再编码时钟的时间信息参量。

码流复用模块，用于将校准后的再编码TS传输流与延时后的源TS传输流中的音频包进行复用输出，当校准启动后，使用校准后的时间信息参量与源编码时钟时间信息参量进行失步判定，失步后自动重启校准过程，其中，失步判断为预先设定一个时间偏差阈值T，用于失步判定依据。

本实施例提供的音视频同步方法具有通用性，可以使用在TS码流再编码后使用音频直通方式的所有场合，能够解决再编码直通时终端播放唇音不同步问题，且实现简单无需大量缓存，降低了实现的复杂度和资源的占用率，能够快速的、自适应的调整源TS传输流音频包和再编码后的视频包之间的DTS/PTS之间的偏差，无需涉及实际的硬件部件，达到实时快速准确的目的，消除音视频不同步的现象。

请参照图2，图中示出了本申请实施例提供的基于直通音频的TS传输流音视频同步方法流程图。

该基于直通音频的TS传输流音视频同步方法包括以下步骤：

101、将源TS传输流进行再编码。

在电视运动图像及伴音在数字化以后通常是使用TS传输流的格式传输，TS传输流再应用过程中，需要进行再编码操作，以实现视频像素点、清晰度的转换，因此，为提高视频像素点及清晰度的转换，需先对源TS传输流进行再编码。

102、将源TS传输流中的音频包匹配源TS传输流再编码所需时间的延时量。

音视频同步的最主要点在于如何保证实际应同时解码和播放的音频数据和视频数据其所携带的时间信息是一致的，即保证音频编码基准时钟和视频编码基准时钟的频率是一致的，由于两台分别编码音频和视频的设备无法共同用一个时钟晶振，因此，该音频延时模块将源TS传输流中的音频包进行固定的延时，延时时间对应为源TS传输流再编码所需时间，实现音频编码基准时钟与视频编码时钟的频率一致性。

103、计算源编码基准时钟与再编码基准时钟的频率偏差表征量。

具体的，提取所述源TS传输流中音频包包含的源编码基准时钟时间信息参量与表征再编码基准时钟时间信息参量；依据所述源编码基准时钟时间信息参量与所述再编码基准时钟时间信息参量，使用计数器CNT0作为再编码基准时钟的计数，比较源编码基准时钟与再编码基准时钟两个时钟的频偏，在于相同的时间区间内，比较两个计数器的计数个数，计数器的差值与时间区间的比值即为频率偏差表征量。

相关算法过程如下：如图3所示，使用计数器CNT0作为再编码基准27MHz时钟的计数，计数器每初始化一次，其初始化值用再编码后PCR包中的时间基准，将每一次源TS传输流中音频包PTS到达时刻的PTS值及前述计数器CNT0值分别记为PTS_i和CNTO_i，i为大于0的正整数，对第二次开始的PTS值和CNT0值开始检测，计算源TS传输流中音频包PTS增量ΔT_pi、再编码基准时钟增量ΔT_ci、源编码基准时钟与再编码基准时钟的偏移量ΔT_cpi，其中：

ΔT_ci＝CNTO_i-CNTO₁

ΔT_pi＝PTS_i-PTS₁

ΔT_cpi＝ΔT_ci-ΔT_pi

ΔT_pi、ΔT_ci和ΔT_cpi均表征对应时钟计数个数；

频率偏差表征量使用源编码基准时钟与再编码基准时钟偏差为1个27MHz时钟个数所对应再编码基准时钟的时间间隔ΔT来表征，其中，将ΔT定义为：ΔT＝ΔT_ci/ΔT_cpi，ΔT_pi在统计的过程中可能包含由接收源TS流抖动带来的随机性误差，然而随着i值的递增，ΔT_pi主要由频率对应的时钟计数值贡献，随机性误差的占比会越来越小，亦即ΔT_cpi将越来越精确，频率偏差表征量的检测结果也将越来越精确。

本实施例通过检测源编码基准时钟和再编码基准时钟的频差方法，使得随着运行时间的推移，检测结果将越来越精确，误差具有收敛性质。

104、根据频率偏差表征量，校准再编码TS传输流。

其中，获取再编码基准时钟的同一个时间信息参量的两次到达时刻；确定两次到达时刻所对应的时间段长度与频率偏差表征量的比值；根据所述比值确定再编码时钟与源编码时钟相差的时钟个数，使用源TS传输流中的视频包所携带的时间信息参量的某一次值来校准再编码时钟的时间信息参量。

ΔPCR＝PCR_i-PCR₁

具体的，如图4所示，使用再编码27MHz基准时钟对计数器CNT1进行计数，该计数器值每当有源TS传输流的音频包PTS到达时，即使用音频包PTS重新对其进行初始化，当第一个PCR包到达时刻，记CNT1值为CNT1₁，记PCR包的PCR值为PCR₁，此后，当第i个PCR包到达，i为大于0的正整数，其PCR值记为PCR_i，则有PCR差值为ΔPCR，

ΔPCR与前述步骤103所输出的ΔT进行除法运算，通过一个除法器求取再编码时钟相对于源编码时钟在一段时间长度的时钟个数偏量，在此，即得到再编码基准时钟与源编码基准时钟在ΔPCR时间间隔内所对应偏移的27MHz的时钟数目，记为D，

D＝Floor(ΔPCR/ΔT)

其中，Floor表示向下取整，D为计数值偏差量，再编码后的PCR包重新校正后输出的PCR值的计算公式为：

PCR＝CNT1₁+ΔPCR-D

上式采用的是负反馈校正，负反馈校正的有益效果是使系统输出能很好的跟踪输入。PCR包的PCR值使用上式重新计算校准后结果进行输出即可得到同步源编码基准时钟的结果，视频数据的DTS和PTS其校准过程亦类同。

105、将校准后的再编码TS传输流与延后的源TS传输流中的音频包进行复用输出。

具体的，预先设定时间偏差阈值T，所述时间偏差阈值T用于失步判定依据；使用校准后的时间信息参量与源编码时钟时间信息参量进行失步判定；若判定为失步，则重新执行所述校准再编码TS传输流的步骤。

使用步骤104中重新计算的PCR值与计数器CNT进行比较判断，如果两者的差值超过预设定的时间偏差阈值T，即判定音视频已经失步，需要进行重同步操作，此时清零CNT1₁和PCR₁，并返回步骤104重新执行同步操作。

本实施例中的频差是即时校正的，其方法快速，具有良好的跟踪性质，对于源时钟频率具有较大漂移的情形亦可以快速跟踪和同步。

本发明的频差计算精确，频差即时校正，其音视频同步效果好，与现有技术是定期重同步方法不同，因此不会影响播放的流畅性，运行稳定性也较好，且本发明的频差计算算法及频差校正算法结构清晰，易于实现，无需占用大量缓存，对逻辑资源的利用亦较少，降低的实现的复杂度和资源占用率。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围，因此，本发明的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于直通音频的TS传输流音视频同步装置，其特征在于，包括：

TS再编码模块、音频延时模块、频差计算模块、校准模块和码流复用模块；

所述TS再编码模块，用于对源TS传输流进行再编码，获得再编码TS传输流；

所述音频延时模块，用于将所述源TS传输流中的音频包进行延时，所述延时的时间对应为所述源TS传输流再编码所需时间；

所述频差计算模块，用于计算并输出源编码基准时钟与再编码基准时钟之间的频率偏差表征量；

所述校准模块，用于根据所述频差计算模块所输出的频率偏差表征量，校准所述再编码TS传输流；以及

所述码流复用模块，用于将校准后的再编码TS传输流与所述延时后的源TS传输流中的音频包进行复用输出。

2.根据权利要求1所述的基于直通音频的TS传输流音视频同步装置，其特征在于：

所述频差计算模块包括时间信息提取模块；

所述时间信息提取模块，用于提取所述源TS传输流中音频包包含的源编码基准时钟时间信息参量与表征再编码基准时钟时间信息参量。

3.根据权利要求2述的基于直通音频的TS传输流音视频同步装置，其特征在于：

所述源编码基准时钟时间信息参量包括PTS时间戳和DTS时间戳；

所述再编码基准时钟时间信息参量包括PCR时间戳。

4.根据权利要求1所述的基于直通音频的TS传输流音视频同步装置，其特征在于：

所述频差计算模块包括计数器CNT0，所述计数器CNT0用于所述再编码基准时钟的计数；

所述校准模块包括计数器CNT1，通过使用再编码基准时钟对计数器CNT1进行计数。

5.一种基于直通音频的TS传输流音视频同步方法，其特征在于，所述方法包括：

将源TS传输流进行再编码；

将源TS传输流中的音频包匹配源TS传输流再编码所需时间的延时量；

计算源编码基准时钟与再编码基准时钟的频率偏差表征量；

根据频率偏差表征量，校准再编码TS传输流；

将校准后的再编码TS传输流与延后的源TS传输流中的音频包进行复用输出。

6.根据权利要求5所述的基于直通音频的TS传输流音视频同步方法，其特征在于，所述计算源编码基准时钟与再编码基准时钟的频率偏差表征量，具体包括：

提取所述源TS传输流中音频包包含的源编码基准时钟时间信息参量与表征再编码基准时钟时间信息参量；

依据所述源编码基准时钟时间信息参量与所述再编码基准时钟时间信息参量计算得到频率偏差表征量。

7.根据权利要求6所述的基于直通音频的TS传输流音视频同步方法，其特征在于，所述依据源编码基准时钟时间信息参量与再编码基准时钟时间信息参量计算得到频率偏差表征量，具体包括：

使用计数器CNT0用于再编码基准时钟的计数，在相同的时间区间内，比较计数器的差值与时间区间的比值，得到频率偏差表征量。

8.根据权利要求5所述的基于直通音频的TS传输流音视频同步方法，其特征在于，所述根据频率偏差表征量，校准再编码TS传输流，具体包括：

根据频率偏差表征量，校准再编码TS传输流的PCR值、再编码视频包的DTS值和PTS值。

9.根据权利要求8所述的基于直通音频的TS传输流音视频同步方法，其特征在于，所述根据频率偏差表征量，校准再编码TS传输流的PCR值、再编码视频包的DTS值和PTS值，具体包括：

获取再编码基准时钟的同一个时间信息参量的两次到达时刻；

确定两次到达时刻所对应的时间段长度与频率偏差表征量的比值；

根据所述比值确定再编码时钟与源编码时钟相差的时钟个数。

10.根据权利要求5所述的基于直通音频的TS传输流音视频同步方法，其特征在于，所述将校准后的再编码TS传输流与延后的源TS传输流中的音频包进行复用输出，具体包括：

预先设定时间偏差阈值T，所述时间偏差阈值T用于失步判定依据；

使用校准后的时间信息参量与源编码时钟时间信息参量进行失步判定；

若判定为失步，则重新执行所述校准再编码TS传输流的步骤。