CN112770165B - 一种音视频流分布式同步方法 - Google Patents

Abstract

本发明公开了一种音视频流分布式同步方法。本发明抽象音视频帧组概念，以逻辑时钟为基准，同步音视频帧组开始时间，音频设备以逻辑时钟为基准，组内自适应调整处理频率；视频设备基于逻辑时钟和音频时钟，实现帧组内自适应调整处理频率。在无需引入第三方设备和专业传输线的情况下，实现局域网内的音视频多设备同步。针对音频播放时延的平滑处理，可有效减少丢帧或快进概率，与视频保持一致。本发明在多设备之间以帧组粒度进行同步，降低了整体通信量，帧组内自适应调整频率，将时间平摊至多帧，进一步有效降低快进或花屏概率。该发明可实现在普适场景下实现音频分流，突破设备、通信和性能瓶颈，打造智能家庭影院。

Description

一种音视频流分布式同步方法

技术领域

本发明涉及一种音视频流分布式同步方法，可实现从终端设备通过局域网分别将音视频近场投放至不同设备，同时保持音视频同步分流。

背景技术

传统家庭影院，通常采用多个音箱与TV相连，音箱播放立体声音乐，TV播放视频；但传统音箱与TV需采用专线相连，使用场景受阻的同时安装复杂。随着智能终端发展，智能播放设备层出不穷，智能家庭影院开始使用智能音箱替换传统音箱播放立体声音乐、智能TV 播放视频，因此音频和视频的分布式同步成为了亟待解决的问题。

目前，苹果将音视频数据共享或传输到Apple TV，通过专线将音视频数据传输至TV送显，并通过WIFI将音频传输至音箱，实现音视频同步的立体环绕音家庭影院效果。但该技术同步过程需通过Apple TV盒子，并借助传输专线实现，因此场景应用受限，不支持从任一设备将音视频投放到音箱和TV的视频分流需求。

以音频帧时间为基准同步视频、以视频帧时间为基准同步音频，并以一定阈值对齐播放时间，或以第三方时钟作为基准，将音频与视频帧数据打上时间戳，采用放缓播放、加速播放或丢弃数据的方式同步外部时钟，也都是现有技术的实现方法。然而音视频以帧为粒度进行同步，如果跨设备情况下会导致通信频繁，引起网络风暴；且每帧播放时间短，通信时延可能大于播放时延，导致较差的同步效果。

随着智能终端设备的不断发展，在普适场景下实现音视频分流的需求变得越来越迫切，而现有方法又存在诸多局限。有鉴于此，开发出一种音视频流分布式同步方法实有必要。

发明内容

本发明的目的是提供分布式的音视频同步方法，通过协调逻辑时钟并自适应调整音视频帧组内处理频率，实现局域网内音视频多设备同步，并且降低快进或花屏概率。现有技术通常采用图1所示方法，但存在上述局限。因此为避免上述方法的缺点，本发明提出了不同的解决方案：

步骤1：局域网内设备组建资源池，并将池内设备按功能分组。同一局域网内的设备组建设备资源池，将用户发起的设备设置为主设备或source端，接收多媒体数据的设备为普通设备或sink端，并建立起数据流和控制流通道。分组过程，source端设备将处理视频的sink 设备分为视频设备组，将处理音频的sink设备分为音频设备组。根据用户视频信息数据，对视频帧进行分组；并以视频帧组为基准，对音频帧进行分组。

步骤2：source端设备与视/音频设备组协商视/音频帧组开始时间。首先source端设备与视频设备组协商视频帧组开始时间：视频设备获取本地信息同步给source端，source端设备根据收到的多个视频设备组信息预估下一未播放帧组的开始时间，并通知相关视频设备；其次source端设备与音频设备组协商音频帧组开始时间：音频设备获取本地信息同步给source 端，source端设备根据收到的多个音频设备组信息以及视频帧组开始时间预估下一未播放帧组的开始时间，并通知相关音频设备。

步骤3：音频设备以逻辑时钟为基准，组内自适应调整处理频率(音频设备组)。音频设备组中的音频设备，根据音频逻辑时钟、播放状态、下一帧组播放时间等自适应调整帧组播放频率，实现平滑播放。

步骤4：视频设备基于逻辑时钟和音频时钟，实现视频设备帧组内处理频率的自适应调整。视频设备组中的视频设备，根据播放状态、视频逻辑时钟信息、音频逻辑时钟信息等自适应调整帧组播放频率，实现平滑播放。

本发明具有的有益效果是：

设备按功能分组，分组设备之间分布式协商音/视频帧组开始时间，保证在低通信的情况下，音视频同步播放。音频设备以逻辑时钟为基准，组内自适应调整处理频率，对音频播放时延进行平滑处理，降低丢帧或快进概率，并尽可能与音频保持一致。视频设备基于逻辑时钟和音频时钟，实现帧组内自适应调整处理频率。无需引入第三方设备和专业传输线，实现局域网内音频和视频多设备同步。多设备之间以帧组粒度同步，降低通信量。帧组内自适应调整频率，平摊时间差到多帧，进一步降低快进或花屏概率。

附图说明

图1为现有技术方案说明图；

图2为本发明技术方案说明图；

图3为source端设备与音频设备组协商开始时间过程图。

具体实施方式

下面结合附图，对本发明的具体实施方案作进一步详细描述。

一种音视频流分布式同步方法，如图2所示，包括以下步骤：

步骤1：将同一局域网内设备组建资源池，并将设备按功能分组。

首先是对局域网内设备组建资源池，用户可在任意设备上发起多媒体流向其他设备分布式同步传输和处理命令。选择用户发起的设备为主设备或source端，即多媒体流数据产生或主动发送端为主设备或source端；接收多媒体流数据的设备为普通设备或sink端。source端设备与sink端设备建立数据流和控制流通道，数据流用于音视频数据传输(传输开始后，数据流会一直传输)，控制流用于控制信息传输。

其次进行设备分组，source端根据用户选择以及sink端设备功能，将sink端设备按照功能分组，例如播放视频的sink设备归属为视频设备分组，播放音频的sink设备归属为音频设备组。完成上述步骤后进行更加细粒度的分组：对视频帧分组，source端根据用户视频信息 (视频帧率等)按照视频帧分组，一个视频帧组包括m_v个帧；而后以视频帧组为基准，对音频帧进行分组，音频的一帧为包括n个采样点的一段数据，音频帧组包括m_a帧。

步骤2：source端设备与视/音频设备组协商视/音频帧组开始时间。

source端设备与视频设备组协商视频帧组开始时间：视频单设备获取本地视频缓存以及播放状态等信息，预估本设备下一未播放帧组开始信息，并将信息同步给source端。source 根据接收到的多个视频设备组信息，采用多数原则或平均原则预估视频设备组下一个未播放视频帧组的开始时间T_{video_group_start}(k)(设帧组编号从1开始，k为第k个帧组)，并通知相关视频设备。

source端设备与音频设备组协商音频帧组开始时间：音频单设备获取本地音频缓存及播放状态等信息，预估本设备下一未播放帧组的开始信息，并将信息同步给source端。source 根据接收到多个音频设备组的信息，同时结合视频帧组开始时间，采用多数原则或平均计算原则预估音频设备组下一个音频帧组的开始时间，计算公式为T_{audio_group_start}(k)＝(k-1)* t_{video_group}，其中t_{video_group}表示一个视频帧组的时间(即m_v×每个视频帧时间)，并通知相关音频设备。关于上述具体步骤描述如图3所示。

步骤3：音频设备以逻辑时钟为基准，音频设备组实现自适应调整处理频率(音频设备组中，每个设备独自完成下述流程)：

1、获取当前音频播放信息，包括当前送入播放器或解码器的时间、逻辑上送入播放器或解码器的时间等，根据当前送入播放器时间T_cur(j)与逻辑上送入播放器时间T_log(j)差值，进行自适应调整。差值小于等于给定阈值w，则不进行调整；差值大于给定阈值w，则进入第2 步进行自适应调整：

|T_cur(j)-T_log(j)|＞w

2、音频帧组内自适应调整，将时间差均摊至多帧，以避免弃帧或某帧延迟过长等情况。设T_{audio_group_start}(k+1)为第k+1组的第一帧开始播放时间，F_{audio_group_start}(k+1)为第k+1组的帧序号，F_cur为当前帧序号，音频自适应调整如下：

步骤4：视频设备基于逻辑时钟和音频时钟，视频设备组实现帧组内自适应调整处理频率(视频设备组中，每个设备独自完成下述流程)：

1、获取当前视频播放信息，包括当前送入播放器或解码器时间、逻辑上送入播放器或解码器时间等，计算当前送入解码器时间T_cur(j)与逻辑上送入解码器时间T_log(j)差值，大于给定阈值w，则进入第2步进行自适应调整。

2、根据当前视频帧，以音频逻辑时钟为标准，计算并比较当前视频帧与当前音频帧的大小关系，根据计算和比较结果完成第3步或第4步自适应调整，计算和比较过程如下：

(1)如果设当前视频帧为F_{video_cur}，F_{video_group_start}(k)为第k组的初始帧号，T_{video_group_log}(k)为第k组视频逻辑时间，则当前视频帧逻辑理想时间T_{video_log}为：

T_{video_log}＝T_{video_group_log}(k)+(F_{video_cur}-F_{video_group_star}t(k))*t_{video_group}

(2)根据当前视频帧逻辑理想时间T_videolog计算当前视频帧对应的理想逻辑音频帧号 F_{audio_log}：

设F_{audio_real}为当前实际逻辑音频帧号，如果满足F_{audio_log}＞F_{audio_real}(即视频比音频快)则进入第3步，满足F_{audio_log}≤F_{audio_real}(即视频比音频慢)则进入第4步。

3、当视频比音频快时，视频自适应调整，以视频放缓处理。通过下式即可求出音频相对视频延迟Delay_video(2式)，完成视频的自适应调整Period_video(3式)：

Delay_video＝(F_audio-log-F_{audio_cur})*t_audio (2)

上述1式中n为音频采样点数量，sample_rate表示音频设备帧率，t_audio为单帧可播放时间。

4、当视频比音频慢时，视频自适应调整，视频可通过下式完成视频自适应调整Period_video，以加快视频处理：

。

Claims (3)

1.一种音视频流分布式同步方法，其特征在于该方法包括以下步骤：

步骤1：局域网内设备组建资源池，并将池内设备按功能分组；

同一局域网内的设备组建设备资源池，用户可在任意设备上发起多媒体流向其它设备分布式同步传输和处理命令；

选择用户发起多媒体流数据的设备为source端，接收多媒体流数据的设备为sink端，source端设备与sink端设备建立数据流通道和控制流通道，其中的数据流用于音视频数据传输，控制流用于控制信息传输；

source端设备将处理视频的sink设备分为视频设备组，将处理音频的sink设备分为音频设备组；

根据用户视频数据对视频帧进行分组，并以视频帧组为基准，对音频帧进行分组；

步骤2：分组设备之间分布式协商音频和视频帧组开始时间；

source端设备与视频设备组协商视频帧组开始时间：视频设备获取本地信息同步给source端，source端设备根据收到的多个视频设备组信息预估下一未播放帧组的开始时间，并通知相关视频设备；

source端设备与音频设备组协商音频帧组开始时间：音频设备获取本地信息同步给source端，source端设备根据收到的多个音频设备组信息以及视频帧组开始时间预估下一未播放帧组的开始时间，并通知相关音频设备；

步骤3：音频设备以逻辑时钟为基准，自适应调整帧组播放频率，实现平滑播放，具体是：

3-1、获取当前音频播放信息，包括当前送入播放器或解码器的时间、逻辑上送入播放器或解码器的时间，根据当前送入播放器时间T_{audio_cur}(j)与逻辑上送入播放器时间T_log(j)差值，差值小于等于给定阈值w，则不进行调整；差值大于给定阈值w，则进入第3-2步进行自适应调整；

3-2、音频帧组内自适应调整，将时间差均摊至多帧，设T_{audio_group_start}(k+1)为第k+1组的第一帧开始播放时间，F_{audio_group_start}(k+1)为第k+1组的帧序号，F_cur为当前帧序号，音频自适应调整如下：

步骤4：视频设备基于逻辑时钟和音频时钟，自适应调整帧组播放频率，实现平滑播放；具体是：

4-1、获取当前视频播放信息，包括当前送入播放器或解码器时间、逻辑上送入播放器或解码器时间，计算当前送入解码器时间T_{video_cur}(j)与逻辑上送入解码器时间T_log(j)差值，差值大于给定阈值w，则进入第4-2步进行自适应调整；

4-2、根据当前视频帧，以音频逻辑时钟为标准，计算并比较当前视频帧与当前音频帧的大小关系，根据计算和比较结果完成第4-3步或第4-4步自适应调整，计算和比较过程如下：

(1)如果设当前视频帧为F_{video_cur}，F_{video_group_start}(k)为第k组的初始帧号，T_{video_group_log}(k)为第k组视频逻辑时间，则当前视频帧逻辑理想时间T_{video_log}为：

T_{video_log}＝T_{video_group_log}(k)+(F_{video_cur}-F_{video_group_start}(k))*t_{video_group}

其中t_{video_group}表示一个视频帧组的时间；

(2)根据当前视频帧逻辑理想时间T_{video_log}计算当前视频帧对应的理想逻辑音频帧号F_{audio_log}：

设F_{audio_real}为当前实际逻辑音频帧号，如果满足F_{audio_log}>F_{audio_real}则进入第4-3步，满足F_{audio_log}≤F_{audio_real}则进入第4-4步；

4-3、当视频比音频快时，视频自适应调整，以视频放缓处理；计算音频相对视频延迟Delay_video，完成视频的自适应调整Period_video：

Delay_video＝(F_{audio_log}-F_{audio_cur})*t_audio (2)

其中n为音频采样点数量，sample_rate表示音频设备帧率，t_audio为单帧可播放时间；

4-4、当视频比音频慢时，视频自适应调整，视频可通过下式完成视频自适应调整Period_video，以加快视频处理：

其中F_{audio_group_start}(k+1)为第k+1组的帧序号，F_cur为当前帧序号。

2.根据权利要求1所述的一种音视频流分布式同步方法，其特征在于：

步骤1中的视频帧分组后的每个视频帧组包括m_v个帧；而后以视频帧组为基准，对音频帧进行分组，音频的一帧为包括n个采样点的一段数据，音频帧组包括m_a帧。

3.根据权利要求1所述的一种音视频流分布式同步方法，其特征在于：

步骤2中采用多数原则或平均原则预估视频设备组下一个未播放视频帧组的开始时间；

采用多数原则或平均计算原则预估音频设备组下一个音频帧组的开始时间。

Images