CN104902317A - 音视频同步方法及装置 - Google Patents

Abstract

本发明提供一种音视频同步方法及装置。本发明提供的音视频同步方法包括获取对预设时长的所述音视频信号中音频信号的音频处理时长和视频信号的视频处理时长；根据所述音频处理时长和所述视频处理时长的差值，得到音视频补偿值；根据所述音视频补偿值，调整所述音视频信号中音频信号与视频信号的输出时间，以使所述音频信号和所述视频信号保持同步。通过本发明所提供的方案，本发明可以在播放不同通道及不同音视频信号时，根据音视频信号播放时的具体处理时长或者其他参数实现音视频补偿值的自动获取，并以此进行音视频信号的同步播放。此外，本发明也可以直接根据音视频信号的播放特性信息获取相应的预设音视频补偿值，并进行音视频信号的同步播放。

Description

音视频同步方法及装置

技术领域

本发明涉及家电领域，尤其涉及一种音视频同步方法及装置。

背景技术

电视在进行音视频播放时，声音和画面需要保持同步，以保证用户的观看体验。

目前，因为在电视播放的音视频中，尤其是高清视频所占的比例越来越大，而这些高清视频的编码格式以及播放通道，解码方式等也多种多样，虽然电视在接收音视频信号时，会同时对音频和视频信号开始处理，但是一般来说，电视在处理视频图像时所需的处理时间要比处理音频的时间更长，导致了可能会在播放音视频时，出现声音和画面不同步的现象。当前，用户可以在发现电视播放的音视频不同步时，手动设置大小相当于声音与图像画面的时延的时间补偿值，或者在电视机内预设固定的时间补偿值，使视频和音频的播放时间相差该时间补偿值，从而让音视频播放实现同步。

然而，当播放不同码率或格式的音视频文件，或者播放音视频的信号通道进行切换时，音频与视频的时延会随之发生改变，使得用户手动设置的时间补偿值或者电视机预设的固定时长的时间补偿值与实际的时延产生误差，造成声音与画面仍然存在不同步现象。

发明内容

本发明提供一种音视频同步方法及装置，以使得在播放音视频信号时，能够实现音视频信号的同步播放。

一方面，本发明提供一种音视频同步方法，包括获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长；根据音频处理时长和视频处理时长的差值，得到音视频补偿值；根据音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间，以使音频信号和视频信号保持同步。

另一方面，本发明提供一种音视频同步装置，包括

获取模块，用于获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长；

分析模块，用于根据音频处理时长和视频处理时长的差值，得到音视频补偿值；

处理模块，用于根据音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间，以使音频信号和视频信号保持同步。

另一方面，本发明还提供一种音视频同步装置，包括：

通信接口，用于获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长；

存储器，用于存放程序；

处理器，用于执行存储器存放的程序，以根据音频处理时长和视频处理时长的差值，得到音视频补偿值；

通信接口还用于：根据音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间，以使音频信号和视频信号保持同步。

另一方面，本发明还提供一种智能电视，包括音视频输出装置和如上所述的音视频同步装置，音视频同步装置与音视频输出装置所连接，以使音视频输出装置输出的音频信号与视频信号保持同步。

本发明所提供的音视频的同步方法及装置，首先获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长；再根据音频处理时长和视频处理时长的差值，得到音视频补偿值；最后根据上述步骤中得到的音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间，以使音视频信号中的音频信号和视频信号保持同步播放。本发明可以在播放不同通道及不同音视频信号时，根据音视频信号播放时的具体处理时长或者其他参数实现音视频信号补偿值的自动获取，并以此进行音视频信号的同步播放。该自动补偿过程不需要用户人工干预，能够针对实际的播放情况，获得最优的音视频补偿值。

附图说明

图1A是本发明实施例一提供的音视频同步方法的流程示意图；

图1B为本发明实施例一提供的另一种音视频同步方法的流程示意图；

图1C为本发明实施例一提供的第三种音视频同步方法的流程示意图；

图1D是本发明实施例一提供的第四种音视频同步方法的流程示意图；

图1E是本发明实施例一提供的第五种音视频同步方法的流程示意图；

图1F是本发明实施例一提供的第六种音视频同步方法的流程示意图；

图2A为本发明实施例二提供的音视频同步装置的结构示意图；

图2B是本发明实施例二提供的另一种音视频同步装置的结构示意图；

图2C是本发明实施例二提供的又一种音视频同步装置的结构示意图；

图3是本发明实施例三提供的音视频同步装置的结构示意图；

图4是本发明实施例四提供的智能电视的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1A是本发明实施例一提供的音视频同步方法的流程示意图。如图1A所示，本实施例提供的音视频同步方法包括：

S101、获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长；

S102、根据音频处理时长和视频处理时长的差值，得到音视频补偿值；

S103、根据音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间，以使音频信号和视频信号保持同步。

一般的，音视频信号可由智能电视等播放终端进行播放。智能电视是具有全开放平台，并自身搭载有操作系统的电视，可以实现电视信号接收、第三方程序应用以及上网冲浪等多种功能。因而相应的，进行播放的音视频信号既可以为智能电视接收到的数字高清电视信号，也可以为智能电视通过网络连接所获取的在线音视频，或者是来自于本地的音视频文件等。

其中，当智能电视播放音视频信号时，可以利用一段预设时长的音视频信号为基准，分别获取对该段音视频信号中的音频信号进行处理所需的音频处理时长，以及对该段音视频信号中视频信号进行处理所需的视频处理时长。

具体的，预设时长与音视频处理芯片的自身缓存大小或者处理能力有关，以保证根据该预设时长的音视频信号得到的音频处理时长和视频处理时长，其差值恰好等于播放音视频信号时，音频与视频之间存在的固定时延，即所需的音视频补偿值。

需要说明的是，即使是两段相同时长的音视频信号，因为不同的音视频信号本身的码率、格式以及信号所经过的通道等的不同，所以对其进行处理的流程和时长都会不同，并造成对该段音视频信号进行处理所需的音频处理时长和视频处理时长有所差异。例如若当前智能电视所播放的音视频信号来自于分量通道时，由于由该通道所接收到的信号是已经经过解码处理的，所以音视频信号不用经过智能电视的主芯片(System on Chip，简称SOC)进行解码处理即可直接进行输出；而若当前智能电视是以数字媒体播放器(Digital Media Player，简称DMP)技术进行音视频信号的播放，则原始的音视频文件需要经过主芯片以及帧比率控制(Frame Rate Control，简称FRC)芯片等进行其中视频信号的处理及解码过程，以及利用相应芯片进行其中音频信号解码过程之后，才能实现音视频信号的正常播放，此时，需要将音视频信号中的音频信号和视频信号分别进行转换解码操作，才能实现对该音视频信号的正常播放。因而在上述两种不同播放场景中，同一音视频信号的音频处理时长和视频处理时长均不相同。

获得音视频补偿值之后，智能电视或者其他播放终端，即可利用该补偿值对音频信号和视频信号的播放时间进行调整，将音频信号或者视频信号延后或提前相当于该补偿值的时间，从而让输出的音频信号与视频信号达到时间同步。

本实施例所提供的音视频的同步方法，首先获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长；再根据音频处理时长和视频处理时长的差值，得到音视频补偿值；最后根据上述步骤中得到的音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间，以使音视频信号中的音频信号和视频信号保持同步播放。本实施例可以在播放不同通道及不同音视频信号时，根据音视频信号播放时的具体处理时长或者其他参数实现音视频信号补偿值的自动获取，并以此进行音视频信号的同步播放。该自动补偿过程不需要用户人工干预，能够针对实际的播放情况，获得最优的音视频补偿值。

在前述实施例的基础上，以下分别提供几种获取音频处理时长和视频处理时长的具体实施方式。作为一种可选的实施方式，可以根据音视频信号中单个帧所占用的时长，间接地计算出音频处理时长和视频处理时长。相应的具体流程如图1B所示，图1B为本发明实施例一提供的另一种音视频同步方法的流程示意图，在图1A所示的实施方式的基础上，步骤S101具体可以包括如下内容：

S104、获取对音频信号中每个语音帧进行音频处理所需的第一时长和对视频信号中每个画面帧进行视频处理所需的第二时长；

S105、根据第一时长和音频信号中所包含的语音帧的数量，得到音频处理时长；并根据第二时长和视频信号中所包含的画面帧的数量，得到视频处理时长。

在本实施方式中，语音帧和视频帧分别作为音频信号和视频信号中的最小单位，其单帧时长与预设时长之间存在如下关系：

单个语音帧时长×预设时长内的语音帧帧数＝预设时长

单个视频帧时长×预设时长内的视频帧帧数＝预设时长

根据上述关系可知，音视频信号的预定时长与该段预定时长音视频信号中单个帧占用时长之间为倍数关系，且其倍数等于该时长内的帧数，因而单个语音帧或者单个视频帧的占用时长可以准确地通过预定时长和语音帧/视频帧的帧数算出。同时，因为对音视频信号的处理时间和音视频信号的时长成正比，所以可先设法获得对单个语音帧进行处理所需的第一时长和对单个视频帧进行处理所需的第二时长，再根据第一时长与预设时长内语音帧的帧数获得该段预设时长内的音频处理时长，根据第二时长与预设时长内视频帧的帧数获取音频处理时长。

上述根据对单个语音帧或者视频帧的处理时长以及预设时长内帧数来计算音频处理时长和视频处理时长时，因为无论预设时长为多长时间，都会包含至少一个语音帧或者视频帧，所以利用单帧处理时长来进行计算时，预设时长的设置较为自由，从而可以根据实际应用场景而任意设置不同大小的预设时长，这样拓宽了对音频处理时长和视频处理时长进行计算时的应用范围。

作为另一种可能的实施方式，还可以利用处理音频及视频信号时的时间戳获取各自的处理时长。相应的具体流程如图1C所示，图1C为本发明实施例一提供的第三种音视频同步方法的流程示意图，在图1A所示的实施方式的基础上，步骤S101具体可以包括如下内容：

S106、根据对音频信号进行音频处理的处理起始时间戳和处理结束时间戳，得到音频处理时长；并根据对视频信号进行视频处理的处理起始时间戳和处理结束时间戳，得到视频处理时长。

在本实施方式中，当智能电视或者其他播放终端对音视频信号进行处理时，会在音频信号或者视频信号上标记表示处理完成时间的时间戳。时间戳通常为一个字符序列，该序列可以唯一地标识某一刻的时间，例如一段预设时长的音频信号或视频信号中，在音频或视频信号起始点位置所带的时间戳表示了开始对该音频或视频信号进行处理的那一刻时间值，而该段预设时长音频或视频信号的结束点位置所带的时间戳则表示将对该段预设时长的音频或视频信号处理完成后的那一刻时间值。

因而，可以通过查找对一段预设时长的音频信号进行音频处理的处理起始时间戳以及处理结束时间戳，并将两个时间戳所记录的时间相减，即可得到处理该段预设时长音频信号的音频处理时长；同理，通过查找对该段预设时长的视频信号进行视频处理的处理起始时间戳和处理结束时间戳，可得到处理该预设时长的视频信号的视频处理时长。分别获得了音频处理时长及视频处理时长后，即可利用两者的差值求出音视频信号的时间补偿值，并进行音视频同步操作。

上述通过时间戳计算音频处理时长与视频处理时长时，因为时间戳所记录的信息为准确的处理完成时间，所以根据时间戳所得到的音频处理时长与视频处理时长也具有相应的准确度。因而可以保证获得较为准确的音视频补偿值结果，以使音频信号和视频信号具有尽可能高的同步精度。

在上述图1B和图1C分别提供了两种获得音频处理时长与视频处理时长的具体方式。通过前述的两种具体方式，可以分别利用单帧处理时长或者进行音视频信号处理时所标记的时间戳来获取音频处理时长与视频处理时长。而本发明所提供的音视频同步方法，其获取预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长的具体流程及步骤，并不局限于上述具体方法，本领域技术人员所了解的任何获取音视频信号中的音频处理时长及视频处理时长的方法和手段，均可在该步骤中使用，此处不再赘述。

在实际应用中，因为音视频信号的通道、码率等可能会随时发生变化，所以音视频的补偿值也需要进行及时更新，以保证音频和视频同步播放。相应的，如图1D所示，图1D是本发明实施例一提供的第四种音视频同步方法的流程示意图，在前述图1A至图1C所示的基础上，在根据音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间之前，还可以进行判断是否需要对当前的音视频补偿值进行更新的操作，包括以下步骤：

S107、判断音视频补偿值与音视频信号的当前补偿值的差值是否大于预设阈值；

S108、若音视频补偿值与当前补偿值的差值大于预设阈值，则执行根据音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间的步骤；否则，继续采用当前补偿值，调整音视频信号中音频信号与视频信号的输出时间。

具体的，通常可以在播放音视频信号时，预先设置一个初始补偿值，以进行音视频信号的初始补偿。而当该初始补偿值不足以消除音视频信号中声音与画面的不同步现象时，再通过检测对音视频信号处理过程中的音频处理时长和视频处理时长，获得实时的音视频补偿值。因而，图1D中提供的音视频同步方法，其中音视频信号的当前补偿值可以为在播放时预设的初始补偿值。该初始补偿值可以是用户根据自己的实际观看体验而手动进行设置，也可以由智能电视根据音视频信号播放时的具体参数进行自动调整。

此外，每当音视频信号播放的通道发送改变，或者音视频信号本身发生变化时，都要重新获取音视频信号中音频信号与视频信号各自的处理时长，以便实时修正补偿值。在实际应用中，可以设定当通道或其他参数发生改变后，重新获取音视频信号的音频处理时长和视频处理时长，以获得实时的音视频信号补偿值。例如，当智能电视在通道1播出分辨率为1080P(分辨率为1920×1080)的音视频信号A时，可通过获取对预定时长的音视频信号A中的音频信号进行处理所需的音频处理时长，以及对音视频信号A中视频信号进行处理所需的视频处理时长而得到补偿值为40ms，而当智能电视在将音视频信号A切换至由通道2播出，或者改播分辨率为4K(分辨率为4096×2160)的音视频信号B时，经过再次获取的音频处理时长和视频处理时长，可得到补偿值应变为80ms。

此外，图1D中的音视频同步方法也提供了一种对音视频信号的补偿值进行定期更新的机制。在实际播放过程中，可能会由于音视频信号本身的原因造成音频信号和视频信号之间时延并不稳定，例如当该音视频信号本身的为可变码率时，其音频信号处理时长和视频信号处理时长也相应变化，从而造成前期所计算出的补偿值不能一直满足该音视频信号的同步要求。此时，可以每隔一个固定时长或周期后，重新进行一次音视频信号补偿值的获取过程，从而使得计算得到的补偿值符合此时的音频信号与视频信号的时间差值。

具体的，考虑到音视频信号补偿值的获取精度，可以设置一个预设阈值，当音视频补偿值与音视频信号的当前补偿值的差值大于该预设阈值时，才改变音视频信号的当前补偿值；若音视频补偿值与音视频信号的当前补偿值的差值小于该预设阈值，即该差值在预设阈值的范围内波动时，则不需要对当前的补偿值进行改变。这样可以减少处理器的处理执行次数，从而加快处理器的运行速度，以及减少系统功耗。

上述对音视频补偿值进行更新的操作，可以通过获取适用于当前音视频信号的补偿值，以对当前现有的补偿值进行更新。和现有技术中依靠人工进行音视频补偿值的设置过程相比，可以自动根据当前音视频对补偿值进行自动挑中，从而确保音视频补偿值能与当前音视频播放的实际状况相匹配。

进一步的，在上述图1D所提供的方法中，在根据所获得的音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间之后，还可以将该音视频补偿值与此时音视频信号的播放特性信息的对应关系进行记录或者更新，以便在下次根据预设的对应关系查找音视频补偿值时，可以获得更加符合实际情况的音视频补偿值。如图1E所示，图1E是本发明实施例一提供的第五种音视频同步方法的流程示意图，在前述图1D所示的基础上，在步骤S108之后，还可以包括：

S109、在音视频信号的播放特性信息与音视频补偿值的对应关系中，将当前补偿值更新为音视频补偿值，播放特性信息包括：音视频信号所占用的通道信息和/或音视频信号的属性信息。

具体的，该对应关系可以以索引表的方式进行记录，将音视频补偿值作为和音视频信号的播放特性信息所对应的表项进行存储，此外，也可以以其他形式的数据结构对上述对应关系进行存储。通过该对应关系，智能电视等播放终端可以直接根据音视频信号的播放特性信息获得对应的音视频补偿值，从而通过音视频信号的自身播放参数来获取音视频信号的预设补偿值。

音视频信号的播放特性信息主要可以包括两种信息：一种是音视频信号所占用的通道信息，也就是播放该音视频信号的源通道，例如是播放该音视频信号的通道为数字电视(Digital Television，简称DTV)通道，或者是分量通道，再或者是DMP通道等。另一种信息是音视频信号的属性信息，该属性信息表示了该音视频信号在单位时间内使用的数据流量大小，通常情况下，音视频信号的单位时间数据流量越大，其压缩比就越小，而画面质量或者音质也就越好。

具体的，音视频的属性信息通常包括音视频信号的视频分辨率、视频码率、刷新率、编码格式等信息中的一种或几种。其中，视频分辨率等于视频图像的高/宽像素值，用于度量图像内数据量，如1920×1080或者4096×2160等；视频码率表示了单位时间内视频数据流量的多少；刷新率也可以用每秒传输帧数(Frame Per Second，简称FPS)来表示，一般人眼所适应的视频刷新率在60Hz以上，即每秒的帧数为60帧。而编码格式则表示音频信号或者视频信号的不同压缩编码标准，如音频信号的WAV格式、MP3格式或者APE无损压缩音乐格式，以及视频信号的MPEG-4格式等。

上述两种信息均会对音视频信号的处理时长产生影响。因为占用不同通道所播出的音视频信号，因为其经过途径和处理流程不同，所以会造成对该音视频信号进行处理的时间不一样。同时，音视频信号的属性信息也同样影响了对音视频信号中音频信号与视频信号进行处理的处理时间。因而需要将音视频信号所占用的通道信息和/或音视频信号的属性信息与音视频信号补偿值之间的关系进行记录，以获得合适的初始预设补偿值。

经过图1E所示的上述步骤，可以将该音视频补偿值与此时音视频信号的播放特性信息的对应关系进行记录或更新，从而在下一次进行音视频信号的同步时，可以根据音视频信号的播放特性信息预先查询到该对应关系，再从相应的对应关系中查找到应预先设置的音视频补偿值。

在前述图1E所示实施例的基础上，在获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长之前，还可以通过音视频信号的播放特性信息，预先获取初始的音视频补偿值，以便利用初始的补偿值来保证音视频信号的同步播放。相应的，如图1F所示，图1F是本发明实施例一提供的第六种音视频同步方法的流程示意图，在前述图1A至图1E所示的基础上，在步骤S101之前，还包括以下步骤：

S110、在开机之后，或者，在对视频通道进行切换后，或者，在对当前视频通道所播放的视频内容进行更换之后，获取播放的音视频信号的播放特性信息；

S111、根据对应关系，获取与播放的音视频信号的播放特性信息对应的音视频补偿值；

S112、采用该音视频补偿值，对播放的音视频信号中音频信号与视频信号的输出时间进行补偿。

具体的，在播放音视频信号之前，可以根据音视频信号的播放特性信息预先获取初始的音视频补偿值。获取音视频信号播放特性信息的时间可以选择在播放终端开机后，或者是音视频播放的视频通道或内容发生改变之后。相应的，系统可以预存程序指令，该程序指令可以在智能电视开机后自动获取待播放的音视频信号的播放特性信息，或者通过监控通道或音视频内容所发生的改变，并根据更换后的通道或者音视频内容自动获取播放的音视频信号的播放特性信息。

进一步的，音视频信号的播放特性信息具体包括音视频信号所占用的通道信息和/或音视频信号的属性信息。智能电视在监控音视频信号所占用的通道信息时，可以接收系统中的控制模块所发出的广播消息，并从广播消息中解析出表示当前音视频信号所占用的通道的内容，从而获知音视频所占用的通道信息；而监控音视频信号的属性信息时，则需要先行对音视频信号进行采样，再对采样所获得的信号进行分析，从而获得音视频信号的属性信息。

获得包括音视频信号所占用的通道信息和/或音视频信号的属性信息在内的音视频信号的播放特性信息后，即可根据所存储的播放特性信息与音视频补偿值的对应关系，获取与播放的音视频信号的播放特性信息对应的音视频补偿值。表1是包括音视频信号所占用的通道信息和音视频信号的属性信息在内的播放特性信息与音视频补偿值的对应关系表。如表1所示，对于不同的通道信息和音视频信号的属性信息，其所需要的音视频补偿值也各有不同。

例如，一段音视频的属性信息可以用视频分辨率进行表示，此时设置视频分辨率1对应1024×768分辨率，而视频分辨率0对应1960×1080分辨率，在视频分辨率相同且都为1时，对于不同的DMP通道和DTV通道，其对应的默认预设补偿值分别为50ms和80ms。音视频的属性信息还可以由视频码率、刷新率、编码格式等信息或者是上述信息中的几种综合进行表示，与之相应的，其对应关系表也需要包含表示其他属性的更多表项，且对应关系的数量也会随之增加。

表1播放特性信息与音视频补偿值的对应关系表

ID	通道	视频分辨率	预设补偿值(ms)
				1	DMP	1	50
2	DTV	1	80
				3	分量	0	50
	……	……

此外，也可以单独根据音视频信号所占用的通道信息，或者是单独根据音视频信号的属性信息建立和音视频补偿值的对应关系。

表2是音视频信号所占用的通道信息与音视频补偿值的对应关系表。如表2所示，在获取音视频补偿值时，可以仅利用音视频信号所占用的通道查找与相应通道所对应的音视频补偿值。例如当通过DMP通道播放一段音视频信号时，所需的音视频补偿值为80ms，而更换由ATV通道播放该段音视频信号时，音视频补偿值相应的变为100ms。这样当音视频本身在单位时间内使用的数据流量均较为恒定时，智能电视可以主要通过监控音视频信号播放时的占用通道来获取音视频补偿值，从而简化处理过程。

表2音视频信号所占用的通道信息与音视频补偿值的对应关系表

表3是音视频信号的属性信息建立和音视频补偿值的对应关系表。如表3所示，此时可以仅通过检测音视频信号本身属性信息的改变，获得音视频补偿值。例如当音视频信号的视频分辨率为1080P时，所需的音视频补偿值为80ms，而当音视频信号的视频分辨率变为4K，则音视频补偿值相应的变为100ms。这一对应关系适用于当音视频信号的播放通道不变，而自身分辨率或码率等变化较大时的播放场景。

表3音视频信号的属性信息建立和音视频补偿值的对应关系表

序号	分辨率	音视频补偿值(MS)
			1	1080P	80
2	4K	100
			3	标清	50
4	……	100

基于上述实施例的方案，当智能电视或者其他播放终端播放音视频信号时，可以获得对一定预设时长的音视频信号中的音频信号和视频信号进行处理的处理时长，并根据上述时长得到音视频信号在实时播放时的补偿值，再根据该补偿值对音视频信号中音频信号和视频信号的播放时间进行调整，从而完成音视频信号的时间同步。这样在智能电视播放音视频信号时，无须操作人员或者用户手动操作进行音视频的时间补偿，而是根据音视频信号在播放时的实时处理时延来自动计算补偿值，从而保证音视频信号的同步输出；同时，上述实施例所提供的音视频同步方法，是依靠系统自动计算获得补偿值，其计算速度快，且计算出的补偿值精度可以精确到毫秒(ms)级别，这与用户凭自身感官获取音频信号与视频信号的播放时间差值相比，具有精度更高，反应更快等优点。

此外，基于上述实施例的方案，还可以根据音视频信号的播放特性信息等获得预设的音视频补偿值，这样可以通过大量实验及经验数据，预先得到不同播放通道及不同音视频信号属性所对应的最优化的音视频补偿值，并将其存储到智能电视中，当进行音视频信号的后续具体播放时，智能电视即可根据预设的音视频补偿值，预判性地实现音视频同步操作，且此时音视频信号的补偿值经过大量数据验证，同步的准确性更好。

图2A为本发明实施例二提供的音视频同步装置的结构示意图。如图2A所示，本实施例所提供的音视频同步装置200包括：

获取模块21，用于获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长；

分析模块22，用于根据音频处理时长和视频处理时长的差值，得到音视频补偿值；

处理模块23，用于根据音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间，以使音频信号和视频信号保持同步。

具体的，音视频同步装置200既可以为一个独立的装置存在，也可以集成于智能电视等播放终端之上。智能电视是具有全开放平台，并自身搭载有操作系统的电视，可以实现电视信号接收、第三方程序应用以及上网冲浪等多种功能。因而，智能电视同样可以利用自身的处理能力，实现音视频同步装置的功能和执行步骤。其中，进行播放的音视频信号既可以为智能电视接收到的数字高清电视信号，也可以为智能电视通过网络连接所获取的在线音视频，或者是来自于本地的音视频文件等。

当智能电视播放音视频信号时，可以利用一段预设时长的音视频信号为基准，分别获取对该段音视频信号中的音频信号进行处理所需的音频处理时长，以及对该段音视频信号中视频信号进行处理所需的视频处理时长。

当获取模块21获取音频处理时长和视频处理时长时，可以预先设置多种用于执行获取操作的不同方法及手段，而在实际执行过程中，具体的操作手段可以根据当时的使用场景进行选择。

可选的，作为一种可实施的方式，获取模块21具体用于：

获取对音频信号中每个语音帧进行音频处理所需的第一时长和对视频信号中每个画面帧进行视频处理所需的第二时长；

根据第一时长和音频信号中所包含的语音帧的数量，得到音频处理时长；并根据第二时长和视频信号中所包含的画面帧的数量，得到视频处理时长。

可选的，作为另一种可实施的方式，获取模块21具体用于：

根据对音频信号进行音频处理的处理起始时间戳和处理结束时间戳，得到音频处理时长；并根据对视频信号进行视频处理的处理起始时间戳和处理结束时间戳，得到视频处理时长。

上述两种方式均可以获取音频处理时长与视频处理时长，且所得到的时长数据较为精确，可信度较高。

可选的，作为另一种可实施的方式，在图2A所示的实施例基础上，音视频同步装置还可以包括用于更新当前音视频信号补偿值的更新模块24。图2B是本发明实施例二提供的另一种音视频同步装置的结构示意图。如图2B所示，音视频同步装置300所包括的更新模块24在根据音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间之前，用于：

判断音视频补偿值与音视频信号的当前补偿值的差值是否大于预设阈值；

若音视频补偿值与当前补偿值的差值大于预设阈值，则执行根据音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间的步骤；

否则，继续采用当前补偿值，调整音视频信号中音频信号与视频信号的输出时间。

图2B所示的音视频同步装置300在工作时，可以预先设置一个初始补偿值，以进行音视频信号的初始补偿。而当该初始补偿值不足以消除音视频信号中声音与画面的不同步现象时，再通过检测对音视频信号处理过程中的音频处理时长和视频处理时长，获得实时的音视频补偿值，此外每当音视频信号播放的通道发送改变，或者音视频信号本身发生变化，再或者经过了固定的周期时，都要重新获取音视频信号中音频信号与视频信号各自的处理时长，以便实时对补偿值进行修正，保证音视频信号能够准确同步。

可选的，作为一种可实施的方式，根据音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间之后，更新模块24还用于：

在音视频信号的播放特性信息与音视频补偿值的对应关系中，将当前补偿值更新为音视频补偿值，播放特性信息包括：音视频信号所占用的通道信息和/或音视频信号的属性信息。

具体的，音视频信号的播放特性信息主要可以包括两种信息：一种是音视频信号所占用的通道信息，也就是播放该音视频信号的源通道，例如是播放该音视频信号的通道为数字电视(Digital Television，简称DTV)通道，或者是分量通道，再或者是DMP通道等。另一种信息是音视频信号的属性信息，该属性信息表示了该音视频信号在单位时间内使用的数据流量大小。

进一步的，音视频信号的属性信息，包括下述信息中的至少一种：视频分辨率、视频码率、刷新率、编码格式。上述信息的具体含义，在前述方法实施例中已经进行了解释说明，此处不再赘述。

因为音视频信号所占用的通道信息和属性信息均会对音视频信号的处理时长产生影响。所以需要将音视频信号所占用的通道信息音视频信号的属性信息与音视频信号补偿值之间的关系进行记录，以获得合适的初始预设补偿值。

可选的，作为一种可实施的方式，在图2A和图2B所示的实施例基础上，音视频同步装置还可以包括用于设置预设的音视频信号补偿值的初始化模块25。图2C是本发明实施例二提供的又一种音视频同步装置的结构示意图。如图2C所示，音视频同步装置400还包括初始化模块25，初始化模块25在获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长之前，用于：

在开机之后，或者，在对视频通道进行切换后，或者，在对当前视频通道所播放的视频内容进行更换之后，获取播放的音视频信号的播放特性信息；

根据上面的对应关系，获取与播放的音视频信号的播放特性信息对应的音视频补偿值；

采用该音视频补偿值，对播放的音视频信号中音频信号与视频信号的输出时间进行补偿。

具体的，初始化模块25在获得音视频信号的播放特性信息后，即可根据所存储的播放特性信息与音视频补偿值的对应关系，获取与播放的音视频信号的播放特性信息对应的音视频补偿值。因而初始化模块25可以根据音视频信号的播放特性信息提供初始的预设音视频补偿值。

基于上述实施例的方案，当智能电视或者其他播放终端播放音视频信号时，可以获得对一定预设时长的音视频信号中的音频信号和视频信号进行处理的处理时长，并根据上述时长得到音视频信号在实时播放时的补偿值，再根据该补偿值对音视频信号中音频信号和视频信号的播放时间进行调整，从而完成音视频信号的时间同步。这样在智能电视播放音视频信号时，无须操作人员或者用户手动操作进行音视频的时间补偿，而是根据音视频信号在播放时的实时处理时延来自动计算补偿值，从而保证音视频信号的同步输出。

本实施例所提供的音视频同步装置，首先获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长；再根据音频处理时长和视频处理时长的差值，得到音视频补偿值；然后根据音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间，以使音频信号和视频信号保持同步。这样可以在播放不同通道及不同音视频信号时，根据音视频信号播放时的具体处理时长或者其他参数实现音视频信号补偿值的自动获取，并以此进行音视频信号的同步播放。该自动补偿过程不需要用户人工干预，能够针对实际的播放情况，获得最优的音视频补偿值。

图3是本发明实施例三提供的音视频同步装置的结构示意图。如图3所示，本实施例提供的音视频同步装置包括：

通信接口31，用于获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长；

存储器32，用于存储程序；具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。

处理器33，用于执行存储器32所存储的程序，具体包括根据音频处理时长和视频处理时长的差值，得到音视频补偿值；

处理器33还用于根据音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间，以使音频信号和视频信号保持同步。

其中，通信接口31和智能电视或者其他播放终端进行连接，用于获取及输出各种数据及指令。存储器32可以包含各种RAM存储器或者非易失性存储器(non-volatile memory)。而处理器33的形式可能为中央处理器(CentralProcessing Unit，简称为CPU)，或者是特定集成电路(Application SpecificIntegrated Circuit，简称为ASIC)，再或者是被配置成实施本发明实施例的一个或多个集成电路。处理器33是音视频同步装置的控制中心，利用各种接口和线路连接整个装置的各个部分，通过运行或执行存储在存储器32内的软件程序和/或模块，以及调用存储在存储器32内的数据，执行装置的各种功能和处理数据，从而实现音视频同步功能。具体的，音视频同步装置既可以为一个独立的装置存在，也可以集成于智能电视等播放终端之上。智能电视是具有全开放平台，并自身搭载有操作系统的电视，可以实现电视信号接收、第三方程序应用以及上网冲浪等多种功能。因而，智能电视同样可以利用自身的处理能力，实现音视频同步装置的功能和执行步骤。其中，进行播放的音视频信号既可以为智能电视接收到的数字高清电视信号，也可以为智能电视通过网络连接所获取的在线音视频，或者是来自于本地的音视频文件等。

当智能电视播放音视频信号时，可以利用一段预设时长的音视频信号为基准，分别获取对该段音视频信号中的音频信号进行处理所需的音频处理时长，以及对该段音视频信号中视频信号进行处理所需的视频处理时长。

当通信接口31获取音频处理时长和视频处理时长时，可以预先设置多种用于执行获取操作的不同方法及手段，而在实际执行过程中，具体的操作手段可以根据当时的使用场景进行选择。

可选的，作为一种可实施的方式，通信接口31具体用于：

获取对音频信号中每个语音帧进行音频处理所需的第一时长和对视频信号中每个画面帧进行视频处理所需的第二时长；

根据第一时长和音频信号中所包含的语音帧的数量，得到音频处理时长；并根据第二时长和视频信号中所包含的画面帧的数量，得到视频处理时长。

可选的，作为另一种可实施的方式，通信接口31具体用于：

根据对音频信号进行音频处理的处理起始时间戳和处理结束时间戳，得到音频处理时长；并根据对视频信号进行视频处理的处理起始时间戳和处理结束时间戳，得到视频处理时长。

上述两种方式均可以获取音频处理时长与视频处理时长，且所得到的时长数据较为精确，可信度较高。

可选的，作为另一种可实施的方式，处理器33在根据音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间之前，还用于：

判断音视频补偿值与音视频信号的当前补偿值的差值是否大于预设阈值；

若音视频补偿值与当前补偿值的差值大于预设阈值，则执行根据音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间的步骤；

否则，继续采用当前补偿值，调整音视频信号中音频信号与视频信号的输出时间。

图3所示的音视频同步装置在工作时，可以预先设置一个初始补偿值，以进行音视频信号的初始补偿。而当该初始补偿值不足以消除音视频信号中声音与画面的不同步现象时，再通过检测对音视频信号处理过程中的音频处理时长和视频处理时长，获得实时的音视频补偿值，此外每当音视频信号播放的通道发送改变，或者音视频信号本身发生变化，再或者经过了固定的周期时，都要重新获取音视频信号中音频信号与视频信号各自的处理时长，以便实时对补偿值进行修正，保证音视频信号能够准确同步。

可选的，作为一种可实施的方式，根据音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间之后，处理器33还用于：

在音视频信号的播放特性信息与音视频补偿值的对应关系中，将当前补偿值更新为音视频补偿值，播放特性信息包括：音视频信号所占用的通道信息和/或音视频信号的属性信息。

具体的，音视频信号的播放特性信息主要可以包括两种信息：一种是音视频信号所占用的通道信息，也就是播放该音视频信号的源通道，例如是播放该音视频信号的通道为数字电视(Digital Television，简称DTV)通道，或者是分量通道，再或者是DMP通道等。另一种信息是音视频信号的属性信息，该属性信息表示了该音视频信号在单位时间内使用的数据流量大小。

进一步的，音视频信号的属性信息，包括下述信息中的至少一种：视频分辨率、视频码率、刷新率、编码格式。上述信息的具体含义，在前述方法实施例中已经进行了解释说明，此处不再赘述。

因为音视频信号所占用的通道信息和属性信息均会对音视频信号的处理时长产生影响。所以需要将音视频信号所占用的通道信息音视频信号的属性信息与音视频信号补偿值之间的关系进行记录，以获得合适的初始预设补偿值。

可选的，作为一种可实施的方式，处理器33在获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长之前，还可以用于：

在开机之后，或者，在对视频通道进行切换后，或者，在对当前视频通道所播放的视频内容进行更换之后，获取播放的音视频信号的播放特性信息；

根据上面的对应关系，获取与播放的音视频信号的播放特性信息对应的音视频补偿值；

采用该音视频补偿值，对播放的音视频信号中音频信号与视频信号的输出时间进行补偿。

具体的，处理器33在获得音视频信号的播放特性信息后，即可根据所存储的播放特性信息与音视频补偿值的对应关系，获取与播放的音视频信号的播放特性信息对应的音视频补偿值。因而装置可以根据音视频信号的播放特性信息提供初始的预设音视频补偿值。

在具体实现上，如果通信接口31、处理器33和存储器32独立实现，则通信接口31、处理器33和存储器32可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

基于上述实施例的方案，当智能电视或者其他播放终端播放音视频信号时，可以获得对一定预设时长的音视频信号中的音频信号和视频信号进行处理的处理时长，并根据上述时长得到音视频信号在实时播放时的补偿值，再根据该补偿值对音视频信号中音频信号和视频信号的播放时间进行调整，从而完成音视频信号的时间同步。这样在智能电视播放音视频信号时，无须操作人员或者用户手动操作进行音视频的时间补偿，而是根据音视频信号在播放时的实时处理时延来自动计算补偿值，从而保证音视频信号的同步输出。

本实施例所提供的音视频同步装置，先获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长；再根据音频处理时长和视频处理时长的差值，得到音视频补偿值；然后根据音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间，以使音频信号和视频信号保持同步。这样可以在播放不同通道及不同音视频信号时，根据音视频信号播放时的具体处理时长或者其他参数实现音视频信号补偿值的自动获取，并以此进行音视频信号的同步播放。该自动补偿过程不需要用户人工干预，能够针对实际的播放情况，获得最优的音视频补偿值。

图4是本发明实施例四提供的智能电视的结构示意图。如图4所示，智能电视500包括音视频输出装置41和如前述实施例中所述的音视频同步装置42，音视频同步装置42与音视频输出装置41所连接，以使音视频输出装置41输出的音频信号与视频信号保持同步。

其中，音视频同步装置42的结构与功能与前述实施例中类似，且能够执行前述实施例一中所提供的所有音视频同步方法，故此处不再赘述。同时，智能电视的音视频输出装置41的结构与功能也均与现有的智能电视类似，例如音视频输出装置41具体可以包括屏幕、扬声器等外部设备以及相应的处理电路等，故本领域技术人员可以将音视频同步装置42应用于现有的智能电视上，以实现自动进行音视频同步功能。

本实施例所提供的智能电视，可以获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长；再根据音频处理时长和视频处理时长的差值，得到音视频补偿值；然后根据音视频补偿值，调整音视频信号中音频信号与视频信号的输出时间，以使音频信号和视频信号保持同步。这样可以在播放不同通道及不同音视频信号时，根据音视频信号播放时的具体处理时长或者其他参数实现音视频信号补偿值的自动获取，并以此进行音视频信号的同步播放。该自动补偿过程不需要用户人工干预，能够针对实际的播放情况，获得最优的音视频补偿值。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种音视频同步方法，其特征在于，包括：

获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长；

根据所述音频处理时长和所述视频处理时长的差值，得到音视频补偿值；

根据所述音视频补偿值，调整所述音视频信号中音频信号与视频信号的输出时间，以使所述音频信号和所述视频信号保持同步。

2.根据权利要求1所述的音视频同步方法，其特征在于，所述获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长，包括：

获取对所述音频信号中每个语音帧进行音频处理所需的第一时长和对所述视频信号中每个画面帧进行视频处理所需的第二时长；

根据所述第一时长和所述音频信号中所包含的语音帧的数量，得到所述音频处理时长；并根据所述第二时长和所述视频信号中所包含的画面帧的数量，得到所述视频处理时长。

3.根据权利要求1所述的音视频同步方法，其特征在于，所述获取对预设时长的所述音视频信号中音频信号的音频处理时长和视频信号的视频处理时长，包括：

根据对所述音频信号进行音频处理的处理起始时间戳和处理结束时间戳，得到所述音频处理时长；并根据对所述视频信号进行视频处理的处理起始时间戳和处理结束时间戳，得到所述视频处理时长。

4.根据权利要求1-3任一项所述的音视频同步方法，其特征在于，所述根据所述音视频补偿值，调整所述音视频信号中音频信号与视频信号的输出时间之前，还包括：

判断所述音视频补偿值与所述音视频信号的当前补偿值的差值是否大于预设阈值；

若所述音视频补偿值与所述当前补偿值的差值大于所述预设阈值，则执行所述根据所述音视频补偿值，调整所述音视频信号中音频信号与视频信号的输出时间的步骤；

否则，继续采用所述当前补偿值，调整所述音视频信号中音频信号与视频信号的输出时间。

5.根据权利要求4所述的音视频同步方法，其特征在于，所述根据所述音视频补偿值，调整所述音视频信号中音频信号与视频信号的输出时间之后，还包括：

在所述音视频信号的播放特性信息与音视频补偿值的对应关系中，将所述当前补偿值更新为所述音视频补偿值，所述播放特性信息包括：音视频信号所占用的通道信息和/或音视频信号的属性信息。

6.根据权利要求5所述的音视频同步方法，其特征在于，所述属性信息，包括下述信息中的至少一种：

视频分辨率、视频码率、刷新率、编码格式。

7.根据权利要求5或6所述的音视频同步方法，其特征在于，所述获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长之前，还包括：

在开机之后，或者，在对视频通道进行切换后，或者，在对当前视频通道所播放的视频内容进行更换之后，获取播放的音视频信号的播放特性信息；

根据所述对应关系，获取与播放的音视频信号的播放特性信息对应的音视频补偿值；

采用该音视频补偿值，对播放的音视频信号中音频信号与视频信号的输出时间进行补偿。

8.一种音视频同步装置，其特征在于，包括：

获取模块，用于获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长；

分析模块，用于根据所述音频处理时长和所述视频处理时长的差值，得到音视频补偿值；

处理模块，用于根据所述音视频补偿值，调整所述音视频信号中音频信号与视频信号的输出时间，以使所述音频信号和所述视频信号保持同步。

9.根据权利要求8所述的音视频同步装置，其特征在于，所述获取模块具体用于：

获取对所述音频信号中每个语音帧进行音频处理所需的第一时长和对所述视频信号中每个画面帧进行视频处理所需的第二时长；

根据所述第一时长和所述音频信号中所包含的语音帧的数量，得到所述音频处理时长；并根据所述第二时长和所述视频信号中所包含的画面帧的数量，得到所述视频处理时长。

10.根据权利要求8所述的音视频同步装置，其特征在于，所述获取模块具体用于：

根据对所述音频信号进行音频处理的处理起始时间戳和处理结束时间戳，得到所述音频处理时长；并根据对所述视频信号进行视频处理的处理起始时间戳和处理结束时间戳，得到所述视频处理时长。

11.根据权利要求8-10任一项所述的音视频同步装置，其特征在于，还包括更新模块，所述更新模块在所述根据所述音视频补偿值，调整所述音视频信号中音频信号与视频信号的输出时间之前，用于：

判断所述音视频补偿值与所述音视频信号的当前补偿值的差值是否大于预设阈值；

若所述音视频补偿值与所述当前补偿值的差值大于所述预设阈值，则执行所述根据所述音视频补偿值，调整所述音视频信号中音频信号与视频信号的输出时间的步骤；

否则，继续采用所述当前补偿值，调整所述音视频信号中音频信号与视频信号的输出时间。

12.根据权利要求11所述的音视频同步装置，其特征在于，所述根据所述音视频补偿值，调整所述音视频信号中音频信号与视频信号的输出时间之后，所述更新模块还用于：

在所述音视频信号的播放特性信息与音视频补偿值的对应关系中，将所述当前补偿值更新为所述音视频补偿值，所述播放特性信息包括：音视频信号所占用的通道信息和/或音视频信号的属性信息。

13.根据权利要求12所述的音视频同步装置，其特征在于，所述属性信息，包括下述信息中的至少一种：

视频分辨率、视频码率、刷新率、编码格式。

14.根据权利要求12或13所述的音视频同步装置，其特征在于，还包括初始化模块，所述初始化模块在所述获取对预设时长的所述音视频信号中音频信号的音频处理时长和视频信号的视频处理时长之前，用于：

在开机之后，或者，在对视频通道进行切换后，或者，在对当前视频通道所播放的视频内容进行更换之后，获取播放的音视频信号的播放特性信息；

根据所述对应关系，获取与播放的音视频信号的播放特性信息对应的音视频补偿值；

采用该音视频补偿值，对播放的音视频信号中音频信号与视频信号的输出时间进行补偿。

15.一种音视频同步装置，其特征在于，包括：

通信接口，用于获取对预设时长的音视频信号中音频信号的音频处理时长和视频信号的视频处理时长；

存储器，用于存储程序；

处理器，用于执行所述存储器存储的程序，以根据所述音频处理时长和所述视频处理时长的差值，得到音视频补偿值；

所述处理器还用于：根据所述音视频补偿值，调整所述音视频信号中音频信号与视频信号的输出时间，以使所述音频信号和所述视频信号保持同步。

16.一种智能电视，其特征在于，包括音视频输出装置和如权利要求15所述的音视频同步装置，所述音视频同步装置与所述音视频输出装置所连接，以使所述音视频输出装置输出的音频信号与视频信号保持同步。