CN1893592A - 数字电视接收机的视频唇形同步处理方法 - Google Patents

Abstract

一种数字电视接收机的视频唇形同步处理方法，包括：第1过程，在根据所定映像解码命令，输入到视频解码器的图像帧中分离出视频播放时间信息，并将其以另外的帧进行储存；第2过程，与第1过程不同，从相应图像帧中分离出视频信息，并进行解码，对分离出的视频信息进行映像处理；第3过程，在第2过程的视频信息映像处理结束后，产生所定映像处理结束通知信息；第4过程，根据第3过程产生的映像处理结束通知信息，利用上述储存的视频播放时间信息，对第2过程中作了映像处理的图像帧进行唇形同步。本发明当结束映像处理的时候，在相应视频信息中进行唇形同步处理，能够减少由于视频数据流的改变，时间延迟，所造成的唇形同步错误等多种误差。

Description

数字电视接收机的视频唇形同步处理方法

技术领域

本发明是关于数字电视接收机的唇形同步(Lip-Sync唇形同步)方法，尤其是指数字电视接收机的唇形同步(Lip-Sync)方法通过视频处理器，当结束映像处理的时候，在相应视频信息中进行唇形同步处理，以减少由于视频数据流的改变、时间延迟，所造成的唇形同步错误等多种误差的一种数字电视接收机的视频唇形同步处理方法。

背景技术

通常，支持多媒体的核心要素是数字化和图像压缩技术，在图像压缩技术中，MPEG(Moving Pictures Expert Group)-2是用于多媒体环境中最核心技术的数字动画压缩编码的国际标准草案。

采用MPEG-2的数字电视接收机在输入了音频/视频等多种位流(BitStream)之后，在传送流分离器中分离出音频和视频信息，为了对这些分离出来的视频信息和音频信息进行解码，将它们分别输入到视频解码器和音频解码器中，如图1所示，通常是以有包头的基本流(packetized elementary stream以下简称PES)形态被分别输入到视频解码器和音频解码器中的。

图1中，视频解码器101在输入的PES形态视频信息中除去在头上的(Overheader)，在对单纯的视频信息进行了不定长度解码(variable lengthdecoding)之后，通过反量化(dequantization)和反离散余弦函数转换(iDCT)过程，恢复原来画面的像素值，视频处理器(VDP)102将其转换，使其符合显示映像数据包，利用所定显示装置输出到外部。

音频解码器103利用MPEG ALGORITHM或者音频编码(AC)-3运算法则(algorithm)等，将输入的音频位流(Bit Stream)恢复为原来的信号，然后将其转换成模拟形态，利用扬声器输出到外部。

另外，系统解码器104从PCR(Program Clock Reference)信息中恢复STC(System Time Clock)，并将其输入到视频解码器101和音频解码器103中，视频解码器101和音频解码器103在恢复的STC中分别同步进行视频解码和音频解码。

数字电视接收机由于使用了多路复用的数字信号，所以与基准模拟系统不同，需要能使视频和音频信号同步的A/V唇形同步(Lip-Sync：Lip-synchronization)，这种一般的唇形同步在每次进行视频、音频解码播放时，利用PTS(Presentation Time Stamp)和STC来实现。举例说明，如图2所示，(B)和(C)的情况下，以STC为基准，PTS存在与已经设定的特定范围内，这时符合A/V唇形同步(Lip-Sync)，进行正常的解码，输出A/V数据。但是，(A)或(D)的情况下，以STC为基准，PTS脱离了已经设定的特定范围，所以必须通过跳过解码或反复及等待，以符合A/V唇形同步(Lip-Sync)。这时，在(A)的情况下，由于PTS值比STC更快，为了符合包含了与STC值一致的PTS的解码单位，不对当前帧进行解码，而是跳跃移动到下一个解码单位，在(D)的情况下，正好与(A)相反，由于PTS值比STC慢，反复解码单位或等待，以符合A/V Lip-Sync。

但是，如上所述，这种以往现有的的唇形同步(Lip-Sync)方式，由于在解码时实现唇形同步，所以由于视频数据流的改变会造成时间延迟，这就会产生视频自身的同步问题，因此在以后，特别是在视频处理器的处理步骤中，唇形同步会出现错误，并由此会产生多种误差。

发明内容

本发明是为了解决上述问题而提出，其目的是要提供一种使通过视频处理器，当结束映像处理的时候，在相应视频信息中进行唇形同步处理，以减少由于视频数据流的改变和时间延迟，所造成的唇形同步错误等多种误差的数字电视接收机的视频唇形同步处理方法。

为了实现上述目的，本发明的数字电视接收机的视频唇形同步处理方法想要通过使视频处理器，当结束映像处理的时候，在相应视频信息中进行视频唇形同步处理，以减少由于视频数据流的改变，时间延迟，所造成的唇形同步错误等多种误差。

为此，本发明通过以下几个过程，实现数字电视接收机的视频唇形同步处理方法：

第1过程，在根据所定映像解码命令，输入到视频解码器的图像帧(VideoFrame)中，分离出视频播放时间信息，并将其以另外的帧进行储存；

第2过程，与上述第1过程不同，从相应图像帧中分离出视频信息，并对其进行解码，然后对分离出的视频信息进行映像处理；

第3过程，在上述第2过程的视频信息映像处理结束之后，产生所定映像处理结束通知信息；

第4过程，根据上述第3过程中产生的映像处理结束通知信息，利用上述第1过程中储存的视频播放时间信息，对上述第2过程中作了映像处理的图像帧进行唇形同步(Lip-Sync)处理。

本发明的效果：

如上所述，本发明数字电视接收机的视频唇形同步处理方法，通过视频处理器，当结束映像处理的时候，在相应视频信息中进行唇形同步处理，以达到减少由于视频数据流的改变和时间延迟，所造成的唇形同步错误等多种误差的效果。

为进一步说明本发明的上述目的、结构特点和效果，以下将结合附图对本发明进行详细的描述。

附图说明

图1是说明一般视频唇形同步处理方法的附图，

图2是对图1的视频唇形同步处理方法作进一步详细说明的附图，

图3是对采用了本发明的数字电视接收机举例说明的附图，

图4是显示本发明数字电视接收机的视频唇形同步处理方法的附图，

图5a和图5b是对本发明所使用的PTS进行更详细说明的附图。

附图中主要部分的符号说明：

301：调谐器                           302：VSB/QPSK解码器

303：传送数据流多路信号分离器         304：视频分析器

305：视频PTS信息存储器                306视频解码器

307：视频处理器                       308：视频Lip-Sync处理装置

309：STC产生装置

具体实施方式

以下参照附图，对本发明数字电视接收机的视频唇形同步处理方法的实施方式进行详细说明。

首先，参照图3，对本发明的数字电视接收机进行举例说明。

上述如图3所示，本发明的数字电视接收机由以下部件构成：

用于接收传送数据流的调谐器300；

对上述调谐器300接收的传送数据流进行VSB/QPSK解码的VSB/QPSK解码器301：

用于对经过解码的传送数据流进行多路分离的传送数据流多路信号分离器302；

从上述传送数据流多路信号分离器308中分离出的图像帧中，分离出视频信息和视频播放时间标记信息的视频分析器304；

根据FIFO(First In First Out)方式，对上述视频分析器304中分离出的视频播放时间标记信息按照相应图像帧进行储存的视频PTS信息存储器305；

对上述视频分析器304分理出的视频信息进行解码的视频解码器306；

恢复从上述传送数据流多路信号分离器中分离的节目时间参照信息(Program Clock Refererce：PCR)，产生视频播放系统时间信息的STC产生装置309；

对上述视频解码器306中解码的视频信息进行映像信号处理，并在其视频信息的映像信号处理结束之后，产生所定映像处理结束通知信息的视频处理器307；

根据上述视频处理器307产生的映像处理结束通知信息，对储存在上述视频PTS信息存储器305中的视频播放时间信息(PTS)和STC产生装置309中产生的STC信息进行比较，根据其比较结果，对在上述视频处理器307中进行映像信号处理的视频信息进行唇形同步处理的视频唇形同步处理装置308。

在具有上述构成元件的数字电视接收机中，本发明的视频唇形同步处理方法的具体实现过程如下。

首先，根据所定视频解码命令，利用调谐器300，接收传送数据流，由VSB/QPSK解码器301对上述调谐器300接收的传送数据流进行解码，然后传送数据流多路信号分离器302将图像帧分离，视频分析器304在由上述传送数据流多路信号分离器304分离的图像帧中分离出视频信息和视频播放时间信息。

然后，上述视频分析器304根据FIFO方法，按照相应图像帧(Video Frame)，将分离出的视频播放时间信息以此储存到上述视频PTS信息存储器305中，尽可能在进行储存前，利用标记(flag)信息，进行识别处理，将上述视频分析器304分离的视频播放时间信息按照相应图像帧区分开来。

上述STC产生装置309恢复上述传送数据流多路信号分离器302分离出的节目时间参照信息，并产生视频播放系统时间信息，视频处理器307对上述视频解码器306解码的视频信息进行映像信号处理，在视频信息的映像信号处理结束之后，产生所定映像处理结束通知信息。

然后，本发明的视频唇形同步处理装置308根据上述视频处理器307产生的映像处理结束通知信息，对储存在上述视频PTS信息存储器305中的视频播放时间信息与STC产生装置309产生的STC信息进行比较，根据其比较结果，对经过上述视频处理器307映像信号处理的视频信息进行唇形同步处理。

即，根据上述视频处理器307产生的映像处理结束通知信息，从在上述视频PTS信息存储器305中的视频播放时间信息中，读取经过上述视频处理器307映像处理的图像帧的相应视频播放时间信息，将读取的视频播放时间信息与上述STC产生装置309产生的视频播放系统时间信息(STC)进行比较，根据其比较结果，对经过上述视频处理器307映像处理的视频信息进行唇形同步处理。

同样，本发明数字电视接收机的视频唇形同步处理方法，通过视频处理器，当结束映像处理的时候，在相应视频信息中进行唇形同步处理，这样就能够减少由于视频数据流的改变，时间延迟，所造成的唇形同步错误等多种误差。

以下参照图4，对本发明数字电视接收机的视频唇形同步处理方法作更详细的说明。

上述如图4所示，本发明数字电视接收机的视频唇形同步处理方法通过以下步骤实现。

S400，首先，感知所定视频解码命令。

S401，判断有无视频解码命令。

S402，在输入了视频解码命令的时候，等待图像帧输入到视频解码器中。

S403，判断有无含有PTS的第i帧图像。

S404、S406，在图像帧被输入之后，从输入的图像帧中，分离出视频播放时间信息PTS的第i帧并储存为不同的帧。

即，本发明理想化的储存方式如图所示。从根据所定映像解码命令输入到视频解码器的图像帧中，在步骤S404分离视频播放时间信息PTS，在步骤S405对分离视频播放时间PTS信息进行识别处理，在步骤S405将步骤S404中分离出的视频播放时间信息区别为相应的相应图像帧，在步骤S406将步骤S405中进行了识别处理的视频播放时间信息储存为相应图像帧。

S408，然后，从上述相应图像帧中分离出视频信息，并进行解码。

S409，再将其输入到相连的所定映像处理器中。

S410，映像处理器对经过了解码的视频信息进行映像处理。

S411，在步骤S410的视频信息映像处理结束之后，产生所定映像处理结束通知信息。

S412，然后根据步骤S411中产生的映像处理结束通知信息，利用步骤S406中储存的视频播放时间信息，对步骤S412中进行了映像处理的图像帧进行唇形同步处理。

本发明的唇形同步处理方式如图所示：

S413，判断有无视频信息处理结束命令。

S414，根据步骤S413中产生的映像处理结束通知信息，从步骤S406储存的视频播放时间信息中读取经过了映像处理的图像帧相应视频播放时间信息。

S415，将步骤S414中读取的视频播放时间信息，与恢复并生成根据映像解码命令输入到上述视频解码器的节目时间参照信息STC的视频播放系统时间信息进行比较。

S416，根据步骤S415的比较结果，对步骤S412中进行了映像处理的图像帧视频作唇形同步处理。

同样，本发明的数字电视接收机的唇形同步方法想要通过视频处理器，当结束映像处理的时候，在相应视频信息中进行唇形同步处理，以减少由于视频数据流的改变，时间延迟，所造成的唇形同步错误等多种误差。

下面参照图5a和图5b，本发明中使用的PTS储存方式进行更详细的说明。

首先如图5a所示，根据视频PTS信息存储器中已经设定的识别处理运算法则(algorithm)，按照FIFO方式，将被识别为相应图像帧的视频PTS信息以相应图像帧依次(progressive)储存，例：第1图像帧的第1视频PTS信息……第i图像帧的第i视频PTS信息。图5b显示了，根据本发明可以将视频PTS信息识别为不同的图像帧，例：第1视频PTS信息的识别码PTS+(#1)……第i视频PTS信息的识别码PTS+(#i)……，其中#I为二进制Bit识别码。在这里还显示了在图像帧的相应PTS信息中，对所定识别码进行解码的过程。这种过程不局限于上面所述的实施例中，只要不偏离本发明的技术思想，还可以进行多种变更和修改。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明权利要求书的范围内。

Claims (3)

1、一种数字电视接收机的视频唇形同步处理方法，其特征在于包含以下几个步骤：

第1过程，在根据所定映像解码命令，输入到视频解码器的图像帧中，分离出视频播放时间信息，并将其以另外的帧进行储存；

第2过程，与上述第1过程不同，从相应图像帧中分离出视频信息，并对其进行解码，然后对分离出的视频信息进行映像处理；

第3过程，在上述第2过程的视频信息映像处理结束之后，产生所定映像处理结束通知信息；

第4过程，根据上述第3过程中产生的映像处理结束通知信息，利用上述第1过程中储存的视频播放时间信息，对上述第2过程中作了映像处理的图像帧进行唇形同步处理。

2、如权利要求1所述的数字电视接收机的视频唇形同步处理方法，其特征在于所述第1过程包含以下几个过程并以此为特征：

第1-1过程，从根据所定映像解码命令，输入到视频解码器内的图像帧中，分离出视频播放时间信息；

第1-2过程，对上述第1-1过程分离出来的视频播放时间信息进行识别处理，使其被区分为不同的相应图像帧；

第1-3过程，按照相应图像帧，对上述1-2过程中进行了识别处理的视频播放时间信息进行储存。

3、如权利要求1所述的数字电视接收机的视频唇形同步处理方法，其特征在于所述第4过程包含以下过程：

第4-1过程，根据上述第3过程产生的映像处理结束通知信息，从上述第1过程储存的视频播放时间信息中，读取在上述第2过程中经过了映像处理的图像帧的相应视频播放时间信息；

第4-2过程，将上述第4-1过程中读取的视频播放时间信息，与恢复并生成根据映像解码命令输入到上述视频解码器的节目时间参照信息的视频播放系统时间信息进行比较；

第4-3过程，根据上述第4-2过程中的比较结果，对上述第2过程中进行了映像处理的图像帧视频作唇形同步处理。

Images