CN1777270B - 视频信号多路复用器和多路复用方法以及图片重放器 - Google Patents

Abstract

本发明的实施例提供了一种视频信号多路复用设备，其包括：分离器，用于从接收的视频信号中分离图片信息和附加信息；控制器，用于如果图片信息与附加信息不同步，则以图片信息与附加信息同步的方式，根据图片信息的数据量来调整附加信息的数据量；以及多路复用器，用于对调整了数据量的附加信息和编码数据进行多路复用。

Description

视频信号多路复用器和多路复用方法以及图片重放器

技术领域

本发明涉及一种视频信号多路复用器、视频信号多路复用方法和图片重放设备，并且特别涉及视频信号多路复用器、视频信号多路复用方法和图片重放设备，其中每一个都对视频信号中的图片信息进行编码，以对附加信息和编码信息进行多路复用。

背景技术

近年来，将运动图像转化成数字信号以记录和传输这种数字数据的技术引起了人们的注意。因此，对诸如MPEG(运动图像专家组)等运动图像进行编码的技术也日益重要。对运动图像进行编码不仅针对显示在屏幕上的图片信息，而且针对诸如语音、声音效果和音乐等音频信息。进而，已经提出了多种多路复用技术，用于对除了图片信息之外的诸如字幕(caption或subtitle)等附加信息进行编码，并且将字幕从附加信息中提取出来以在重放运动图像时一起显示字幕和图片信息(例如参见日本未核专利公开No.2001-24983)。

现在简要讲述多路复用图片信息和附加信息的现有技术。图9示出了现有技术的视频信号多路复用器的结构例子。图9的视频信号多路复用设备200包括诸如垂直空白间隔数据分割器(Vertical BrankingInterval DATA Slicer)的分离器201、编码器202、编码数据存储器203、附加信息存储器204和多路复用器205。

分离器201接收视频信号，并且将接收的视频信号分离成图片信息和附加信息。在该例子中，图片信息是指在接收的视频信号中关于显示在屏幕上的视频图片的信息。进而，附加信息是指除了图片信息之外的其他信息，但是附加信息包括诸如字幕等信息，并且因此在被 多路复用后可以显示在屏幕上。图片信息和附加信息是以场(field)为基础进行输入的。场是组成一部分帧的单位。

分离器201分离视频信号，以将图片信息发送到编码器202并且将附加信息发送给附加信息存储器204。编码器202对从分离器201供应的图片信息进行编码。经过编码器202编码的数据被发送到编码数据存储器203并且将其存储于其中。产生每一场或帧的编码数据，并且进行记录。

多路复用器205接收存储在编码数据存储器203中的编码数据和存储在附加信息存储器204中的附加信息，以根据被称为GOP(图片组)的单位组来对它们进行多路复用。图10示出了现有技术的多路复用处理中的数据流。图10的附加信息10是存储在附加信息存储器204中的附加信息。图片信息帧数据20为存储在编码数据存储器203中的编码数据。图片信息帧数据20以帧为基础被供应给多路复用器205。多路复用器205从编码数据存储器203接收编码数据，其数据量与构成GOP的帧的数量是相对应的。进而，多路复用器205从附加信息存储器204接收附加信息10，其数据量与构成GOP的帧的数量是相对应的。接收的附加信息都包含在与GOP的头部分相对应的GOP层31中的用户数据区域311中。

多路复用器205使用从附加信息存储器204供应的附加信息来创建GOP层31，以通过从编码数据存储器203供应的编码数据来产生作为每一个GOP的流数据的GOP数据30。因此，完成了多路复用。在重放时，将编码数据解码成图片信息，以重放解码图片信息，并且从GOP层31的用户数据区域311重新得到(retrieve)附加信息，以显示作为字幕数据的结果。

视频数据以此方式被多路复用。不过，现在已经发现，只要多路复用数据是与输入视频信号同步产生，则该方法不会引发任何问题。 否则，就会产生问题。例如，当在将诸如电影等24帧/秒的视频图片转换成诸如TV图像等30帧/秒的视频图片时对数据进行解码时，同步信号具有不同的时间轴，因此图片上卷或下卷。为了防止这一问题，需要匹配同步信号的相位。此时，如果像现有技术中那样执行分离附加信息和图片信息以匹配用于图片信息相位的处理，则帧的数量改变不会反映在附加信息上，因此在多路复用时会发生延迟。进而，在校正帧之间的模拟信号的情况下，在使用重复配音(dubbed)磁带来作为输入源的情况下，或者在其他这种情况下，附加信息不能被正常记录，其中帧由于作为模拟波的地波或不顺畅的磁带传送以及时间轴的波动导致的屏幕图像抖动而容易变得不稳。

进而，通过在分离之前使用时基校正器等来校正时间轴可以实现同步。不过，在这种情况下，包括有附加信息的被校正的视频信号在不检查附加信息的情况下进行跳过或重复处理。因此，附加信息还会由于跳过处理而部分地丢失，或者由于重复处理而被复制。如果这种附加信息按原样被多路复用，则不能得到数据一致性。

在根据MPEG标准等来对数据进行编码时，需要考虑具有组成GOP的可变数量的视频图片帧的用户数据区域的容量。虽然如此，图片信息和附加信息是分开处理的，因此不可能同步。因此，现有方法遇到的另一问题是，采用组成GOP的可变数量的视频图片帧是不可能进行多路复用的。

如上所述，现有技术的问题在于，在多路复用视频信号时，图片信息很难与附加信息同步，并且采用组成GOP的可变数量的帧是不可能进行多路复用的。

发明内容

本发明的一个方面提出了一种视频信号多路复用设备，用于接收包含有图片信息和附加信息的视频信号，对视频信号中的图片信息进 行编码，然后对附加信息和编码的图片信息进行多路复用。视频信号多路复用设备包括：分离器，用于接收视频信号以分离包含在视频信号中的图片信息和附加信息；附加信息存储器，用于存储分离的附加信息；编码器，用于对分离的图片信息进行编码；控制器，用于如果图片信息与附加信息不同步，则以图片信息与附加信息同步的方式，根据图片信息的数据量来调整存储在附加信息存储器中的附加信息的数据量；以及多路复用器，用于对由编码器产生的编码数据和调整的附加信息进行多路复用。通过该结构，即使图片信息被部分地跳过或重复，控制器也可进行调整以同步图片信息和附加信息，从而可以在图片信息和附加信息之间实现同步。

本发明的另一个方面提出了一种视频信号多路复用设备，用于接收包含有图片信息和附加信息的视频信号，对视频信号中的图片信息进行编码，然后对附加信息和编码的图片信息进行多路复用。视频信号多路复用设备包括分离器，用于接收视频信号以便从视频信号中分离图片信息和附加信息；时基校正器，用于接收分离的图片信息，以校正图片信息的时间轴；编码器，用于对图片信息进行编码，该图片信息的时间轴由时基校正器进行了校正；编码数据存储器，用于存储来自编码器的编码数据；附加信息存储器，用于存储分离的附加信息；以及多路复用器，用于对存储在编码数据存储器中的编码数据和存储在附加信息存储器中的附加信息进行多路复用。通过该结构，附加信息首先被分离和提取，因此即使执行了时间轴校正，也不用担心无法提取附加信息。

本发明的另一个方面提出了一种视频信号多路复用方法，用于接收包含有图片信息和附加信息的视频信号，对视频信号中的图片信息进行编码，然后对附加信息和编码的图片信息进行多路复用。视频信号多路复用方法包括接收视频信号；从视频信号中分离图片信息和附加信息；对分离的图片信息进行编码；如果图片信息与附加信息不同步，以图片信息与附加信息同步的方式，根据图片信息的数据量来调 整附加信息的数据量；以及对通过编码产生的编码数据以及调整了数据量的附加信息进行多路复用。根据该方法，即使图片信息被部分地跳过或重复，控制器也可进行调整以同步图片信息和附加信息，从而可以在图片信息和附加信息之间实现同步。

本发明的另一个方面提出了一种视频信号多路复用方法，用于接收包含有图片信息和附加信息的视频信号，对视频信号中的图片信息进行编码，然后对附加信息和编码的图片信息进行多路复用。视频信号多路复用方法包括接收视频信号以从视频信号中分离图片信息和附加信息；接收分离的图片信息；校正图片信息的时间轴；对校正了时间轴的图片信息进行编码；以及对产生的编码数据和分离的附加信息进行多路复用。根据该方法，附加信息首先被分离和提取，因此即使执行了时间轴校正，也不用担心不能提取附加信息。

根据本发明，可以提供如下视频信号多路复用器和视频信号多路复用方法，它们能够同步图片信息和附加信息视频，即使信息帧被跳过或重复。

附图说明

下面结合附图进行的讲述将使本发明的上述和其他目的、优点和特征更加清楚，其中：

图1为框图，示出了根据本发明的视频信号多路复用器的结构；

图2为流程图，示出了根据本发明的多路复用器中的处理流程；

图3为时序图，示出了根据本发明的多路复用处理的流程；

图4为流程图，示出了根据本发明的控制器中的处理流程；

图5示出了编码数据是如何根据本发明与附加信息进行同步的；

图6示出了编码数据是如何根据本发明与附加信息进行同步的；

图7示出了根据本发明的第21扫描线的信号波形；

图8示出了根据本发明的多路复用数据的结构；

图9示出了现有技术的视频信号多路复用器的结构；以及

图10示出了在现有技术的多路复用处理期间的数据流。

具体实施方式

现在将参照说明性实施例在此讲述本发明。本领域的一般技术人员都知道，使用本发明的讲述可以实现许多可选实施例，并且本发明并不限于用于讲解目的的实施例。

下面来讲述根据本发明的视频信号多路复用。根据本发明的一个方面的视频信号多路复用设备接收包含有图片信息和附加信息的视频信号，对视频信号中的图片信息进行编码，然后对附加信息和编码的图片信息进行多路复用。

在视频信号多路复用设备中，分离器接收视频信号，以分离包含在视频信号中的图片信息和附加信息。将分离的附加信息存储在附加信息存储器中。编码器对分离的图片信息进行编码。

如果图片信息与附加信息不同步，则控制器以图片信息与附加信息同步的方式，根据图片信息的数据量来调整存储在附加信息存储器中的附加信息的数据量。多路复用器对编码器产生的编码数据和调整的附加信息进行多路复用。

根据本发明的另一方面的视频信号多路复用设备接收包含有图片信息和附加信息的视频信号，对视频信号中的图片信息进行编码，然后对附加信息和编码的图片信息进行多路复用。

在视频信号多路复用设备中，设备的分离器接收视频信号，以从视频信号中分离图片信息和附加信息。时基校正器接收分离的图片信息，以校正图片信息的时间轴。

编码器对图片信息进行编码，该图片信息的时间轴已经用时基校 正器进行了校正。将来自编码器的编码数据存储在编码数据存储器中。将分离的附加信息存储在附加信息存储器中。多路复用器对存储在编码数据存储器中的编码数据和存储在附加信息存储器中的附加信息进行多路复用。

图1为框图，示出了根据本发明实施例的特定视频信号多路复用器的结构。视频信号多路复用设备100包括分离器101、时基校正器102、编码器103、编码数据存储器104、控制器105、附加信息存储器106和多路复用器107。

分离器101为分割器，用于接收视频信号，以将接收的视频信号分离成图片信息和附加信息。分离器101为典型的垂直空白间隔(VBI)数据分割器。对于基于日本或美国广泛使用的NTSC系统的视频信号，组成一帧视频图片的525条扫描线根据隔行系统被分成两个场，并且每262.5条扫描线进行一次扫描。在262.5条扫描线中，第22条到第262条线用于视频图片的实际传输。在该例子中，这些线的信息与图片信息相对应。前面的线也就是第1到第21条扫描线的扫描周期为垂直空白周期。在这些扫描线中，第21条扫描线可以记录诸如字幕等被传输的信息。在该例子中，该信息与附加信息相对应。由于该信息被记录在第21条扫描线上，因此该例子的附加信息被称为线21数据。分离器101将分离的图片信息发送到时基校正器102，并且将附加信息发送到附加信息存储器106。

图7示出了第21条扫描线的信号波形。该信号波形由水平同步信号(Hsync)、色同步信号(Color Burst)、时钟插入(Clock Run-In)、起始位(Start Bits)、字符一数据(Character One)和字符二数据(Character Two)组成，并且可以存储两种类型的字符数据即字符一和字符二。每一个字符数据具有8位，由7位和作为校验位的1位组成。使用8位数据来作为诸如字符信息等线21数据。这里，采用了字符信息作为例子，但是多路复用数据并不限于字符信息，由预定数 量的位表示的任何数据都可以进行多路复用。

时基校正器102校正从分离器101发送的图片信息的时间轴。作为时基校正器102，可以使用现存的时基校正器或者帧同步器。将经过了时间轴校正的图片信息发送到编码器103。由时基校正器102进行的时间轴校正可以在由分离器101进行分离之前进行。不过，如果首先执行时间轴校正，则由于时间轴校正，取样基本上与时钟插入相同步的线21数据就会与信号数据的输入不同步，因此就会在错误的位置上进行取样。这就不可能提取由数据位表示的数据。结果，附加信息被破坏，并且存在分离器101不能正确分离附加信息的可能性。为了克服这一问题，根据本发明，时基校正器102对被分离器101分离的图片信息进行时间轴校正。

编码器103对图片信息进行编码，该图片信息的时间轴已经由时基校正器102进行了校正。该例子的编码方法基本上与现有方法类似。编码器103对图片信息进行编码，以将这样生成的编码数据输出到编码数据存储器104。编码器103将诸如帧的数量等有关编码数据的信息输出到控制器105。

编码数据存储器104为流缓存器，用于接收和存储由编码器103产生的编码数据。使用诸如存储器或硬盘等可读/可写存储介质来作为编码数据存储器104。将存储在编码数据存储器104中的编码数据输出到多路复用器107，然后由多路复用器107进行多路复用。

控制器105根据与从编码器103供应的编码数据有关的信息，来调整存储在附加信息存储器106中的附加信息。对附加信息的调整是针对在用多路复用器107对编码信息和附加信息进行多路复用时使它们同步。下面来详细讲述其具体的方法。

附加信息存储器106接收和存储用分离器101分离的附加信息。使用诸如存储器或硬盘等可读/可写存储介质来作为附加信息存储器106。附加信息存储器106可以将附加信息存储在与编码数据存储器104共享的存储介质中。附加信息存储器106按照输入的次序来存储接收的附加信息，并且多路复用器107按照输入的次序来读出存储的信息。相应地这也被称为FIFO(先进先出)。控制器105向/从附加信息存储器106插入(增加)或者删除数据。

多路复用器107对从附加信息存储器106供应的附加信息和从编码数据存储器104供应的编码信息进行多路复用。这里，对每一个GOP执行多路复用处理。多路复用器107核对存储在编码数据存储器104中的编码数据的帧的数量，并且当存储的编码数据等于1GOP时启动多路复用。此时，多路复用器107以包(packet)为基础来发送等于1GOP的编码数据。多路复用器将从附加信息存储器106供应的与1GOP相对应的附加信息插入到包中的用户数据区域，从而对附加信息和编码数据进行多路复用。

下面参考图2的流程图来详细讲述多路复用器107的多路复用处理。

参照图8，首先来讲述用于多路复用器107的处理的数据结构。首先，以GOP为基础来执行多路复用处理。GOP被分成若干报文(pack)。此时，分成的报文包括GOP头信息和编码信息。作为第一报文的第一视频包将数据存储在GOP头中，并且第二报文和随后的报文存储编码数据。每一报文是由一个包头和一组被称为PES(打包的基本流)包数据的多个包数据组成。PES包数据的特点在于可变的数据长度。PES包包括PES头和流数据。PES头包括PES包数据的数据长度、用于识别流数据的代码以及其他控制信息。流数据的区域存储GOP头的数据和编码数据。图8示出了数据结构。

现在参照图1和图2，首先，多路复用器107输出报文头(S101)。 报文头包含有关报文等所有信息。接下来，多路复用器107发送出第一PES包的PES头(S102)。

随后，如果产生了作为GOP的第一视频包的报文数据(S103)，则多路复用器107需要将GOP头存储在产生的报文数据中，从而输出一直到GOP头的数据(S104)。GOP头具有用户数据区域，以存储附加信息。因此，多路复用器107以GOP中存储的数据量来从附加信息存储器106接收附加信息(S105)，并且将接收的附加信息记录在用户数据区域中(S106)。

考虑到用于由编码器103进行编码的缓存器的转变，编码器103需要对数据进行编码，并且需要考虑GOP头的用户数据区域的尺寸。该缓存器在MPEG编码时是指VBV(视频缓存校验器)缓存器。应该在考虑该用户数据区域的情况下，来设定编码处理期间构成GOP的帧的数量。构成GOP的帧的数量可以根据GOP来改变，并且用户数据区域的容量被设定为与构成GOP的最大可能帧数量相对应的值，以存储所有的附加信息。如果构成GOP的帧的数量不是最大的，则为了调整数据长度，将填充(stuffing)数据插入到剩余的区域。通过这种设置，可以处理可变数量的构成GOP的帧。例如，如果在由MPEG编码器进行编码处理中执行了用于将以24帧/秒的帧速率记录的视频图片转换成帧速率为30帧/秒的视频图片的逆3-2下拉(pull down)处理，则会改变GOP中的帧的数量；这种情况可以被解决。

在创建了GOP头之后，存储构成GOP的图片信息。构成GOP的除了GOP头之外的数据是从编码数据存储器104供应的编码数据，因此在GOP第一视频包中除了GOP第一头之外的数据和除了GOP第一视频包之外的GOP数据根据PES的数据长度携带从编码数据存储器104供应的编码数据(S107)。PES的数据长度是根据存储在PES头中的数据而得知的。

以这种方式对每一个GOP将编码数据和附加信息一起多路复用，并且对构成GOP数据的每一个包数据输出多路复用数据。这适用于所有GOP。

接下来，讲述根据本发明实施例的视频信号多路复用器的处理流。图3为时序图，示出了根据本发明实施例的多路复用处理的流程。首先，分离器101接收视频信号。该时间点被定义为t0。视频数据从首帧依次进入。分离器101将接收的视频信号分离成图片信息和附加信息。按照接收帧的次序对每一个帧执行分离。在完成分离时，分离器101将分离的图片信息发送到时基校正器102并且将附加信息发送到附加信息存储器106。

图3的时序图以GOP为基础示出了接收的视频信号或编码数据。GOP#0包括与构成第一GOP的帧相对应的视频信号/编码数据。分离器101按照接收帧的次序来执行分离。因此，如图3所示，在相同的周期期间执行每一个GOP中的视频信号的输入和分离。简而言之，视频信号输入周期等于分离周期，并且用(t2-t0)来表示。

时基校正器102根据图片信息中的帧的数量的变化，对从分离器101供应的图片信息执行时间轴校正。也就是说，在增加帧的数量的情况下，执行用于重显示前一帧的视频图片的重复处理。相反，在减小帧的数量的情况下，执行用于跳过给定帧的视频图片的跳过处理。在完成图片信息的时间轴校正之后，时基校正器102将得到的图片信息发送给编码器103。该处理在从视频信号的输入到编码处理的周期之内是起作用的。

接下来，编码器103对接收的图片信息进行编码。在基于MPEG系统等对数据进行编码时，并不总是按照输入的次序来对帧执行编码处理。另外，在编码处理期间应该提取帧间差分信息，因此数据不可能在输入之后立刻被编码。结果，在视频信号的输入和编码处理的启 动之间发生了延迟。这里，该延迟时间根据接收的帧被表示为“enc-delay”。编码器一旦准备好了进行编码，就启动编码处理。该时间点为“t1”。在完成GOP#0的编码时，编码器103将编码数据供应给编码数据存储器104。该时间点为“t3”。

通常，enc-delay根据GOP结构来变化。例如，假设表示核心图片周期的M值为3，启动对第三帧的图片信息的编码。因此，编码处理应该等到输入了前两帧之后，并且“enc-delay”等于2。

在完成编码时，多路复用器107对从附加信息存储器106发送的附加信息和从编码数据存储器104发送的编码数据进行多路复用。其具体方法如上。

接下来，讲述如何使图片信息和附加信息相同步。当时基校正器102对图片信息的时间轴进行校正时，附加信息还没有经过时间轴校正。因此，如果按照原样进行多路复用，则附加信息不可能与图片信息同步。因此，控制器105调整存储在附加信息存储器106中的附加信息，以使图片信息和附加信息同步。下面详细讲述该处理。

图4为流程图，示出了根据本实施例的控制器105的处理流程。出于解释目的，构成GOP的视频帧的数量被定义为gfnum，并且存储在附加信息存储器106中的附加信息的数据量被定义为L21num。附加信息的数据量是根据接收的视频信号的帧的数量来确定的。例如，15帧的视频数据产生了15帧的附加信息。

首先，控制器105从编码器103接收值gfnum(S201)。接下来，控制器105接收作为存储在附加信息存储器106中的附加信息的数据量的值L21num(S202)。

在接收了值gfnum和L21hum之后，控制器105对值gfnum和值 L21num进行比较，以根据比较结果来执行处理。

首先，如果表达式gfnum-L21num＞α成立(S203)，则执行重复处理(S204)。在表达式中，α表示常数。这表明，作为时基校正器102进行时间轴校正的结果，接收的视频信号的原始帧速率被校正得较快。换句话说，增加了每单位时间的帧的数量。这里，为了增加帧的数量，执行用于重复显示前一帧的视频图片的重复处理。在这种情况下，也应该对附加信息执行重复处理。通过重复地将空数据插入到附加信息存储器106的尾端来执行重复处理，直到(gfnum-L21num)等于α。图5示出了用于重复处理的编码数据存储器104和附加信息存储器106的结构。在所示的例子中，gfnum为N，L21num为(N-1)，并且α为1。在第N帧上对图片信息进行重复处理，因此一个空数据被插入到附加信息存储部分的最后一帧。

接下来，如果表达式L21num-gfnum＞β+γ成立(S205)，则强制跳过处理起作用(S206)。在该表达式中，β表示常数。这表明，作为时基校正器102进行时间轴校正的结果，接收的视频信号的原始帧速率被校正成小(慢)得多的帧速率。换句话说，每单位时间的帧的数量减小了。为了减小帧的数量，建议多次重复用于删除一帧的跳过处理。此时，也应该对附加信息执行跳过处理。通过从存储在附加信息存储器106中的附加信息删除一部分数据来执行跳过处理，直到(L21num-gfnum)等于γ。如要删除，则首先删除空数据。当即使删除了所有的空数据也不能使(L21num-gfnum)等于γ时，则可以从附加信息中删除除了空数据之外的其它数据。其原因如下：在这种情况下，很可能是由于噪声等致使输入的视频数据为非标准信号，并且如果这样，则附加信息的有效性低。

最后，如果表达式L21num-gfnum＞γ成立(S207)，则执行跳过处理(S208)。在这种情况下，作为时基校正器102进行时间轴校正的结果，接收的视频信号的原始帧速率推测(supposedly)被校正成 较小(慢)的帧速率。换句话说，每单位时间的帧的数量减小了。出于这一目的，要执行用于删除多帧的跳过处理。此时，也应该对附加信息执行跳过处理。通过仅删除存储在附加信息存储器106中的附加信息中的空数据来执行跳过处理。图6示出了用于重复处理的编码数据存储器104和附加信息存储器106的结构。如果N帧的附加信息包括空数据，则删除空数据。否则，过多的附加信息被认为是用于下一个GOP的附加信息，因此不会进行跳过处理。

在NTSC电视系统的规定下，优选情况下将α、β和γ的值设定为2，但是这些值也可以由实验来确定，并且α、β和γ的值并不限于此。

如上所述，附加信息也进行了与用于图片信息的重复处理和跳过处理相对应的重复处理和跳过处理，从而图片信息和附加信息可以同步。

很明显，本发明并不限于上述实施例，并且在不偏离本发明的范围和精神的情况下可以对其进行修改和变化。例如，在上述实施例中，提供了分离器、控制器和多路复用器的全部，但是仅提供分离器和多路复用器，或者控制器和多路复用器，也可以执行类似的功能。

Claims (8)

1.一种视频信号多路复用设备，用于接收包含有图片信息和附加信息的视频信号，对视频信号中的图片信息进行编码，然后对附加信息和编码的图片信息进行多路复用，其包括：

分离器，用于接收视频信号以分离包含在视频信号中的图片信息和附加信息；

编码器，用于对分离的图片信息进行编码；

控制器，用于如果图片信息与附加信息不同步，则以图片信息与附加信息同步的方式，根据图片信息的数据量来调整附加信息的数据量；以及

多路复用器，用于对由编码器产生的编码数据和调整的附加信息进行多路复用；

其中，编码器对每预定数量的帧的图片信息进行编码，并且控制器根据帧的数量来确定图片信息的数据量；并且

其中，如果附加信息的数据量比图片信息的数据量小预定值或更小，则控制器将空数据添加到附加信息中；

如果附加信息的数据量比图片信息的数据量大并且差值大于预定值，则控制器从附加信息中删除预定量的数据，并且如果附加信息的数据量比图片信息的数据量大并且差值不大于该预定值，则控制器只删除附加信息中的空数据；其中，如果差值大于该预定值，则控制器首先删除空数据。

2.如权利要求1所述的视频信号多路复用设备，其中如果附加信息的帧的数量比图片信息的帧的数量小预定值或更小，则控制器将空数据添加到附加信息中。

3.如权利要求1所述的视频信号多路复用设备，其中如果附加信息的帧的数量比图片信息的帧的数量大并且差值大于预定值，则控制器从附加信息中删除预定量的数据，并且如果附加信息的帧的数量比图片信息的帧的数量大并且差值不大于该预定值，则控制器只删除附加信息中的空数据。

4.如权利要求3所述的视频信号多路复用设备，其中如果差值大于该预定值，则控制器首先删除空数据。

5.一种视频信号多路复用设备，用于接收包含有图片信息和附加信息的视频信号，对视频信号中的图片信息进行编码，然后对附加信息和编码的图片信息进行多路复用，它包括：

分离器，用于接收视频信号，以从视频信号中分离图片信息和附加信息；

时基校正器，用于接收分离的图片信息，以校正图片信息的时间轴；

编码器，用于对图片信息进行编码，该图片信息的时间轴由时基校正器进行了校正；

编码数据存储器，用于存储来自编码器的编码数据；

附加信息存储器，用于存储分离的附加信息；

多路复用器，用于对存储在编码数据存储器中的编码数据和存储在附加信息存储器中的附加信息进行多路复用；以及

控制器，用于如果图片信息与附加信息不同步，则以图片信息与附加信息同步的方式，根据图片信息的数据量来调整存储在附加信息存储器中的附加信息的数据量；

其中，编码器对每预定数量的帧的图片信息进行编码，并且控制器根据帧的数量来确定图片信息的数据量；并且

其中，如果附加信息的数据量比图片信息的数据量小预定值或更小，则控制器将空数据添加到附加信息中；

如果附加信息的数据量比图片信息的数据量大并且差值大于预定值，则控制器从附加信息中删除预定量的数据，并且如果附加信息的数据量比图片信息的数据量大并且差值不大于该预定值，则控制器只删除附加信息中的空数据；其中，如果差值大于该预定值，则控制器首先删除空数据；

6.一种图片重放器，其包括如权利要求1所述的视频信号多路复用设备。

7.一种视频信号多路复用方法，用于接收包含有图片信息和附加信息的视频信号，对视频信号中的图片信息进行编码，然后对附加信息和编码的图片信息进行多路复用，该方法包括：

接收视频信号；

从视频信号中分离图片信息和附加信息；

对分离的图片信息进行编码，其中，对每预定数量的帧的图片信息进行编码；

如果图片信息与附加信息不同步，则以图片信息与附加信息同步的方式，根据图片信息的数据量来调整附加信息的数据量，其中，根据帧的数量来确定图片信息的数据量；以及

对通过编码产生的编码数据和调整了数据量的附加信息进行多路复用；

其中所述调整包括：

如果附加信息的数据量比图片信息的数据量小预定值或更小，则将空数据添加到附加信息中；

如果附加信息的数据量比图片信息的数据量大并且差值大于预定值，则从附加信息中删除预定量的数据，并且如果附加信息的数据量比图片信息的数据量大并且差值不大于该预定值，则只删除附加信息中的空数据；其中，如果差值大于该预定值，则首先删除空数据。

8.一种视频信号多路复用方法，用于接收包含有图片信息和附加信息的视频信号，对视频信号中的图片信息进行编码，然后对附加信息和编码的图片信息进行多路复用，该方法包括：

接收视频信号，以从视频信号中分离图片信息和附加信息；

接收分离的图片信息；

校正图片信息的时间轴；

对校正了时间轴的图片信息进行编码，其中，对每预定数量的帧的图片信息进行编码；以及

对产生的编码数据和分离的附加信息进行多路复用；

其中，如果图片信息与附加信息不同步，则以图片信息与附加信息同步的方式，根据图片信息的数据量来调整附加信息的数据量，其中，根据帧的数量来确定图片信息的数据量；

其中所述调整包括：

如果附加信息的数据量比图片信息的数据量小预定值或更小，则将空数据添加到附加信息中；

如果附加信息的数据量比图片信息的数据量大并且差值大于预定值，则从附加信息中删除预定量的数据，并且如果附加信息的数据量比图片信息的数据量大并且差值不大于该预定值，则只删除附加信息中的空数据；其中，如果差值大于该预定值，则首先删除空数据。

Images