CN1135708C - 图像信号处理系统及方法，解码器及解码方法 - Google Patents

Abstract

本发明公开了一种图像信号处理系统，包括：解码器，用于产生作为输入编码图像信号的编码参数的代表值的编码比特数目和/或平均量化标度，解码该输入的编码图像信号，产生解码的图像信号，并且把编码参数和该产生的解码图像信号一同输出；和编码器，用于利用该编码参数编码该解码的图像信号。

Description

图像信号处理系统及方法， 解码器及解码方法

本发明涉及适合于高图像质量的应用需要的图像信号处理系统、解码器、图像信号处理方法、和解码方法。此外本发明涉及图像信号解码方法、解码设备、图像信号编码方法、编码设备、图像信号处理方法、和处理系统，用于对于已经由例如MPEG编码方法压缩编码的图像信号进行解码和对于解码的信号进行编码。

在近年，属于图像间压缩编码方法的MPEG(运动图像专家组)编码方法已经广泛地使用。利用例如MPEG编码方法的压缩编码方法，能够有效率地使用记录媒体。在对于已经由MPEG编码方法编码的图像信号进行编辑处理中，当该已经编码的图像信号被解码然后把该解码的图像重新编码时，该图像质量有时比用于一个视频信号的标准编码处理的图像质量更差。作为一个引起这种恶化的原因是，由例如象MPEG编码方法所编码的图像信号的图像类型和运动矢量的编码参数与由该MPEG编码方法重新编码的图像信号的相应参数不匹配。

随后，参照图9A、9B和9C描述编码的图像信号的图像类型与重新编码图像信号的图像类型不匹配的情况。图9A示出一个GOP(图像的组)(n＝15)的输入解码图像的图像类型的实例，其中该输入的解码图像被重新编码。当图像类型的相位被锁定如图9B所示时，作为一个用于重新编码处理的基准图像，在图9A中所示的输入解码图像的I图像照原样使用。

另一方面，当图像类型的相位不被锁定象图9C中所示的情况那样，则利用其图像质量大为恶化的属于是第三图像的B图像作为一个基准图像。结果是，重新编码处理的精确性劣变。因此该图像质量大为下降。

同样，当另外一个编码参数，例如一个编码图像信号的运动矢量不与重新编码的一个图像信号的运动矢量相匹配时，则使得预测精确性下降。因此该重新编码处理的精确性下降。

另一方面，当包括编码的图像信号的图像类型和运动矢量在内的所有的编码参数都和重新编码的图像信号的对应参数匹配时，则图像质量几乎不下降。可是随着编码参数的数目增加，则使得将要被处理的信息总量增加。结果，使得执行用于把一个编码图像信号的所有的编码参数与重新编码的图像信号的相应参数进行匹配的一个处理不是切实可行的。公知的是，当编码图像信号的图像类型和运动矢量与重新编码的图像类型和运动矢量匹配时，图像质量的恶化就能够被显著地抑制。

可是，当要求高的图像质量时，即使编码图像信号的图像类型和运动矢量是与重新编码图像信号的图像类型和运动矢量匹配，该图像质量的恶化也不能被充分地抑制。

运动矢量表示的是每一宏数据块的移动信息。因此，运动矢量的信息量是相当大的。因此，从改善重新编码处理的质量的角度来看，在不使用用于把编码图像信号的运动矢量与重新编码图像信号的运动矢量进行匹配的结构的情况下，需要一个具有的信息量比运动矢量小并且能够有效地抑制图像质量的恶化的一个编码参数。

在使用MPEG编码方法的系统，一个MPEG编码数据流被解码。产生的图像信号被转换成发送图像信号的格式，例如NTSC格式。通过数字盒式磁带录象机等，该产生的图像信号被发送并由MPEG编码方法重新编码。在另外一个编辑系统中，从记录媒体再生并解码的图像信号与一个外部的图像信号相结合。该产生的图像信号被该MPEG编码方法编码。产生的数据流被记录在一个记录媒体上。在一个由记录器进行的用于把记录在第一个记录介质上的视频信号记录到第二记录介质上的复制处理中，第一记录介质的信号被解码然后被重新编码。

在这样的例子中，当解码的图像信号被重新编码时，最好是把重新编码的数据流的图像编码的类型(一个编码器的输出信号)与编码的数据流(解码器的输入信号)的类型匹配，以便改进该重新编码并且随后解码的一个数据流的图像质量。在MPEG编码方法中，有三种图像类型，I、P和B。

在一个I图像中(帧内编码图像)，当图像信号被编码时，只有一个图像的信息被使用。因此，当一个编码的图像信号被解码时，只有该I图像的信息被使用。在一个P图像中(预测编码图像)，作为一个预测图像(用于获得与当前P图像一个差值的基准图像)，已经解码的一个I图像或另外一个P图像在时间上由当前的P图像跟随。针对每一宏数据块，在当前P图像和一个运动补偿的预测图像之间的差值被编码。另外，当前P图像被针对每一宏数据块编码而无须获得这种图像的差值。选择这两种方法的任何一个都能够获得较高的效率。在一个B图像(双向预测编码)中，作为预测图像(用于获得与当前B图像的差值的基准图像)，要使用三个类型的基准图像。这第一类型的基准图像是已经解码并且由当前B图像时间上跟随的一个I图像或一个P图像。第二类型的基准图像是已经解码并且当前B图像时间上在其之前的一个I图像或一个P图像。第三类型基准图像是第一类型基准图像和第二类型基准图像的内插图像。针对每一宏数据块，在已经被运动补偿的当前B图像三种类型基准图像的每一之间差值被编码。另外，该当前B图像被针对每一宏数据块编码而不获得这种差值。选择这些方法任何一个都获得较高的效率。

因此存在帧内编码宏数据块、正向帧间预测宏帧(利用过去的宏数据块预测一未来的宏数据块)、反向帧间预测宏数据块(利用未来的宏数据块预测的一个过去宏数据块)和内插的宏数据块(利用未来的宏数据块和过去宏数据块预测一个当前宏数据块)。在I图像中的所有宏数据块是帧内编码的宏数据块。一个P图像包括帧内编码的宏数据块和正向帧间预测的宏数据块。一个B图像包括上述四个类型的宏数据块。

通常，一个I图像或P图像的解码图像的图像质量是劣于一个B图像的解码图像的图像质量。当图像被重新编码时，如果一个B图像的解码图像被一个I图像或一个P图像取代，然后产生B图像，则产生的B图像的图像质量将下降。因此，当重新编码图像的图像编码类型是与编码的图像的图像编码类型相匹配时，在解码处理和重新编码处理过程中的图像质量的退化能够被抑制。为了抑制图像质量的退化，用在解码过程中的运动矢量、量化标度等信息(称作编码信息)，被储存。最好是在重新编码过程中使用该编码信息。

通常，一个解码图像被转换成发送图像信号的格式，例如NTSC格式，然后提供给该执行重新编码过程的一个编码器。因此，该编码器从该发送图像信号提取一个解码图像(一个原始的MPEG编码区域)并且重新编码其中一帧由两场组成的一个解码图像。发送的图像信号包括非解码的图像信息，例如消隐期和标题信息。在该发送图像信号中的解码图像的空间和时间位置是不固定的。在这种情况下，该解码图像表示来自该原始的比特数据流的解码图像。

解码图像的空间位置例如取决于一个应用格式。根据发送的图像信号是否为从DVD、IRD(集成接收机/解码器)、数字VCR等接收，在发送图像信号的垂直方向中的开始行位置和在水平方向中的开始位置随之变化。此外，根据一个格式，在720像素×480行中只有352像素×240行可以使用作为有效面积。在MPEG编码方法中，在发送图像信号的场被发送的奇/偶周期和在时间方向上的一个解码图像的顶场/底场之间关系还未作定义。

因此，提取一个图像并且重新编码时，可能会从原始的解码图像取出一个不正确的区域。当一帧是由两场形成时，可能使用不同于原始的组合的一个组合。结果是，即使相同的图像编码类型是匹配的，也不能充分地抑制图像质量的退化。此外，当图像信号被重新编码时，一个宏数据块的边界不同于原始的比特数据流的边界。因此，即使该编码信息被重新使用，也不能充分地抑制图像质量的退化。

因此，本发明的目的是提供充分地抑制图像质量的退化并且使得发送信息的总量减小的一个图像信号处理系统、一个解码器、一个图像信号处理方法、和一种解码方法。

本发明第一方面是图像信号处理系统，包括一个解码器，它包括编码参数产生部分和解码部分，该编码参数产生部分用于产生作为输入编码图像信号的编码参数的代表值的编码比特数目和/或平均量化标度，该解码部分用于解码该输入的编码图像信号并产生解码的图像信号，其中由所说编码参数产生部分产生的该编码参数被和由该解码部分产生的解码图像信号一同输出；和一个编码器，用于利用该编码参数编码该解码的图像信号。

本发明第二方面是图像信号处理系统，包括一个解码器，它包括解码部分和输出部分，该解码部分用于解码一个输入的编码图像信号并产生一个解码的图像信号，该输出装置用于把输入编码的图像信号的编码参数叠加到对应于一个信号格式的一个无效期间的信号部分，以便发送由所说的解码部分产生的解码的图像信号，并且把编码参数和解码图像信号一同输出；和一个编码器，用于利用该编码参数编码该解码的图像信号。

本发明第三方面是解码器，包括一个编码参数产生装置，用于产生为输入编码图像信号的编码参数的代表值的编码比特数目和/或平均量化标度，和解码装置，用于解码该输入的编码图像信号并产生解码的图像信号，其中由该编码参数产生装置产生的该编码参数被和由该解码装置产生的解码图像信号一同输出。

本发明的第四方面是一个解码器，包括一个解码装置，用于解码一个输入的编码图像信号并产生一个解码的图像信号，一个输出装置，用于把该输入编码的图像信号的编码参数叠加到对应于一个信号格式的一个无效期间的信号部分，以便发送由这种解码装置产生的解码的图像信号，并且把编码参数和该产生的解码图像信号一同输出。

本发明第五方面是图像信号处理方法，包括步骤：产生作为输入编码图像信号的编码参数的代表值的编码比特数目和/或平均量化标度，解码该输入的编码图像信号，并产生解码的图像信号，把编码参数和该产生的解码图像信号一同输出，并且用于利用该编码参数编码该解码的图像信号。

本发明第六方面是图像信号处理方法，包括步骤：解码一个输入的编码图像信号并产生一个解码的图像信号，把输入的编码图像信号的编码参数叠加到对应于一个信号格式的一个无效期间的信号部分，以便发送产生的解码的图像信号，并且把编码参数和该产生的解码图像信号一同输出，以及利用该编码参数编码该解码的图像信号。

本发明第七方面是解码方法，包括步骤：产生作为输入编码图像信号的编码参数的代表值的编码比特数目和/或平均量化标度，解码该输入的编码图像信号并产生解码的图像信号，并且把该编码参数和该解码的图像信号一同输出。

本发明的第八方面是一个解码方法，包括步骤：解码一个输入的编码图像信号并产生一个解码的图像信号，把该输入的编码图像信号的编码参数叠加到对应于一个信号格式的一个无效期间的信号部分，以便发送产生的解码的图像信号，并且把编码参数和该解码图像信号一同输出。

本发明第九方面是用于解码已经由图像间预测编码处理编码的数据的一个图像信号解码方法，包括步骤：解码已经通过图像间预测编码处理编码的数据，把该解码图像信号转换成一个发送的图像信号，并把控制信息和该发送图像信号一起输出，其中该控制信息包括解码图像的显示起始场的指示符和解码图像的显示开始行，并且其中该控制信息被与发送的图像信号叠加或输出到不同于用于该发送图像信号的信号行的一个信号行。

本发明第十方面是一个图像信号编码方法，用于对已经由图像间预测编码方法编码的数据的一个解码图像进行编码，包括步骤：接收由发送图像信号、指示符和数据组成的控制信息，该发送图像信号包括一个解码的图像，该指示符表示该解码图像的一个显示起始场，该数据表示该解码图像的显示开始行，利用该控制信息形成该发送图像信号的一个编码目标区域，并执行用于该编码目标区域的图像间预测编码处理。

本发明第十一方面是一个图像信号处理方法，用于对已经由图像间预测编码方法编码的数据进行解码并且编码该解码的数据，包括步骤：解码已经通过图像间预测编码处理编码的数据，把该解码图像信号转换成一个发送的图像信号，并把控制信号和该发送图像信号一起输出，其中该控制信息包括表示解码图像的显示起始场的指示符和表示解码图像的显示开始行的数据，接收由发送图像信号和控制信息，利用该控制信息形成该发送图像信号的一个编码目标区域，并执行用于该编码目标区域的图像间预测编码处理。

本发明第十二方面是用于对已经由图像间预测编码方法编码的数据进行解码的解码装置，包括：一个解码器，用于解码已经通过图像间预测编码处理编码的数据；装置，用于把该解码图像信号转换成一个发送的图像信号，并把控制信号和该发送图像信号一起输出；其中该控制信息是由表示解码图像的显示起始场的指示符和表示解码图像的显示开始行的数据构成。

本发明第十三方面是图像信号的编码方法，用于对已经由图像间预测编码方法编码的数据的解码图像进行编码，包括步骤：接收包括发送图像信号、指示符和数据的控制信息，该发送图像信号包括一个解码的图像，该指示符表示该解码图像的一个显示起始场，该数据表示该解码图像的显示开始行，形成用于该发送图像信号的一个编码目标区域，并执行用于该编码目标区域的图像间预测编码处理。

本发明的第十四方面是一个图像信号处理系统，用于解码已经由图像间预测编码处理编码的数据并对于该解码的数据进行编码，包括：一个解码器，用于解码已经通过图像间预测编码处理编码的数据；一个用于把该解码图像信号转换成一个发送的图像信号，并把控制信息和该发送图像信号一起输出的装置；其中该控制信息包括表示解码图像的显示起始场的指示符和表示解码图像的显示开始行的数据；一个利用该控制信息形成该发送图像信号的一个编码目标区域的装置，并执行用于该编码目标区域的图像间预测编码处理。

根据本发明，使用在第一图像编码过程中的编码参数被提供给一个执行重新编码处理的编码器。因此，能够借助使用在该第一图像间压缩编码过程中相同的编码参数来执行重新编码处理。

具体地说，当使用在第一编码处理中的编码比特数目、平均量化标度等被提供给该执行重新编码处理的编码器时，在该第一编码处理过程中的编码比特的数目能够与该重新编码处理过程中的编码比特数目相匹配。

此外，根据本发明，当一个解码图像被转换成一个发送图像信号并且该发送图像信号被重新编码时，该解码图像的时间信息和空间信息被作为控制信息提供到该重新编码器。因此，重新编码器能够利用与原始的比特数据流相同的时间和空间关系重新编码该解码的图像。结果，能够有效地抑制在该解码过程和该重新编码过程中的图像质量的退化。

本发明的这些和其它目的、特征和优点随着在结合附图的最佳实施例模式的详细的描述中变得更显见。

图1是用于说明本发明一个实施例的框图；

图2是用于说明本发明另外一个实施例的框图；

图3是用于说明本发明又一个实施例的框图；

图4是用于说明根据本发明的重新编码过程的一个流程图；

图5是用于说明根据本发明的重新编码过程的一个速率控制过程的流程图；

图6是用于说明根据本发明图像信号处理系统的框图；

图7是用于说明本发明的效果实例的表格；

图8是用于说明本发明的另外一个效果实例的表格；

图9A、9B和9C是用于说明在第一编码过程中的图像类型与重新编码过程中的图像类型不匹配的情况中出现的问题的示意图；

图10A和10B是表示本发明的另外一个实施例的结构以及改进的框图；

图11是根据本发明的另外一个实施例的MPEG解码器的结构的一个实例的框图；

图12是根据本发明的另外一个实施例的MPEG解码器的结构的一个实例的框图；

图13A、13B、13C和13D是表示一个解码器和一个编码器的输入和输出信号的例子的定时图；

图14A、14B、14C和14D是表示一个解码器和一个编码器的输入和输出信号的其他例子的定时图；

图15是说明MPEG编码方法的数据结构的一个示意图；

图16是表示一个帧的格式的示意图；

图17是表示在MPEG解码图像和发送图像格式之间空间关系的一个示意图；

图18是用于说明一个2:3图像的下拉(pull-down)的一个定时图；

图19是表示在MPEG解码图像和发送图像格式之间的一个时间关系的实例的示意图；

图20是表示在MPEG解码图像和发送图像格式之间的时间关系的另外一个实施例的示意图；

图21是表示在MPEG解码图像和发送图像格式之间的时间关系的又一个实施例的示意图。

接下来参照附图描述本发明的实施例。

首先描述本发明的基本概念。抗图像质量退化的各种编码参数的影响的实验结果表明，在第一编码过程中的编码比特数目和在重新编码过程中的编码比特数目之间的差值是引起图像质量下降的一个因素。作为一个这种差值的原因，在第一编码过程中的速率控制不同于在重新编码过程中的速率控制。

例如，在正向馈送速率控制过程中，该速率控制是对应于一个图像的复杂性执行的。在这种情况下，对已经由MPEG编码方法编码的图像解码，一个B图像的信息量小于在该第一编码过程中的一个I图像或一个P图像的信息量。因此，确定一个B图像的编码难度(表示压缩的容易程度的一个参数)是低的。当在该第一编码过程中的图像信号的图像类型匹配于在该重新编码过程中的图像信号的图像类型时，该B图像的比特数目被减少。因此该图像质量下降。

结果，如稍后描述，当在该第一编码过程中的图像信号的图像类型匹配于在该重新编码过程中的图像信号的图像类型时，该图像质量的退化能够被抑制。而且研究显示，这种用于匹配第一编码过程中的编码比特数目与在重新编码过程中的编码比特数目的方法在图像类型是匹配的并且运动矢量是不匹配的情况中是有效的。

为了匹配在第一编码过程中的编码比特数目与在重新编码过程中的编码数目，有两种方法。在第一种方法中，编码比特数目被提供给执行该重新编码过程的一个编码器。在第二种方法中，量化标度被提供给该编码器。当然，可以把编码比特数目和量化标度两者都提供给该编码器。由于量化标度的信息量是相当大，所以在本发明中从处理过程的有效和简单的角度出发，使用的是一个平均量化标度而不是该量化标度。

在上述的描述中，有下列的编码参数的组合，这些编码参数可用于抑制在重新编码过程中的图像质量的退化。这些编码参数可被用于每一图像或每一图像片(slice)的编码过程和解码过程。

(1)图像类型，运动矢量，编码比特的数目，及平均量化标度

(2)图像类型，运动矢量，及编码比特的数目

(3)图像类型，运动矢量，及平均量化标度

(4)图像类型，编码比特的数目，及平均量化标度

(5)图像类型和编码比特的数目

(6)图像类型和平均量化标度

编码比特的数目是用于每一图像或图像的每一片的编码比特的总数。编码比特数目可以用字节表示。另外，编码比特的数目可以用128字节(1K比特)的数据块舍入。

平均量化标度是用于每一图像或图像的每一片的具有DCT系数含义的MB(宏数据块)的平均MB的一个量化标度的平均值。具有DCT系数的MB排除已经在MPEG标准中定义的被跳过的MB和不编码的MB。

当一个编码图像信号只由I图像构成时，由于没有运动矢量，所以不需要把图像类型输入到编码器。

随后，参照图1描述作为本发明一个实施例的实现组合(1)的一个结构。一个MPEG解码器10接收比特数据流作为已经由MPEG编码方法编码的图像信号。该MPEG解码器10解码该比特数据流并把解码的图像信号提供到多路复用器11。此外，该MPEG解码器10把使用在第一编码处理中的一个图像的图像类型、运动矢量、编码比特数目以及一个平均量化标度提供到多路复用器11和终端16a。

多路复用器11把这些编码参数与一个解码图像信号多路复用。实际上，这些编码参数是放置在由例如525行×60场制式定义的解码图像信号的标题信息中，或放置在一个空白区域，例如解码图像信号的一个空白区域。当编码参数被放置于空白区域中时，一个VB-ID格式的用户确定的区域能被使用。

多路复用器11的一个输出信号被提供到包括例如一个磁带的记录介质12的一个记录/再生系统。多路复用器11的输出信号被记录在磁带上。在再生侧，从记录介质12再生的信号被提供到一个多路分解器13。多路分解器13把从记录介质12再生的信号分解出编码参数。该多路分解器13提供编码参数到一个终端16b。此外，多路分解器13把从记录介质12再生的信号来的分路的图像信号提供到一个MPEG编码器14。当一个开关15被放置在终端16b上时，从多路分解器13接收的该编码参数被提供到MPEG编码器14，执行一个重新编码处理。因此，由于在一个解码处理(在产生比特数据流的第一编码处理过程)中使用编码参数，可以执行一个重新编码处理。

在图1所示的结构中，使用在编码过程(在产生比特数据流的第一编码处理过程)中的编码参数被直接地提供到MPEG编码器14。利用该编码参数，该MPEG编码器14可以执行重新编码过程。在这种情况下，开关15是放置在终端16a侧。在图1中，编码参数是从MPEG解码器10输出的。另外，从一个比特数据流提取编码参数并输出该提取的编码参数的一个装置可以独立于MPEG解码器20放置。

随后参照图2描述本发明的另外一个实施例。在图2所示的实施例中，实现组合(2)。比特数据流作为已经由MPEG编码方法编码的图像信号被提供到一个MPEG解码器20、一个运动矢量和图像类型提取电路22和一个编码比特数目计数器23。该MPEG解码器20解码该接收的比特数据流并且产生一个解码的图像信号。该解码的图像信号被提供到MPEG编码器21。

运动矢量和图像类型提取电路22从该比特数据流提取一个运动矢量和一个图像类型，并且把该提取的运动矢量和图像类型提供到该MPEG编码器21。同样地，编码比特数目计数器23利用该比特数据流计算编码比特数目并且提供编码比特数目到MPEG编码器21。MPEG编码器21利用接收的运动矢量、图像类型和编码比特数目来重新编码从MPEG解码器20接收的一个解码的图像信号。

随后参照图3描述本发明的再一个实施例。在图3示的实施例中，实现组合(1)，比特数据流作为已经由MPEG编码方法编码的图像信号被提供到一个MPEG解码器30、一个平均量化标度提取电路32、一个运动矢量和图像类型提取电路33和一个编码比特数目计数器34。该MPEG解码器30解码该接收的比特数据流并且产生一个解码的图像信号。该解码的图像信号被提供到MPEG编码器31。

该平均量化标度提取电路32从该比特数据流提取一个量化标度，计算一个用于每一图像的平均量化标度，并且把该平均量化标度提供到MPEG编码器31。另一方面，运动矢量和图像类型提取电路33从该比特数据流提取一个运动矢量和一个图像类型，并且把该提取的运动矢量和图像类型提供到该MPEG编码器31。

同样地，编码比特数目计数器34利用该比特数据流计算编码比特数目并且提供编码比特的数目到MPEG编码器31。MPEG编码器31利用提供的平均量化标度、运动矢量、图像类型和编码比特数目来重新编码从MPEG解码器30接收的一个解码的图像信号。

在图2和3中，从比特数据流提取编码参数的电路是从MPEG解码器20分离的。然而，由于编码参数是在一个解码过程中针对比特数据流获得的，所以该MPEG解码器20可以输出编码参数。当任何编码参数的比特数目是大数目并且其不利地影响数据传输时，则可能以不使图像质量下降的这种方式量化。因此，被发送的编码参数的信息总量可以被减少。

在上述实施例中，实现组合(1)和(2)。然而，当MPEG解码器10输出对应于组合(3)到(6)的编码参数时、并且该MPEG编码器14利用该参数编码图像信号时，能够实现该组合(3)到(6)。具体地说，当实现组合(4)到(6)时，由于运动矢量的发送能够被省略，所以能够降低编码参数的信息总量。

随后，将参照图4的流程图描述本发明的重新编码处理过程的实施例。在本实施例中，将描述在组合(2)中的重新编码处理。然而，在其它组合中，该重新编码处理能够以不同的编码参数类型执行。

在步骤S1，利用比特数据流计算出编码比特数目。在步骤S2，从比特数据流取出一个运动矢量和一个图像类型参数。在步骤S3，指定比特的数目被设置作为编码比特数目。此外，利用该提取的运动矢量和图像类型编码该比特数据流。在步骤S4确定是否所有的帧已经被编码。当所有的帧已经被编码时，该重新编码处理结束。当所有的帧还没有被全部编码时，流程返回到步骤S1。在步骤S1，重新编码另外一个帧。

随后，参照图5所示的流程图描述利用提供到执行重新编码处理的一个编码器的编码参数的一个正向馈送速率控制处理。在本实例中将描述在组合(1)中的重新编码处理。然而，在其它组合中，能够利用不同类型的编码参数执行该重新编码处理。

在该编码处理开始之后，在步骤S101，表示图像的次序的变量pict_i被设置为“1”。因此，针对该第一图像执行编码处理。在步骤S102，针对第pict_i图像的指定的比特数目被设置为编码比特的原始编号。在步骤S103，表示在当前图像中的宏数据块的次序的变量mb_i被设置为“1”。因此开始针对该第一宏数据块的编码处理。在步骤S104，利用对应于下列公式(1)的平均量化标度计算出一个学习(learning)编码参数的初始值。该学习编码参数被用于计算一个量化标度(在步骤S106)。

KQ[1]＝MQT×KR×XA×weight_mb[1]…(1)

其中KQ[1]是该学习编码参数的初始值；MQT是平均量化标度；XA和KR是对应于下列公式(2)和(4)计算出的。 $\mathrm{XA}=\frac{t\arg \mathrm{et}\_\mathrm{bit}}{\stackrel{\mathrm{NMB}}{\mathrm{\Σ}}X-\mathrm{mb}[\mathrm{mb}-i]}...\left(2\right)$ 其中targer_bit是每一图像的指定比特的数目。在步骤S102，target_bit被设置为编码比特数目。第mb_i图像的编码难度参数x_mb[mb_i]由下列公式(3)计算。

x_mb[mb_i]＝fbit[mb_il×weight_mb[mb_i]…(3)其中fbit[mb_i]是当一个MB被利用一个固定量化标度编码时产生的比特数目的一个预测值。fbit[mb_i]是利用针对I图像平均值的离散的余项和针对P和B图像的图像之间预测余项计算出的。weight-mb[mb_i]是表示一个图像的退化显著性的参数。例如weight-mb[mb_i]取决于均匀性、亮度、红色度等等。NMB表示在当前帧中的宏数据块的总数。 $\mathrm{KR}=\frac{2\×\mathrm{bit}\_\mathrm{rate}}{\mathrm{frame}\_\mathrm{rate}\×31}...\left(4\right)$ 其中frame_rate是每秒帧数。在步骤S105，对应于下列公式(5)计算出针对第mb_i宏数据块的指定比特数目。

target_bit_mb[mb_i]＝XA×x_mb[mb_i]    …(5)其中target_bit_mb[mb_i]是第mb_i宏数据块的指定比特数目。编码难度x-mb[mb_i]是对应于上述公式(3)计算出的。

随后在步骤S106，对应于公式(6)计算出第mb_i个宏数据块的量化标度。 $\mathrm{mQ}[\mathrm{mb}\_i]=\frac{\mathrm{KQ}[\mathrm{mb}\_i]}{\mathrm{KR}\×\mathrm{XA}\×\mathrm{weight}\_\mathrm{mb}[\mathrm{mb}\_i]}...\left(6\right)$ 其中mQ[mb_i]是第mb_i宏数据块的量化标度。第mb_i学习编码参数KQ[mb_i]是最初在步骤S104设置然后在步骤S108更新的。

在步骤S107，第mb_i宏数据块被量化和被编码。在步骤S108，对应于公式(7)更新该学习编码参数。

KQ[mb_i+1]＝KQ[1]+frame_bit_generated[mb_i]-sum_target_bit_mb[mb_i]                     …(7)其中frame_bit_generated[mb_i]是直到当前图像的第mb_i宏数据块的比特总数；而sum_target_bit_mb[mb_i]是直到第mb_i宏数据块的指定的比特的总数。

随后在步骤S109把“1”相加到mb_i。因此更新该宏数据块的数目。在步骤S110，确定是否mb_i是大于每一图像的宏数据块的总数NMB。当mb_i比NMB要大时，则确定针对当前图像的处理已经结束。随后流程前进到步骤S111。另一方面，当mb_i是小于或相等于NBM，该流程前进到步骤S105。在步骤S105，随后宏数据块(即，被增加“1”的mb_i)被处理。

在步骤S111，“1”被相加到表示该图像号的pict_i。随后流程前进到步骤S112。在步骤S112，确定pict_i是否大于例如每一GOP的图像总数NPICT。当pict_i小于或等于NPICT时，流程前进到步骤S102。在步骤S102，该随后图像(即pict_i被增加“1”)被处理的。另一方面，当pict_i大于NPICT时，则确定当前GOP已经被处理，因此该编码处理结束。

在上述的速率控制处理中，表示针对该第mb_i宏数据块的处理的精确性的第mb_i量化标度在步骤S106被计算出来。为此，使用学习编码参数值(见公式(6))。学习编码参数在步骤S108更新(见公式(7))。在步骤S104利用平均量化标度计算出初始值(见公式(1))。

该平均量化标度值是以上述结构方式变换的。该平均量化标度值被使用在第一编码处理中。因此，利用该使用在第一编码处理中的平均量化标度值，正确地执行速率控制处理。结果是，在该第一编码处理中的编码比特的数目与在重新编码处理中的编码比特的数目相匹配。

在上述的实例中，描述了在该第一编码处理中的编码比特数目与重新编码处理中的比特编码数目相匹配的情况。随后将描述在该重新编码处理中的该编码比特数目是变化的情况中的速率控制处理。除了步骤S102和S104外，该处理的流程是与图5所示的处理相同的。

当原始的编码比特数据流的比特率由R1表示而已经重新编码的比特数据流的比特率由R2表示时，在图5所示的流程图中的步骤S102，一个图像的指定比特数目被对应于下列公式(8)设置：

target_bit＝picure_bit_size×R2/R1…(8)其中picture_bit_size是原始的编码比特数据流的一个图像的编码比特数目；而target_bit是一个重新编码图像的指定比特数目。

此外，学习编码参数的初始值是在图5所示的流程图的步骤S104设置的。换句话说，公式(1)的KQ[1]的计算是由下列公式(9)取代。

MQT×picture_bit_size＝XMQT×target_bit

KQ[1]＝XMQT×KR×XA×weight-mb[1]…(9)其中MQT是原始的编码比特数据流的一个平均量化标度。

在MPEG编码方法中，随着图像类型的不同有四个宏数据块的类型，即帧内编码宏数据块、正向帧间预测宏数据块(其中利用一个过去的宏数据块预测未来的宏数据块)、反向帧间预测宏数据块(其中利用一个未来的宏数据块预测过去的宏数据块)和一个内插的宏数据块(其中既利用过去宏数据块也利用未来的宏数据块预测一个宏数据块)。

在一个I图像中所有的宏数据块都是帧内编码的宏数据块。一个P图像既包括帧内编码宏数据块又包括正向帧间预测宏数据块。一个B图像包括所有这四个类型的宏数据块。

实际上，本发明能够被用于一个图像信号记录/再生设备，该记录/再生设备把一个输入模拟图像信号转换成数字图像信号，压缩该数字图像信号(或压缩输入数字图像信号)，把压缩信号记录在作为记录介质的一个光盘上，解压缩记录在该光盘上的被压缩的数字图像信号，并且再生该解压缩的数字图像信号。

随后，描述该记录系统的结构和操作。在图6中，数字图像信号直接地被提供到输入端61。模拟图像信号被提供到输入端62。该模拟图像信号是摄影图像信号、通过天线接收的广播图像信号等。该模拟图像信号被提供到一个A/D转换部分63。该A/D转换部分63把该模拟图像信号转换成一个数字图像信号。从输入端61接收的数字图像信号和从A/D转换部分63接收的数字图像信号通过一个图像信号控制部分64提供到一个MPEG编码器65。

响应从用户已经输入了特定的数据的一个记录控制输入部分74接受的信息，在一个系统控制器75的控制之下，该图像信号控制部分64选择从A/D转换部分63接收的数字图像信号和从输入端61接收数字图像信号之一。图像信号控制部分64把选择的信号提供到该MPEG编码器65。该MPEG编码器65压缩编码从图像信号控制部分64接收的图像信号。

由MPEG编码器65压缩的数字图像信号被存储到一个集成的缓冲存储器66的记录缓冲存储器部分66a。存储器控制部分67指定记录缓冲存储器部分66a的一个地址用一被压缩的数字图像信号。

通过一个数据处理部分68和一个记录/再生选择开关69，存储在该记录缓冲存储器部分66a中的数字图像信号被提供到一个光盘驱动器。该数据处理部分68包括一个记录信号处理部分68a和一个再生信号处理部分68b。该记录信号处理部分68a执行一个误差校正码编码处理、一个数字调制处理等等。该再生信号处理部分68b执行一个误差校正处理、数字解调处理等等。该光盘驱动器具有一个光头70和主轴马达72。该光头70把激光辐射到一个光盘71并且把信号记录在该光盘上。此外，光头70把再生激光辐射到该光盘71并且从其中再生一个信号。主轴马达72旋转并驱动该光盘71。该光头70和该主轴马达72由一个光盘/光头控制部分73控制。该光头70把记录信号处理部分68的一个输出信号记录到该光盘71上。该光盘71是一个可重写的光盘，例如一个MO(磁-光)盘或一个相位改变型光盘。

在光盘/光头控制部分73的控制之下，该系统控制器75控制光盘驱动。此外，系统控制器75控制光盘驱动器的状态并把光盘驱动的状态信息提供到存储器控制部分67，以便控制从集成的缓冲存储器66接收的数据。

随后描述该再生系统。该再生系统具有一个MPEG解码器77、图像信号控制部分64、和D/A转换部分79。MPEG解码器77解码通过总线从集成的缓冲存储器66的再生缓冲存储器部分66b接收的一个再生信号。该图像信号控制部分64选择一个从MPEG解码器77接收的解调图像信号。该D/A转换部分79把由图像信号控制部分64选择的图像信号转换成一个模拟图像信号。

在该再生模式中，光盘/光头控制部分73控制该光盘驱动器的伺服操作、磁头操作等等。光盘/光头控制部分73通过再生信号处理部分68b和总线把再生信号提供到再生缓冲存储器部分66b。该再生缓冲存储器部分66b把该再生图像信号提供到该MPEG解码器77，以使该再生信号的写入操作和该再生信号的读取操作被均衡。该MPEG解码器77执行用于该再生信号的MPEG解码处理并把该解码的图像信号提供到图像信号控制部分64。

响应从用户已经输入了特定的数据的一个再生控制输入部分76接收的信息，在一个系统控制器75的控制之下，该图像信号控制部分64受控。该图像信号控制部分64执行用于从MPEG解码器77接收的解码的图像信号的一个切换处理并把解码的图像信号输出到D/A转换部分79或输出端78。该D/A转换部分79把由图像信号控制部分64选择的数字图像信号转换成模拟信号并把该模拟图像信号提供到一个输出端80。

图像信号控制部分64包括选择开关SW1和选择开关SW2。选择开关SW1具有输入端a、b、c，和一个输出端d。从输入端61接收的数字图像信号被提供到选择开关SW1的输入端a。从A/D转换部分63接收的数字图像信号被提供到选择开关SW1的输入端b。从MPEG解码器77接收的解码图像信号被提供到选择开关SW1的输入端c。由选择开关SW1选择的图像信号从选择开关SW1的输出端d提供到MPEG编码器65。另一方面，选择开关SW2具有输入端e和f以及一个输出端g。从输入端61接收的数字图像信号被提供到选择开关SW2的输入端e。从MPEG解码器77接收的解码图像信号被提供到选择开关SW2的输入端f。由选择开关SW2选择的图像信号从选择开关SW2的输出端g提供到输出端78以及D/A转换部分79。

系统控制器75控制图像信号控制部分64的开关SW1和SW2。实际上，当通过记录控制信号输入部分74被提供到系统控制器75的用户命令表示从输入端61接收了一个外部的数字图像信号时，开关SW1的输入端a被连接到输出端d。当通过记录控制信号输入部分74被提供到系统控制器75的用户命令表示从输入端62接收了一个图像信号时，开关SW1的输入端b被连接到输出端d。

当用户命令表示一个用于把特定的图像输入数据和来自光盘71的再生的图像数据进行组合，并且把该组合的图像数据记录到光盘71时，该系统控制器75控制用于把输出端d连接到输入端c的定时。换句话说，MPEG解码器77的一个输出信号被直接地提供到MPEG编码器65。该MPEG编码器65重新-编码该解码的信号。

图像信号记录/再生设备由集成的缓冲存储器66和系统控制器75所控制。该集成的缓冲存储器66可变地指定记录存储区和再生存储区。响应记录模式或再生模式，系统控制器75指定集成的缓冲存储器66的存储区。换句话说，记录缓冲存储器部分66a和再生缓冲存储器部分66b的存储区在系统控制器75通过存储器控制部分67的控制之下变化。例如，在记录模式中，所有的集成缓冲存储器66都被用于该记录缓冲存储器部分66a。相比之下，在再生模式中，所有的集成缓冲存储器66都被用于再生缓冲存储器部分66b。在同时记录/再生模式中，集成缓冲存储器66可以由记录缓冲存储器部分66a和再生缓冲存储器部分66b平等地共享。

另外，根据本发明的重新编码处理可以只在编辑点附近执行。对于其它部分，比特数据流可以被转换。

随后，相比较于一个传统的重新编码处理描述根据本发明该重新编码处理的效果。为了确定图像质量的退化，对应于CCIR(国际无线电咨询委员会)标准，比较在用于五个标准序列(公共汽车(bus)、自行车(bicycle)、移动的&日历(mobile&calender)、花园(flower garden)和啦啦队长(cheerleader))的重新编码处理中的SNR(信噪比)值。对应于下列公式(10)，针对由八比特/像素组成的图像信号计算出该SNR值。 $\mathrm{SNR}=20\log \frac{255}{\mathrm{MeanError}}\left[\mathrm{dB}\right]...\left(10\right)$ 其中，pixel_num是每一图像的像素数目；MeanError是每一像素的误差数目的平均值。对应于公式(11)计算出MeanError。 $\mathrm{MeanError}=\sqrt{\frac{\mathrm{SumError}}{\mathrm{pixel}\_\mathrm{num}}}...\left(11\right)$ 其中SumError是所有的像素误差的总数。SumError是对应于公式(12)计算出的。 $\mathrm{SumError}=\underset{i=0}{\overset{\mathrm{pixel}\_\mathrm{num}-1}{\mathrm{\Σ}}}|\mathrm{Orgi}-\mathrm{Curi}|...\left(12\right)$ 其中Orgi是原始的图像的第i像素的值；Curi是编码的图像的第i像素的值。

图7的表格示出在普通的重新编码处理中的SRN值和在根据本发明的重新编码处理中的SRN值之间的关系，普通的重新编码处理中的图像类型和运动矢量与在第一编码处理中的相匹配，本发明的重新编码处理中的图像类型、运动矢量和编码比特数目与第一编码处理中的图像类型、运动矢量和编码比特数目相匹配。在所有的五个序列中，在根据本发明的重新编码处理中的SNR值高于在普通的重新编码处理中的SNR值。因此十分清楚的是，本发明对于抑制图像质量的退化是有效的。

图8的表格示出在普通的重新编码处理中的SRN值和在根据本发明的重新编码处理中的SRN值之间的关系，普通的重新编码处理中只有图像类型与在第一编码处理中的图像类型相匹配，本发明的重新编码处理中的图像类型和编码比特数目与第一编码处理中的图像类型和编码比特数目相匹配。在所有的五个序列中，在根据本发明的重新编码处理中的SNR值高于在普通的重新编码处理中的SNR值。因此十分清楚的是，本发明对于抑制图像质量的退化是有效的。

随后参照该附图描述本发明的另外一个实施例。在图10A中，参考数字101是一个MPEG解码器。参考数字102是一个多路复用器。参考数字103是包括记录介质的一个记录/再生设备(另外，在下列的描述中把通信路径简单地称作记录介质)。参考数字104是一个多路分解器。参考数字105是一个执行重新编码处理的MPEG编码器。比特数据流被提供到MPEG解码器101。该MPEG解码器101对该比特数据流解码并且输出一个解码的图像信号(数字信号)。该MPEG解码器101从该视频比特数据流提取编码特征点信息Ip并且把该编码特征点信息Ip提供到多路复用器102。多路复用器102还接收控制信息Ic。多路复用器102把该解码的图像信号转换成一个发送的图像信号(例如一个NTSC格式的发送图像信号)，并且把控制信息Ic、编码特征点信息Ip和解码的图像信号多路复用。

记录/再生设备3是例如一个525/60(或625/50)组件系统的数字VCR或光盘记录器。本发明还能够被用到利用无线电(广播)路径或电缆传输路径的结构。

发送的图像信号被记录在记录介质103上并且从其中再生。如上所述，编码特征点信息Ip和控制信息Ic被与该发送图像信号多路复用。该信息Ip和Ic被叠加在一个非像素区域中，例如一个行消隐期或一个场消隐期。因此，当发送图像信号被提供到记录介质103、记录系统和再生系统时，信息Ip和Ic照原样存储。另外，信息Ip和Ic能够被放置在一个有效的图像信号的LSB中。

响应该控制信号Ic，多路分解器104从发送图像信号提取一个编码目标区域。此外，响应该控制信号Ic，该多路分解器104从该发送图像信号提取编码特征点信息Ip。利用该提取的编码特征点信息Ip，MPEG编码器105执行一个重新编码处理。该MPEG编码器105利用一个指示符，即该控制信息Ic的时间信息，形成一个帧结构。另外，多路分解器104可以形成一个帧结构。该MPEG编码器105输出该重新编码视频信号的一个视频比特数据流。

该编码特征点信息Ip包括图像编码类型、标志top_field_first(TFF)，标志repeat_first_field(RFF)。该图像编码类型表示一个图像类型I、P、或B。标志TFF由一比特组成。当TFF＝1时，该顶场被显示在该第一时间的位置。标志RFF由一比特组成。当RFF＝1时，MPEG解码的帧被显示在三个场的时间期间中。换句话说，在第二时间位置的一场后面跟着在第一时间位置的一场。在该第一时间位置的该场重复地显示并且由标志TFF表示。利用这样的编码特征点信息Ip，MPEG编码器105产生的比特数据流具有和输入到MPEG解码器101的比特数据流相同的图像编码类型和相同的次序。

表示编码区域和对应编码目标区域的空间和时间的关系的控制信息Ic被提供到重新编码器侧。控制信息Ic包括发送图像信号的一个I帧、一个P帧或一B帧的一个MPEG解码图像的显示起始场的指示符(该显示起始场可以称为发送起始场，以下称作显示起始场)，该发送图像信号的MPEG解码图像的顶场的一个显示开始行号(底场的显示开始行号＝顶场的显示开始行号+1行)，和该发送图像信号的MPEG解码图像的空间水平开始位置。

显示起始场的指示符表示一个在一帧中首先显示的场。该指示符是由例如一比特组成的。参照该指示符，重新编码器侧能够正确地形成具有两场的一帧。控制信息Ic的空间的信息(行号和水平开始位置)已经对应于一种应用格式被定义。因此，表示一种应用格式的一个编码信号能被使用作为控制信息而不是一个行号。此外，由于该空间的信息不时常变化，所以只发送对应于一个变化点的空间的信息。参照控制信息Ic的空间的信息，该重新编码器侧能够正确地提取一个编码目标区域。

图10A示出一个编码图像信号被通过一个记录介质103发送的结构。然而，不同于在图10A中示出的结构，在图10B中示出的结构不包括记录介质103。因此，一个MPEG解码器101、一个多路复用器102、一个多路分解器104和一个MPEG编码器105可以由单线连接。在图10B中示出的结构中，响应该控制信息Ic，多路复用器102把编码特征点信息Ip与一个发送的图像信号多路复用。通过一个不同于用于该发送图像信号的信号行，控制信息Ic被发送到重新编码器侧。

在图10A和10B中，使用在MPEG解码器101的解码处理中的编解码信息(例如运动矢量、量化标度和产生数据量的控制信息)被该MPEG编码器105重新使用。因此，在解码处理和重新编码处理中的图像质量的退化能够被最小化。在例如一个编辑处理的应用中，解码处理和重新编码处理可以只在一个编辑点的附近执行。数据流可以被切换用于其它区域。

图11是一个框图，示出MPEG解码器101的结构的一个实例。图12是一个框图，示出MPEG编码器105的结构的一个实例。参照图12，描述MPEG编码器105的结构。该MPEG编码器105具有一个编码控制部分(没示出)。编码控制部分控制MPEG2编码器的每一结构部分用于每一帧或每一场，以便把输入的图像数据压缩成I图像、P和B图像之一。此外，编码控制部分控制量化特性，以便控制一个编码输出信号的速率。解码器侧把编码特征点信息Ip和编解码信息提供到编码控制部分。因此产生没有被解码的相同的比特数据流。

(4:2:0)成分的视频数据被提供到MPEG2编码器105的帧存贮器1251和运动预测部分1252。该帧存贮器1251和该运动预测部分1252检测一个运动矢量。一个输入的图像信号被提供到一个图像次序重新安排部分1253。该图像次序重新安排部分1253重新排列图像的次序以使该编码处理能够被正确地执行。换句话说，该图像次序重新安排部分1253编码I和P图像，然后编码B图像。

该产生的图像信号被提供到一个相减部分1254。运动补偿部分1263把运动补偿局部解码数据提供到相减部分1254。在输入数据和局部解码数据在之间的差分数据被提供到一个DCT部分1255。表示一个场DCT或一个帧DCT的一个控制信号被提供到该DCT部分1255。

DCT部分1234的一个输出信号被提供到一个量化部分1256。编码控制部分把表示量化特性的一个控制信号提供到量化部分1256。一个局部解码部分被连接到该量化部分1256。该局部解码部分由逆量化部分1259、逆DCT部分1260、相加部分1261、帧存贮器1262和运动补偿部分1263组成。逆量化部分1259执行一个该量化部分1256的相反的处理。逆DCT部分1260执行一个该DCT部分1255的逆向的处理。运动补偿部分1263把一个局部解码的信号提供到该相减部分1254。该相减部分1254检测一个预测误差。运动补偿部分1263能够执行正向预测、反向预测和双向预测。当一个信号被帧内编码时，该相减部分54不执行相减处理。相反，该信号只是简单地穿过该相减部分54。

一个可变长度码编码部1257部分被连接到量化部分1256。可变长度码编码部分1257执行一个可变长度码编码处理。此外，该可变长度码编码部分1257把附加信息作为一个图像标题放置到一个输入信号。放置到该标题的信息是例如一个标志信息和一个运动矢量信息。该可变长度码编码部分1257的一个编码输出信号被提供到一个缓存器1258。该缓存器1258以一个恒定的速率输出一个可变长度码编码信号作为比特数据流。

随后描述图11中示出的MPEG解码器101的结构。由类似于上述MPEG编码器的编码器编码的比特数据流被提供到一个缓存器1111。该编码器侧执行实际的缓存器控制处理，用于控制产生的信息量，以使该缓存器1111不下溢或上溢。缓存器1111的输出信号被提供到可变长度码解码部分1112。该可变长度码解码部分1112提取编码特征点信息，例如图像编码类型和编码信息(没示出)。

利用该编码特征点信息和编码信息，控制该解码器101的处理。此外，该编码特征点信息和编码信息被提供到一个多路复用器102。该多路复用器102把该编码特征点信息和该编码信息放置到一个发送图像信号。另外，通过一个不同于用于该发送图像信号的信号行，该编码特征点信息和该编码信息被提供到重新编码器一侧。利用编码特征点信息Ip，该MPEG编码器105执行一个重新编码处理。由于编码器105利用由解码器101产生的编码特征点信息和编码信息执行重新编码处理，所以相比较于输入到解码器101的比特数据流，从该编码器105输出的比特数据流的图像质量几乎不下降。

可变长度码解码部分1112的输出信号由一个逆DCT部分1113逆向处理。该逆DCT部分1113的输出信号被提供到一个逆量化部分1114。该逆量化部分1114的输出信号被提供到一个相加部分1115。一个局部解码部分把局部解码的图像数据提供到相加部分1115。该局部解码部分包括一个帧存贮器1117和一个运动补偿部分1118。当执行一个帧内编码处理时，该相加部分1115不执行相加处理。相反，数据只是经过该相加部分1115。解码数据，即从该相加部分1115输出的解码数据被提供到图像次序重新排列部分1116。因此，具有以原始顺序放置的图像的一个解码的图像信号被获得。如上所述，该多路复用器102把该编码特征点信息Ip和该控制信息Ic与解码的图像信号多路复用。

图13A、13B、13C和13D是定时图，分别地示出解码器101的输入信号和输出信号以及编码器105的输入信号和输出信号。图13A示出输入到解码器101的比特数据流。在图13A中，表示I或P图像的间隔的M是3。输入到解码器101的图像的次序与在一个记录介质或一个传输路径上的排列相同。该解码器101解码I图像、P图像，然后解码B图像。解码器101以图13B中示出的次序输出解码的图像。该解码的图像被输入到以图13C中示出的次序执行重新编码处理的编码器105。编码器105产生在图13D中示出的比特数据流。在解码的图像信号被输入到该编码器105之后，直到一个比特数据流从编码器105输出为止，产生一个延迟DL(在本实例中DL＝3帧)。

图14A、14B、14C和14D是定时图，分别地示出解码器101的输入信号和输出信号以及编码器105的输入信号和输出信号。图14A示出输入到解码器101的比特数据流。在本例中，表示I或B图像的间隔的M是3。该解码器101解码I图像、P图像，然后解码B图像，并且以图14B中示出的次序输出解码的图像。该解码的图像被输入到以图14C中示出的次序执行重新编码处理的编码器105。编码器105产生在图14D中示出的比特数据流。在解码的图像信号被输入到该编码器105之后，直到一个比特数据流从编码器105输出为止，产生一个延迟DL(在本实例中DL＝2帧)。

根据本发明的一个实施例，多路复用器102把来自MPEG解码器101的编码特征点信息Ip和控制信息Ic与该解码的图像信号多路复用，并且把该产生的信号提供到MPEG编码器一侧。最好是，多路复用器102把该编解码算法信息提供到重新编码器一侧。随后，描述该编码特征点信息Ip和控制信息Ic。

图15示出MPEG数据的结构。在图15中，I、P和B表示图像的编码类型。

在一个I图像(帧内编码图像)中，当一个图像信号被编码时，只有一图像的信息被使用。因此，当一个编码图像信号被解码时，只有I图像的信息被使用。在一个P图像(预测编码图像)中，作为一个预测图像(用于获得与当前P图像的一个差值的基准图像)，已经被解码的一个I图像或另外一个P图像在时间上由该当前P图像跟随。针对每一宏数据块对在当前P图像和运动补偿预测图像之间的差值编码。另外，针对每一宏数据块对当前的P图像编码而不获得如此图像的差值。选择获得较高效率的方法之一。在一个B图像(双向预测编码图像)中，作为预测图像(针对获得与该当前B图像的一个差值的基准图像)，使用基准图像的三个类型。第一类型的基准图像是已经被解码并且时间上由当前B图像跟随的一个I图像或一个P图像。第二类型的基准图像是已经被解码并且时间上在当前B图像之后的一个I图像或一个P图像。第三类型基准图像是第一类型基准图像和第二类型基准图像的内插图像。针对每一宏数据块对在当前B图像和已经运动补偿的三个类型基准图像的每一个之间的差值编码。另外，针对每一宏数据块编码当前B图像而不获得这样的差值。选择获得较高的效率的方法之一。

因此，存在帧内编码宏数据块、正向帧间预测宏帧数据块(利用过去宏数据块预测未来的宏数据块)、反向帧间预测宏数据块(用未来的宏数据块预测过去宏数据块)和内插的宏数据块(利用一个未来的宏数据块和一个过去宏数据块预测当前宏数据块)。在一个I图像中的所有的宏数据块是帧内编码宏数据块。P图像包括帧内编码宏数据块和正向帧间预测宏数据块。一个B图像包括上述四个类型的宏数据块。

此外，一个GOP(图像组)包括至少一个I图像和0个或多个非I图像。图15示出一个N＝12(其中N是一个GOP的帧数目)和M＝3(其中M是I或P图像的间隔)的实例。在图15中，GOP的图像次序是原始图像的次序。当该GOP被编码时，BBI或BBP的次序被改变成IBB或PBB的次序。在一个记录介质上，该GOP被以改变的次序放置。该GOP被按照该改变次序解码。在该GOP被解码之后，该图像被按照该原始次序放置。

图15还表明每一图像被分成许多宏数据块，并且每一宏数据块都是由六个数据块组成，即四个相邻的亮度数据块和两色差数据块Cb和Cr，即放置在空间上相同的位置。这些数据块的每一个是由(8×8)像素组成。这些数据块被按照Y1、Y2、Y3、Y4、Cb、和Cr的次序发送。

图16是一个示意图，示出一个MPEG帧结构的图像格式(MPEG解码图像的一个格式)。在图16中，黑色条纹和白色条纹分别地表示顶场的行和底场的行。在NTSC发送图像信号格式中，一帧具有240个顶场行和240个底场行。水平像素的数目是704。在一个图像层上的标题信息的一个标志TFF(一比特)表示一个顶场或一个底场的哪一个被在时间上首先显示。当TFF＝1时，一个顶场在时间上被首先显示。

图17示出在MPEG解码图像和发送图像格式之间的空间关系。该发送图像格式是一个NTSC发送图像格式。如上所述，一个有效的像素区域(一个MPEG解码图像的像素区域)是由780像素×480行组成。发送图像格式包括水平消隐区域和垂直消隐区域的非有效面积。图17示出一个发送图像的MPEG解码图像的一个空间上水平像素的开始位置。该开始位置由根据一种应用格式等等变化的一个像素数目所表示。在本发明的一个实施例中，控制信息Ic包括该开始位置的信息。当该解码器侧接收一个发送图像信号时，其利用该控制信息Ic确切地知道水平像素的开始位置。

除了上述的TFF之外，还提供另一标志RFF。该标志RFF表示存在重复的场。一个影片资料例如电影是24帧/每秒。另一方面，一个视频信号(例如一个NTSC视频信号)是30帧/每秒的数据。因此，当一个影片资料被转换成一个视频信号时，需要一个用于把24帧转换成30帧的处理。由于这样的一个处理包括用于把在一个预定的图案中的两场转换成三场的一个处理，该处理被称之为2:3图像的下拉处理。换句话说，每五帧第一场被自动地重复两次。因此，24帧被转换成30帧。电视电影单元被认为是一个把一个影片资料转换成一个电视资料的单元。

当一个由该2:3图像的下拉处理获得一个视频信号被由该MPEG编码方法压缩时，由于插入场(重复场)的信息是多余的，所以当该编码处理被执行时，该重复的场被删除以便改进压缩效率。用于检测图像数据的重复的场去除它们、并且把30帧转换成24帧的一个处理被称之为逆2:3下拉处理。

随后，参照图18，描述把24帧/每秒的一个影片资料转换成30帧/每秒NTSC电视资料的2:3图像的下拉处理。该影片资料是24帧/每秒的数据。每帧形成两场相同的图像(第一和第二场)。因此，形成48场/每秒的一个图像信号。随后，该影片资料的四个帧(八场)被转换成一个视频信号(例如一个NTSC视频信号)的五帧(10场)。

在图18中，在一个三角形中的三场的最后一场是一个重复的第一场，即被重复以便增加一个场。每五帧产生两个重复的第一场。两个标志TFF和RFF被相加到已经执行了2:3图像的伸长部分降低处理的一个视频信号。在一个帧结构的情况下，该标志TFF表示是否该第一场为一个顶场或一个底场。该标志RFF表示重复的场存在。

随后，描述在一个MPEG解码图像格式和一个发送图像格式之间的时间关系。在本实施例中，发送图像格式是NTSC格式。为了简明起见，假设已经定义了显示的开始行(一个解码图像的垂直位置)。图19是一个实例的示意图，其中具有TFF＝1和RFF＝0的一个MPEG解码图像的顶场和底场分别地在奇周期和偶周期中发送。图19是一个示意图，示出单独场的垂直部分。在图19中，O和X表示单独的场的行。如参照图17的描述，每个场的MPEG解码图像一个像素区域(即在图19中的一个框区域)具有240行。可是，为了简明起见，在图19中只示出这些行的一部分。在图19中的注释适用于图20和21。

在图19示出的实例中，由于TFF＝1，所以显示的是奇周期的顶场。偶周期的底场被显示。由于NTSC格式具有一个隔行结构，所以在图19中由A表示的一行是一个顶场的显示开始行。同样地，由B表示的一行是底场的显示开始行。换句话说，显示开始行是在MPEG解码图像的空间垂直方向中的一行的开始位置。底场的显示开始行在空间位置上低于顶场的显示开始行一行。在图19中，C表示其中MPEG解码帧起始的一场。显示开始行A和B和显示起始场C的信息被包含在控制信息Ic中。该显示起始场C由一比特的指示符表示。

如利用在图19中示出的情况，图20示出具有TFF＝1和RFF＝0的一个MPEG解码图像被发送的情况。可是不同于利用图19示出的情况，其顶场和底场被分别地在偶周期和奇周期中发送。在该MPEG格式中，由于在顶场、底场、奇周期和偶周期之中的关系没有定义，所以顶场和底场可以象在图19或图20中那样发送。在图20中，由A表示的一行是一顶场的显示开始行。由B表示的一行是一底场的显示开始行。C表示一场，其中MPEG解码图像的一帧开始。如从图19和20中清楚地看到，在图20中示出的每一显示开始行A和B在空间位置上都比在图19中示出的开始行高一行。在图19中示出的显示起始场C的相位不同于在图20中示出的显示起始场的相位，相差一场。利用对应于显示起始场，C的一个指示符，该重新编码器一侧知道该将要被编码的像素时间关系。

图21示出在已经执行图像的下拉处理(见图18)的MPEG解码图像和发送图像格式之间的时间关系的一个实例。在图21中，存在标志TFF和RFF的四个组合。在图21中，具有TFF＝1和RFF＝0的MPEG解码图像的顶场和底场分别地在奇周期和偶周期中发送。随后，具有TFF＝1和RFF＝1的一个MPEG解码图像被发送。随后，具有TFF＝0和RFF＝1的一个MPEG解码图像被发送。

在图21中，由A表示的一行是一个顶场的显示开始行。由B表示的一行是一个底场的显示开始行。底场的该显示开始行在空间位置上比顶场的显示开始行低一行。作为一个MPEG解码图像的一帧的显示起始场，存在对应于上述标志的四个组合的四个指示符。C1表示其中具有TFF＝1和RFF＝0开始的一个MPEG解码帧的一场。C2表示其中具有TFF＝1和RFF＝1开始的一个MPEG解码帧的一场。C3表示其中具有TFF＝0和RFF＝0开始的一个MPEG解码帧的一场。C4表示其中具有TFF＝0和RFF＝1开始的一个MPEG解码帧的一场。显示开始行A和B和显示起始场C1到C4的信息被包含在控制信息1c中。

随后，再描述根据本发明一个实施例的处理。多路复用器102把MPEG解码帧转换成对应于上述控制信息Ic和编码特征点信息Ip的发送图像信号(运动图像信号)。在这种情况下，控制信息Ic和编码特征点信息Ip和该发送图像信号一道发送到编码器一侧。可是，并不总是需要把包含在编码特征点信息Ip中的标志TFF和RFF发射到编码器一侧。为了发射该控制信息Ic和该编码特征点信息Ip，它们被放置在例如一个图像信号的消隐期的一个空白区域中。

在该重新编码器一侧，多路分解器104提取控制信息Ic和编码特征点信息Ip，并且重新编码对应于该提取的控制信息Ic和编码特征点信息Ip的一个输入图像信号。实际上，该MPEG编码器105检测在该发送图像信号中的一个MPEG解码图像的时间显示起始场。此外，该MPEG编码器105检测发送图像信号的MPEG解码图像的每一场的显示开始行号。而且，该MPEG编码器105检测在该发送图像信号中的MPEG解码图像的一个空间上水平图像开始位置。此外，该MPEG编码器105检测对应于编码特征点信息Ip的MPEG解码图像的图像编码类型。

利用在发送图像信号中的MPEG解码图像的时间显示起始场及下一场，该MPEG编码器105产生一个编码目标帧，并且提取宏数据块。利用这种处理，当一个输入图像被编码时，将要编码的图像的图像编码类型能够与原始的比特数据流的图像编码类型相匹配。此外，将要编码的图像的空间区域能够与该原始比特数据流的空间区域匹配。因此，由于在解码处理和重新编码处理中的宏数据块的图像编码类型、帧结构和边界的不匹配所引起的图像质量的退化能够被减到最少。

当作为编码特征点信息Ip的标志TFF和RFF被发送到编码器一侧时，可以对应于这些标志而形成一个编码帧。换句话说，当RFF＝0时，利用在一个发送图像信号中的MPEG解码图像的一个时间显示起始场和下一场形成一个编码帧。另一方面，当RFF＝1时，利用在一个发送图像信号中的MPEG解码图像的一个时间显示起始场和下一场F形成一个编码帧。在该场F之后的一个场被去除并且由此不被编码。

如上所述，编码特征点信息Ip可以包括从第一个I图像到下一个I图像的一个时间基准(缩写为TPR)和MPEG解码帧的数目(缩写为NUMI)，以及图像编码类型和标志TFF与RFF。该TPR表示一个MPEG解码帧的显示顺序号。每个GOP该TPR复位。在GOP中首先显示的MPEG解码帧的TPR是零。该NUMi最好是在和发送图像的I帧的显示起始场的指示符的同一个场中发送。控制信息Ic与上述信息Ic相同。

现在，假设I0、B1、B2、P3、B4、B5、P6、B7、B8、P9/I0、B1、B2、P3、B4、B5、P6、B7、B8、P9/图像被输入到执行一个重新编码处理的MPEG编码器105。这些图像是与在图13C中示出的图像相同。在本实例中，NUMi＝10的信息被发送。“/”表示GOP的边界。后缀表示在当前GOP中的MPEG解码图像的显示顺序号。该后缀匹配编码比特数据流的编码图像的TRP。

该解码器侧最好把标志TPR和发送图像信号一道传送到该重新编码器一侧。利用该标志TPR，重新编码器侧检测直到下一个I图像被接收为止的发送的解码图像的数目。标志TPR和编码特征点信息一道被放置在例如一个消隐期的空白区域中。

重新编码器侧检测在发送图像信号中的MPEG解码图像的一个时间显示起始场。此外，该重新编码器侧检测在发送图像中的MPEG解码图像的一个顶场的显示开始行号。而且，该重新编码器侧检测在该发送图像信号中的MPEG解码图像的时间水平方向中的开始位置。此外，该重新编码器侧检测一个MPEG解码图像是否为对应于该编码特征点信息Ip的一个I图像。

因此，该MPEG编码器105使得一个被编码为I图像的一个图像与原始比特数据流的图像匹配。结果是，输入的MPEG解码图像能够以和原始比特数据流相同的空间与时间关系的方式而被重新编码。

该发送图像信号可以是一个模拟信号而不是一个数字信号，在这种情况下，在一个发送图像信号中的MPEG解码图像的空间水平像素开始位置不能用一个像素号定义。因此，要把信号正确地从解码器传送到重新编码器一侧可能是困难的。然而，即使在这种情况下，一个图像信号也能够被重新编码而具有高的图像质量。

在更现实性的情况中，本发明能够被用于一个图像信号记录/再生设备(在图6中示出)，把输入的模拟图像信号转换和压缩成一个数字图像信号，或压缩输入的数字图像信号并且把被压缩的图像信号记录到作为记录介质的一个光盘，解压缩该记录在该光盘上的压缩的数字图像信号，并且再生该解压缩数字图像信号。

如上所述，根据本发明，当一个图像信号被重新编码时，作为输入的编码图像信号的编码参数的代表值，产生出编码比特数目和/或平均量化标度。该输入的编码图像信号被解码并且从而产生一个解码图像信号。随着该产生的解码图像信号一道，该编码参数被输出。利用该编码参数，该解码的图像信号被编码。因此，例如象使用在重新编码处理中的编码比特数目和平均量化标度的编码参数能够与使用在第一编码处理中的编码参数相匹配。结果是，在重新编码处理中的编码比特数目能够和在第一编码处理中的编码比特数目相匹配。

通常，在编码处理中的速率控制取决于一个图象的编码难度。因此，编码比特数目是变化的。这种编码比特数目的变化使得在重新编码处理中的图像质量下降。结果是，在上述的用于使得在重新编码处理中的编码比特数目匹配于在第一编码处理中的编码比特数目这种处理中，能够抑制图像质量的退化。

当在重新编码处理中的编码比特数目是匹配于在第一编码处理中的编码比特数目时，在图像类型是匹配的但是运动矢量是不匹配的情况中，图像质量的退化能够被抑制。考虑到这一点，没有必要使得在重新编码处理中的运动矢量匹配到在第一编码处理中的运动矢量。因此，可以根据需要的图像质量不发送这种运动矢量。在这种情况下，用于发送编码参数的比特总数能够被减少。结果是，用于数据传输的结构能够被简化，并且由此所需的费用能够被降低。所以，整个设备的电路结构能够被简化并且由此所需的费用能够被降低。

此外，根据本发明，在已经执行了例如一个MPEG编码处理的一个图像间预测编码处理的数据进行解码的情况中，这种解码的图像信号被作为一个发送图像信号来发送，并且这种发送的图像信号被重新编码，重新编码器一侧能够使得在第一编码处理中的图像的时间和空间关系和在重新编码处理中的图像的时间和空间关系匹配。所以，由于解码处理和重新编码处理所引起的图像质量的退化能够被减到最少。

虽然本发明已经相对于一个最佳模式实施例展示和描述，但是本领域技术人员将应懂得，在形式和细节上上述的和各种其它的改变可以实现而不背离本发明的精神范围。

Claims (43)

1.一种图像信号处理系统，包括：

解码器，包括编码参数产生部分和解码部分，该编码参数产生部分用于产生作为输入编码图像信号的编码参数的代表值的编码比特数目和/或平均量化标度，该解码部分用于解码该输入的编码图像信号并产生解码的图像信号，其中由所说编码参数产生部分产生的该编码参数被和由该解码部分产生的解码图像信号一同输出；和

编码器，用于利用该编码参数编码该解码的图像信号。

2.如权利要求1所说的图像信号处理系统，

其中，除编码比特数目和/或平均量化标度之外，其中所说的解码器与解码的图像信号一起输出一个图像类型和/或一个运动矢量，作为编码参数。

3.如权利要求1所说的图像信号处理系统，

其中所说的解码器把使用在图像编码处理中的编码参数和解码的图像信号一道输出用于每一图像。

4.如权利要求1所说的图像信号处理系统，

其中所说的解码器把使用在图像编码处理中的编码参数和解码的图像信号一道输出用于每一图像片。

5.如权利要求1所说的图像信号处理系统，

其中所说的编码器执行对应于编码比特数目和/或平均量化标度的一个速率控制。

6.一种图像信号处理系统，包括：

解码器，包括解码部分和输出部分，该解码部分用于解码一个输入的编码图像信号并产生一个解码的图像信号，该输出装置用于把输入编码的图像信号的编码参数叠加到对应于一个信号格式的一个无效期间的信号部分，以便发送由所说的解码部分产生的解码的图像信号，并且把编码参数和解码图像信号一同输出；和

编码器，用于利用该编码参数编码该解码的图像信号。

7.如权利要求6所说的图像信号处理系统，包括：

其中所说的解码器产生编码比特数目和/或一个平均量化标度，作为输入编码图像信号的编码参数的代表值，并且把产生编码参数与这种解码图像信号一道输出。

8.如权利要求7所说的图像信号处理系统，

其中所说的解码器与解码的图像信号一起输出作为编码参数的一个图像类型和/或一个运动矢量以及编码比特数目和/或一个平均量化标度。

9.如权利要求7所说的图像信号处理系统，

其中所说的解码器把使用在图像编码处理中的编码参数和解码的图像信号一道输出用于每一图像。

10.如权利要求7所说的图像信号处理系统，

其中所说的解码器把使用在图像编码处理中的编码参数和解码的图像信号一道输出用于每一图像片。

11.如权利要求7所说的图像信号处理系统，

其中所说的编码器执行对应于编码比特数目和/或平均量化标度的一个速率控制。

12.如权利要求6所说的图像信号处理系统，

其中所说的解码器产生表示一个解码图像的显示起始场和它的显示开始行的控制信息，作为输入编码图像信号的编码参数的代表值，并且把产生的编码参数和解码的图像信号一道输出。

13.如权利要求12所说的图像信号处理系统，

其中的控制信息包括表示顶场和底场的显示开始行之一的信息。

14.如权利要求12所说的图像信号处理系统，

其中的控制信息包括表示时间上首先显示顶场或底场的信息。

15.如权利要求1所说的解码器，

其中所说的编码参数产生装置产生一个图像类型和/或一个运动矢量，连同编码比特数目和/或平均量化标度一起作为编码参数的代表值。

16.如权利要求1所说的解码器，

其中由所说的编码参数产生装置产生的编码参数被使用在图像编码处理中用于每一图像。

17.如权利要求1所说的解码器，

其中由所说的编码参数产生装置产生的编码参数被使用在图像编码处理中用于每一图像片。

18.如权利要求6所说的解码器，还包括：

编码参数产生装置，用于产生作为输入编码图像信号的编码参数的代表值的编码比特数目和/或平均量化标度，

其中所说的输出装置把由所说的编码参数产生装置产生的编码参数和解码图像信号一道输出。

19.如权利要求18所说的解码器，

其中所说的编码参数产生装置产生一个图像类型和/或一个运动矢量，连同编码比特数目和/或平均量化标度一起作为编码参数。

20.如权利要求18所说的解码器，

其中由所说的编码参数产生装置产生的编码参数被使用在图像编码处理中用于每一图像。

21.如权利要求1所说的解码器，

其中由所说的编码参数产生装置产生的编码参数被使用在图像编码处理中用于每一图像片。

22.一种解码方法，包括步骤：

产生作为输入编码图像信号的编码参数的代表值的编码比特数目和/或平均量化标度；

解码该输入的编码图像信号并产生解码的图像信号；并且

把该编码参数和该解码的图像信号一同输出。

23.一种解码方法，包括步骤：

解码一个输入的编码图像信号并产生一个解码的图像信号；

把该输入的编码图像信号的编码参数叠加到对应于一个信号格式的一个无效期间的信号部分，以便发送产生的解码的图像信号，并且把编码参数和该解码图像信号一同输出。

24.一种图像信号解码方法，包括步骤：

解码已经编码的图像信号；

把该解码图像信号转换成一个发送的图像信号，并把控制信息和该发送图像信号一起输出，其中该控制信息表示解码的图像信号的显示起始场和它的显示起始行。

25.如权利要求24所说的解码方法，

其中控制信息是与发送的图像信号叠加。

26.如权利要求24所说的解码方法，

其中控制信息被输出到不同于用于该发送图像信号的信号行的一个信号行。

27.如权利要求24所说的解码方法，

其中的控制信息还包括表示一个解码图像的空间水平方向中的一个像素的开始位置的数据。

28.如权利要求24所说的解码方法，

其中的编码特征信息数据和控制信息一道输出。

29.如权利要求24所说的解码方法，

其中图像间预测编码处理是一个MPEG编码处理。

30.如权利要求29所说的解码方法，

其中表示控制信息的显示开始行的数据是表示顶场和底场之一的显示开始行的数据。

31.如权利要求28所说的解码方法，

其中编码特征信息包括一个图像编码类型。

32.如权利要求31所说的解码方法，

其中控制信息包括表示顶场或底场的哪一个在时间上首先被显示的信息。

33.如权利要求31所说的解码方法，

其中编码特征信息至少包括运动矢量和量化标度之一。

34.一种图像信号编码方法，用于对已经在图像间预测编码处理中编码的数据的解码的图像进行编码，包括步骤：

接收发送图像信号，该发送图像信号包括解码的图像和控制信息，该控制信息包括表示该解码图像的一个显示起始场和该解码图像显示开始行的数据；

设置对应于控制信息的发送图像信号的一个编码目标区域；并且

执行用于编码目标区域的图像间预测编码。

35.如权利要求34所说的编码方法：

其中的控制信息还包括表示一个解码图像的空间水平方向中的一个像素的开始位置的数据。

36.如权利要求34所说的编码方法，

其中的编码特征信息数据是和控制信息一同接收的。

37.如权利要求34所说的编码方法，

其中图像间预测编码处理是一个MPEG编码处理。

38.如权利要求37所说的编码方法，

其中表示控制信息的显示开始行的数据是表示顶场和底场之一的一个显示开始行的数据。

39.如权利要求36所说的编码方法，

其中编码特征信息包括图像编码类型，和

其中的图像编码类型是与没有被解码的一个图像的图像编码类型匹配的。

40.如权利要求39所说的编码方法，

其中控制信息包括表示顶场或底场的哪一个在时间上首先被显示的信息。

41.如权利要求39所说的编码方法，

其中编码特征信息至少包括运动矢量和量化标度之一。

42.一种解码装置，用于对已经在图像间预测编码处理中编码的数据进行解码，包括：

解码部分，用于解码已经在图像间预测编码处理中编码的数据；

用于把该解码图像信号转换成一个发送的图像信号，并把控制信息和该发送图像信号一起输出的部分，其中该控制信息表示解码图像的显示起始场和表示解码图像的显示开始行。

43.一种图像信号处理系统，用于解码已经在图像间预测编码处理中编码的数据并对于该解码的数据进行编码，包括：

解码器，用于解码已经在图像间预测编码处理中编码的数据；用于把该解码图像信号转换成一个发送的图像信号，并把控制信息和该发送图像信号一起输出的装置，其中该控制信息表示解码图像的显示起始场和表示解码图像的显示开始行；

用于接收发送图像信号和控制信息的装置，并且设置对应于该控制信息的发送图像信号的一个编码目标区域；和

编码器，用于执行针对这种编码目标区域的图像间预测编码处理。

Images