CN1203678C - 画面编码方法、画面编码设备和图像中继设备 - Google Patents

Abstract

本发明涉及用于再编码数字压缩画面信号以获得具有与该数字压缩画面信号的压缩格式相同或不同的压缩格式的数字画面信号的画面编码设备、画面编码方法以及图像中继设备。其中画面编码设备包括：速率控制单元100、图像缓冲器200、正交变换单元300、量化单元400、可变长度编码单元500、运动预测单元600、编码单元700、以及输出缓冲器800。速率控制单元100为每一画面分配目标代码总量，并将由代码总量确定的量化值100a传输到量化单元400。通过将参考目标代码总量添加到校正值中计算该目标代码总量。根据在输出缓冲器800的剩余编码画面总量的预定目标值和实际值之间的差值计算校正值。

Description

画面编码方法、画面编码设备和图像中继设备

                          技术领域

本发明涉及用于再编码数字压缩画面信号以获得具有与该数字压缩画面信号的压缩格式相同或不同的压缩格式的数字画面信号的画面编码设备和画面编码方法。更具体地，本发明涉及当数字压缩画面信号作为输入画面信号被再编码以在每单位时间的数字压缩画面信号的总帧数是变化的情况下减少帧跳跃操作数的时候，能够增加位使用效率的画面编码设备和画面编码方法。

                          背景技术

通常实际利用使用窄带ISDN的电视会议系统。这种电视会议系统可以由能够压缩数字化的会议画面的画面压缩技术实现以获得能够在窄带ISDN的频带内实时传输的会议数据的预定总量。图8表示在电视会议系统中的画面发送的一个例子。一般地，在电视会议系统中使用为传输画面的、64Kbps或128Kbps的窄带(低位速率)作为发送路径。

一般，作为这样低位速率的画面压缩系统，使用ITU-T推荐标准H.261和H.263以及ISO/IEC的技术规范14496-2(通常称为“MPEG-4视频”)等。当在诸如电视会议系统的实时通信中使用这些画面压缩系统的画面压缩操作时，应满足下述条件：

.所产生的画面代码总量不能超过发送带宽。

.延迟小到不干扰通信的程度。

为满足这些条件，在这种画面压缩操作中，执行称为“量化控制”和“帧跳跃控制”的两种不同的速率控制，使得实现能够满足这些条件的代码操作。

量化控制对应于其中确定分配给画面中包含的每一宏块和每一画面的代码总量的控制，并且根据这些确定的代码总量确定量化步骤。帧跳跃控制对应于其中当已经被编码但还没有被传输(即，输出缓冲器中剩余的总量)的数据总量超过一个固定量时，下一画面不被编码，而被跳过的控制。

作为这种速率控制的具体例子，有以ISO/IEC JTC1/SC29/WG11 N3312的“MPEG-4视频检验模型16.0版”(此后将缩写为“VM16”)标准描述的方法。该VM16指出了实现MPEG-4视频(ISO/IEC14496-2)的具体压缩/解码系统的例子，并意味着通用系统具有高实用可能性。图9示出了描述按照VM16执行的速率控制的流程图。

在该流程图的步骤10，作为初始化处理，设置执行速率控制所需的参数。在步骤20，根据下述顺序(表示式是由C语言程序描述，下述的各种处理操作也类似地由C语言程序描述)计算分配给当前被编码的画面的目标代码总量。

T＝Max(Rs/30，Rr/Nr*0.95+S*0.05)

T＝T*(B+2*(Bs-B)/(2*B+(Bs-B))；

if(B+T＞0.9*Bs)

T＝Max(Rs/30，0.9(Bs-B))；

else if(B-Rp+T＜0.1*Bs)

T＝Rp-B+0.1*Bs；

应该理解：

Max(a，b)：在“a”和“b”中较大的值，

Min(a，b)：在“a”和“b”中较小的值，

T：目标代码总量，

Rs：与某图像段有关的位速率，

Rr：剩下的代码总量以编码在主题图像段中的剩余帧，

Nr：在主题图像段中应被编码的剩余帧数，

S：编码在前帧时使用的代码总量，

B：输出缓冲器的当前剩余总量，并且初始值是Bs/2，

Bs：输出缓冲器尺寸，

Rp：在1帧期间(即，帧速率的倒数)从输出缓冲器中提取的代码总量。

接着，在步骤30，响应在步骤20获得的目标代码总量确定量化值。在步骤40，在完成与1帧有关的编码操作之后，更新输出缓冲器剩余总量、剩余画面数等。接着，在步骤50-1和50-2，当输出缓冲器剩余总量超过输出缓冲器容量的80％的时候，通过帧跳跃控制跳过下一帧。

在该流程操作中，图像段指示被某固定的时间理论上被分割的画面的组(簇)。例如，现在假设，每1秒分割一段，在该段中所包含的画面总数等于帧速率。例如，在以每1秒10画面的帧速率编码画面的情况下，则1段包含这些画面的10个屏(screen)。

如上所述，为执行VM16的速率控制，确定编码帧速率，并且编码操作应根据该编码帧速率执行。也可以类似方式执行没有在该技术规范中描述的其他的通用方法。即，当确定了编码帧速率时，使用所确定的编码帧速率计算将分配的代码总量。

在这种情况下，可由参数导出编码帧速率，该参数指示从当前执行的编码操作的时间瞬间到下一帧的编码操作的时间瞬间所决定的时间间隔。例如，当编码帧速率等于10画面/秒时，能够看出在已经编码一个画面之后直到编码下一个画面的时间间隔等于0.1秒。现在考虑在图8的例子中示出的电视会议系统的终端中执行的编码操作，在发送终端侧可以按照编码帧速率等于电视摄像机的输出帧速率的整数(integer-th)的帧速率自由设置编码帧速率，而且可以在稳定状态下利用电视摄像机从发送终端侧提供的压缩单元中获得图像。

另一方面，由于使用彼此不同的画面压缩系统的终端逐渐流行，并且需要在在这些终端间发送/接收画面。在这种情况下，在终端之间需要用于将画面压缩系统转换成另一种画面压缩系统或反之的设备(此后将简称做“系统转换设备”)。在图10中，示出了这样一种系统，用于在具有不同类型的画面压缩系统的终端之间通过系统转换设备执行画面通信的系统。在发送侧提供的电视会议终端91的画面压缩单元911中，执行与具有已知固定帧速率并与从电视摄像机中得到的画面信号有关的速率控制。接着，通过发送单元912将经过速率控制的画面信号发送到发送路径，并输入到系统转换设备92中。如图11所示，系统转换设备92的转换单元922包括解压缩单元9221和压缩单元9222。解压缩单元9221解压由输入侧的压缩系统压缩的并从接收单元921得到的画面以产生解压缩画面。压缩单元9222再压缩通过输出侧的压缩系统压缩的画面。通过发送路径将再压缩画面信号发送到在接收侧上提供的电视会议终端93。由接收单元931接收的再压缩画面信号被解压缩单元932转换成将在电视监视器上显示的解压缩画面。

但是在图10和图11所示的系统中，在发送侧提供的电视会议终端91的画面压缩单元911的输入画面对应于具有已知固定帧速率的画面，而在系统转换设备91中使用的压缩单元9222的输入画面对应于已经被低位速率编码的并随后被解压缩的这种画面。在诸如MPEG-4视频和ITU-T推荐标准H.261的低位速率的画面压缩系统中，由于帧速率的信息不包含在流中，在系统转换设备92中使用画面压缩单元9222的输入画面的帧速率是未知的。而且，许多情况是在发送侧的终端的编码操作过程中在帧跳跃控制中跳过帧。在这种情况下，帧速率是不固定的。换言之，在输入一个画面之后，何时输入下一画面是不清楚的。结果，当使用上述通用速率控制，在系统转换设备92中执行画面编码操作的情况下，将出现下述问题。

首先，即使当编码帧速率被设置成例如15画面/秒，在输入帧的帧速率仅为7.5画面/秒的情况中，实际上可以仅按7.5画面/秒编码画面。但是，由于在速率控制中目标编码总量的计算所使用的速率等于15画面/秒，对于将以7.5画面/秒压缩的画面，所分配的代码总量小。与允许的范围(帧跳跃阈值)相比，所产生的总量减少了。接着，在由于对输入图像自身进行了帧跳跃而使间隔更进一步变长的情况下，不能提供输出缓冲器以产生代码。结果，在输出缓冲器中没有将被发送的数据，在使用发送路径期间处于非使用的时间间隔被延长了。

图12示出了这个例子。图12表示了这样的一个例子，即当使用上述的VM16的代码总量分配方法时，输出缓冲器剩余总量的转换的例子。应当指出，作为与图12类似的表示输出缓冲器剩余总量的转换的附图，其横坐标表示时间瞬间。接着，这些图的坐标通过沿右边轴的值显示与输出缓冲器剩余总量有关的输出缓冲器中剩下的位总量(在图中用加黑的线示出)。同时，至于输出画面或输入画面的直方图，该直方图的坐标表示了在相关时间瞬间上呈现相关画面时大于零的任何值，并且还显示了在该相关时间瞬间不呈现相关画面时的零值，即表示该画面是否被呈现。结果，输入画面的非零值的总数和输出画面的非零值的总数之间的差值就指示了帧跳跃控制执行的被帧跳跃的画面的总数。并且通过下列假设，该图12的图形表示模拟了由VM16完成的编码器(编码设备)的操作：

(1)编码每一画面实际产生的代码总量等于由速率控制决定的所分配的代码总量；以及

(2)输入画面被以每秒10画面输入，并且每一输入的画面仅最大程度地一次被编码(即，不对相同的画面进行多次编码)。其它的设置值如下给出：

1图像段的长度＝1秒，

Rs：图像段的位速率＝64千比特，

在1图像段中包含的总画面数＝编码帧速率，

Bs：输出缓冲器尺寸＝一帧的0.2秒＝12800比特，

Rp：每1帧周期中提取的代码总量＝64k/编码帧速率。

最初，一般地说，理论上以这种方式模拟每一画面的代码总量，即一个画面的所有代码是在瞬间产生的。但是，由于某种原因，这种模拟是需要产生这些代码的时间的。还应指出，这点不同对本发明的本质来说是没有直接关系的。在该图中，在第二画面和第三画面之间以及第四画面和第五画面之间有空间，所以帧速率不是固定的。在对于这种不固定的帧速率，以固定方式设置大于实际编码帧速率的编码帧速率的情况中，在上述的现有技术中会出现发送路径的长时间不用，即完全没有传输代码的情况。

针对该原因给出更进一步的解释。即，在图12所示的例子中，编码帧速率被设置成30画面/秒。结果，当分配编码总量时，通过1/30秒完成的画面发送的代码总量可以作为分配给每一画面的代码总量的参考。这是在校正前的目标代码总量，并且在该例子中该代码总量大约是2.1千比特(＝2133比特)。另一方面，由于该编码帧速率等于10画面/秒，即使在实际输入画面中没有帧被跳过的情况下，画面之间的间隔等于1/10秒。在涉及VM16的通用的速率控制系统中，由于实际输出缓冲器剩余总量小，所以以分配代码总量大于参考代码总量的方式校正目标代码总量。但是，该校正对应于与参考代码总量有关的系数，并且在VM16中最大大约是2。就下面所示观点来说，该校正可以具有下面作用，即，在由编码单元设置的稳定条件下可以输入画面的情况中，可以稳定地分配代码总量。但是，如该例所说明的，在输入画面具有与设置的编码帧速率不同的编码帧速率的情况下，则存在设置的编码帧速率和实际编码帧速率间的差值不能完全消除的缺点。在这个例子中，基于该系数而被校正的目标代码总量大约是4300比特，使得在输出缓冲器剩余总量变低时，这种情况是连续的。

而且，在该条件下丢弃(drop)一输入画面的情况中，由于在输出缓冲器剩余总量中没有多余的代码，则缺乏要传输的代码。这意味着原始能被传输的代码的代码总量没有被完全分配。通常，分配的代码总量越大，在相同的代码系统中图像质量能够更高地改善。结果在这种情况中，能够被原始获得的图像质量将会恶化。如前所述，在通过该编码操作的传统的速率控制系统中，基于这种初始条件建立的该速率控制系统，使得输入适于该设置的编码帧速率的画面。结果，如图12所示的编码转换设备中解释的，当不能输入适于该设置的编码帧速率的画面时，不能实现有效的代码总量分配。

第二，当编码帧速率被设置成大的编码帧速率以解决上述问题时，存在另一问题，帧跳跃操作出现多次。该例子如图13所示，图13示出了在编码帧速率被设置成7.5画面/秒，根据其编码帧速率是10画面/秒的输入画面执行编码操作的情况中的输出缓冲器剩余总量。从图中可以看出，尽管输入了11个画面，仅有5个画面被输出，并且由此，剩余的6个画面被帧跳跃跳过了。在这六个画面中，两个画面的跳过是由于设置的编码帧速率与输入的帧速率的失配造成的，这是不能由速率控制系统解决的。但是，剩余四个画面的跳过是由于帧跳跃控制造成的。

现在将解释该原因。如前所述，在传统的速率控制方法中，存在根据该设置的编码帧速率可以编码画面的这样一种初始条件。结果，如果设置的编码速率选择为7.5画面/秒，则在1/7.5秒内完成一个画面的发送的代码总量可以作为该分配代码总量的参考。在图13所示的例子中，由于该设置的代码帧速率与实际输入帧速率失配，所以输入缓冲器剩余总量不稳定，而且校正值可以导致目标代码总量过度增加或减少。因此，帧跳跃操作通常执行多次。在这种情况中，与输入的(运动)画面相比，将要输出的(运动)画面可能变成缺乏平滑度的(运动)画面。而且，与原始被编码的画面有关的代码总量变得无用，并且图像质量将恶化。

如前所述，当在系统转换设备中执行传统的速率控制系统时，可能出现下面问题：即，(1)由于输入画面的帧速率是未知且变化的，不能设置合适的代码总量，并且不能有效使用这种可以原始使用的代码总量，使得图像质量恶化。(2)由于输入了经帧跳跃处理的运动画面，其在输入(到该系统转换设备)之前丢弃了帧，所以当在转换操作中执行帧跳跃操作时大量必须的帧被跳过了。

                          发明内容

本发明的目的是解决上述问题。换言之，通过系统转换设备中使用的画面编码操作，与其帧速率是未知且变化的输入画面相关地有效使用可用的代码总量，可以实现本发明的目的。而且相对于其输入画面的帧被跳过的这种输入画面减少了新跳跃操作的出现次数，并且帧之间的间隔也改变了。

一种根据本发明的画面编码方法，其特征是，该画面编码方法以对将被编码的每个画面计算目标代码总量并且产生的将被编码的所述画面的代码总量大约为所述目标代码总量的方式执行编码控制，其中：通过将校正总量添加到近似为固定值的参考目标代码总量中，计算所述将被编码的画面的目标代码总量；从参考编码帧速率中计算所述参考目标代码总量；以及根据已经被编码的并且还没从输出缓冲器中输出的画面的剩余总量的预定目标值和实际值之间的差值，计算所述校正总量。其结果是，通过该校正总量可连续和有效地利用该可用代码总量。而且根据对应用于判断下一画面是否被编码的阈值的帧跳跃阈值，确定画面的剩余总量的所述预定目标值。结果，能够实现这种几乎不出现帧跳跃操作的代码总量分配。

而且，根据参考目标编码总量确定画面的剩余总量的预定目标值。结果，能够产生更接近参考目标代码总量的代码总量。

而且测量输入画面的帧速率；并根据所述测量的帧速率确定参考编码帧速率。结果，能够产生适于实际编码操作的代码总量。

而且，根据所测量的帧速率的最大值确定参考编码帧速率。结果，能够减少由于这种帧跳跃中的快速变化造成的这种帧跳跃操作的出现。

而且，根据在固定时间内所测量的帧速率的平均值确定参考编码帧速率。结果能够实现适合输入帧速率中的变化的这种代码总量分配。

而且，在根据所述固定时间内测量的帧速率的平均值更新所述参考编码帧速率的情况中，当更新之前的参考编码帧速率大于更新之后的参考编码帧速率时，在所述更新之前的参考编码帧速率和所述更新之后的参考编码帧速率之间的一个值被用做更新后的参考编码帧速率。结果，能够避免当参考目标代码总量变得过大时出现这种帧跳跃操作。

本发明的另一方面是画面编码设备，用于编码输入的图像以输出压缩画面信号，所述设备包括：速率控制单元，具有能够调整将被编码的所输入图像的每一画面所产生的代码总量的功能；以及输出缓冲器，具有能够在其中存储所产生的代码直到所述存储的代码被从画面编码设备输出为止的功能；其中该速率控制单元以下述方式控制该速率，即通过将校正总量添加到近似为固定值的参考目标代码总量中，计算将被编码的所述画面的目标代码总量，并且产生的将被编码的所述画面的代码总量大约为所述目标代码总量；根据参考编码帧速率计算所述目标代码总量；以及根据对应于所述输出缓冲器中剩下的代码总量的缓冲器剩余总量的预定目标值和实际值之间的差值，计算所述校正值。根据上述设备，实现了一种画面编码，其中通过校正值能够连续地并有效地利用可用的代码总量。

本发明的另一方面是图像中继设备，该设备包括：图像接收单元，接收来自外部图像发送单元的图像；图像发送单元，将图像发送到外部图像接收单元，以及画面编码单元，用于将从外部发送单元接收的第一图像格式的图像转换成适合于该外部接收单元的第二图像格式，并将所述第二图像格式的图像发送到外部接收单元，其中，该画面编码单元包括：速率控制单元，具有能够调整将被编码的输入图像的每一画面所产生的代码总量的功能；以及输出缓冲器，具有能够在其中存储所产生的代码直到所述存储的代码被从画面编码设备输出为止的功能；其中该速率控制单元以下述方式控制该速率，即通过将校正值添加到近似为固定值的参考目标代码总量中，计算将被编码的所述画面的目标代码总量，并且产生的将被编码的所述画面的代码总量大约为所述目标代码总量；根据参考编码帧速率计算所述目标代码总量；并且根据对应于所述输出缓冲器中剩下的代码总量的缓冲器剩余总量的预定目标值和实际值之间的差值，计算所述校正值。根据本发明的图像中继设备，在其中通过校正值能够连续地并有效地利用可用的代码总量的同时，实现了一种图像中继，在该图像中继中需要将输入图像格式转换到另一种格式的格式转换。

                          附图说明

图1是画面编码设备的功能方框图；

图2是第一实施例的速率控制单元的功能方框图；

图3是描述该速率控制单元的处理操作的流程操作的流程图；

图4示出了根据本发明实施例的在速率控制下的缓冲器剩余总量的转变的例子；

图5是第二实施例的速率控制单元的功能方框图；

图6示出了通过使用输入帧速率的最大值的速率控制的缓冲器剩余总量的转变；

图7示出了通过使用输入帧速率的平均值的速率控制的缓冲器剩余总量的转变；

图8表示在电视会议系统中的画面发送的例子；

图9是通过MPEG-4 VM16的速率控制的流程操作；

图10显示了在电视会议系统中画面发送的例子；

图11是显示在图10的电视会议系统中的系统转换设备的详细结构图；

图12是表示当通过VM16执行代码总量分配时缓冲器剩余总量的转换的例子的图；

图13是表示当通过VM16执行代码总量分配时缓冲器剩余总量的转换的另一个例子的图；

                        具体实施方式

以下，参照附图来说明本发明的实施例。

图1是显示根据本发明第一实施例的画面编码设备的配置的功能方框图。该画面编码设备是基于作为ITU-T和MPEG-4的推荐H.261的通用压缩系统的编码操作来实现的。将非压缩画面输入到该画面编码设备中，并且从其中输出编码的信号。作为输入的非压缩画面，这种画面可以使用未知的帧速率且由于帧跳跃操作等而动态改变的帧速率。该画面编码设备包括速率控制单元100、图像缓冲器200、正交变换单元300、量化单元400、可变长度编码单元500、运动预测单元600、解码单元700以及输出缓冲器800。

该速率控制单元100根据存储在输出缓冲器800中的压缩画面信号的数据总量(此后将简单称为“缓冲器剩余总量”)为每一画面分配编码总量，根据所分配的编码总量确定量化的总量，并接着将该确定的量化值100a传输到量化单元400。并且，当速率控制单元100获得来自可变长度编码单元500的产生的编码总量500b时，速率控制单元100可以适当地校正一个宏块或多个宏块的单元中的量化值，并接着可以将该校正的量化值100a传输到量化单元400。而且，速率控制单元100可以响应缓冲器剩余总量800a将输入到图像缓冲器200中的一图像丢弃，并且可以输出帧跳跃指令100b。应该注意，在图1中仅指示了在各个块中的典型数据流。

图像缓冲器200一旦在其中存储了以画面为单元输入的非压缩画面，就将该输入的画面200a提供到正交变换单元300或运动预测单元600中。正交变换单元300对从输入的画面200a或运动预测单元600中输出的预测余量600b进行正交变换，并将该正交变换后的预测余量提供到量化单元400。量化单元400根据速率控制单元100指定的量化值100a量化从正交变换单元300获得变换系数300a，并将对应于该量化值的该量化的变换系数400a提供到可变长度编码单元500。可变长度编码单元500在从量化单元400接收的量化的变换系数400a、量化值和来自运动预测单元600的运动矢量上执行可变长度编码，并将作为压缩画面信号500a的结果输出到输出缓冲器800。并且，所产生的代码总量500b被传输到速率控制单元100。

运动预测单元600根据从解码单元700获得的参考图像预测从图像缓冲器获得的输入图像200a，并将对应于预测结果的运动矢量提供到可变长度编码单元500，并且还将预测余量600b提供到正交变换单元300。解码单元700获得作为量化变换系数400a的信息以及来自量化单元400和可变长度编码单元500的运动矢量，并且接着以与压缩画面信号的解码操作相似的方式解码该获得的信息从而形成构成参考图像的解压缩画面700a。接着，解码单元700将所形成的解压缩的画面700提供到运动预测单元600。输出缓冲器800暂时在其中存储由可变长度编码单元500产生的压缩画面信号500a，并且，接着将所存储的压缩画面信号输出到该画面编码设备之外。

接着，将详细描述速率控制单元100的结构和操作。图2是指示速率控制单元100的配置的功能方框图。如图2所示，速率控制单元100包括代码总量分配装置110和量化值确定装置120。代码总量分配装置110将从输出缓冲器800获得的缓冲器剩余总量800a以及从可变长度编码单元500获得的所产生的代码总量500b输入其中，并且确定一个分配的代码总量110a以输出该分配的代码总量110a。量化值确定装置120输入从代码总量分配装置110输出的所分配的代码总量110a，并确定该量化总量110a以输出该量化总量100a。

图3是描述速率控制单元100的处理流程操作的流程图。在步骤1，代码总量分配装置110设置/更新内部使用的参数作为初始处理操作。应该注意，诸如缓冲器剩余总量之类的外部获得值是从画面编码设备之外重新获得的。在步骤2，代码总量分配装置110计算目标代码总量，并将计算结果作为分配代码总量110a传输给量化总量确定装置120。

在步骤3，量化值确定装置120根据所分配的代码总量110a确定量化值100a。接着，在步骤4-1和另一步骤4-2，在已经完成相关画面的编码操作之后，代码总量分配装置110重新获得缓冲器剩余总量800a，并且，当缓冲器剩余总量800a超过输出缓冲器尺寸的80％时，代码总量分配装置110输出与图像缓冲器200有关的帧跳跃指令100b。

在这些处理操作中，将对通过代码总量分配装置110进行的目标代码计算处理操作(在步骤2确定的)给出更进一步的详细说明。通过下式计算以画面为单元的分配的代码总量：

T＝Tt+α

这里，

T：分配的代码总量，

Tt：参考目标代码总量，

α：校正值。

下面，为在固定范围内抑制延迟并防止输出缓冲器800的上溢和/或下溢，在分配的代码总量中提供了上限值和下限值，并且随后由上限值和下限值所剪切(clip)。作为一个例子，通过下面处理操作实现该剪切方法：

T：Max(R/30，T)；

T：Min(Bs*0.8，T+B)；

这里，

R：编码位速率，

B：缓冲器剩余总量，

Bs：输出缓冲器尺寸。

可以理解，根据参考编码帧速率计算参考目标代码总量，并且根据缓冲器剩余总量和目标缓冲器剩余总量计算校正值。作为一个例子，通过执行下面的处理操作计算参考目标代码总量“Tt”和校正值α：

Tt＝R/Ft；

α＝(Bt-B)*P；

这里，

Ft：参考编码帧速率，

Bt：目标缓冲器剩余总量，

P：校正值计算系数(例如，将校正值计算系数设置成1.2)。

在该实施例中，根据实际输入的非压缩画面的可预测的输入帧速率以固定方式设置参考编码帧速率为超过该可预测输入帧速率的帧速率值，例如30画面/秒。而且，如后面所描述的，根据输入画面的帧跳跃阈值或参考目标代码总量确定目标缓冲器剩余总量。

在该方法中，由于校正值“α”不是参考目标代码总量Tt的系数，所以所得结果的校正可以与参考目标代码总量Tt无关。作为结果，即使当从实际输入的帧速率的角度看参考目标代码总量被设置了不适合的值，也可以不考虑这个值而根据实际缓冲器剩余总量来校正该值(“α”)，并可以有效利用可用的位。另一方面，由于可以使用对应于稳定值(即，在该实施例中的固定值)的参考目标代码总量“Tt”，所以即使当校正值相对连续变化的缓冲器剩余总量变化很大，也能够抑制分配代码总量计算结果的过度变化。

下面，将给出量化值确定装置120的处理操作。量化值确定值检测装置120根据基于诸如VM16的量化值确定方法的通用方法中的分配的代码总量确定量化值。在这种情况中，提供了通过VM16的量化值确定方法。现在假设将要计算的量化值等于“Qc”，并且所分配的代码总量等于“T”，可以如下计算该量化值“Qc”：

if((X2＝＝0‖(((X1*Ec)**2+4*X2*Ec(T-Hp))＜0))

      Qc＝X1*Ec/(T-Hp)；

else  Qc＝(2*X2*Ec)/(sqrt((X1*Ec)**2+4*X2*Ec*(T-Hp))-X1*Ec)；

Qc＝Min(ceil(Q1*1.25)，Qc，31)；

Qc＝Max(ceil(Q1，*0.75)，Qc，1)；

这里，

Ec：运动预测余量的绝对值的平均值。当在一帧中被压缩时，为像素值的平均值，

Q1：在前面计算中使用的量化值，

Hp：标头和运动矢量的代码总量，它们是在前面的画面中产生的，

X1，X2：模型参数。

还应注意，模型参数意味着用于调整量化值确定特性的参数，并且该模型是根据压缩系统和设备的特性而适当设置的。

接着，将给出确定在图1所示的画面编码设备的速率控制单元100中使用的目标缓冲器剩余总量“Bt”的具体确定方法的描述。如前所述，使用目标缓冲器剩余总量“Bt”以计算用于获得目标代码总量“T”的校正值“α”。

在第一确定方法中，根据帧跳跃阈值“Dth”确定目标缓冲器剩余总量“Bt”。该帧跳跃阈值“Dth”是与缓冲器剩余总量800a有关的设置值。使用该设置值是为了丢弃输入到图像缓冲器中的一图像，并且输出帧跳跃指令100b。例如，该帧跳跃阈值“Dth”被设置成输出缓冲器800的缓冲器尺寸的80％。在该确定方法中，目标缓冲器剩余总量“Bt”计算如下：

Bt＝Dth*pd；

这里，

pd：目标缓冲器剩余总量计算系数(0＜pd＜1，例如，0.5)。

图4是通过使用该确定方法的计算由画面编码设备模拟缓冲器剩余总量的转换的表示图。除确定目标代码总量的方法外，其他条件与图12和图13的模拟条件相同。在这个例子中，参考编码帧速率等于30画面/秒。由于编码帧速率被设置成彼此相同，图4所示的每一画面中的校正之前的参考目标代码总量与图12中的校正之前的目标代码总量相同，即等于大约2133比特。但是，根据本发明，目标代码总量不仅受该值的相反影响，而且可以响应该目标缓冲器剩余总量被校正。如图4所示，通过将目标缓冲器剩余总量(12800比特×0.8×0.5＝5120比特)添加到先前说明的参考目标代码总量中，可以将当缓冲器剩余总量等于0时确定的目标代码总量变为大约7300比特。如前所说明的，缓冲器剩余总量变得比现有技术的大。结果，与现有技术相比，缓冲器剩余总量变成零期间的持续时间可以缩短。因此，即使在该输入帧被丢弃，并且由此能够被编码的帧的间隔被拉长的情况下，也能够更有效地使用代码总量，并且还能够抑制图像质量恶化。

如前所述，根据该确定方法，尽管将代码总量有效地分配给这样不稳定的输入帧速率，也可以设置能够降低帧跳跃阈值的目标代码总量，使得能够减少帧跳跃操作。

在第二确定方法中，根据参考目标代码总量“Tt”确定目标缓冲器剩余总量“Bt”。根据基于式Tt＝R/Ft的参考编码帧速率“Ft”和位速率“R”确定参考目标代码总量“Tt”。在该第二确定方法中，通过使用该参考目标代码总量“Tt”，根据下式确定目标缓冲器剩余总量“Bt”：

Bt＝Tt*pd；

这里，

pd：目标缓冲器剩余总量计算系数(0＜pd，例如，0.5)。

在这种情况中，现在将说明缓冲器剩余总量“Bt”和参考目标代码总量“Tt”之间的关系。缓冲器剩余总量“Bt”是指示延迟的值。例如，在缓冲器剩余总量等于参考目标代码总量的情况中，该输出缓冲器产生的延迟对应于参考代码帧周期。通常，有这样的特点，即帧速率变得越低，几乎不能被人识别的延迟量越低。例如，尽管在每秒10画面中包含的0.5秒延迟可能变得明显，但在每秒1画面中包含的0.5秒延迟可能就很难被识别。而且，通过允许大量延迟，可以增加每一画面的代码总量的可允许量。当有效地分配了代码总量时，可以更一致地改进整个画面的质量。

结果，根据该确定方法，延迟总量可以设置成与编码操作期间所需的帧速率有关的目标延迟总量，并且可以实现更多的有效代码总量。而且，在根据下述方法计算参考目标代码总量的情况中，由于参考编码速率可以变成适合输入画面的一种帧速率，所以可以根据该确定方法确定适于该输入画面的条件的、具有浪费量小的校正值。

在第一实施例中，速率控制单元100使用的参考编码帧速率是固定的。在第二实施例中，参考编码帧速率是根据输入帧速率确定的。结果，能够设置更适合编码操作的目标代码总量。由于有效地使用代码总量，所以可以减少图像质量的恶化以及帧跳跃操作。

第二实施例的画面编码设备的整个配置与第一实施例的相似，并且该画面编码设备的功能方框图如图1所示。另外，速率控制单元100的内部配置在图5的功能方框图中示出。速率控制单元100由代码总量分配装置110和量化值确定装置120构成，这点与第一实施例类似。应该理解，代码总量分配装置110输入于其中的是从图像缓冲器200获得的除缓冲器剩余总量800a和产生的代码总量500b之外的输入帧间隔的信息200b。该输入帧间隔200b对应于通过在存储于图像缓冲器200中的画面被输入到代码总量分配装置110之后，下一新画面被输入其中而确定的时间段。例如，第n个画面的输入帧间隔L(n)表示通过在第(n-1)画面被输入到代码总量分配装置110之后，第n个画面被输入所确定的时间段。通过计算该时间段的倒数，得到在该时间瞬间上的即时的输入帧速率。换言之，在当第n个画面被输入时的时间瞬间上的输入帧速率“F(n)”可以如下计算：F(n)＝1/L(n)。并且，当存储了固定时间内的输入帧间隔的信息时，就可以计算该期间的平均值，从而可以计算在该固定时间内的平均输入帧速率。例如，从第a画面至第b画面确定的平均输入帧速率“Favg(a，b)可以根据下式计算：

[式1]

$\mathrm{Favg}(a,b)=\frac{{\mathrm{\Σ}}_{n=a}^{b}F\left(n\right)}{(b-a)}=\frac{1}{(b-a)}{\mathrm{\Σ}}_{n=a}^b\frac{1}{L\left(n\right)}$

下面，将说明根据该第二实施例的画面编码设备的操作。该设备的所有操作与第一实施例中所述的设备的操作相似。而且，速率控制单元100的操作与在图3所示的范围内的第一实施例的速率控制单元100的操作相似。应该注意，确定参考编码帧速率的方法不同于第一实施例，第一实施例中的方法在目标代码总量计算处理操作中被执行(图3的步骤2)。换言之，在第一实施例中，固定值被用做参考编码帧速率，而在第二实施例中，通过使用从图像缓冲器200中获得的输入帧间隔200b计算输入帧速率，并接着根据该计算的输入帧速率确定参考编码帧速率。

下面，将描述根据该第二实施例的基于输入帧速率确定参考编码帧速率的方法。

第一确定方法对应于这样的方法，即根据在执行编码处理操作时测量的最大输入帧速率计算参考编码帧速率的方法。在该确定方法中，如下确定参考编码帧速率：该处理操作对每一画面进行：

Ft＝Max(Ft，F(n))*Pf；

这里，

Pf：参考编码帧速率的计算系数(0＜Pf，例如，Pf＝1.1)，

n：输入的画面号(第n个画面)。

最好以这种方式设置目标代码总量，即设置为当下一画面被编码时可以假设在某一时间瞬间上编码一画面所产生的代码。为此目的，需要计算输入帧间隔F(n+1)。当为编码第n个画面实际获得输入帧间隔F(n+1)时，将出现对应于1个画面的延迟长度，这对于实时通信来说是不合适的。作为替代的方式，有一种与输入帧间隔F(n+1)一样的方式，即不使用实际值，而将从过去的输入帧间隔中计算的值用做预测值。但是，如在该实施例中说明的，在直至下一编码操作开始的时间段是未知的情况中，当仅从F(n)计算输入帧间隔F(n+1)时，该计算的输入帧间隔F(n)可以变得远大于间隔F(n+1)，因为对输入画面执行了帧跳跃。在这种情况中，作为参考目标代码总量，将设置这种远大于应被原始设置的目标代码总量的值。结果，根据该校正值不能校正参考目标代码总量，而设置了较大的目标代码总量，使得分配了大于必须的代码总量的无用的代码总量。由于进一步增加了缓冲器剩余总量，就存在出现帧跳跃操作的问题。

相反，根据该确定方法，在使用最短的输入帧间隔，即使用最大输入帧速率的情况中，通过能够实际执行的编码操作中确定的参考编码帧速率小于该帧速率的可能性是低的。结果，参考目标代码总量等于代码总量的可能性就高，所有的代码总量在下一画面被编码前可以被处理完。该参考目标代码总量可以减少帧跳跃操作。图6是表示使用通过计算模拟该确定方法的画面编码设备的缓冲器剩余总量的转换的图。如该图所示，即使在输入画面被执行了帧跳跃的情况中的稳定条件下也能实现代码总量的有效分配。

如前所述，根据该确定方法，可以执行适于输入画面的代码总量分配，并且可以减少帧跳跃。

第二确定方法对应于这样的一种方法，即根据已经在编码操作开始之后的过去的固定时间周期中获得的输入帧速率的平均帧速率，计算参考编码帧速率的方法。在该确定方法中，根据下述方法确定参考编码帧。该处理操作在每一画面上执行。

Ft(n)＝Favg*Pf；

Favg＝avg(F(n)，F(n-1)，---.，F(n-1+1))；

在这里，

Pf：参考编码帧速率的计算系数(0＜Pf，例如，Pf＝0.8)，

l＝在用于平均计算的时间周期中包含的画面总数。

根据该第二确定方法，可以设置大于第一确定方法的参考目标代码总量。结果，与第一确定方法相比，能够减少无用的代码。

第三确定方法与第二确定方法相似，并对应于下面的确定方法。即，当对在固定时间内的输入帧速率进行平均“Favg”计算时，当平均“Favg”大于此时的参考编码帧速率“Ft”时，该平均“Favg”被直接分配给参考编码帧速率“Ft”；而当平均“Favg”小于该帧速率“Ft”时，在“Favg”和“Ft”之间的任何值，例如平均值，被分配给“Ft”。根据该确定方法，基于下述方法确定参考编码帧速率。这个处理操作对每一画面执行。

Favg＝avg(F(n)，F(n-1)，---.，F(n-1+1))；

if(Favg＞＝Ft)Ft＝Favg；

else Ft＝((Favg*Pf)+(Ft*(1-Pf))；

注意：

Pf：参考编码帧速率的计算系数(0＜Pf＜1，例如，0.5)，

l＝在用于平均计算的时间周期中包含的画面总数。

图7是表示通过使用基于计算模拟模拟该确定方法的画面编码设备的缓冲器剩余总量的转换的图。

如前所述，根据第三确定方法，与输入帧速率一致，能够实现代码总量分配，并且与第二确定方法相似，能够几乎不产生无用的代码总量。另外，当输入帧速率快速改变时，几乎不能设置较大的参考目标代码总量，从而能够减少帧跳跃操作。

如前所述，根据本发明，即使在输入画面的帧速率是未知，甚至是变化的情况中，也能执行代码总量分配，并且可用的代码总量没有浪费。

Claims (21)

1.一种以对将被编码的每个画面计算目标代码总量并且产生的将被编码的所述画面的代码总量大约为所述目标代码总量的方式执行编码控制的画面编码方法，其中：

通过将校正总量添加到近似为固定值的参考目标代码总量中，计算所述将被编码的画面的目标代码总量；

从参考编码帧速率中计算所述参考目标代码总量；以及

根据已经被编码的并且还没从输出缓冲器中输出的画面的剩余总量的预定目标值和实际值之间的差值，计算所述校正总量。

2.如权利要求1所述的画面编码方法，其中：

根据对应用于判断下一画面是否被编码的阈值的帧跳跃阈值，确定画面的剩余总量的所述预定目标值。

3.如权利要求1所述的画面编码方法，其中：

根据参考目标编码总量确定画面的剩余总量的所述预定目标值。

4.如权利要求1至3中任一权利要求所述的画面编码方法，其中：

测量输入画面的帧速率；以及

根据所述测量的帧速率确定所述参考编码帧速率。

5.如权利要求4所述的画面编码方法，其中：

根据所述测量的帧速率的最大值确定所述参考编码帧速率。

6.如权利要求4所述的画面编码方法，其中：

根据在固定时间内的所述测量的帧速率的平均值确定所述参考编码帧速率。

7.如权利要求6所述的画面编码方法，其中：

在根据所述固定时间内的测量的帧速率的平均值更新所述参考编码帧速率的情况中，当更新之前的参考编码帧速率大于更新之后的参考编码帧速率时，在所述更新之前的参考编码帧速率和所述更新之后的参考编码帧速率之间的一个值被用做更新后的参考编码帧速率。

8.一种画面编码设备，用于编码输入的图像以输出压缩画面信号，所述设备包括：

速率控制单元，具有能够调整将被编码的所述输入图像的每一画面所产生的代码总量的功能；以及

输出缓冲器，具有能够在其中存储所产生的代码直到所述存储的代码被从画面编码设备输出为止的功能；其中：

所述速率控制单元以下述方式控制该速率，即通过将校正总量添加到近似为固定值的参考目标代码总量中，计算将被编码的所述画面的目标代码总量，并且产生的将被编码的所述画面的代码总量大约为所述目标代码总量；

根据参考编码帧速率计算所述目标代码总量；以及

根据对应于所述输出缓冲器中剩下的代码总量的缓冲器剩余总量的预定目标值和实际值之间的差值，计算所述校正值。

9.如权利要求8所述的画面编码设备，其中：

根据对应用于判断下一画面是否被编码的阈值的帧跳跃阈值，确定缓冲器剩余总量的所述预定目标值。

10.如权利要求8所述的画面编码设备，其中：

根据参考目标编码总量确定剩余缓冲器总量的所述预定目标值。

11.如权利要求8至10中任一权利要求所述的画面编码设备，还包括：

测量所述输入图像的帧速率的测量装置；以及

根据所述测量的帧速率确定所述参考编码帧速率。

12.如权利要求11所述的画面编码设备，其中：

根据所述测量的帧速率的最大值确定所述参考编码帧速率。

13.如权利要求11所述的画面编码设备，其中：

根据在固定时间内的所述测量的帧速率的平均值确定所述参考编码帧速率。

14.如权利要求13所述的画面编码设备，其中：

在根据所述固定时间内的测量的帧速率的平均值更新所述参考编码帧速率的情况中，当更新之前的参考编码帧速率大于更新之后的参考编码帧速率时，在所述更新之前的参考编码帧速率和所述更新之后的参考编码帧速率之间的一个值被用做更新后的参考编码帧速率。

15.一种图像中继设备，包括：

图像接收单元，接收来自外部图像发送单元的图像；

图像发送单元，将图像发送到外部图像接收单元，以及

画面编码单元，用于将从外部发送单元接收的第一图像格式的图像转换成适合于该外部接收单元的第二图像格式，并将所述第二图像格式的图像发送到外部接收单元，

其中，该画面编码单元包括：

速率控制单元，具有能够调整将被编码的输入图像的每一画面所产生的代码总量的功能；以及

输出缓冲器，具有能够在其中存储所产生的代码直到所述存储的代码被从画面编码设备输出为止的功能；其中

所述速率控制单元以下述方式控制该速率，即通过将校正值添加到近似为固定值的参考目标代码总量中，计算将被编码的所述画面的目标代码总量，并且产生的将被编码的所述画面的代码总量大约为所述目标代码总量；

根据参考编码帧速率计算所述目标代码总量；以及

根据对应于所述输出缓冲器中剩下的代码总量的缓冲器剩余总量的预定目标值和实际值之间的差值，计算所述校正值。

16.如权利要求15所述的图像中继设备，其中：

根据对应用于判断下一画面是否被编码的阈值的帧跳跃阈值，确定缓冲器剩余总量的所述预定目标值。

17.如权利要求15所述的画面中继设备，其中：

根据参考目标编码总量确定剩余缓冲器总量的所述预定目标值。

18.如权利要求15至17中任一权利要求所述的画面中继设备，还包括：

测量所述输入图像的帧速率的测量装置；以及

根据所述测量的帧速率确定所述参考编码帧速率。

19.如权利要求18所述的画面中继设备，其中：

根据所述测量的帧速率的最大值确定所述参考编码帧速率。

20.如权利要求18所述的画面中继设备，其中：

根据在固定时间内的所述测量的帧速率的平均值确定所述参考编码帧速率。

21.如权利要求20所述的画面中继设备，其中：

在根据所述固定时间内的测量的帧速率的平均值更新所述参考编码帧速率的情况中，当更新之前的参考编码帧速率大于更新之后的参考编码帧速率时，在所述更新之前的参考编码帧速率和所述更新之后的参考编码帧速率之间的一个值被用做更新后的参考编码帧速率。

Images