CN1166207C - 对视频信号进行编码的方法、装置及采用该装置的摄像机 - Google Patents

Abstract

用于对视频信号进行编码的方法和装置，其中在产生运动补偿编码的视频信号(I，B，P)和产生较高分辨率的图像(I_H)之间进行选择(39)。依靠对一系列随后的较低分辨率的图像(f_{1，2，3，…})的运动进行估计来产生较高分辨率的图像(I_H)。从这些图像(f_{1，2，3，…})来内插较高分辨率的图像(I_H)。在本发明的最佳实施例中，从视频信号选择(36)预先确定的感兴趣区域(S(ROI))。与通过图像传感器(2)拾取的全图像相比较，与这些感兴趣区域的有关的图像(f_{1，2，3，…})占据较少的存储器(33)。传统的图像存储器(33)足以存储与某感兴趣区域有关的图像系列(f_{1，2，3，…})。对这些图像执行运动估计(31)并将其运动向量(m)存储在向量存储器(37)中。用所存储的图像(f_{1，2，3，…})和其运动向量(m)来内插较高分辨率的图像(I_H)。本发明可用于传感器(2)-编码器(3)集成，例如摄像机系统(1)中。

Description

对视频信号进行编码的方法、装置及采用该装置的摄像机

本发明涉及一种用于在运动补偿编码器中对包含一系列图像的视频信号进行编码的方法，所述方法包含如下步骤：接收一系列图像并以子分辨率(sub-resolution)精度来估计一系列图像的运动向量。

本发明还涉及用于对包含一系列图像的视频信号进行编码的运动补偿编码器、用于以子分辨率精度来估计一系列图像的运动向量的估计装置、用于存储图像的图像存储器和用于借助于图像存储器形成并提供运动补偿编码视频信号的装置，其中所述编码器包括用于接收所述图像系列的接收装置。

本发明还涉及摄像机系统，后者包括用于拾取包含一系列图像的视频信号的图像传感器和运动补偿编码器。

Regis Saint Girons的“数字联播AD-HDTV编码系统”一文(IEEETrans.On Consumer Electr.Vol.38，No.4，November 1992，pp.778-782)描述了一种包含MPEG视频编码器的高级数字高清晰度电视系统(Advanced Digital High Definition Television System)。在MPEG编码器中接收预处理器处理后的视频信号。编码器包括用于估计运动的装置。所述文章描述了一种对具有半像素精度(half-pixel accuracy)的16×16像素的宏模块中的运动进行估计的技术。产生运动向量，它表示图像中的宏模块相对于前一幅图像的运动。当已知运动向量时，可以从前一个重构的图像来预测宏模块的像素值。为了压缩的目的，从有关宏模块的实际象素值减去预测的象素值。差值为剩余宏模块。再对剩余宏模块进行编码并将其与运动向量一道提供给编码器的输出端。这样，利用视频信号中的时间冗余。

本发明的目的是提高视频信号的分辨率。

为此，按照本发明的方法的特征在于包括如下步骤：在产生并提供运动补偿编码的视频图像还是产生并提供比有关图像系列分辨率更高的较高分辨率图像进行选择，如果产生运动补偿编码的视频信号，则借助于图像存储器形成运动补偿编码的视频信号，如果产生较高分辨率图像，则借助于图像存储器从有关图像系列和运动向量来形成较高分辨率图像。根据子分辨率运动信息的可用性和视频信号中图形失真的存在来形成较高分辨率的图像。因此，出现在各个图像中的信息被用来形成具有较高分辨率的新图像。分辨率是图像精细或聚焦的程度。在许多情况下，分辨率将对应于构成图像的像素数。如果多个像素共同用来显示一个像素的图像信息，则像素数可大于所述分辨率。例如，这出现在利用通过有限的一组像素对彩色通道进行抽样的滤色光栅(color filter grating)时或者在不增加图像内容的情况下以更大数目的像素放映图像时。子分辨率精度涉及比所述图像的精细或聚焦更高的精度并且在许多情况下对应于子像素精度。

应当指出，已经从欧洲专利申请EP 0731600得知提高分辨率。从Debin Chen等的“从MPEG图像序列提取高分辨率图像”  一文(ICIP’98，October 1998，Chicago)得知得到较高分辨率图像的另一种方法。此外，在未预先公开的国际专利申请PCT/IB 98/01966(对应我们的参考PHN 16.674)中描述了这种方法。在该文献描述的方法中，出现在MPEG信号中的运动向量用来形成较高分辨率的图像。

这些已知的方法被用来显示视频信号。可是，在运动补偿编码器中对视频信号进行编码时执行按照本发明的分辨率提高。尽管欧洲专利申请EP 0731600描述了可以经由通信网络来远程显示视频信号，然而该专利申请没有提供任何有关在运动补偿编码器中对视频信号进行编码的说明。在运动补偿编码器中提高分辨率的优点是：在这样的编码器中已经有了用于估计运动的装置。而且，已经有了可以存储来自所述系列的各个图像的图像存储器。按照本发明，有利地利用运动补偿编码器中的运动估计器和图像存储器，既用于产生运动补偿编码的视频信号又用于产生较高分辨率的图像。

通过重复按照本发明的方法，从所述编码器的输出端提供一系列具有较高分辨率的图像。在本发明的最佳实施例中，所述图像系列适合于预定标准的输出信号。例如，这可能是每秒标准数量的图像。另外，通常把每秒较大数量的较低分辨率的图像加到输入端，这些较低分辨率的图像用来在输出端形成标准数量的较高分辨率的图像，视所述视频信号而定。两幅较高分辨率的图像可结合为一幅交错的图像。

通常，本发明需要用来存储来自所述系列的各个图像的存储空间。这意味着提高分辨率的编码器中比不提高分辨率的编码器中应该有更大的存储空间，因为在分辨率提高的情况下通常存储更多的图像。符合所需存储空间数量的实施例的特征在于所述方法包括如下步骤：从所述视频信号选择感兴趣的预定区域并在图像存储器中存储图像系列，即与感兴趣的区域有关的图像。感兴趣的区域形成所述视频信号的子信号。感兴趣的区域是由所述视频信号提供的显示的预选子区域。感兴趣的区域的选择传到编码器，随后从所述视频信号选择感兴趣的区域。与感兴趣的区域有关的子图像比所述全图像占据的空间小。当感兴趣的区域足够小时，可以在常规的图像存储器中存储几幅子图像，而不必扩展该存储器。常规图像存储器是不形成较高分辨率图像的可比较的编码器中存在的图像存储器。这样，有可能使用便宜的并且实用的方法来提高分辨率。一系列感兴趣的区域的子图像结合成一幅分辨率比分开的子图像高的的图像，所述较高分辨率的图像最好具有与一般图像相同的像素。

最好在执行运动补偿和其它编码操作这两者的混合编码器中估计运动。MPEG是一个例子。MPEG编码器已经包括用于估计运动和产生运动向量的标准装置和用于存储各个图像的图像存储器。可把较高分辨率图像作为内编码帧而提供。MPEG解码器可以不需要附加信息而对这样的帧进行解码。H.263是压缩技术的另一个例子。

按照本发明的运动补偿编码器的特征在于：编码器包括组合装置，用于借助于图像存储器从图像系列和运动向量来形成和提供较高分辨率的图像，所述较高分辨率的图像具有比所述系列的图像更高的分辨率。

按照本发明的摄像机系统包括用于得到视频信号的图像传感器和用于按照本发明对所述视频图像进行编码的运动补偿编码器。按照本发明把编码器集成在摄像机系统中具有这样的优点：更加简单地以高速率得到图像系列。本发明非常适合于传感器-编码器集成。

通过参考下面描述的实施例，本发明的上述和其它方面将得到阐述，使其显而易见。

附图中：

图1示出了包括已知编码器的装置。

图2示出了按照本发明的装置的实施例。

图3A、3B说明按照本发明的最佳实施例中编码器的输入和输出。

各附图仅仅示出用于理解本发明所必要的那些元件。

图1示出了包括已知的编码器的装置。它是包括图像传感器2和混合编码器3的摄像机系统1。编码器3包括接收装置30、运动估计器31、运动补偿器32和图像存储器33。编码器还包括减法电路34和加法电路35。

将参考图1概略地解释已知的编码器的操作。图像F_1，2…出现在来自图像传感器2的视频信号中并在编码器3的接收装置30中被接收。可能存在的用来预处理视频信号的装置未被示出。第一图像F₁加到减法电路34和运动估计器31。对所述第一图像进行编码而没有利用运动估计和运动补偿。这意味着在减法电路34中没有从所述第一图像F₁减去任何成分。通常对减法器输出的图像进行各种编码操作，以便压缩所述信号。在这些操作中，利用了图像的空间冗余。这些编码操作的例子有结合自适应量化的离散余弦变换(DCT)、差分编码、行程长度编码(RLC)和变长编码(VLC)。对本发明而言，执行这些编码操作的装置没有直接的重要性，因此，为清楚起见，附图中未将其示出。因为只对所述第一图像F₁进行上述编码操作而不进行运动补偿，因而把对所述第一图像进行编码操作的结果称为I(内编码)图像。把I图像加到编码器3的输出端和加法电路35。因为没有进行运动补偿，因而在加法电路35中没有把任何成分加到I图像。I图像被重构并随后作为重构图像F₁’而存储在存储器33中。为清楚起见，没有示出用于对I图像进行重构同时对其进行完全或部分编码的各种装置。

运动估计和运动补偿被用于第二图像F₂。在运动估计器31中，第二图像F₂与从I图像重构的F₁’图像相比较，其中F₁’存储在存储器33中并且理论上相同于第一图像F₁。对每一个宏模块，根据F₁’图像来估计第二图像中的运动。结果，产生运动向量m，后者被传送到编码器3的输出端。而且，在运动补偿器32中计算与这些运动向量m有关的运动补偿图像。这是根据存储器33中存储的F₁’图像来进行的。在减法器电路34中把运动补偿图像与第二图像F₂相减，这样产生剩余第二图像。再按照上述的各种编码方法压缩剩余第二图像。按照所用到的运动补偿，所得结果被称为P(预测编码)或B(双向编码)图像。对本发明而言，P和B图像间的差异不重要。可在加法电路35中把剩余第二图像与所述运动补偿图像相加，以便得到重构的第二图像，后者可存储在图像存储器33中以便进一步用于运动补偿。

图2示出按照本发明的摄像机系统1的实施例。除已经提及的部件外，本实施例中的摄像机系统包括选择装置36，用于从来自图像传感器2的视频信号中选择感兴趣的区域(ROI)。图2示出编码器中的选择装置36，但另一方面也可以将其放在编码器3的外面，置于图像传感器2中或其它位置。例如，由观看显示屏上的显示的用户来预定感兴趣的区域。例如，因为用户要放大图像传感器2拾取的图像的给定部分区域，他可以选择某个感兴趣的区域。对本发明重要的仅仅是以预定方式通知选择装置36，而从视频信号中选择哪个作为感兴趣的区域对本发明不重要。作为例子，在所示的实施例中，把定义感兴趣区域的信号S(ROI)加到选择装置36。选择装置36从与感兴趣区域有关的视频信号中选择数据并传送这些数据。选择装置36把来自图像传感器2的视频信号中的图像F_{1，2，3，…}减少为只与感兴趣区域有关的子图像f_{1，2，3，…}。与图像F_{1，2，3，…}相比较，这些子图像f_{1，2，3，…}占据着较少的存储空间。这意味着：根据感兴趣区域的大小和图像存储器33，可以把各个子图像f_{1，2，3，…}存储在同一图像存储器33中。如果可得到各个子图像f_{1，2，3，…，}则它们可用来按照已知的方法提高分辨率。

分辨率提高的结果是一幅具有比所述系列的子图像f_{1，2，3，…}高的分辨率的图像I_H。在将较高分辨率图像I_H提供到编码器的输出端之前，通常要对它进行前述的各种编码操作。I_H图像具有与参考图1所描述的标准I图像相同的格式。连续的较高分辨率图像I_H需要连续序列的子图像f_{1，2，3，…}。于是，具有每秒给定数量的子图像f_{1，2，3，…}的信号被转换成具有每秒较少或相等数量的图像I_H的信号，但每一幅图像I_H具有更高的分辨率。

可以按照从前述欧洲专利申请EP 0731600中得知的方法来提高分辨率。在该申请中描述了一种方法，其中具有较低分辨率的一幅图像被选择为参考图像。按子分辨率精度来估计参考图像和每一幅其它图像的像素间的相对运动。当利用以这种方式估计的运动时，参考高分辨率域来定标(scale)较低分辨率的图像并将这些图像组合起来形成高分辨率图像。以映射变换的形式来表示相对运动。

最好在利用运动估计处理31中产生的运动向量m时从所述子图像f_{1，2，3，…}系列形成较高分辨率图像I_H。例如，这可以按照前述DebinChen等的文章中描述方法来进行。按照Chen的方法，在利用后续的P和B图像及有关运动向量m时提高I图像的分辨率。在利用半像素运动向量m作为初始值条件时，在开始简化的子像素搜索处理后对这些图像进行上抽样，以便使宏模块与上抽样的(up-sampled)视频图像匹配。

在按照上述的国际专利申请的实际实施例中，运动向量m被直接用来使宏模块与上抽样的视频图像匹配，或者利用上抽样视频图像对宏模块进行内插。

例如，运动估计器31和图像存储器33已经出现在图1所示的标准解码器中。另外需要的部件是用于存储运动向量的向量存储器37以及内插器38。而且，需要复杂的编址方案，因为几幅图像必须同时存储到存储器中并进一步用来重构较高分辨率的图像I_H。最大的优点是：当在编码器3中提高分辨率时，可以利用已知的标准编码器3中许多已有的部件，其中最重要的部件是运动估计器31和图像存储器33。

来自有关系列的子图像f_{1，2，3，…}不是诸如I、B和P图像的编码图像，而是来自从图像传感器2接收图像的接收装置30的图像F_{1，2，3，…}的子图像f_{1，2，3，…}。最初不必对这些子图像f_{1，2，3，…}进行解码。

来自视频信号的子图像f_{1，2，3，…}不仅传送到用于分辨率提高的图像存储器33，而且还传送到运动估计器31。第一子图像f₁加到图像存储器33而不估计运动。对于随后的子图像f_2，3，…，最好根据所述子图像前和/或后的子图像来估计运动。其理由是：这比利用参考图像产生更好的运动估计结果。所得到的运动向量m存储在存储器37中。可把存储子图像f_{1，2，3，…}、运动估计和运动向量m存储的阶段称为“收集阶段”。这是分辨率提高的第一阶段。

第二阶段是构成较高分辨率图像I_H。可把该阶段称为“内插阶段”。最好在利用运动向量m时进行内插。借助于运动向量m把存储在图像存储器33中的子图像f_{1，2，3，…}内插到较高分辨率的图像I_H中。在内插器38中进行这种内插。内插器38与图像存储器33和向量存储器37相连接。类似于已知的方法，在利用可从向量存储器37得到的运动向量m的同时，内插器38从可从图像存储器33得到的所述子图像f_{1，2，3，…}系列来构造较高分辨率的图像I_H。另一方面，可利用不同于内插的方法来形成较高分辨率的图像I_H。内插的优点是可以以相对简单和快速的方式来进行。

再用传统的方式对较高分辨率的图像I_H进行压缩。在该实施例中把该图像I_H作为一般的I图像传送。可以不进行运动补偿来传送连续的较高分辨率图像I_H。另有可能对较高分辨率的图像I_H进行运动补偿。为了这一目的，需要参考图1所描述的方法，该方法需要图像存储器33或另外的存储中的存储空间。根据较高分辨率的图像I_H的大小和图像存储器33的大小，图像存储器需要或者不需要扩展。控制单元39确定编码器是提供运动补偿编码的视频信号还是提供较高分辨率的图像I_H。

图3A、3B说明按照本发明的最佳实施例编码器3的输入和输出。图3A示出了一般的视频方式，就象参考图1所描述的那样。与显示X有关的输入图像F_1，2，…加到编码器3并在编码器3中被编码。输出信号包括编码的图像I、B和P。

图3B示出了ROI视频方式。从视频信号选择感兴趣区域ROI并形成显示X的子区域。与感兴趣区域ROI有关的子图像f_{1，2，3，…}是与显示X有关的图像F_{1，2，3，…}的子图像。根据信号S(ROI)，选择装置36从图像F_{1，2，3，…}来选择子图像f_{1，2，3，…}。在编码器2中利用输入信号f_{1，2，3，…}来形成较高分辨率的图像I_H。在该例子中，九个子图像f_{1，2，3，…}形成三个三子图像系列。这产生三个高分辨率图像I_H，其中每一个都是从一个系列的三个子图像和有关的运动向量m来内插的。由此得到与一般视频方式中图像I、B和P相同速率的较高分辨率的图像I_H，而子图像f_{1，2，3，…}的速率为上述速率的三倍。每个系列三个子图像f_{1，2，3，…}的数量只是一个例子，另外可用不同的数量或非固定数量。子图像没有必要在视频信号中连续地出现。另一方面，有可能使用来自随后的子图像系列中所述系列f_{1，2，3，…}的一个或一个以上的子图像来形成随后的较高分辨率的图像I_H。在图3A和图3B两者中，输出信号遵守同一标准并可用同一解码器进行解码。尽管涉及感兴趣区域，然而解码器的I_H图像对应于一般的I图像。对该实施例而言，有必要以足够高的速率得到感兴趣区域的图像f_{1，2，3，…}。图2所示编码器3与图像传感器2的结合提供了如下的优点：易于以高速率从传感器2得到图像f_{1，2，3，…}，并易于使编码器3与传感器2适配。

根据每系列感兴趣区域ROI的大小和数量来确定图像存储器33需要或者不需要扩展。最好这样选择感兴趣区域ROI，使得有可能相对于一般视频方式不用扩展图像存储器33就能在编码器中提高分辨率。于是有可能用最少数量的额外部件既执行一般方式(见图1和图3A)又执行ROI视频方式(见图2和图3B)。如果扩展图像存储器33，则还可能把更多和/或更大的感兴趣区域ROI用于整个显示X、或利用I、B和P序列。

对于某些应用场合，把两幅较高分辨率的图像结合为一个交错的图像是有利的。

CMOS PC摄像机是本发明的实际实施例的一个例子。

根据有关视频标准，还可能使用“帧”或“场”，而不是上述的“图像”。

应该指出，上述实施例是说明而不是限制本发明。在不脱离后附权利要求书的范围的情况下，本领域技术人员可以设想另外的实施例。

在权利要求书中括号中的参考数字用于说明权利要求书而不应构成对权利要求书的限制。

单词“包括”及其结合不排除存在权利要求书所述的之外的元件或步骤。可通过利用分开的元件或通过适当编程的计算机来实现本发明。

在其中提到各种装置的与编码器或摄像机系统有关的权利要求中，这些装置中的不同部分可以形成在同一个硬件块中。

Claims (7)

1.一种在运动补偿编码器(3)中对包含一系列图像(f_{1，2，3，...})的视频信号进行编码的方法，所述方法包括如下步骤：

接收(30)所述一系列图像(f_{1，2，3，...})；和

以子分辨率精度估计(31)所述一系列图像(f_{1，2，3，...})的运动向量(m)，

其特征在于所述方法包括如下步骤：

在是产生和提供运动补偿编码的视频信号(I，B，P)还是产生和提供具有比所述系列中的图像(f_{1，2，3，...})更高分辨率的较高分辨率的图像(I_H)之间进行选择(39)，

如果产生所述运动补偿编码的视频信号，则借助于图像存储器(33)形成(38)所述运动补偿编码的视频信号(I，B，P)，和

如果产生所述较高分辨率的图像(I_H)，则借助于所述图像存储器(33)来从所述一系列图像(f_{1，2，3，...})和所述运动向量(m)形成(38)所述较高分辨率的图像(I_H)。

2.权利要求1的方法，其中通过重复产生和提供较高分辨率的图像(I_H)而得到一系列较高分辨率的图像(I_H)，所述一系列较高分辨率的图像(I_H)适合于预定标准的输出信号。

3.权利要求2的方法，其特征在于：两幅较高分辨率的图像(I_H)组合为一幅交错图像。

4.权利要求1的方法，其特征在于包括如下步骤：

从所述视频信号选择(36)预定的感兴趣区域(S(ROI))，和

把所述一系列图像(f_{1，2，3，...})存储在所述图像存储器(33)中，所述图像(f_{1，2，3，...})与所述感兴趣区域(S(ROI))有关。

5.一种用于对包含一系列图像(f_{1，2，3，...})的视频信号进行编码的运动补偿编码器(3)，所述编码器(3)包括：

接收装置(30)，用于接收所述一系列图像(f_{1，2，3，...})，

估计装置(31)，用于以子分辨率精度估计所述一系列图像(f_{1，2，3，...})中的运动向量(m)；

图像存储器(33)，用于存储所述图像(f_{1，2，3，...})，和

用于借助于所述图像存储器(33)来形成和提供运动补偿编码的视频信号(I，B，P)的装置，

其特征在于所述编码器包括：

组合装置(38)，用于借助于所述图像存储器(33)从所述一系列图像(f_{1，2，3，...})和所述运动向量(m)形成和提供较高分辨率的图像(I_H)，所述较高辩率的图像(I_H)具有比所述系列中的图像(f_{1，2，3，...})更高的分辨率。

6.权利要求5的运动补偿编码器，其特征在于所述编码器(3)包括：

选择装置(36)，用于从所述视频信号选择预定的感兴趣区域(S(ROI))，和

所述图像存储器(33)适合于存储所述一系列图像(f_{1，2，3，...})，所述图像(f_{1，2，3，...})与所述感兴趣区域(S(ROI))有关。

7.一种摄像机系统(1)，它包括：

图像传感器(2)，用于拾取包含一系列图像(f_{1，2，3，...})的视频信号，和

用于对所述视频信号进行编码的运动补偿编码器(3)，所述编码器(3)包括：

接收装置(30)，用于接收所述一系列图像(f_{1，2，3，...})，

估计装置(31)，用于以子分辨率精度估计所述一系列图像(f_{1，2，3，...})中的运动向量(m)；

图像存储器(33)，用于存储所述图像(f_{1，2，3，...})，和

用于借助于所述图像存储器(33)来形成和提供运动补偿编码的视频信号(I，B，P)的装置，

其特征在于所述编码器包括：

组合装置(38)，用于借助于所述图像存储器(33)从所述一系列图像(f_{1，2，3，...})和所述运动向量(m)形成和提供较高分辨率的图像(I_H)，所述较高辩率的图像(I_H)具有比所述系列中的图像(f_{1，2，3，...})更高的分辨率。

Images