CN1672425A

CN1672425A - 用于编码数字视频信号的方法和编码器

Info

Publication number: CN1672425A
Application number: CNA038177129A
Authority: CN
Inventors: G·马昆特
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-07-24
Filing date: 2003-07-08
Publication date: 2005-09-21
Also published as: EP1527611A1; KR20050030955A; US20050259750A1; WO2004010709A1; AU2003244999A1; JP2005534220A

Abstract

本发明涉及用于处理数字视频信号的方法和编码器，所述数字视频信号包括至少一个情景切换，后面跟随一组图像。本方法的特征在于，所述方法包括以下步骤：定位所述情景切换(CUT)，在所述图像组内规定视觉上不相关的一个图像子组(IS)，以及根据位于所述情景切换(CUT)后面的视觉上相关的图像(I(t0+2))计算所述的组，而得出正好在情景切换(CUT)后的经编码的视觉上不相关的图像组(IS′)。

Description

用于编码数字视频信号的方法和编码器

发明领域

本发明涉及用于编码数字视频信号的方法，所述数字视频信号包括至少一个情景切换，该情景切换后面跟随一组图像。本发明还涉及编码器，所述编码器实施所述方法。

这样的方法例如可用于视频通信系统。

发明背景

视频通信系统，例如电视通信系统，典型地包括编码器、传输媒体、和译码器。

这样的系统接收输入数字视频信号，由编码器将所述信号编码，经由传输媒体发送编码的信号(也称为比特流)，然后由译码器译码或重建发送的信号，从而得到输出的数字视频信号。在大多数时间，数字视频信号包括至少一个情景切换，该情景切换后面跟随一组图像。

数字视频信号的每个图像按不同的方案编码：或者以帧内模型，也就是与其他图像无关地编码，或者以帧间模型，也就是根据数字视频信号以前或以后图像的运动补偿不同地编码。通过使用帧内模型而编码的图像被称为内部帧。通过使用帧间模型而编码的图像被称为帧间的帧。内部帧比起帧间的帧花费更高的比特率。所述帧内的和帧间的模型在参考标准MPEG-2的ISO/IEC 13818-2：1996(E)，”Information technology-Generic coding of movingpictures and associated audio information：Video(信息技术-活动图像和相关的音频信息的通用编码：视频)”，国际标准，1996中描述。

当输入的数字视频信号在前一个与下一个图像之间出现情景切换时，所述前一个和下一个图像通常是非常不同的以及具有非常低的相关性。结果是下一个图像不能通过以前图像的帧间模型来有效地编码。而且，通过使用内部帧模型来对下一个图像编码的代价是非常高昂的。为了计及情景切换，编码器使用本领域技术人员熟知的统计代码，以及参照统计代码来对情景切换后面的图像编码。在译码端，译码器对图像译码。由于以前的编码，情景切换自动出现。

这种编码过程的一个缺点在于，无论使用哪种编码方案很难大幅提高速率/失真比，速率/失真比是用于编码的比特速率与比起原先的图像在译码的图像中感知的失真的比值。

发明目的和概要

因此，本发明的目的是提供用于对数字视频信号编码的方法和编码器，所述数字视频信号包括至少一个情景切换该情景切换后面跟随一组图像，它允许改善速率/失真比值。

为此，提供了一种方法，包括以下步骤：

-定位所述情景切换，

-规定在所述图像组内视觉上不相关的一个图像子组，以及

-通过根据位于所述情景切换后面的第一个视觉上相关的图像来计算所述经编码的视觉上不相关的图像组，而从所述视觉上不相关的图像的子组得出编码的视觉上不相关的一个图像组。

另外，提供了一种编码器，它包括：

-定位装置，用于定位所述情景切换，

-规定装置，用于规定在所述图像组内视觉上不相关的一个图像子组，以及

-计算装置，用于从所述视觉上不相关的图像的子组得出经编码的视觉上不相关的一个图像组，所述经编码的视觉上不相关的图像组是根据位于所述情景切换后面的第一个视觉上相关的图像来计算的。

正如我们在进一步的说明中将详细地看到的，本发明是基于这样的事实，即在标准观看条件下，人的眼睛不能区分情景中非常快的改变。这意味着，跟随在情景切换后面的图像组含有人眼看不见的图像子组。这些图像被称为视觉上不能区分的或无关的图像。下一个可看见的图像被称为视觉上可区分的或相关的图像。所以，根据这个原理，按照本发明的编码方法考虑以视觉上相关的图像，来编码跟随在情景切换后面的视觉上无关的图像。所以，只有相关的信息部分(它是视觉上相关的图像)被照样编码，而不相关的信息部分(它是视觉上不相关的图像)可被降级或省略。这样，某些比特速率被节约。因此，速率/失真比值被提高。

有利地，在第一个非限制性实施例中，经编码的视觉上不相关的图像组的计算是通过从视觉上相关的图像中计算经编码的视觉上相关的图像和通过复制所述经编码的视觉上有关的图像而达到的，从而形成经编码的视觉上不相关的图像组。

在本实施例中，计算是非常容易、非常快速的和不需要复杂的系统。对视觉上不相关的图像的编码例如被替换为在比特流中加上一个标记，以便表示该编码的图像是下一个视觉上相关的图像的拷贝。因此，比特率花费是最小的。人的眼睛不能看出任何差别。

有利地，在本发明的第二个非限制性实施例中，经编码的视觉上不相关的图像组是使用所述视觉上相关的图像的整体上粗略的运动补偿而计算的。在本实施例中，视觉上不相关的图像子组的图像相对于以后的视觉上相关的图像而被编码为帧间的帧。然而，不是对于视觉上不相关的图像子组的每个图像执行运动补偿，而是对于视觉上不相关的图像的整个子组只执行一次整体上粗略的运动补偿。节省大量比特率是以编码的图像质量为代价，但这不成问题，因为该子组的图像在视觉上是不相关的。所述实施例比起第一实施例在比特率方面代价当然是更高的，但它也具有避免任何“冻结的图像”的效果，这在例如像慢动作的经译码的视频信号的视觉化的具体的条件下是可觉察到的。

附图简述

在参照附图和阅读以下详细说明后，将明白本发明的附加的目的、特性和优点，其中：

图1显示包括按照本发明的编码器的视频通信系统，

图2是由图1的编码器实施的、对含有图像和情景切换的数字视频信号的第一种编码的示意图，以及

图3是由图1的编码器实施的、对含有图像和情景切换的数字视频信号的第二种编码的示意图。

发明详细描述

在以下的说明中，本领域技术人员熟知的功能或结构将不作详细描述，因为它们会以不必要的细节遮蔽本发明。

本发明涉及用于对数字视频信号编码的方法，所述数字视频信号包括至少一个情景切换，该情景切换后面跟随一组图像。所述方法具体地在视频通信系统SYS内如图所示的编码器ENC中被使用。所述系统接收某些数字视频信号。

为了通过传输媒体CH有效地传输某些视频信号，所述编码器ENC按本领域技术人员熟知的不同的方案：即或者以帧内模型，或者以帧间模型进行编码。然后，被称为比特流的编码的信号被发送到译码器DEC，它将所述信号译码。

所述编码器ENC包括：

-定位装置M1，用于定位所述情景切换CUT(切换)，

-规定装置M2，用于规定在所述图像组内视觉上不相关的图像子组(IS)，以及

-计算装置M3，用于从所述视觉上不相关的图像的子组(IS)得出编码的视觉上不相关的一个图像组(IS’)，所述视觉上不相关的图像组是根据位于所述情景切换CUT后面的第一视觉上相关的图像(I(t0+2))计算的。

编码如下地进行：

在第一步骤(1)，通常用统计代码进行情景切换CUT的定位，用于指明在视频信号内每个情景切换的位置。用于检测情景切换的几个方法对于本领域技术人员是已知的。例如，使用在欧洲专利申请号EP0928544中公开的、基于在视频信号的两个接连图像之间的相关性的方法。

另外，使用一个标记来表示在所述情景切换后的图像是否必须如通常那样被编码，例如通过DCT编码，或被降级或被忽略，正如此后详细地描述的。

根据情景切换的这种定位，我们可以区分位于在情景切换CUT之前和之后的图像。在下面，我们考虑位于刚好在情景切换CUT后面的视觉上不相关的图像的子组。

在第二步骤(2)，规定了刚好在情景切换CUT后面的视觉上不相关的图像的子组。这个步骤(2)考虑到了人眼的能力。事实上，如在文件“B.Girod，The information theoretical significance ofspatial and temporal masking in video signals(视频信号中空间和时间掩蔽的信息理论重要性)，Proc.SPIE/SPE Conf.on HumanVision，Visual Processing and Digital Display，Los Angeles，CA，USA，pp.178-187，January 1989”和“B.Girod，How importantis masking for picture coding？(对于图像编码掩蔽有多重要？)Proc.International Picture Coding Symposium PCS’88，Torino，Italy，pp.1.2.1-1.2.2，September 1988”中描述的感觉研究表明，在本领域技术人员熟知的标准观看条件下，人的眼睛不能区分情景中非常快速的改变：这是所谓的时间掩蔽效果。所以，编码是基于这样的概念，即人的眼睛在情景切换后的几分之一秒内不能区分图像细节(人的眼睛需要在至少1/10秒内才能适应)，这种生物特性可以在视频编码方面被利用：在眼睛调节期间，在图像中不需要出现所有的信息段。

所谓的不相关的图像不能被人的眼睛正确地感知，而其他图像对人眼是可见的。视觉上不相关的图像组(IS)包括跟随在情景切换CUT后面的视觉上不相关的图像。第一个视觉上相关的图像I(t0+2)是位于情景切换CUT后面的第一个视觉上相关的图像。

在本发明的第三步骤(3)，通过使用位于所述情景切换后的第一视觉上相关的图像根据所述视觉上不相关的图像子组(IS)计算出编码的图像组(IS’)。为了用小得多的比特数目来对像以前一样多的图像编码，按照本发明的编码方法通过例如使用DCT编码法以经典方式仅对视觉上相关的图像编码，而视觉上不相关的图像可降低要求或忽略。视觉上所感知的质量保持不变。

例如，如图2所示，如果在第一图像I(t0-1)与第二图像I(t0)之间出现情景切换，我们假设，具有完全细节的图像将只在情景切换CUT后的第三图像，即I(t0+2)，才是可区分的。

所以，在本发明的第一非限制性实施例中，编码的视觉上不相关的图像组(IS’)的计算C1是通过从视觉上相关的图像I(t0+2)计算编码的视觉上相关的图像I’(t0+2)和通过重复所述编码的视觉上相关的图像I’(t0+2)而完成的，从而形成编码的视觉上不相关的图像组(IS’)。

如图2所示，不相关的图像I(t0)和I(t0+1)变为编码的图像I’(t0)和I’(t0+1)，它们都是与编码的相关的图像I’(t0+2)相同的。在这种情形下，得到下列的编码序列I’(t0-1)，I’(t0+2)，I’(t0+2)，I’(t0+2)，I’(t0+3)，I’(t0+4)等等。接连的相同的图像可以非常有效地被编码，也就是用非常少的比特。应当指出，一个简单的标记可以告知图像只是对前面图像的重复，所述标记是插入到比特流中的。因此，在前面的例子中，图像I(t0-1)先被编码，然后I(t0+2)，以后将有2个复制标记，在此后再将I(t0+3)编码。

另一个替换例是只有一个简单的标记，它可告知，图像只是对下面一个图像的重复。

在本发明的第二非限制性实施例中，编码的视觉上不相关的图像组(IS’)的计算C2是使用所述视觉上相关的图像I(t0+2)的总体上粗略的运动补偿而进行的，例如藉助于本领域技术人员熟知的网格方法。

因此，如图3所示，在本发明的第二非限制性实施例中，例如相对于视觉上相关的图像I(t0+2)，计算总体上粗略的运动补偿矢量区MVF和把它使用于不相关的图像组(IS)的所有的图像。在这种情形下，编码的顺序如下：I’(t0-1)，I’(t0+2)-d0，I’(t0+2)-d1，I’(t0+2)，I’(t0+3)，I’(t0+4)等等，d0，d1分别代表在图像I(t0+2)与I(t0)与I(t0+2)之间的像素的粗略的运动。这个图像组可以非常有效地被编码，因为总体上粗略的运动补偿矢量的独特的区必须被包括在比特流中。应当指出，简单的标记可以把对视觉上不相关的图像编码的这种方法告知译码器。

实际上，在30Hz的图像速率的情形下，如果人的眼睛需要在至少1/10秒内来适应，则这意味着，只有第三图像才是可区分地看到的。所以，在情景切换CUT与这个时间之间的两个图像的质量可以明智地按以上建议而降级。

应当指出，在视频信号中某些图像组内的慢运动的情形下，如在上面两个实施例中描述的视觉上不相关的图像的计算可被应用到两个以上的图像，而仍没有恼人的视觉人工图像。

因此，本发明的第一个优点是提高速率/失真比，而不损失任何感觉质量，因为不相关的信息，即，不可区别的图像没有按常规编码，因此使用了较少的比特。

本发明的另一个优点是，一方面，由编码花费的时间的减少，因为图像的复制或近似是非常快速的，以及另一方面，由编码过程占用的存储器的减少，而在编码中不损失任何感觉质量(即，主观质量)。

应当看到，本发明并不限于上述的实施例，而是可以在不背离如在所附权利要求中规定的本发明的精神和范围的条件下作出变化和修正。在这方面，作出以下结尾的说明。

应当看到，本发明并不限于上述的视频应用。它可以在任何使用处理数字视频信号系统的、其最终消费者是人眼的应用内使用，诸如包括数字电影、HDTV、和科学形像的发送和视觉化的应用。图像代码必须被设计成与人类观察者的视觉能力相匹配。

应当看到，按照本发明的方法并不限于上述的实施方案。

有各种各样方法以便利用硬件产品或软件产品或二者来实施按照本发明方法的功能，只要硬件或软件的单独一个产品可以实现几个功能。不排除硬件或软件的产品或二者的组件来实现一种功能，从而在不用修正按照本发明的处理视频信号的方法的情况下形成单独的功能。

所述硬件或软件产品可以以几个方式被实施，诸如藉助于连线的电子电路或藉助于经合适地编程的集成电路。集成电路可被包含在计算机或编码器中。在第二种情形下，编码器包括：定位装置，适合于定位情景切换；和计算装置，适合于得出正好在情景切换后的图像组，所述的图像组是根据在所述情景切换后的视觉上可区分的图像计算的，正如以前描述的，所述装置是如上所述的硬件或软件产品。

集成电路包括一组指令。因此，包含在例如计算机编程存储器或编码器存储器中的所述指令组可以使得计算机或编码器实行译码方法的不同的步骤。

指令组可以通过读一个数据载体(诸如，例如软盘)而被装载到编程存储器中。业务提供商也可以通过通信网，诸如，例如互联网，使得指令组是可供使用的。

在以下的权利要求中的任何标注符号不应当打算限制权利要求，将会看到，动词“包括”和它的派生词并不排除除了在任何权利要求中规定的那些步骤以外其他步骤或单元的存在。在单元或步骤前面的冠词“a”并不排除多个这样的单元或步骤的存在。

Claims

1.一种用于对数字视频信号(VS)编码的方法，所述数字视频信号包括至少一个情景切换(CUT)，该情景切换(CUT)后面跟随一组图像，其特征在于，所述方法包括以下步骤：

-定位所述情景切换(CUT)，

-规定在所述图像组内视觉上不相关的一个图像子组(IS)，以及

-通过根据位于所述情景切换(CUT)后面的第一个视觉上相关的图像(I(t0+2))来计算所述经编码的视觉上不相关的图像组(IS’)，而从所述视觉上不相关的图像组(IS)得出编码的视觉上不相关的一个图像组(IS’)。

2.如权利要求1中要求的、用于对数字视频信号(VS)编码的方法，其特征在于，所述编码的视觉上不相关的图像组(IS’)的计算是根据所述视觉上相关的图像(I(t0+2))来计算经编码的视觉上相关的图像(I’(t0+2))和复制所述编码的视觉上相关的图像(I’(t0+2))而完成的，从而形成编码的视觉上不相关的图像组(IS’)。

3.如权利要求1中要求的、用于对数字视频信号(VS)编码的方法，其特征在于，经编码的视觉上不相关的该图像组(IS’)是通过使用所述视觉上相关的图像(I(t0+2))的总体上粗略的运动补偿而计算的。

4.用于编码器(ENC)的计算机程序产品，包括一组指令，它在被装载到所述编码器(ENC)时使得编码器(ENC)实行如权利要求1到3中要求的方法。

5.用于计算机的计算机程序产品，包括一组指令，它在被装载到所述计算机时使得计算机实行如权利要求1到3中要求的方法。

6.一种用于对数字视频信号(VS)编码的视频编码器(ENC)，所述数字视频信号包括至少一个情景切换(CUT)，该情景切换(CUT)后面跟随视觉上不相关的图像组(IS)，其特征在于，它包括：

-定位装置(M1)，用于定位所述情景切换(CUT)，

-规定装置(M2)，用于规定在所述图像组内视觉上不相关的一个图像子组(IS)，以及

-计算装置(M3)，用于从所述视觉上不相关的图像组(IS)得出经编码的视觉上不相关的一个图像组(IS’)，所述经编码的视觉上不相关的图像组(IS’)是根据位于所述情景切换(CUT)后面的一个视觉上相关的图像(I(t0+2))计算的。

7.如权利要求6中要求的用于对数字视频信号(VS)编码的视频编码器(ENC)，其特征在于，所述计算装置(M3)通过根据所述视觉上相关的图像(I(t0+2))来计算经编码的视觉上相关的图像(I’(t0+2))和通过复制所述编码的视觉上相关的图像(I’(t0+2))而得出编码的视觉上不相关的一个图像组(IS’)，从而形成所述编码的视觉上不相关的图像组。

8.如权利要求6中要求的用于对数字视频信号(VS)编码的视频编码器(ENC)，其特征在于，所述计算装置(M3)通过所述视觉上可区分的图像(I(t0+2))的总体上粗略的运动补偿而得出经处理的一个图像组。

9.视频通信系统，包括能够接收数字视频信号(VS)的视频编码器(ENC)，所述信号由如权利要求6中规定的编码器(ENC)处理。