CN1640139A - 视频质量 - Google Patents

Abstract

本发明针对用来提供用于获得所传输的视频数据流的更好的感觉图像质量的方法、设备和信号格式。设备(20)中的视频和信息发送单元(28)在包括含有报头部分、运动矢量部分和压缩图像部分的至少一个帧的信号中发送视频数据流和关于涉及该视频数据流的主观质量的信息。用于处理视频数据流(32)的设备包括接收信号的视频和信息接收单元(34)、译码视频数据流的译码单元(38)和控制单元(36)，该控制单元用于在处理视频数据流时控制使用关于主观质量的信息，以便得到更好的感觉图像质量。

Description

视频质量

技术领域

本发明涉及获得所传输视频数据流的更好的感觉的图像质量。

发明背景

通常以压缩的图像和运动矢量的形式提供的视频数据流有可能以不同的方法被译码。当成为流的视频被呈现时，非节目内容特征(诸如帧速率、分辨率、和量化深度)取决于感觉主观质量而具有不同的重要性。然而，在今天的视频译码器中没有考虑到这一点。

大家知道，在图形3D应用中提供了复杂度参数。如果复杂度高的话，此信息可被使用来降低译码的质量。这样做是为了在图像复杂时使译码器能够在可用时间内产生3D画面。

US 5,027,206描述了被包括在比特流中的电影模式信令比特。然而，除了表示它是电影而不是关于电影主观质量的信息(例如它是哪种电影)外，这种包括并不表示其它任何事物。结果是这不能被使用于最佳译码，因为影片可以是具有许多运动的所谓的动作电影以及具有较少运动的戏剧或野生动物电影。

发明概要

本发明的一个目的是相对于译码器和/或后处理器的有限的译码能力提供所传输视频流的更好的感觉的图像质量。为此，本发明提供如独立权利要求中规定的方法、设备、信号格式和存储媒体。在从属权利要求中还规定了有利的实施例。

对于视频流中不同的单元(如帧，帧组或场景)，对呈现视频内容的环境具有不同的非节目内容特征的要求。例如，在表现野生动物内容的视频流中，色彩是更重要的，而如果视频流是动作影片，则关于对象运动的信息是更重要的。现今，当处理视频流时，并没有考虑这些不同的方面，这导致今天的视频译码器和后处理器没有被最佳地使用。今天的视频译码器的处理能力也是有限的，这意味着，当对要呈现给终端用户的视频数据进行译码时，必须对于不同的非节目内容特征作出折衷。

本发明通过提供对于在视频数据流中显示对象的不同环境的更好的了解以便更好地使用视频译码器的不同译码能力而达到该目的。

按照本发明的一个方面，这个目的是通过提供用于获得所传输的视频数据流的更好的感觉的图像质量的信息的方法而达到的，该方法包括以下步骤：发送编码的视频数据流到接收设备和发送关于涉及视频数据流的主观质量的信息到接收设备，以使接收设备在处理视频数据流时能够使用所述信息。

按照这个方面，该问题也由提供用于获得所传输的视频数据流的更好的感觉的图像质量的信息的设备解决，该设备包括：用于发送视频数据流到接收设备的视频发送单元，和用于发送关于涉及视频数据流的主观质量的信息到接收设备的信息发送单元，以使接收设备在处理视频数据流时能够使用关于主观质量的信息。

按照本发明的另一个方面，这个问题也通过处理视频数据流的方法来解决，该方法包括以下步骤：接收视频数据流，接收关于涉及视频数据流的主观质量的信息，和在处理视频数据流时使用有关主观质量的信息，以便得到更好的感觉图像质量。

按照这个方面，该问题也由用于处理视频数据流的的设备解决，该设备包括：用于接收视频数据流的视频接收单元；用于接收关于涉及视频数据流的主观质量的信息的信息接收单元，用于译码视频数据帧：报头部分、运动矢量部分和压缩图像部分，其中至少一个部分包括关于涉及视频数据流的主观质量的信息，以便使得接收设备能够在处理视频数据流时使用有关主观质量的信息。

所提到的第一方面的优选变例通过在视频数据流中提供有关主观质量的信息而提供进一步的优点。

按照本发明的不同的方面的又一个优选变例，有关主观质量的信息允许对于译码器中的非内容节目特征进行优先权排序。

按照本发明的一个变例，有关主观质量的信息也允许更好地使用后处理器。

主观质量这一说法是指诸如动作影片或场景或这一场景的帧或帧组等等。因此，它涉及到像在视频序列或整个视频数据流中有多少运动、色彩或者细节等等。所谓的节目内容是指对象，像在视频数据流中实际显示的物或人。主观质量因此涉及到一个可在其中提供视频数据流中的对象的环境。

术语包括决不应当被解译为限制，而应理解为等价于术语包含。

2001年4月10日提交的PCT专利申请EP01/11565公开了被添加到比特流上的质量标签。这些标签表示与比特流中的位置有关的图像质量。所提到的一个质量度量是失真。这是与按照本发明的主观质量是完全不同的。

因此本发明的基本概念是提供有关主观质量的信息，这给译码器提供对于在译码时在不同的非节目内容特征之间进行优先权排序所需要的必要的工具。

从以下的说明中将明白本发明的附加好处。

附图简述

现在参照附图更详细地描述本发明，其中：

图1显示按照本发明一个实施例的、包括视频参数信令的主观质量的视频数据流。

图2显示用于发送有关视频的主观质量的信息到接收单元的设备和用于接收视频信息的主观质量的所述接收单元的示意方框图。

图3是显示发送视频参数的主观质量的方法的流程图。

图4是显示接收视频参数的主观质量的方法的流程图。

发明详细描述

图1上显示了按照本发明的视频信号10。视频信号可以是遵从任何已知的标准(诸如MPEG-2，MPEG-4)的视频信号，或甚至更加可应用的MPEG-21信号。视频信号10包括视频数据帧，该视频数据帧包括压缩图像部分12、运动矢量部分14与报头部分16。在报头部分16中，包括按照本发明的视频参数18的主观质量。这个信息可被置入到每个帧，置入到一组帧中的一个帧，或被置于包括多组帧的场景的开始处。该信息也可看作为节目内容类型的指示，例如，如果某个场景有更多的运动或本质上是慢的。放置在这样的流中的信息量实际上取决于视频流制作者要置入在其中的工作量。图1只显示视频数据流的第一帧。该数据流通常包括多个帧，这些帧被编组成帧组，其中视频参数的主观质量在这些视频参数在帧、帧组、或场景的级别上被更新之前是有效的。

图2显示提供用于获得更好的感觉图像质量的信息的视频编码器或设备20的示意方框图，该视频编码器经由物理信道30被连接到用于处理视频数据流的设备32或接收设备。物理信道30可以是任何类型的信道，例如铜线、光纤或无线。视频编码器20包括源编码器22，该源编码器编码视频数据流。编码器20还包括主观参数存储器24。源编码器22和主观参数存储器24都被连接到多路复用器26，该多路复用器把主观参数18多路复用到源编码的压缩视频数据流中的帧报头中。多路复用器26被连接到视频和信息发送单元或发送器28，该发送器可包括格式化或潜在的信道编码。发送器28又被连接到物理信道30。物理信道被连接到视频和信息接收单元或接收设备32的主观参数提取器34。主观参数提取器34被连接到译码单元或源译码器38。控制单元36被连接到参数提取器34和源译码器38。最后，后处理器40被连接到源译码器38。控制单元36还被连接到后处理器40。

现在参照图1和2描述本发明的一个优选实施例。在源编码器22中生成视频数据流的第一组帧的第一个帧。这个数据流还没有视频参数的主观质量。对于这个第一帧，主观参数存储器24提交两个数值，第一个数值表示在下一组帧中将存在哪种运动，以及第二个数值表示在下一组帧中色彩重要性是怎样的。这两个数值被设置成它们具有不同的重要性，即，一个值可以比另一个值更加重要。一旦这些参数被插入到该帧中，该帧就被传送到发送器28，以便作为信号10经由物理信道30发送到接收设备32。这些参数表示视频数据流的后面几帧的主观质量。此后，新的参数被插入以用于下一组帧并以此类推。这在整个视频数据流中持续进行。

接收设备32接收具有信号10的形式的帧。当接收设备32接收该帧时，接收设备首先对其进行多路分解，并在主观参数提取器34中从视频数据流中提取参数。所提取的参数被转发到控制单元36，而视频数据流的其余部分被转发到源译码器38。控制单元36根据所接收的第一和第二参数生成第一和第二控制信号，以及使得源译码器在译码视频数据流时按照这些控制信号设置非节目内容特征。根据第一参数被设置的第一控制信号设置在译码时要使用的帧速率，而第二参数设置色彩深度。这些参数在这时是优选的参数的例子。也可以替换地使用更为灵活和复杂的参数。控制单元36也使用在这两个参数之间的优先权排序方案，因为一个参数比另一个参数重要。这也意味着，如果第一参数表示节目包括大量运动以及第二参数表示色彩的较低的重要性，则控制单元控制源译码器38以具有较高的帧速率而同时比起通常对于分辨率所使用的比特来说使用较少的比特。在译码视频数据流的第一帧后，源译码器38把译码的视频数据转发到后处理器40，该后处理器对于译码的视频数据流进行某些后处理。这里，控制单元36根据所接收的参数影响后处理器40中的设置或性能，以便获得最佳感觉图像质量。在优选实施例中，运动补偿受到影响。然而，也有可能影响诸如噪声减小、帧/场上变换等等。译码器通过使用同一个优先权排序方案继续译码在第一组帧中的后面的帧，直至接收到下一组帧中的下一个第一帧为止，然后重复进行上述的提取和优先权排序。这个过程按上述的方式继续进行，直至整个数据流被译码为止。

现在参照图3描述按照本发明的、提供用于获得更好的图像质量的信息的方法，图3上显示按照本发明的该方法的流程图。首先，在步骤42，生成视频数据流。此后，在步骤44，把关于涉及数据流的主观质量的信息以第一和第二参数的形式插入到数据流。在这个步骤后，在步骤46，视频数据流被发送到接收单元，这样，当译码该数据流时可以进行非节目内容特征的优先权排序。上述的步骤随后对于视频数据流的所有后面帧组的第一帧重复进行。

现在参照图5描述一种处理视频数据流的方法，图5上显示所述方法的流程图。首先，在步骤48，接收视频数据流。此后，在步骤50，从该流的第一组帧的第一帧提取具有第一和第二参数的形式的有关主观质量的信息。此后，在步骤52，对该第一组帧中的其余数据进行译码，其中该译码的非节目内容特征已按照所接收的信息被优先权排序。这意味着由于该优先权排序，各非节目内容特征受到的重视不同。例如，在过载情形下量化深度和分辨率可被降低，而作为结果，帧速率可被保持为高达想要的水平。这也意味着当译码视频数据流时，使用了主观质量信息。此后，在步骤54，按照所接收的有关主观质量的信息控制后处理。上述的步骤此后对于每组帧重复进行。

借助所描述的本发明的优选实施例，描述了在有限资源的环境中更好地译码视频数据流的方法。按照本发明，有关视频的主观质量的信息被传送到译码器，在译码时该译码器在对于非节目内容特征进行优先权排序时使用这个主观信息。这样的特征例如是帧速率、分辨率和量化深度，它们可被优先权排序，以使得视频数据流以对于这些特征的不同的改进程度被译码。于是，对于一个帧、一组帧或场景，一个特征比起另一个特征受到更高的重视。这样，具有许多运动信息的帧例如可被表示为使得对于运动来说重要的非节目特征(如帧速率)可以得到更高的优先权，而具有较低的运动内容的帧可以得到分辨率和量化深度的优先权以使得例如色彩得到更高的分辨率。通过本发明的优选实施例，视频数据流的不同的部分可以不同地设置参数，这使得有可能以观众的良好的感觉质量来译码视频数据流，即使在同一个数据流中显示不同类型的场景时。

本发明可以以许多方式被改变。首先，所描述是提供两个参数。本发明不限于两个参数，而是可以提供一个或两个以上的参数。在参数与非内容特征之间也不需要1∶1的对应关系。例如，参数可被使用于确定所有的或某些非内容特征的优先权。而且，帧速率、分辨率和量化深度只是可以按照本发明被优先权排序的几个可能的非节目内容特征。因此，有多个参数可以控制可扩展译码器的性能。

按照本发明，在根据视频参数的主观质量的后处理中，也可以执行对某些特征的控制。这被描述为除了对译码的控制以外所进行的控制。然而，也可以进行这个控制而代替视频译码器的对非节目内容特征的控制。本发明的另一个变例是视频参数的主观质量不必对于每组帧或一组帧的第一帧提供一次。这些视频参数在一组帧的任何帧中、在每一帧、每个场景中都同样地可被提供，或对于整个视频数据流只提供一次。在对于整个流只提供一次的情形下，对于整个视频数据流只完成一次优先权排序。在这种情形下，对于视频数据流的不同的场景、帧或帧组不进行调节，而是同一个优先权排序适用于整个视频数据流。在这种特殊的情形下，在实际的视频数据流中也不必提供信息，而是例如可以从电子节目指南中接收该信息。还有可能在分开的信息流或分开的信息信号中提供视频参数的主观质量，即使场景、帧或帧组将使用这个信息被控制。然而，如果在译码期间要改变译码控制，则视频数据流必须与包括视频参数的主观质量的信号同步。在这种情形下，视频数据流和信息流可以同时被接收。作为替换例，视频参数的主观质量可以事先被接收或下载，而不必从与视频数据流相同的源接收。控制单元随后需要在信息源之间进行同步，以便按照下载的或接收的(通过第二数据流)参数进行视频流的不同的译码。

应当指出，上述的实施例说明而不是限制本发明，以及本领域技术人员能够在不背离所附权利要求书的范围的条件下设计许多替换的实施例。在权利要求书中，在括号之间的任何标注符号不应当被看作为限制该权利要求。单字“包括”并不排除权利要求中所列出的以外的其他元件或步骤的存在。本发明可以藉助于包括几个不同的元件的硬件和藉助于适当地编程的计算机被实施。在枚举几个装置的设备权利要求中，这些装置的几个装置可以用同一个硬件项实施。某些措施在彼此不同的从属权利要求中被阐述的事实并不表示这些措施的组合不能被使用来获益。

Claims (24)

1.一种提供用于获得所传输的视频数据流的更好的感觉的图像质量的信息的方法，该方法包括以下步骤：

-把编码的视频数据流发送到接收设备，和

-把关于涉及视频数据流的主观质量的信息发送到接收设备，以便接收设备在处理视频数据流时能够使用所述信息。

2.按照权利要求1的方法，还包括以下步骤：把该有关主观质量的信息插入到数据流中以便指示鉴于内容质量对非节目内容特征进行处理的重要性，从而使得可以从视频数据流提取有关主观质量的信息。

3.按照权利要求1或2的方法，其中有关主观质量的信息包括来自电子节目指南的节目信息。

4.按照权利要求1或2的方法，其中有关主观质量的信息包括有关每个帧、每组帧或每个场景的内容类型的信息。

5.按照任何前述权利要求的方法，其中有关主观质量的信息包括允许在接收设备中进行非内容节目特征的优先权排序的信息。

6.处理视频数据流的方法，包括以下步骤：

-接收视频数据流，

-接收关于涉及视频数据流的主观质量的信息，和

-在处理视频数据流时使用有关主观质量的信息，以便得到更好的感觉的图像质量。

7.按照权利要求6的方法，其中的使用步骤包括在译码视频数据流时使用有关主观质量的信息以便控制非节目内容特征。

8.按照权利要求6或7的方法，其中使用的步骤包括在译码后使用有关主观质量的信息以便对视频数据流进行后处理。

9.按照权利要求6-8的任一项的方法，其中有关主观质量的信息被包括在视频数据流中，以便指示鉴于内容质量对非节目内容特征进行处理的重要性，并且该方法还包括从编码的视频数据流中提取有关主观质量的信息的步骤。

10.按照权利要求6-9的任一项的方法，其中有关主观质量的信息包括来自电子节目指南的节目信息。

11.按照权利要求9的方法，其中有关主观质量的信息包括有关每个帧、每组帧或每个场景的内容类型的信息。

12.按照权利要求7-11的任一项的方法，其中非节目内容特征是帧速率、分辨率、色彩深度或运动估计中的任一项。

13.按照权利要求7-12的任一项的方法，其中使用的步骤包括根据关于主观质量的信息对不同的非节目内容特征进行优先权排序，以及按照所作出的优先权排序来控制视频数据流的译码。

14.一种提供用于获得所传输的视频数据流的更好的感觉的图像质量的信息的设备，设备包括：

-用于发进编码的视频数据流到接收设备的视频发送单元，和

-一个信息发送单元，用于发送关于涉及视频数据流的主观质量的信息到接收设备，以使接收设备在处理视频数据流时能够使用关于主观质量的信息。

15.按照权利要求14的设备，其中视频发送单元和信息发送单元被合并在同一个发送单元中，使得有关主观质量的信息被包括在视频数据流中，以便指示鉴于内容质量对非节目内容特征进行处理的重要性。

16.按照权利要求14或15的设备，其中有关主观质量的信息包括允许在接收设备中进行非节目内容特征的优先权排序的信息。

17.用于处理视频数据流的设备，包括：

-用于接收视频数据流的视频接收单元，

-用于接收关于涉及视频数据流的主观质量的信息的信息接收单元，

-用于译码视频数据流的译码单元，和

-一个控制单元，用于在处理视频数据流时控制使用关于主观质量的信息，以便得到更好的感觉的图像质量。

18.按照权利要求17的设备，其中控制单元被安排成当译码视频数据流时使用有关主观质量的信息以便控制非节目内容特征。

19.按照权利要求17或18的设备，其中有关主观质量的信息被包括在视频数据流中，视频和信息接收单元被合并在同一个接收单元中，以及控制单元被安排成从视频数据流中提取关于涉及视频数据流的主观质量的信息。

20.按照权利要求17-19的任一项的设备，其中控制单元还被安排成根据关于主观质量的信息对于不同的非节目内容特征进行优先权排序，以及按照所作出的优先权排序来控制视频数据流的译码。

21.按照权利要求17-20的任一项的设备，还包括后处理器，用于对译码的视频数据流进行后处理，其中控制单元被安排成使用有关主观质量的信息来控制后处理器。

22.在发送视频数据流时使用的信号格式，包括带有以下部分的至少一个帧：

-报头部分，

-运动矢量部分，和

-压缩图像部分，

其中至少一个所述部分包括关于涉及视频数据流的主观质量的信息，以便使接收设备在处理视频数据流时能够使用有关主观质量的信息。

23.按照权利要求21的信号格式，其中有关主观质量的信息包括允许在接收设备中对非内容节目特征进行优先权排序的信息。

24.一种存储媒体，其上存储有如权利要求22或23所述的信号格式。

Images