CN1934869A

CN1934869A - 转换器协助的视频编码器

Info

Publication number: CN1934869A
Application number: CNA2005800095250A
Authority: CN
Inventors: L·A·利平科特
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2004-03-31
Filing date: 2005-03-31
Publication date: 2007-03-21
Also published as: KR100797215B1; JP2007531477A; TW200539710A; KR20060132972A; EP1730966A1; TWI259724B; US20050229231A1; WO2005099272A1

Abstract

一种系统可包括解码器、编码器和存储设备。该解码器可以将第一格式的、经过编码的视频信息解码成中间视频信息。该解码器也可以从该经过编码的视频信息提取运动矢量。该编码器可以将该中间视频信息编码成第二格式的输出视频信息。该编码器可使用从经过编码的视频信息中提取的运动矢量来执行其编码。该存储设备可存储来自编码器的输出视频信息。

Description

转换器协助的视频编码器

技术领域

要求保护的本发明的实施例涉及媒体编码，更具体地，涉及对接收到的视频信息进行编码。

背景技术

可能存在一些原因需要对视频信息编码。在某些情况下，为存储和/或显示的目的，可能希望把视频信息从一种格式转换或重新编码为另一种格式。这样的转换或重新编码过程可包括将视频信息直接从第一格式转换为在某些方面与第一格式不同的第二格式。或者，该过程可包括将视频信息解码成作为中间格式的第三格式，然后再将该第三格式编码为第二格式。在其他情况下，可能希望以某一质量等级存储视频信号，以供以后使用。此外，可能还存在其他一些在此处没有说明的原因，使得人们希望对视频信息进行编码。

然而，对视频信息进行高质量等级的编码可能需要相对大量的处理能力。而且，技术障碍可能会阻碍对某些视频信息的编码。

附图说明

结合到本说明之中并构成本说明的一部分的附图示出了符合本发明原理的一个或多个实施例，并与说明书一起对这些实施例进行了解释。附图不必按比例绘制，因为重点在于说明本发明的原理。在这些附图中：

图1示出了符合本发明原理的一个实例系统。

图2示出了图1中的所述系统的局部的一个实施例；以及

图3的流程图示出了符合本发明原理的视频信息编码过程。

具体实施方式

以下的详细说明参考了上述附图。可以在不同的图中使用相同的附图标记来标识相同或者类似的元件。在以下的说明中，为解释而非限制的目的，阐明了一些具体细节，如特定结构、构造、接口、技术等，以便让读者透彻地理解本发明的各个方面。然而，对本领域技术人员而言，显而易见，本发明公开的优点在于，可以将本发明的上述各个方面在不具备这些具体细节的其他实例中实施。在某些情况下，省略了对众所周知的装置、电路和方法的说明，以避免因不必要的细节的原因而妨碍对本发明的说明。

图1示出了符合本发明原理的实例系统100。系统100的实施例可包括个人录像机或数字多功能盘录像机(DVD-R)，尽管要求保护的本发明并不限于这些方面。例如，系统100可以用通用计算机、便携式设备，或另一类电气系统来实现。尽管可以用单个设备来实现系统100，但在某些实施例中，也可以将系统100的某些组件与其另外的组件进行远程和/或实体的分隔。此外，尽管图中示出系统100包含了一些分立的组件，但这些组件也可以用硬件、软件/固件或它们的某种组合来实施。当用硬件来实施时，可以将系统100的某些组件组合到特定的芯片或设备中。

系统100可包括：媒体源110，转换器120，编码器140，可选的存储器/输出150，和存储设备160。转换器120可以将中间媒体信息132发送到编码器140和可选的存储器/输出150(如果存在)。转换器120也可将其他信息134发送到编码器140，在某些实施例中，其他信息134可包括与中间媒体信息132有关的图元(meta)信息。

媒体源110可包含为系统100的其他部分提供媒体信息的设备。由媒体源110提供的媒体信息可包括以诸如MPEG-1、MPEG-2、MPEG-4、H.264，Windows媒体视频第9版(WMV9)和高级视频系统(AVS)等格式编码的视频信息。要求保护的本发明并不局限于本文具体提出的这些格式；相反，可以根据本文教导的方案来使用已知的或是今后开发的媒体格式。在某些实施例中，由媒体源110提供的媒体信息可包括运动矢量。

在某些实施例中，媒体源110可包括调谐器，以便将视频信息流或通道的视频信息(例如，高清晰度MPEG-2信息)从其他媒体信息流或其他通道的媒体信息中分隔开来。在某些实施例中，媒体源110可包括读出器，以便读出来自存储介质的媒体信息。例如，这类读出器可包括：光、磁和/或电读出器以便从DVD、硬盘、半导体存储设备或其他存储介质中提取视频信息。

转换器120可将来自媒体源110的视频信息转换成中间媒体信息132和其他信息134。在某些实施例中，在将上述视频信息转换成中间媒体信息132之前，转换器120可从来自媒体源110的视频信息中提取其他信息134。在某些实施例中，转换器120可将视频信息解码(例如，对其编码进行逆处理)成中间媒体信息132。在某些实施例中，转换器120可把视频信息转换(例如，修改其编码而不对其进行逆处理)成中间媒体信息132。转换器120的一种可能的实施例如图2所示。

图2示出了系统100的局部的一个实施例。图2中的转换器120可包括解码器210、帧存储器220和数模(D/A)转换器230。解码器210可将视频信息从输入数据流解码成输出给数模转换器230的经过解压缩的像素视频流。纯粹出于解释的目的，例如，解码器210可将以MPEG-2格式进行编码的HD信息解码成另一种格式的数字版本，如全国电视系统委员会(NTSC)制式、逐行倒相(PAL)制式，或更高分辨率的视频格式，尽管要求保护的本发明并不限于这些方面。

解码器210也可从其输入视频信息中提取其他信息134。所述其他信息134可能包含运动矢量，这些运动矢量描述了视频信息内的宏块位移。这些运动矢量可以由视频信息的最初编码器产生，并可由解码器210从该信息中提取出来。解码器210也可提取量化数据(例如，这些数据用于离散余弦变换(DCT)系数的变量统一量化过程(variable uniform quantization)中，以减少表示这些系数所需的位数)和图像数据(例如，某个帧是否包含了内部编码(I)图像，预测(P)图像，或双向预测(B)图像)。在某些实施例中，解码器210可能不引入其他信息134中的某些信息(例如，广播标志或其他权利管理信息)，而是致力于那些能在之后重新用来对视频信息进行编码的信息。

在解码和其他处理过程中，解码器210可根据需要使用帧存储器220来缓存信息。D/A转换器230可从解码器210接收经过解压缩的像素视频流，并可将该视频流转换成模拟信号(例如，中间媒体信息132)。由于D/A转换特性的缘故，相对于来自解码器210的经过解压缩的像素视频流，D/A转换器230可能将一些误差引入该模拟中间媒体信息132。

虽然图2中的其他信息134可包含运动矢量、量化数据和图像数据，但这些数据仅表示了所述示范格式(例如，MPEG-2)的特征，因而不应将它们视为对本发明的限制。其他格式的视频信息可包括不同于运动矢量、量化数据和图像数据的信息或除这些信息之外的信息，解码器210可提取这些信息和将它们引入其他信息134。类似地，尽管在图2中中间媒体信息132可包含模拟视频，但在其他实施例中，图2中的转换器120可以不包括一个或多个解码器210和D/A转换器230。因此，在某些实施例中，中间媒体信息132可能不包括模拟视频。

回到图1，编码器140可通过利用其他信息134对中间媒体信息132进行编码来产生输出视频信息。在某些实施例中，编码器140可将中间媒体信息132编码成与来自媒体来源110的原始视频信息相同的格式(例如重新编码)，无论输出视频信息的品质是否发生有意的改变。在某些实施例中，编码器140可将中间媒体信息编码成与来自媒体源110的原始视频信息不同的格式(如转换编码)，无论输出视频信息的品质是否发生有意的改变。编码器140的一种可能的实施例如图2所示。

在图2中，编码器140可包括模数(A/D)转换器240、帧控制模块250、压缩模块260、速率控制模块270和帧存储器280。纯粹为了解释的目的，例如，图2中的编码器140可对MPEG-2格式的HD信息进行编码，尽管要求保护的本发明并不限于这个方面。

A/D转换器240可把模拟的中间媒体信息132转换成相应的数字像素流。然而，A/D转换器240可能在转换过程中引入一些量化误差。因此，由于两次转换的缘故，离开A/D转换器240的数字像素流可能不同于进入D/A转换器的数字像素流。但是，来自A/D转换器240的数字像素可能足够的接近于进入D/A转换器的数字像素，以至可再次使用来自解码器210的运动矢量、量化数据和图像数据(如其他信息234)。

帧控制模块250可以控制对来自A/D转换器240的数字像素流的获取，并可将上述数据发送到压缩模块260。在其处理过程中，帧控制模块250可根据需要使用帧存储器280来缓存信息。在进行解码后，馈入压缩模块260的数据可以是由运动矢量指向的像素块和与这些像素块有关的任何误差数据。然而，在某些实施例中，可以将这些相关的误差数据引入由解码器210提取的其他信息134。

速率控制模块270可接收来自解码器210的、其他信息134中的量化数据和图像数据。例如，如果上述图像数据表明某一特定帧是I(内部编码)帧或某一特定块被作为内部帧块进行编码，则可以将该像素块直接从帧控制模块250馈入压缩模块260。可以将压缩模块260配置成通过某些方法(如DCT、量化和在MPEG-2编码数据情况下的可变长度编码(VLC)运算)对所接收的图像信息进行压缩/编码。

因为编码器140的帧存储器280中的数字像素可能与转换器120的帧存储器220中的相应像素不同，所以误差数据也可能不同。而误差数据的这种差异可能导致压缩模块260在输出压缩数据流时具有不同的数据速率。可以将速率控制模块270设计成在需要将位速率降到目标位速率时增加量化参数。类似地，如果需要，速率控制模块270可修正量化参数来增加压缩模块260的输出位速率。另外，速率控制模块270可遵循其他信息134的量化数据中的、由解码器210给出的提示。

帧控制模块250对从最初视频流提取的运动矢量的重新使用可以使压缩模块260取消运动估计过程，从而节省了大量计算。在某些实施例中，压缩模块260可进行相对简单的局部运动搜寻，以补偿由A/D转换器240对像素的重新数字化引入的误差。举例来说，在典型的视频压缩过程中，块匹配可包括在相当大区域内进行的搜索。通常，可使用100×70像素的搜索窗，且匹配在子象素层次上完成，这样，每秒需要进行数十亿次的运算。重新使用来自解码器210的、其他信息134中的运动矢量可以让帧控制模块250使用小得多的搜索窗(可能小到±2象素)来补偿在A/D与D/A转换过程中引入的误差。

通过重新使用从原始视频流中提取的其他信息134中的量化与图像数据，也可以大大减少速率控制模块270的运算量。即使压缩模块260产生的输出视频信息流与输入解码器210的原始视频流不一致，在播放输出视频信息时，用户仍可体验到基本相同的视频品质。与其他方法可能实现的设计相比，本文所述的方法可降低编码器140的复杂度和减少其需要的计算能力。

虽然图2中的编码器140可包括某些组件(如作为所述编码格式实例(如MPEG-2)的特征的组件)，但是，不应将这些组件视为对本发明的限制。所接收的中间媒体信息132的其他编码格式可包括除图2所示的元件240-280之外的组件或不同于这些组件的组件。

回到图1，可将可选的存储器/输出150配置成存储或输出中间媒体信息132。在某些实施例中，存储器/输出150可包括输出接口，以便让另一系统或系统100的另一组件(未示出)访问中间媒体信息132。这样的物理输出接口可以是光的、电气的，等等，并遵循视频信息的一个或多个现有接口规范。

在某些实施例中，存储器/输出150可包含用于存储中间媒体信息132的存储设备。例如，存储器/输出150可包括硬盘或闪存，以存储信息132。在某些实施例中，存储器/输出150可包括可写光驱(如DVD-RW，等等)以便将中间媒体信息132转移到便携式存储介质。在某些实施例中，不存在可选的存储器/输出150，此时，仅编码器140使用中间媒体信息132。

存储器160可包括用于存储编码器140输出的经过编码的视频信息的存储设备。之后，为播放或某些其他目的，处理器(未示出)可访问存储器160中的经过编码的视频信息。在某些实施例中，存储器160可包括硬盘或闪存，以存储经过编码的视频信息。在某些实施例中，存储器160可包括可写光驱(如DVD-RW，等等)，以便将经过编码的视频信息转移到光存储介质。虽然已讨论了存储器160的几个示范实施例，但是，不应当将要求保护的本发明限于这些明确提出的例子，相反地，它应当包括任何能存储来自编码器140的经过编码的视频信息的设备。

图3的流程图示出了符合本发明原理的视频信息编码过程300。尽管为便于说明而结合系统100说明了过程300，但要求保护的本发明并不限于这个方面。处理过程可以以转换器120从经过编码的视频信息(由转换器120从媒体源110接收)提取其他信息134开始[动作310]。其他信息134可包括运动矢量和/或需要进行大量计算才可产生的其他信息。在一些实施例中，其他信息134也可包含进一步提取的信息，如量化数据、误差数据和/或图像数据。

可以以转换器120将经过编码的视频信息转换成中间媒体信息132的中间格式[动作320]来继续处理过程。在某些实施例中，该中间格式可包括模拟像素数据，如图2所示。在这类实施例中，转换器120可用作解码器(如解码器210)。在某些实施例中，该中间格式可包括数字像素数据或与像素数据不完全一致的编码格式。在这类实施例中，转换器120可用作部分解码器(partial encoder)，代码转换器等，以便对经过编码的视频信息进行其他转换，而不仅仅是对其进行解码。取决于设计和编码器140处理格式的能力，可以存在和设想各种中间格式。

编码器140可使用由转换器120提取的其他信息134对中间媒体信息132进行编码[动作330]。在某些实施例中(如图2所示的实施例)，编码器140可将中间媒体信息132重新编码为转换器120所接收的经过编码的视频信息的最初格式。在某些实施例中，编码器140可以将中间媒体信息132编码成与转换器120接收的经过编码的视频信息不同的格式。例如，编码器140可将原本为MPEG-2格式的中间媒体信息132编码成H.264格式。其他符合本发明原理的代码转换也是可行的。

在某些实施例中，编码器140可使用来自其他信息134的运动矢量来帮助对中间媒体信息132进行编码。编码器140也可使用其他信息134中的量化数据、图像数据和/或误差数据(如果存在)中的一种或多种来帮助对中间媒体信息132进行编码。在某些实施例中，除使用上述运动矢量外，或是不同于使用上述运动矢量，编码器140可使用需大量计算才可重新生成的、可以由转换器120提取的任何其他信息来帮助对中间媒体信息132进行编码。

可以以存储器160存储由编码器140输出的经过编码的视频信息[动作340]来继续处理过程。这样的存储可发生在磁的、半导体的、光学的或任何其他合适的介质或任何能够存储这类经过编码的视频信息的设备上。除此之外或与之不同，在某些实施例中，动作340可包括输出来自编码器140的经过编码的视频信息，以供使用(例如，供系统100的另一部分(未示出)或另一系统进行播放、传输)。尽管在图3中未明确示出，除上述内容外(或与上述内容不同)，动作340还包括通过存储器/输出150存储或输出中间媒体信息132。在某些实施例中，本文所述的方法可使用来自转换器120的模拟像素与数字提示的组合来重新压缩或重新编码输入的视频信息。

之前已对符合本发明原理的一个或多个实施例进行了说明，但这并非是为了穷举本发明的实施例，也不是为了将本发明的范围限于所公开的精确形式。根据本发明的教导，可以对上述实施例进行各种修改和变更，或者，可以在实施本发明的各个实施例时得到这些修改和变更。

例如，由于所需的计算能力相对较少，因而可以将输入到转换器120的媒体数据中的任何音频信息转换成模拟信号和转换成数字信号，以便由编码器140对其进行重新压缩。另外，虽然图1显示转换器120与编码器140之间是直接相连的，但是，也可以通过有线或无线通信链路来将中间媒体信息132与其他信息134中的一种或多种从转换器120发送给编码器140。

而且，不必按图示顺序执行图3中的动作，也并非所有动作均必须执行。同样的，可以与其他动作并行地进行那些不依赖于其他动作的动作。此外，可以将该图中的至少一些动作以指令或指令组的形式在可机读介质中实施。

除非具体指出，否则不应将本申请的说明书中使用的任何元件、动作或指令视为本发明的关键的或必不可少的要素。同样地，本文所用的冠词“某一”意指包括一个或多个事物。当仅指一个事物时，使用“一个”或类似的术语。可以对要求保护的本发明的上述实施例进行各种变更和修改，而不至于背离本发明的精神和原理。本文试图将所有这样的修改和变更包括在本公开范围内，并希望它们得到下列权利要求的保护。

Claims

1.一种系统，包括：

解码器，用于将具有第一格式的经过编码的视频信息解码成中间视频信息，并从所述经过编码的视频信息中提取运动矢量；

编码器，用于使用从所述经过编码的视频信息中提取的所述运动矢量将所述中间视频信息编码成具有第二格式的输出视频信息；以及

存储设备，用于存储来自所述编码器的所述输出视频信息。

2.如权利要求1所述的系统，其中，所述第一格式和所述第二格式具有共同格式。

3.如权利要求2所述的系统，其中，所述共同格式可包括MPEG-1、MPEG-2、MPEG-4、H.264、Windows媒体视频第9版(WMV9)，或高级视频系统(AVS)。

4.如权利要求1所述的系统，其中，所述第一格式包括MPEG-2，而所述第二格式包括H.264。

5.如权利要求1所述的系统，其中，所述解码器配置成从所述经过编码的视频信息中提取量化数据、图像数据或误差数据。

6.如权利要求1所述的系统，其中，所述编码器包括数模转换器，并且

所述中间视频信息包括模拟像素信息。

7.如权利要求1所述的系统，其中，所述中间视频信息包括数字像素信息。

8.如权利要求1所述的系统，还包括：

输出端口，用于输出所述中间视频信息。

9.一种方法，包括：

从经过编码的视频流中提取运动矢量；

将所述经过编码的视频流转换成中间视频流；以及

利用从所述经过编码的视频流中提取的所述运动矢量来将所述中间视频流编码成输出视频流。

10.如权利要求9所述的方法，其中，所述提取包括：

从所述经过编码的视频流中获取量化数据或图像数据，并且

所述编码包括利用从所述经过编码的视频流中获取的所述运动信息和量化数据或图像数据来对所述中间视频流进行编码。

11.如权利要求9所述的方法，其中，所述转换包括：

将所述经过编码的视频流解码，以产生未压缩的像素数据流。

12.如权利要求11所述的方法，其中，所述转换还包括：

将所述未压缩的像素数据流转换成模拟形式，以产生所述中间视频流。

13.如权利要求9所述的方法，其中，所述经过编码的视频流和所述输出视频流共享共同的编码格式。

14.如权利要求9所述的方法，其中，所述经过编码的视频流和所述输出视频流具有不同的编码格式。

15.如权利要求9所述的方法，还包括：

存储所述输出视频流。

16.如权利要求9所述的方法，还包括：

存储所述中间视频流。

17.一种装置，包括：

转换器，用于将输入媒体信息转换成为具有中间格式的中间媒体信息，和用于从所述输入媒体信息中提取其他信息；以及

编码器，用于利用从所述输入媒体信息中提取的所述其他信息将所述中间媒体信息编码成具有某一输出格式的输出媒体信息。

18.如权利要求17所述的装置，其中，所述输入媒体信息被编码成所述输出格式。

19.如权利要求17所述的装置，其中，所述输入媒体信息被编码成与所述输出格式不同的输入格式。

20.如权利要求17所述的装置，其中，所述中间媒体信息包括模拟数据。

21.如权利要求17所述的装置，其中，所述输入媒体信息经过编码，并且

所述转换器包括解码器，用于解码所述经过编码的输入媒体信息，以产生所述中间媒体信息。

22.如权利要求17所述的装置，其中，所述其他信息包括运动矢量。

23.如权利要求17所述的装置，还包括：

存储设备，用于存储来自所述编码器的输出媒体信息。

24.一种方法，包括：

从经过编码的视频流中至少获取运动矢量；

将所述经过编码的视频流解码，以产生模拟视频流；以及

利用从所述经过编码的视频流获取的运动矢量将所述模拟视频流编码，以产生输出视频流。

25.如权利要求24所述的方法，其中，所述获取还包括从所述经过编码的视频流获取量化数据和图像数据。

26.如权利要求25所述的方法，还包括：

利用所述量化数据和图像数据控制所述编码的速率。

27.如权利要求24所述的方法，还包括：

存储所述输出视频流。