CN102272793A

CN102272793A - 缩放已压缩图像帧的方法和系统

Info

Publication number: CN102272793A
Application number: CN2009801530638A
Authority: CN
Inventors: N·路西尔; E·福尔丁
Original assignee: Individual
Current assignee: Individual
Priority date: 2008-10-30
Filing date: 2009-11-02
Publication date: 2011-12-07
Also published as: US20100111195A1; WO2010049820A3; EP2350974A2; WO2010049820A8; WO2010049820A2; US8254467B2

Abstract

公开了一种缩放已压缩图像流的帧的方法和系统，每个帧包括像素的马赛克。对于已编码图像流的每个帧，将帧的偶数编号行缩放为行的第一组，而将帧的奇数编号行缩放为行的第二组。帧的行的这样的分组可发生在帧自身中，或通过将帧分成子帧来实现，在这样的情况下独立于帧的奇数编号行地缩放帧的偶数编号行，以及通过将经过缩放的帧的偶数编号行与经过缩放的帧的奇数编号行合并，来生成帧的缩放版本。

Description

缩放已压缩图像帧的方法和系统

技术领域

本发明涉及图像缩放领域，更具体地，涉及对已压缩图像帧的缩放。

背景技术

图像缩放通常在计算机图形中用于调整数字图像大小。由于缩放处理涉及效率、平滑度和清晰度之间的折衷，所以不容忽视。随着图像的尺寸增加，形成图像的像素逐渐可见，使得图像看起来柔和。相反，图像的尺寸的缩减将倾向于提高其平滑度和表面平滑度。

存在各种不同的图像缩放方法，并且对于本领域技术人员是公知的。一种这样的方法是最近邻插值，从而图像中的每个像素被替换为相同颜色的多个像素。另外，更复杂方法包括线性或双线性插值、双三次插值和超级采样等等。尽管这些图像缩放方法中的一些更加适于保持图像中的平滑外形，但是其他可能更简单并且实现成本更低。

当谈到图像传输时，某种形式的压缩(还称为编码)通常被应用于图像流，以缩减数据存储量和带宽需求。已知在视频压缩中使用梅花或棋盘像素抽取模式。在共同转让的美国专利申请公开2003/0223499中，通过移除棋盘模式中的像素并随后水平折叠像素的棋盘模式来压缩立体视频的立体图像对。两个水平折叠的图像位于单标准图像帧中的并排设置中，随后经过传统图像压缩(例如MPEG2)。经过解压缩的标准图像帧随后被扩展成棋盘模式，并且空间上内插遗漏的帧。

在实现这样的图像压缩的过程中出现的一种障碍是编码的内部特征可能使得不能够缩放已压缩的图像帧。更具体地，当通过在并排或上下布置中设置像素马赛克来形成已压缩的图像流的帧时，这些帧的任何缩放在解压缩之后导致图像帧中的伪像(例如可见的锯齿线)。缩放实际上破坏了编码(抽取模式)，使得在解压缩时，得到的图像的质量被降低和不可接受，不管使用什么缩放方法。

因此，在行业中需要提供一种在解压缩时不引起帧中的明显伪像的缩放已压缩图像帧的方法。

发明内容

根据广泛性方面，本发明提供了一种对已压缩图像流的帧进行缩放的方法，每个帧包括像素的马赛克。所述方法包括，对于已压缩图像流的每个帧，将帧的偶数编号行缩放为行的第一组，以及将帧的奇数编号行缩放为行的第二组。

根据另一广泛性方面，本发明提供了一种对已压缩图像流的帧应用缩放操作的方法，每个帧包括像素的马赛克。所述方法包括步骤：a)接收已压缩图像流的帧；b)将所述帧分成第一和第二子帧，所述第一子帧包括帧的偶数编号的行，所述第二子帧包括帧的奇数编号行；c)将缩放操作应用到所述第一子帧，从而所述帧的偶数编号行被缩放；d)将缩放操作应用到所述第二子帧，从而独立于所述偶数编号行地对所述帧的奇数编号行进行缩放；e)将经过缩放的所述帧的偶数编号行与经过缩放的所述帧的奇数编号行合并，以生成所述帧的缩放版本。

有利地，通过将每个已压缩图像帧分成一对子帧，一个子帧包括所述帧的偶数编号行，另一个子帧包括所述帧的奇数编号行，并随后在将所有经过缩放的行合并在一起以便生成特定帧的缩放版本之前，独立于另一个地将缩放操作应用到每个子帧，可以在稍后阶段实现对经过缩放的帧的成功解压缩，而没有实质性伪像。

根据另一广泛性方面，本发明提供了一种对已压缩图像流的帧进行缩放的系统，每个帧包括像素的马赛克。所述系统包括：细分器单元，用于接收已压缩图像流的帧，所述细分器单元可操作为将所述帧分成第一和第二子帧，所述第一子帧包括所述帧的偶数编号行，所述第二子帧包括所述帧的奇数编号行。所述系统还包括：缩放器单元，用于从所述细分器单元接收所述第一和第二子帧，所述缩放器单元可操作为对所述第一和第二子帧的每个子帧应用缩放操作，从而所述帧的奇数编号行被独立于偶数编号行地缩放。组合器单元从所述缩放器单元接收经过缩放的第一和第二子帧，并且可操作为通过将经过缩放的所述帧的偶数编号行与经过缩放的所述帧的奇数编号行合并，来生成所述帧的缩放版本。

根据另一广泛性方面，本发明提供了一种对已压缩图像流的帧进行缩放的系统，所述帧包括像素的马赛克。所述系统包括，缩放器单元，其可操作为将所述帧的偶数编号行缩放为行的第一组，并将所述帧的奇数编号行缩放为行的第二组。

根据另一广泛性方面，本发明提供了一种准备已压缩图像流的帧用于缩放的方法，每个帧包括像素的马赛克。所述方法包括，对于已压缩图像流的每个帧，重新布置所述帧的行，从而所述帧的偶数编号行形成行的第一组，以及所述帧的奇数编号行形成行的第二组。

附图说明

参照附图，通过本发明的以下详细描述将更好地理解本发明，其中：

图1是根据现有技术用于处理已压缩图像流的简化计算机架构的框图。

图2示例性示出根据本发明的实现的非限制性实例对已压缩图像流的帧进行缩放的系统。

图3是示出根据本发明的实现的非限制性实例图2所示的系统的缩放过程的流程图。

图4A是根据现有技术通过传统手段缩放并随后解压缩、在图像帧中得到明显伪像的已压缩图像的帧。

图4B是根据本发明的实现的非限制性实例使用图3的过程进行缩放并随后解压缩的已压缩图像的帧。

具体实施方式

如下所述，本发明涉及用于对经过压缩的图像流的帧进行缩放的方法和系统。

应理解，表述“解码”和“解压缩”在本说明书中交替使用，如表述“编码”和“压缩”那样。此外，尽管这里将参照三维立体图像(例如电影)来描述本发明的实现的实例，但是应理解，本发明的范围也涵盖其他类型的视频图像。

图1示出根据现有技术的、处理已压缩图像流的简化计算机架构100。如图所示，视频处理器106从源104接收经过压缩的图像流102。源104可以是提供已压缩(或已编码)数字化视频比特流的各种设备中的任一个，例如DVD驱动器或无线发送器等等。视频处理器106经由总线系统108连接至各种后端组件。在图1所示的实例中，数字可视接口(DVI)110和显示器信号驱动器112能够格式化像素流，用于分别在数字显示器114和PC监视器116上显示。

视频处理器106能够执行各种不同任务，包括例如一些或所有视频重放任务，例如缩放、颜色转换、合成、解压缩和去交错等等。典型地，视频处理器106将负责处理和缩放所接收的已压缩图像流102，以及将已压缩图像流102提交给颜色转换和合成操作，以适应特定分辨率。

尽管视频处理器106也可负责对所接收的已压缩图像流102进行解压缩和去交错，但是这个内插功能可备选地由单独的、后端处理单元来执行。在特定的、非限制性实例中，已压缩图像流102是经过压缩的立体图像流102，并且由在视频处理器106以及DVI 110和显示器信号驱动器112之间连接的立体图像处理器118执行上述内插功能。这个立体图像处理器118可操作为对已压缩立体图像流102进行解压缩和内插，以重新建立原始左和右图像序列。显然，立体图像处理器118成功地重新建立原始左和右图像序列的能力主要受到已压缩图像流102中的任意失真或伪像(可作为视频处理器106的处理的结果出现)的限制。

图2示出根据本发明的实现的非限制性实例的、对所接收的已压缩图像流的帧进行缩放的系统200。对于已压缩图像流的每个接收帧，系统200可操作为基于帧的行的预定分组，对帧进行缩放。更具体地，将帧的偶数编号行缩放为行的第一组，而将帧的奇数编号行缩放为行的第二组。

如图2的实例所示，系统200包括细分器单元202、缩放器单元204和组合器单元206。细分器单元202在已压缩图像流的N×M帧上操作，其中N是帧中垂直行的数目，M是帧中水平行的数目。细分器单元202可操作为通过将N×M帧分成两个N×M/2子帧，将帧的偶数编号水平行布置成行的第一组，并将帧的奇数编号行布置成行的第二组。这些N×M/2子帧的第一个包括所有原始N×M帧的偶数编号水平行，而第二子帧包括所有原始帧的奇数编号水平行。以其中M为偶数的情况为例，第一子帧包括原始帧的行2、4、6、8、(...)、M，而第二子帧包括原始帧的行1、3、5、7、(...)、M-1。

缩放器单元204接收第一和第二N×M/2子帧作为输入，并且可操作为独立于另一个地对子帧进行缩放，以生成第一和第二经过缩放的S×T子帧。尽管图2所示的实例示出缩放器单元204中的一对缩放器，但是每个缩放器运行在N×M/2子帧的相应一个上，这是对缩放器单元204的简化的功能性表示。实际上，可使用单个缩放器来执行两个缩放操作，即，独立于原始帧的奇数编号水平行地对原始N×M帧的偶数编号行进行缩放。

重要地是应当注意，缩放器单元204可实现各种不同缩放方法中的任一个，以便对N×M/2子帧进行缩放，例如，线性或双线性插值、双三次插值和超级采样等等。本发明的范围不限于任一个特定的缩放技术，而是包含所有不同的可行缩放技术。

将第一和第二经过缩放的S×T子帧从缩放器单元204传递到组合器单元206，后者可操作为将这些经过缩放的子帧组合或合并成S×2T帧，其对应于原始N×M帧的缩放版本。因此，组合器单元206建立S×2T帧，使得其偶数编号水平行对应于第一经过缩放的S×T子帧的行，而其奇数编号水平行对应于第二经过缩放的S×T子帧的行。

有利地，通过独立于彼此地对原始N×M帧的偶数和奇数编号水平行进行缩放，这允许在已压缩图像流的处理中的稍后阶段将得到的经过缩放的S×2T帧成功地解码(或解压缩或内插)，而没有实质上的伪像。

应注意，尽管图2中所示的实例示例性示出了对N×M帧从而对N×M/2子帧的放大，但是系统200的缩放器单元204也可用于缩减N×M帧的尺寸，而不脱离本发明的范围。

图3是示出根据本发明的实现的非限制性实例的、由系统200实现的缩放过程的流程图。在步骤300，系统200接收已压缩图像流的帧。在步骤302，将帧分成两个子帧，其中第一个由帧的所有偶数编号水平行形成，第二个由帧的所有奇数编号水平行形成。接下来，在步骤304，对第一和第二子帧彼此独立地进行缩放，从而与其对帧的奇数编号行的应用分离地对帧的偶数编号行应用缩放操作。在步骤306，将帧的经过缩放的偶数编号行与帧的经过缩放的奇数编号行合并，用于生成原始帧的缩放版本。

在具体地、非限制性实例中，已压缩图像流是经过压缩的立体图像流，其中流的每个帧包括含有来自左图像序列的像素和来自右图像序列的像素的经过合并的图像。在一个特定实例中，经过压缩的立体图像流的每个帧包括两个图像序列的像素形成的像素的马赛克。在解码或解压缩时，从这些左和右图像序列重建原始立体图像流。由此，重要的是，每个帧中的像素的布置没有被已压缩立体图像流在解压缩之前可能经历的任何处理(包括传输和缩放操作)过度破坏。

为了说明目的，图4A是根据现有技术被压缩、通过传统手段缩放并随后被解压缩的立体图像帧。更具体地，对帧整体应用缩放操作，这样破坏了对已压缩图像帧的编码，使得在解压缩时，经过缩放的图像帧显出可见的锯齿线。因此，帧的缩放阻碍了在已压缩立体图像流的处理中的稍后阶段对帧的成功解压缩或解码。

相反，图4B是根据本发明的实现的非限制性实例被压缩、使用图3的过程缩放并随后被解压缩的立体图像帧。通过分离出帧的偶数和奇数编号水平行，并使得这些行的组被彼此独立地缩放，帧的缩放没有限制或阻碍图像帧的成功解压缩。相反，如图4B所示，得到的解压缩的缩放帧是可接受的质量，没有任何明显的伪像。

系统200的组件和模块都可在一个设备中(例如DVD播放器)或分开在各种不同的设备间(例如DVD播放器和电视)以软件、硬件、固件或其任意组合来实现。在一个特定的、非限制性实例中，系统200在视频处理器中的固件中实现，例如图1所示的视频处理器106。由于标准视频处理器典型地包括一个或多个帧缓冲器以及缩放器单元，所以系统200的实现将简单地涉及对视频处理器的固件的修改，以提供上述细分器和组合器单元202、206的功能。因此，视频处理器的固件被修改为在通过缩放器单元的缩放处理的应用之前和之后，适当处理和操作每个所接收的已压缩图像帧的水平或垂直行。显然，在准备缩放以及通过合并经过缩放的偶数和奇数编号行来生成特定帧的缩放版本时从特定帧划分偶数和奇数编号行的过程中，视频处理器将在存储器中临时存储特定帧的行，存储器相对于视频处理器是本地或远程的(例如，经由总线系统的主机存储器)。应注意，存储器中偶数和奇数编号行的存储和提取可通过多种方式进行，而不脱离本发明的范围。

在本发明的各个实施例中，上述系统和缩放过程作用于已压缩图像流的帧的垂直行，而不是水平行。因此，将帧的偶数编号垂直行缩放为行的第一组，将帧的奇数编号垂直行缩放为行的第二组。在图2的实例的情况下，细分器单元202可操作为将N×M帧分成两个N/2×M子帧。这些N/2×M子帧的第一个包括原始N×M帧的所有偶数编号垂直行，而第二个子帧包括原始帧的所有奇数编号垂直行。缩放器单元204使得子帧被彼此独立地缩放，生成第一和第二S×T子帧。因此，组合器单元206可操作为将经过缩放的子帧组合成2S×T帧，其对应于原始N×M帧的缩放版本，其中2S×T帧的偶数编号垂直行对应于第一经过缩放的S×T子帧的行，而2S×T帧的奇数编号垂直行对应于第二经过缩放的S×T子帧的行。

在本发明的另一变型实施例中，对于已压缩图像流的每个帧，在帧自身中重新布置帧的行，从而帧的偶数编号行形成第一组，帧的奇数编号行形成第二组。因此，每个组占用帧的相应的一半，并且帧不需要被分成子帧以便彼此独立地缩放。相反，可以将已压缩图像流的每个帧作为整体对其应用缩放处理，这是因为已经布置了每个帧的行，使得偶数编号行被集合在一起，奇数编号行被集合在一起。

在这个变型实施例的实现的特定实例中，在帧的压缩时发生已压缩图像流的每个帧的行的重新布置。因此，在图2所示的实例的情况下，系统200将不需要细分器单元202，而缩放器单元204将简单地对每个接收的帧应用直接的缩放操作。由于对于缩放器单元204输入的每个帧的行已经被布置为使得奇数编号行被集合在一起并且偶数编号行被集合在一起，帧作为整体的缩放实际上得到作为第一组的帧的偶数编号行以及作为第二组的帧的奇数编号行的缩放。组合器单元206(尽管从子帧的合并角度并非必要)可操作为重新布置由缩放器单元204输出的每个经过缩放的帧的行，使得解开行分组，并且帧的偶数和奇数编号行占据经过缩放的帧的其原始且适当的位置。

在本发明的这个变型实施例的实现的另一特定实例中，在将帧输入到缩放器单元204用于缩放之前，在系统200中发生对已压缩图像流的每个帧的行的重新布置。在这个情况下，系统200可包括一功能单元，其可操作为操纵由系统200接收的每个帧的行，用以重新布置帧中的偶数和奇数编号行，从而形成预定行的分组，其中这个单元将随后将操纵的帧传递至缩放器单元204用于缩放。

尽管示出了多种实施例，但是这用于描述本发明的目的而并非限制本发明。各种可能的修改和不同配置对于本领域技术人员是明显的，并且在本发明的范围内，本发明的范围由所附权利要求更具体地限定。

Claims

1.一种用于对已压缩图像流的帧进行缩放的方法，每个帧包括像素的马赛克，所述方法包括，对于所述已压缩图像流的每个帧，将所述帧的偶数编号行缩放为行的第一组，以及将所述帧的奇数编号行缩放为行的第二组。

2.如权利要求1所述的方法，其中所述帧的偶数编号行被独立于所述帧的奇数编号行地缩放。

3.如权利要求1或2所述的方法，还包括，通过将经过缩放的所述帧的偶数编号行与经过缩放的所述帧的奇数编号行合并，生成所述帧的缩放版本。

4.一种用于对已压缩图像流的帧应用缩放操作的方法，每个帧包括像素的马赛克，所述方法包括：

a.接收所述已压缩图像流的帧；

b.将所述帧分成第一和第二子帧，所述第一子帧包括所述帧的偶数编号行，所述第二子帧包括所述帧的奇数编号行；

c.对所述第一子帧应用缩放操作，由此所述帧的偶数编号行被缩放；

d.对所述第二子帧应用缩放操作，由此所述帧的奇数编号行被独立于所述偶数编号行地缩放；

e.将经过缩放的所述帧的偶数编号行与经过缩放的所述帧的奇数编号行合并，以生成所述帧的缩放版本。

5.如权利要求4所述的方法，其中所述已压缩图像流是经过压缩的立体图像流，每个帧包括被合并在一起的已压缩左眼和右眼图像。

6.如权利要求5所述的方法，其中每个帧包括并排合并的图像。

7.如权利要求5所述的方法，其中每个帧包括被彼此临近布置的第一和第二像素马赛克，所述第一像素马赛克由来自所述左眼图像的像素形成，所述第二像素马赛克由来自所述右眼图像的像素形成。

8.如权利要求4至7中任一项所述的方法，其中所述第一子帧的缩放和所述第二子帧的缩放由单个缩放器单元来执行。

9.如权利要求4至8中任一项所述的方法，其中所述帧的偶数和奇数编号行是所述帧的偶数和奇数编号水平行。

10.如权利要求4至9中任一项所述的方法，其中所述帧的偶数和奇数编号行是所述帧的偶数和奇数编号垂直行。

11.一种用于对已压缩图像流的帧进行缩放的系统，每个帧包括像素的马赛克，所述系统包括：

a.细分器单元，用于接收所述已压缩图像流的帧，所述细分器单元可操作为将所述帧分成第一和第二子帧，所述第一子帧包括所述帧的偶数编号行，所述第二子帧包括所述帧的奇数编号行；

b.缩放器单元，用于从所述细分器单元接收所述第一和第二子帧，所述缩放器单元可操作为对所述第一和第二子帧的每个应用缩放操作，由此所述帧的奇数编号行被独立于所述偶数编号行地缩放；

c.组合器单元，用于从所述缩放器单元接收经过缩放的第一和第二子帧，所述组合器单元可操作为通过将经过缩放的所述帧的偶数编号行与经过缩放的所述帧的奇数编号行合并，生成所述帧的缩放版本。

12.如权利要求11所述的系统，其中所述帧的偶数和奇数编号行是所述帧的偶数和奇数编号水平行。

13.如权利要求11所述的系统，其中所述帧的偶数和奇数编号行是所述帧的偶数和奇数编号垂直行。

14.一种用于对已压缩图像流的帧进行缩放的系统，所述帧包括像素的马赛克，所述系统包括，缩放器单元，可操作为将所述帧的偶数编号行缩放为行的第一组，以及将所述帧的奇数编号行缩放为行的第二组。

15.如权利要求14所述的系统，其中所述缩放器单元执行第一缩放操作以缩放所述帧的偶数编号行，并执行第二缩放操作以缩放所述帧的奇数编号行，经过缩放的偶数编号行被与经过缩放的奇数编号行合并，用以生成所述帧的缩放版本。

16.如权利要求14或15所述的系统，其中所述帧的偶数和奇数编号行是所述帧的偶数和奇数编号水平行。

17.如权利要求14或15所述的系统，其中所述帧的偶数和奇数编号行是所述帧的偶数和奇数编号垂直行。

18.如权利要求15至17中任一项所述的系统，其中所述缩放器单元可操作为同时执行所述第一和第二缩放操作。

19.一种用于准备已压缩图像流的帧以便进行缩放的方法，每个帧包括像素的马赛克，所述方法包括，对于已压缩图像流的每个帧，重新布置所述帧的行，使得所述帧的偶数编号行形成行的第一组，以及所述帧的奇数编号行形成行的第二组。

20.如权利要求19所述的方法，其中所述行的第一和第二组的每个占据相应的半个所述帧。

21.如权利要求19或20所述的方法，其中所述帧的行的重新布置在帧的压缩时被执行。

22.如权利要求19至21中任一项所述的方法，其中所述重新布置包括将所述帧分成第一和第二子帧，所述第一子帧包括所述帧的偶数编号行，所述第二子帧包括所述帧的奇数编号行。

23.如权利要求22所述的方法，其中所述第一子帧被独立于所述第二子帧地缩放。