CN1729480A - 图像缩放 - Google Patents

Abstract

一种将具有第一分辨率的第一图像(102)转换成具有第二分辨率的第二图像(106)的方法，包括像素值插入和根据不可分的多维内核进行卷积，该内核包括等于零的多个系数，该多个系数的第一部分穿过不可分的多维内核布置在第一对角线上，该多个系数的第二部分穿过不可分的多维内核布置在第二对角线上，该第二对角线垂直于该第一对角线。在各向同性缩放的情况下保持第一图像中45度的对角边缘。这意味着，如果第一图像中边缘上的像素值彼此相等，那么第二图像中边缘上的像素值也彼此相等。可选地，该方法包括子采样。

Description

图像缩放

本发明涉及一种将具有第一分辨率的第一图像转换成具有第二分辨率的第二图像的方法，该第一分辨率不同于该第二分辨率。

本发明还涉及一种图像转换单元，用于将具有第一分辨率的第一图像转换成具有第二分辨率的第二图像，该第一分辨率不同于该第二分辨率。

本发明还涉及一种图像处理设备，包括：

接收装置，用于接收对应于第一图像的信号；和

这样的一种图像转换单元，用于将具有第一分辨率的第一图像转换成具有第二分辨率的第二图像。

本发明进一步涉及可由计算机设备加载的计算机程序产品，该产品包括用于将具有第一分辨率的第一图像转换成具有第二分辨率的第二图像的指令，该第一分辨率不同于该第二分辨率。

在众多的视频和多媒体应用中，有必要适配保持输出图像质量的图像尺寸。适配可能意味着增加或减小分辨率。例如，当必须在高分辨率显示设备上显示低分辨率图片时，需要增加分辨率。如果应用简单的像素上变换方法和扫描线重复，则该输出图像看起来不好：能够观察到锯齿线和块结构。可选地，应用低通滤波器作为后处理功能以减小锯齿和块结构的可见性。该低通滤波的缺点是使图像细节模糊。

在专利申请WO99/56247中公开了所述开始段落中所描述类型方法的一种实施例。该专利申请公开了一种图像内插(interpolation)方法，包括，沿着水平和垂直方向插入像素，以便获得内插的线在原始像素中相互交叉的网格。在第二步骤中，通过网格在行和列之间内插像素，以便通过网格满足矩形来获得内插的图像。这种方法的缺点是相对复杂。

本发明的一个目的是提供一种在所述开始段落中所描述类型的相对简单的方法。

本发明的该目的通过以下方法实现，其包括：

像素值插入；和

根据不可分的多维内核(non-separable multi-dimensional kernel)进行卷积，该内核包括等于零的多个系数，该多个系数的第一部分穿过不可分的多维内核布置在第一对角线上，该多个系数的第二部分穿过不可分的多维内核布置在第二对角线上，该第二对角线垂直于该第一对角线。

本发明的重要方面在于选择卷积内核的系数。选择不可分的多维内核的系数涉及像素插入。该不可分的多维内核在水平和垂直方向都对称。

根据本发明的方法是这样的，在各向同性缩放的情况下保持第一图像中的45度对角边缘。还可以参见图1。假设该第一图像包括第一和第二区域。第一和第二区域之间的边界相对于第一图像的行和列具有45度角。该第一区域的像素值彼此相等并且第二区域的像素值也彼此相等。换言之，第一和第二区域之间的边缘上的像素值彼此相等。如果基于根据本发明的方法，通过将水平和垂直分辨率以因数2增加而将该第一图像转换成第二图像，那么第二图像中的第一和第二区域之间的边上的像素值也彼此相等。

在根据本发明方法的一个实施例中，像素值插入包括复制第一图像的像素值。该第一图像的像素值复制可能在水平方向，垂直方向或者同时在水平和垂直方向。像素值可能在其中的一个方向复制一次，或者在其中的一个方向复制多次。

例如，在需要将水平和垂直分辨率都以因数2增加的情况下，执行每个输入像素的水平方向的像素复制，以及执行中间图像的每条扫描线的线重复。之后，通过不可分的多维内核执行卷积，该内核由其系数规定：

$\left[\begin{array}{ccc}0& c& 0\\ c& 0& c\\ 0& c& 0\end{array}\right],$ 这里c不等于零，例如c＝1。

显而易见的是，像素复制和扫描线重复的顺序可能不同。

例如，在需要将水平和垂直分辨率都以因数3增加的情况下，执行每个输入像素在水平方向的像素复制两次，以及执行中间图像的每条扫描线的线重复两次。之后，通过不可分的多维内核执行卷积，该内核由其系数规定：

$\left[\begin{array}{ccccc}0& 0& c& 0& 0\\ 0& c& 0& c& 0\\ c& 0& c& 0& c\\ 0& c& 0& c& 0\end{array}\right],$ 这里c不等于零，例如，c＝1。

根据本发明方法的另一个实施例，像素值插入包括插入值等于零的像素，以及利用第二内核执行卷积，第二内核基于利用第三内核的不可分多维内核的进一步卷积。例如，在需要将水平和垂直分辨率都以因数2增加的情况下，对于每个输入像素，插入值等于零的三个像素值。之后，通过第二内核执行卷积，该内核由其系数规定：

$\left[\begin{array}{cccc}0& d& d& 0\\ d& e& e& d\\ d& e& e& d\\ 0& d& d& 0\end{array}\right],$ 这里e＝2d，例如d＝1且e＝2。

将会显而易见的是，根据本发明的该实施例的结果等于包括像素复制的实施例的结果。

根据本发明方法的再一个实施例包括子采样。通过该实施例，能够利用非整数因数例如1.5或者0.25或0.66实现缩放。

本发明的再一个目的是提供一种在开始段落中所描述类型的相对简单的图像转换单元。

本发明的该目的通过以下图像转换单元实现，其包括：

像素值插入单元，用于插入像素值；和

卷积单元，用于根据不可分的多维内核进行卷积，该内核包括多个等于零的系数，该多个系数的第一部分穿过不可分的多维内核布置在第一对角线上，该多个系数的第二部分穿过不可分的多维内核布置在第二对角线上，该第二对角线垂直于该第一对角线。

本发明的再一个目的是提供一种图像处理设备，其包括在开始段落中所描述类型的相对简单的图像转换单元。

本发明的该目的通过以下图像转换单元实现，其包括：

像素值插入单元，用于插入像素值；和

卷积单元，用于根据不可分的多维内核进行卷积，该内核包括多个等于零的系数，该多个系数的第一部分穿过不可分的多维内核布置在第一对角线上，该多个系数的第二部分穿过不可分的多维内核布置在第二对角线上，该第二对角线垂直于该第一对角线。

该图像处理设备可选地包括用于显示第二图像的显示设备。该图像处理设备可能例如是电视、机顶盒、VCR(录像机)播放器、卫星调谐器、DVD(数字通用光盘)播放器或者记录器。

本发明的又一个目的是提供一种在开始段落中所描述类型的相对简单的计算机程序产品。

本发明的该目的通过以下计算机程序产品实现，该产品在被加载之后，提供具备执行以下内容的能力的所述处理装置：

像素值插入；和

根据不可分的多维内核进行卷积，该内核包括多个等于零的系数，该多个系数的第一部分穿过不可分的多维内核布置在第一对角线上，该多个系数的第二部分穿过不可分的多维内核布置在第二对角线上，该第二对角线垂直于该第一对角线。

对方法的修改及其变型可以对应于对上述图像转换单元的修改及其变型。

根据以下描述的实现和实施例以及参考这些实现和实施例和附图将进行的说明，根据本发明的所述方法、图像转换单元、图像设备及其计算机程序产品的这些和其他方面将会变得显而易见，其中：

图1示意性示出了根据本发明方法的第一实施例，用于将水平和垂直分辨率以因数2增加；

图2示意性示出了根据本发明方法的第二实施例，用于将水平和垂直分辨率以因数2增加；

图3示意性示出了根据本发明的图像转换单元的实施例；

图4示意性示出了根据本发明的方法，用于将水平和垂直分辨率以因数1.5增加；和

图5示意性示出了根据本发明的图像处理设备的实施例。

在全部附图中相同的附图标记用于表示相似的部件。

图1示意性示出了根据本发明方法的第一实施例，用于将水平和垂直分辨率以因数2增加。根据本发明的该方法是这样的，保持输入图像102中45度的对角边缘113。该输入图像包括第一区域108和第二区域110。当假设正方形像素时，那么第一区域108和第二区域110之间的边界相对于第一图像的行和列具有45度角。第一区域的像素值彼此相等。这些像素值是100。第二区域110的像素值也彼此相等。这些像素值是0。换言之，沿第一区域108和第二区域110之间边缘112的像素值彼此相等，即这些值全部是100；沿第一区域108和第二区域110之间边缘114的像素值彼此相等，即这些值全部是0。所述转换包括两个步骤。

首先，通过采样-保持滤波器扩展输入图像102，正如方程1所规定的：

$R_{\left(\mathrm{2,2}\right)}=\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right]---\left(1\right)$

这里R_(2，2)是采样-保持滤波器，该滤波器被安排用于通过复制和重复将水平和垂直分辨率以因数2增加。所产生的中间图像104包括块结构。中间图像104中的第一区域和第二区域116之间边缘118上的像素值不是彼此相等。这些值交替为100和0。

其次，利用如方程2所规定的不可分多维内核KR2对中间图像104进行卷积：

$K_2^R=\frac{1}{4}\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 1\\ 0& 1& 0\end{array}\right]---\left(2\right)$

该不可分的多维内核K^R ₂具有系数等于零和系数不等于零的棋盘形图案。能够看出不可分多维内核K^R ₂包括采样-保持滤波器I_(2，2)的相同系数，但要旋转45度。

在输出图像106中第一区域120和第二区域122之间边缘128上的像素值彼此相等即：50。而且，全部与边缘128平行的各条线124-126和130-132上的像素值彼此相等，这些值分别是：100，75，25和0。

图2示意性示出了根据本发明方法的第二实施例，用于将水平和垂直分辨率以因数2增加。而且，该转换也包括两个步骤。

首先，通过插入值为0的像素扩展输入图像102，正如在方程3中所规定的：

I_(2，2)＝[1]                             (3)

这里I_(2，2)是插入操作。所产生的中间图像133包括块结构。区域138中的像素值不是彼此相等。这些值交替为100和0。

其次，利用如方程4所规定的内核K^I ₂对中间图像133进行卷积：

$K_2^1=\frac{1}{4}\left[\begin{array}{cccc}0& 1& 1& 0\\ 1& 2& 2& 1\\ 1& 2& 2& 1\\ 0& 1& 1& 0\end{array}\right]---\left(4\right)$

在输出图像106中第一区域120和第二区域122之间边缘128上的像素值彼此相等即：50。而且，全部与边缘128平行的各条线124-126和130-132上的像素值彼此相等，这些值分别是：100，75，25和0。

结合图1所示例的方法和结合图2所示例的方法提供了相同的结果。这还利用方程5和6来说明：

$\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right]*\frac{1}{4}\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 1\\ 0& 1& 0\end{array}\right]=\left[1\right]*\frac{1}{4}\left[\begin{array}{cccc}0& 1& 1& 0\\ 1& 2& 2& 1\\ 1& 2& 2& 1\\ 0& 1& 1& 0\end{array}\right]---\left(5\right)$

$R_{\left(\mathrm{2,2}\right)}*K_2^R=I_{\left(\mathrm{2,2}\right)}*K_2^I---\left(6\right)$

将会显而易见的是对于其他缩放因数也是同理。

图3示意性示出了根据本发明的图像转换单元300的实施例，包括：

像素插入单元302，安排用于通过插入像素值扩展输入图像，即像素矩阵。扩展的结果是中间图像。正如结合图1所描述的，插入的像素值能够基于像素矩阵的像素值。在这种情况下，像素插入单元302是采样-保持滤波器。可替换地，正如结合图2所描述的，插入的像素值等于零。可替换地，像素插入单元302被安排用于在水平方向插入输入图像的每个原始像素的第一数量的像素值，以及在垂直方向插入输入图像的每个原始像素的第二数量的像素值，其中第二数量不同于第一数量。这意味着可选地水平方向和垂直方向的扩展是不同的，例如，水平方向的因数为2，而垂直方向的因数为4。还有可能的是，所述扩展仅仅在两个方向的其中一个方向。例如，通过仅在垂直方向进行扩展，则能够获得简单类型的去隔行扫描(de-interlacing)。在纯抽取(pure decimation)的情况下，可能舍弃和跳过像素插入单元302。

卷积滤波器304，用于根据不可分的多维内核对扩展的中间图像进行卷积，该内核包括多个等于零的系数，该多个系数的第一部分穿过不可分的多维内核布置在第一对角线上，该多个系数的第二部分穿过不可分的多维内核布置在第二对角线上，该第二对角线垂直于该第一对角线。该卷积例如是在方程2或方程4中所规定的。

子采样单元306，用于选择卷积滤波器304输出像素的一部分。该子采样单元306是可选的。子采样单元306被安排用于选择等距离布置的像素，例如每隔一个像素以便以因数2进行子采样，或者每隔两个像素以便以因数3进行子采样。图像转换单元300在输入连接器308被提供输入图像，以及在输出连接器310提供输出图像。

像素插入单元302、卷积滤波器304和子采样单元306可以使用一个处理器来实现。通常，在软件程序产品的控制下执行这些功能。在执行过程中，通常将软件程序产品载入到存储器例如RAM中，并从那里执行。可以从背景存储器例如ROM、硬盘或者磁和/或光存储器载入该程序，或者可以经由网络例如因特网载入。可选地，专用集成电路提供了所公开的功能。

输入图像的分辨率能够低于输出图像的分辨率。在这种情况下，缩放系数高于1。输入图像的分辨率也可以高于输出图像的分辨率。在这种情况下，缩放系数低于1。该分辨率包括垂直分量和水平分量。正如所述，垂直分量的适配可能不同于水平分量的适配。

正如上所说明的，像素插入单元302、卷积滤波器304和子采样单元306不固定，但为可控的。但是，像素插入单元302、卷积滤波器304和子采样单元306的参数彼此独立。这意味着例如插入像素的数量与应用的不可分多维内核有关。所选择像素的数量也与利用不可分多维内核的卷积有关。

以下给出了卷积内核的一些实例以示例与插入像素数量的关系，即放大比例因数(up-scaling factor)。

对于因数为2的缩放，在方程2中规定了不可分的多维内核K^R ₂。

可替换地，如在方程7中规定了应用的不可分的多维内核K^R ₂：

$K_2^R=\frac{1}{6}\left[\begin{array}{ccc}1& 0& 1\\ 0& 2& 0\\ 1& 0& 1\end{array}\right]---\left(7\right)$

对于因数为3的缩放，在方程8中规定了采样-保持滤波器：

$R_3^3=\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]---\left(8\right)$

以及在方程9中规定了不可分的多维内核K^R ₃：

$K_3^R=\frac{1}{9}\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 1& 0& 1& 0\\ 1& 0& 1& 0& 1\\ 0& 1& 0& 1& 0\\ 0& 0& 1& 0& 0\end{array}\right]---\left(9\right)$

可替换地，当组合像素插入单元302和卷积滤波器单元304时，利用如在方程10中规定的内核K^I ₃对所述(中间)图像进行卷积：

$K_3^I=\frac{1}{9}\left[\begin{array}{ccccccc}0& 0& 1& 1& 1& 0& 0\\ 0& 1& 2& 3& 2& 1& 0\\ 1& 2& 4& 4& 4& 2& 1\\ 1& 3& 4& 5& 4& 3& 1\\ 1& 2& 4& 4& 4& 2& 1\\ 0& 1& 2& 3& 2& 1& 0\\ 0& 0& 1& 1& 1& 0& 0\end{array}\right]---\left(10\right)$

对于因数为4的缩放，应用的不可分多维内核K^R ₄如在方程11中规定：

$K_4^R=\frac{1}{16}\left[\begin{array}{ccccccc}0& 0& 0& 1& 0& 0& 0\\ 0& 0& 1& 0& 1& 0& 0\\ 0& 1& 0& 1& 0& 1& 0\\ 1& 0& 1& 0& 1& 0& 1\\ 0& 0& 1& 0& 1& 0& 0\\ 0& 0& 1& 0& 1& 0& 0\\ 0& 0& 0& 1& 0& 0& 0\end{array}\right]---\left(11\right)$

为了子采样的所选像素的数量还与利用不可分多维内核进行的卷积有关。在表1中给出了应用的卷积内核的一些实例以示例与所选像素数量的关系，即子采样因数N。在第一栏中列出了放大比例因数M的值。在第二栏中列出了所述应用的卷积内核K_i。在第三栏中列出了子采样因数N的值。在第四栏中列出了所产生的缩放因数 的值。

                  表1：选择卷积内核

正如从表1中能够看出的，应用的内核K_i同时取决于放大比例因数M和子采样因数N。在方程12中规定了这种关系：

K_i＝max{M，N}                    (12)

图4示意性示出了根据本发明的方法，用于将水平和垂直分辨率都以因数1.5增加。输入图像402包括大量的像素408-424。通过插入像素值获得图像403。在这种情况下，像素408a-408h的值等于像素408的值，以及像素410a-410h的值等于像素410的值。在卷积之后，执行子采样产生输出图像404。正如能够看出的，输出图像404是基于选择所述像素的一部分。这意味着跳过了卷积图像的大量像素。

图5示意性示出了根据本发明的图像处理设备500的实施例，包括：

接收装置502，用于接收表示输入图像的信号。该信号可以是经由天线或者电缆接收的广播信号，但也可以是来自存储设备，例如VCR(录像机)或数字通用光盘(DVD)的信号。在输入连接器510提供该信号。

结合图3描述的图像转换单元300。图像转换单元300可能被安排用于缩放输入图像为输出图像。可替换地，图像转换单元300安排用于通过垂直重复对图像进行去隔行扫描；以及

显示设备506，用于显示图像处理单元504的输出图像。该显示设备506是可选的。

图像处理设备500可能例如是电视。可替换地，图像处理设备500不包括可选的显示设备506，但是给包括显示设备506的设备提供输出图像。然后，图像处理设备500可能例如是机顶盒、卫星调谐器、VCR播放器、DVD播放器或者DVD记录机。可选地，图像处理设备500包括存储装置，例如硬盘或者用于在可移动介质例如光盘上进行存储的装置。图像处理设备500还可能是电影制片厂或广播电台所应用的系统。

应该注意到，上述实施例示例而不是限制本发明，本领域的普通技术人员将能够设计替换的实施例，而不背离附属权利要求书的范围。在权利要求书中，放置在圆括号之间的任何附图标记不应该作为对权利要求的限制。单词‘包括’并不排除在权利要求中未列出的元件或步骤的存在。元件之前的单词‘一’或‘一个’并不排除多个这种元件的存在。本发明能够通过包括若干独立元件的硬件以及通过适当编程的计算机而实现。在列举若干装置的每个设备权利要求中，这些装置中的若干装置能够通过硬件中的同一项来实施。

Claims (13)

1、一种将具有第一分辨率的第一图像转换成具有第二分辨率的第二图像的方法，其中第一分辨率不同于第二分辨率，该方法包括：

-像素值插入；和

-根据不可分的多维内核进行卷积，该内核包括多个等于零的系数，该多个系数的第一部分穿过不可分的多维内核布置在第一对角线上，该多个系数的第二部分穿过不可分的多维内核布置在第二对角线上，该第二对角线垂直于该第一对角线。

2、根据权利要求1所述的方法，其中，所述像素值插入包括复制第一图像的像素值。

3、根据权利要求1所述的方法，其中，所述像素值插入包括插入值等于零的像素，并且利用第二内核执行卷积，该第二内核基于不可分多维内核利用第三内核的进一步卷积。

4、根据权利要求2所述的方法，其中，所述不可分多维内核包括多个等于零的系数和多个不等于零的系数，并如下安排这些系数： $\left[\begin{array}{ccc}0& c& 0\\ c& 0& c\\ 0& c& 0\end{array}\right],$ 这里c不等于零。

5、根据权利要求2所述的方法，其中，所述不可分多维内核包括多个等于零的系数和多个不等于零的系数，并如下安排这些系数： $\left[\begin{array}{ccccc}0& 0& c& 0& 0\\ 0& c& 0& c& 0\\ c& 0& c& 0& c\\ 0& c& 0& c& 0\\ 0& 0& c& 0& 0\end{array}\right],$ 这里c不等于零。

6、根据权利要求2所述的方法，其中，所述不可分多维内核包括多个等于零的系数和多个不等于零的系数，并如下安排这些系数： $\left[\begin{array}{ccccccc}0& 0& 0& c& 0& 0& 0\\ 0& 0& c& 0& c& 0& 0\\ 0& c& 0& c& 0& c& 0\\ c& 0& c& 0& c& 0& c\\ 0& c& 0& c& 0& c& 0\\ 0& 0& c& 0& c& 0& 0\\ 0& 0& 0& c& 0& 0& 0\end{array}\right],$ 这里c不等于0。

7、根据权利要求3所述的方法，其中进一步如下安排第二内核的系数为： $\left[\begin{array}{cccc}0& d& d& 0\\ d& e& e& d\\ d& e& e& d\\ 0& d& d& 0\end{array}\right],$ 这里e＝2d。

8、根据权利要求1所述的方法，进一步包括子采样。

9、一种图像转换单元，用于将具有第一分辨率的第一图像转换成具有第二分辨率的第二图像，该第一分辨率不同于该第二分辨率，所述图像转换单元包括：

-像素值插入单元，用于插入像素值；和

-卷积单元，用于根据不可分的多维内核进行卷积，该内核包括多个等于零的系数，该多个系数的第一部分穿过不可分的多维内核布置在第一对角线上，该多个系数的第二部分穿过不可分的多维内核布置在第二对角线上，该第二对角线垂直于该第一对角线。

10、一种图像处理设备，包括：

-接收装置，用于接收对应于第一图像的信号；和

-图像转换单元，用于如权利要求1所述，将具有第一分辨率的第一图像转换成具有第二分辨率的第二图像。

11、如权利要求10所述的图像处理设备，其特征在于还包括用于显示第二图像的显示设备。

12、如权利要求14所述的图像处理设备，其特征在于该设备是一个电视。

13、一种由计算机设备加载的计算机程序产品，包括用于将具有第一分辨率的第一图像转换成具有第二分辨率的第二图像的指令，该第一分辨率不同于该第二分辨率，所述计算机设备包括处理装置和存储器，在载入所述计算机程序产品之后，给所述处理装置提供执行以下内容的能力：

-像素值插入；和

-根据不可分的多维内核进行卷积，该内核包括多个等于零的系数，该多个系数的第一部分穿过不可分的多维内核布置在第一对角线上，该多个系数的第二部分穿过不可分的多维内核布置在第二对角线上，该第二对角线垂直于该第一对角线。

Images