CN101027691A - 图像内插 - Google Patents

Abstract

本发明涉及通过对输入图像的像素值进行内插，在输入图像的基础上产生输出图像的一种装置、方法和图像处理设备。本发明提出了一种边缘依赖内插方案，其中首先计算在将要内插的特定像素(10)的各方向上的不同邻域内的像素集合的匹配误差。对像素值子集(400，410，420)的比较被用做计算匹配误差的函数。选择一个匹配误差及相应的方向，且使用所选方向上的像素进行特定像素的内插操作。

Description

图像内插

技术领域

本发明涉及用于通过对输入图像的像素值进行内插在输入图像的基础上产生输出图像的一种图像内插单元，该图像内插单元包括：

用于选择输入图像中各个方向(50，60，70)上的评价像素集合的选择装置，该评价像素集合与要内插的输出图像的特定像素(10)有关；

用于通过比较所选的评价像素集合的子集(400，410，420)的值来计算各个方向的匹配误差的计算装置；

用于基于计算的匹配误差选择特定的方向的选择装置；

用于在特定方向的基础上产生内插像素的集合的产生装置；

用于在产生的内插像素集合的基础上计算该特定像素的像素值的计算装置；

本发明还涉及包含这样的图像内插单元的图像处理设备。

本发明还涉及通过对输入图像的像素值进行内插，在输入图像的基础上产生输出图像的一种方法，该方法包括：

在输入图像的各个方向上选择评价像素集合，该评价像素集合与将要内插的输出图像的特定像素有关；

通过比较所选的评价像素集合的子集的值计算各个方向的匹配误差；

在计算的匹配误差的基础上选择特定的方向；

在特定方向的基础上产生内插像素集合；

在产生的内插像素集合的基础上计算该特定像素的像素值。

特定的内插像素值是从该特定像素邻域的一组像素值得到。为了得到质量相对较好的内插图像，可以选择属于各个方向的邻域集合中的一个特定邻域的一组像素。选择的判据是在该特定邻域内存在一个边缘结构。

背景技术

这样一种边缘依赖型的内插方案的实现可见于美国专利US6133957。该专利描述了一种产生多个额外像素的方法，其中为了在该图像中的一个位置产生一个额外像素，该方法包括以下步骤：计算多个测量信号，该信号表示各个定向和在相对于该位置的各方向中的像素集合的对之间的偏差的相应测量；从该测量信号中评价和选择，以确定最好的选择方向；通过对该图像中从属于最好方向的像素进行内插产生额外的像素。每个测量信号传递一个偏差(variance)测量，并且指示测量该偏差所沿着的方向。在一个实施例中，偏差的测量包括相应集合对的两个集合中相应像素的绝对差值(difference)之和。

在该当前技术方法中，采用了在沿着期望方向的评估像素集合之间的单个差值，无法保证最小绝对差值是由于沿着该期望方向存在边界。接近零的像素差值经常会同时发生。通过应用当前技术的方法，发现内插输出图像的质量在包含细线和具有逐步变化的亮度值和不规则纹理的线的图像部分很差。

发明内容

本发明的目标是提供一种图像内插单元，使输出图像的质量相对更高。

本发明的这一目标是通过开头一段所提到的图像内插单元的用于计算匹配误差的计算装置实现的，该计算装置被安排计算在第一评价像素集合中的第一子集的第一值之间的第一差值，和在该第一评价像素集合的第二子集的第二值之间的第二差值，并且计算在该第一差值和第二差值之间的进一步的差值。

因而根据本发明的该单元计算像素值的差值的差值。考虑最少包含三个像素的集合来进行评价。要适时的考虑相邻像素的恒定值和恒定梯度以避免定向指示失败。此外，即使在像素值中存在恒定梯度，单个像素的边界宽度与边界结构的定向相比会给出最小偏差。进一步的，对一两个像素宽度的窄边界，本发明描述的新方法在与边界方向垂直的方向上给出最大的偏差。因此，本发明可以清楚的识别边界结构的真实方向。由于存在多于两个像素子集来评价方向，所提出的方法在噪声存在时鲁棒性更强。

根据本发明的图像内插单元的一个实施例的特点在于，评价像素的集合包括在将要内插的图像特定像素的空间邻域内的输入图像的预定数目像素。

一组属于一空间邻域的像素形成了来探测边界结构的存在的评价像素集合。空间邻域可以被固定在许多方向上，对空间邻域的每个方向，一组像素构成评价像素的候选者。对每个评价像素集合，计算每个方向的匹配误差。空间邻域的大小可以随图像中期望的边界尺寸而变化。

根据本发明的图像内插单元的另一个实施例的特点在于，第一评价像素集合的第一子集包含来自第一行对的像素，第一评价像素集合的第二子集包含来自第二行对的像素，在图像的将被内插的特定像素附近，第一行对和第二行对有一个公共行。

本发明的优势在于，在要内插的特定像素的紧邻邻域中进行像素值的比较，以确定边界结构的方向。比较在属于要内插的特定像素的邻域的一个行对的相应像素内进行。比较具有重叠行的行的子集保证了边界结构的连续性。在该实施例中，将内插的像素上边的两行像素和其下边的一行像素被用以作为评价。

依照本发明的图像内插单元的另一个实施例特征在于，第一匹配误差是在第一评价像素集合的第二子集和包含第三行对的第三子集基础上计算的，在图像的将被内插的特定像素附近，第二行对和第三行对又有一个公共行。

为了计算子集内部的像素的差值，每个子集可以含有一个行对。对于差值测量的差值，可以要求两个这样的子集。每个匹配误差可以是从图像的将被内插的特定元素附近的有公共行的三行像素获得的差值测量的差值。在这个实施例中，将被内插的像素的下边的两行像素以及上边的一行像素被用作评价。

依照本发明的图像内插单元的另一个实施例的特征在于，第一匹配误差是第一中间匹配误差和第二中间匹配误差的和，第一中间匹配误差由第一子集和第二子集计算，第二中间匹配误差由第二子集和第三子集计算。

通过将两个匹配误差相加，对三个点匹配误差中的两个求和得到最终的匹配误差，其中可以区分四个像素长的边界结构。

依照本发明的图像内插单元的另一个实施例的特征在于，第一匹配误差是第一中间匹配误差和第二中间匹配误差的差，第一中间匹配误差由第一子集和第二子集计算，第二中间匹配误差由第二子集和第三子集计算。

当进行四个像素的比较时，匹配误差可以是差值的差。

依照本发明的图像内插单元的另一个实施例的特征在于，用于选择特定方向的选择装置被设置为基于为各个方向计算的匹配误差的最小值来选择该特定方向。

为了确定边界结构的方向，选择对应于该方向的最小匹配误差是有利的。

依照本发明的图像内插单元的另一个实施例的特征在于，用于计算所述特定像素的像素值的计算装置被设置为通过求内插像素的集合像素值的平均值来计算该特定像素的像素值。

一旦建立起是内插的良好候选的像素集合，内插就可以从该像素集合进行。特定像素的值用众所周知的方法从该内插像素集合中计算得到。

本发明的另一个目的是提供第一段所描述的那种图像处理设备，其提供相对高质量的图像输出。

本发明该目的的实现是通过，用于计算匹配误差的计算装置被设置用于在第一评价像素集合的第一子集的第一值之间计算第一差值，以及在第一评价像素集合的第二子集的第二值之间计算第二差值，并且计算该第一差值和第二差值之间进一步的差。

该图像处理设备可以支持以下一种或多种图像处理：

-视频压缩，即编码，解码，代码转换，

-分辨率转换和格式转换，

-隔行扫描到逐行扫描的转换，

-图像放大/缩小。

该图像处理设备还包括附加单元，如接收单元，处理单元和显示单元。该图像处理设备可以是电视机，个人计算机，机顶盒，VCR/VCP(盒式磁带录像机/播放机)，卫星调谐器，或DVD(数字通用光盘)播放机/记录设备。

本发明的又一目的是提出如第一段所定义的提供相对高质量的内插图像的方法。

本发明该目的的实现是通过，计算第一匹配误差包括在第一评价像素集合的第一子集的第一值之间计算第一差值，以及在第一评价像素集合的第二子集的第二值之间计算第二差值，并且计算该第一差值和第二差值之间进一步的差。

参考下文所描述的实施例，本发明的这些和其它方面将得以阐述并变得显而易见。

附图说明

图1是示出依照本发明的图像内插设备的一个实施例的组件的功能框图。

图2是示出依照本发明的方法的步骤的流程图。

图3A是图像一部分的示意性表示，其包括以行排列的像素、将被内插的特定像素以及第一方向的邻域内的第一像素集合。

图3B是图像一部分的示意性表示，其包括以行排列的像素、将被内插的特定像素以及第二方向的邻域内的第二像素集合。

图3C是图像一部分的示意性表示，其包括以行排列的像素、将被内插的特定像素以及第三方向的邻域内的第三像素集合。

图4是图像一部分的示意性表示，其包括以行排列的像素、将被内插的特定像素以及用以评价各匹配误差的像素子集。

图5示出了依照本发明的图像处理设备的一个实施例。

具体实施方式

图1是示出依照本发明的图像内插设备的一个实施例的组件的功能框图。选择器100从外部源接收图像1。该图像也可以在内部产生，比如在盒式磁带播放机或DVD播放机的情况下。选择器100在输入图像中相对于将被内插的像素的各个方向上选择评价像素的几个集合。为了得到边缘依赖的内插，在相对于将被内插的特定像素的各个方向的不同邻域内选择评价像素的集合。通过比较该评价像素集合的子集的像素值，计算机110使用所选择的集合101来计算各个方向上的匹配误差。使用像素值的一个函数来计算匹配误差。将相对于属于不同邻域的几组像素来计算多个这样的匹配误差，该不同邻域对应于将被内插的特定像素的不同方向。将计算得到的匹配误差111传送到选择器120。可以选择匹配误差的函数，使得最小匹配误差对应于所选邻域内的边界结构的方向。在匹配误差的基础上，选择器120选择一个特定的方向。产生器130使用所选择的方向121产生内插像素集合131。通过在沿着边界结构预测方向的邻域内选择一组像素来调节内插，可以得到质量好的输出图像。内插器140使用内插像素的集合131计算将被内插的特定像素141。可以使用几种标准技术中的一个来进行内插。

图2描绘了依照本发明的图像内插方法包括的步骤。在第一步200中，接收输入图像1，并且将其再分配给具有空白空间的格栅，该空白空间是必须内插像素的地方。第二步210中，选择将被内插的特定像素，且定义邻域和评价像素的集合。步骤220中，计算出对应于每个评价像素集合的匹配误差集合。步骤230中，从该匹配误差集合中选择出一个特定匹配误差以及对应于该特定匹配误差的一个特定方向。步骤240中，选择出一个特定方向的内插像素集合，步骤250在被选择的该内插像素集合的基础上计算出新的像素。对每个要内插的像素从第一步200处重复上述过程。直至没有将被内插的像素剩下(步骤260)，过程结束(步骤270)。

在图3A、3B和3C中，描述了图像一部分的示意性表示，其包括以行排列的像素、将被内插的特定像素以及三个不同方向的三个不同邻域中的像素集合。

图3A所示的是在第一方向50的第一邻域300中将被内插的特定像素10。属于第一邻域的像素可被视为第一内插像素集合。

图3B所示的是在第二方向60的第二邻域310中将被内插的特定像素10。属于第二邻域310的像素可被视为第二评价像素集合。

图3C所示的是在第三方向70的第三邻域320中将被内插的特定像素10。属于第三邻域320的像素可被视为第三评价像素集合。

图A、3B和3C显示的是示例图像的一部分，其中笛卡儿坐标系的坐标(x，y)可被假定与将被内插的像素10一致。实线正方形表示原始像素，虚线正方形表示将被内插的像素。属于第一对相邻行350和360的像素的坐标分别表示为(y-3)和(y-1)。相应的，属于第二对相邻行370和380的像素的坐标分别表示为(y+1)和(y+3)。(x，y)右边的像素具有逐渐增大的横坐标值，左边的则具有逐渐减小的横坐标值。位置(x，y)处单个像素的值表示为F(x，y)。F(x，y)在单色图像的情况下可以是单个亮度值，在彩色图像的情况下可以是几种表示中的任何一种，如RGB(红，绿，蓝)或HSI(色彩，饱和度，亮度)。像素的方向由变量L表示，L的值可以是...，-2，-1，0，+1，+2，...之一。在图3A、3B、3C中对应于L＝0，+1，-1的方向分别表示为50，60，70。邻域可以包含x方向上的一条像素带(x+j)，j可以是-M到+M范围内的整数值，因此覆盖了(2M+1)个像素的像素带。这样的排列保证了邻域的像素带对于其方向轴是对称排列的。

图4是图像一部分的示意性表示，其包含将被内插的特定像素、像素的子集以及用以评价各个匹配误差的像素行排列。

图4示出了图3A的附加细节。落入邻域300的评价像素集合被进一步分为第一子集400、第二子集410和第三子集420。三个子集分别包含第一对相邻行350和360，第二对相邻行360和370，第三对相邻行370和380。子集中的各对像素值被比较来计算匹配误差。可以不同的方式使用子集400、410和420中的比较值来计算匹配误差。

匹配误差可通过比较第一对相邻行350和360、第二对相邻行360和370、第三对相邻行370和380中的各个像素对，以多种方式计算得到。

接下来介绍计算匹配误差的多个可能方法中的三种方法。

第一种计算匹配误差的方法是通过计算第一子集400中像素对的相应像素值之间的第一差值，第二子集410中像素对的相应像素值之间的第二差值，以及计算该第一差值和第二差值之间的进一步的差。为了将每个差值映射为正数，在优选实施例中采用差值的绝对值(|·|)，但是也可以用平方函数(·)²，或其它有类似特征的函数。为比较方便，可以将这样得到的最终差值相加成一个数值。

通过计算第一子集400中像素值的第一差值、第二子集410中像素值的第二差值以及该第一差值和第二差值的进一步的差来计算匹配误差ME(L)的公式如下：

$\mathrm{ME}\left(L\right)=\underset{j=-M}{\overset{M}{\mathrm{\Σ}}}\left|((F(x+3L+j,y-3)-F(x+L+j,y-1))-(F(x+L+j,y-1)-F(x-L+j,y+1))\right|---\left(1\right)$

$\mathrm{ME}\left(L\right)=\underset{j=-M}{\overset{M}{\mathrm{\Σ}}}|F(x+3L+j,y-3)-2F(x+L+j,y-1))+F(x-L+j,y+1)|---\left(2\right)$

计算匹配误差的第二种方法是通过计算第二子集410中像素对的相应像素值之间的第一差值，第三子集420中像素对的相应像素值之间的第二差值，以及计算该第一差值和第二差值之间进一步的差。该匹配误差通过下面公式的计算获得：

$\mathrm{ME}\left(L\right)=\underset{j=-M}{\overset{M}{\mathrm{\Σ}}}|F(x+L+j,y-1)-2F(x-L+j,y+1)+F(x-3L+j,y+3)|---\left(3\right)$

第三种计算匹配误差的方法是通过求从第一和第二子集400，410得到的第一匹配误差，以及从第二和第三子集410，420得到的第二匹配误差的和。因此最终的匹配误差是通过一次考虑三个像素差值得到的两个中间匹配误差的和。这样计算的最终匹配误差由下面的公式给出：

$\mathrm{ME}\left(L\right)=\underset{j=-M}{\overset{M}{\mathrm{\Σ}}}\left(\right|F(x+3L+j,y-3)-2F(x+L+j,y-1))+F(x-L+j,y+1)|+---\left(4\right)$

$\left(\right|F(x+L+j,y-1)-2F(x+j,y+1)+F(x-3L+j,y+3)\left|\right)$

$\mathrm{ME}\left(L\right)=\underset{j=-M}{\overset{j=M}{\mathrm{\Σ}}}\left(\right|F(x+2L+j,y-3)-2F(x+j,y-1)+F(x-2L+j,y+1)|+---\left(5\right)$

$|F(x+2L+j,y-1)-2F(x+j,y+1)+F(x-2L+j,y+3)|)$

公式(4)和(5)都表示的是从第一和第二子集(400，410)、第二和第三子集(410，420)获得的两个中间匹配误差的和。在公式(4)中，是所选邻域的轴的方向线，与执行所述评价且通过将被内插的特定像素的方向线一致。在公式(5)中，所选邻域的轴与执行评价的方向线不一致，但是与之平行。公式(5)中，与所选邻域的轴相比，该方向线偏移了一个像素的宽度。可以使用任何数目的这种可能偏差。

计算匹配误差的第四方法是计算从第一和第二子集(400，410)得到的匹配误差从第三和第四子集(410，420)得到的匹配误差的进一步的差。因此，沿着一个方向上的四个像素的集合被考虑进计算。从本质上讲，对四个像素长的邻域的测量可以导致对差值的差的进一步差。这种情况下匹配误差ME(L)由下面公式给出：

$\mathrm{ME}\left(L\right)=\underset{j=-M}{\overset{M}{\mathrm{\Σ}}}\left(\right|F(x-3L+j,y+3)+3F(x+L+j,y-1)-3F(x-L+j,y+1)-F(x+3L+j,y-3)|---\left(6\right)$

在本例中，所选邻域的轴与执行评价的方向线一致。对四个像素的例子，存在公式(4)和(5)所提到的偏差也是可能的。

完成各个方向上的匹配误差计算后，在这些匹配误差之中进行比较以选择局部最小值。发现最小值的优选方法如下。考虑L个值的集合的匹配误差集合。首先将垂直方向(L＝0)与最近的方向(L＝±1)进行比较。如果ME(0)＜ME(1)＜ME(-1)，那么垂直方向是局部最小，因此内插的最佳方向是(D＝0)。如果ME(0)不是最小值，接着比较ME(1)和ME(-1)，在该方向上继续比较，直到发现最小值和确定方向。

像素的内插可以从所确定方向的像素集合专门计算得到，或者从所确定方向及其垂直方向的像素的混合计算得到。此种情况下典型的内插公式为：

F_new＝α·(F(x+D，y-1)+F(x-D，y+1))/2+(1-α)(F(x，y-1)+F(x，y+1))/2..(7)

式中F(x+D，·)表示D方向的像素值，F(x，·)表示垂直方向的像素值。

如公式(7)所示，方向置信度α用于混合的比值。方向置信度α通过含有变量D，ME(D)和ME(0)的置信度测量函数来确定，此处D是已确定的方向，ME(D)和ME(0)分别指在已确定方向及其垂直方向上的匹配误差。

与当前技术方法不同，本发明所提出的方法可以沿着一个恒定的梯度检测并正确内插。该内插单元能够很好的处理恒定像素值和恒定像素值梯度。该平均方差(MSE)值优于当前技术方法。

图5是依照本发明的图像处理设备500的示意图，包括：

-用于接收表示输入图像的信号501的接收装置510；

-与图1联合描述的图像内插单元520；

-用以显示输出图像的任意显示装置530。

信号501可以是通过天线或电缆接收的广播信号，也可以是来自储存设备如VCR(盒式磁带录像机)或数字通用光盘DVD的信号。信号在输入连接器510提供。图像处理设备500可以是，例如，机顶盒，卫星调谐器，VCR播放机，DVD播放机或记录机。图像处理设备优选包含诸如硬盘的储存装置，或移动介质比如光盘上的存储装置。输出图像可以显示或传送到另外的设备上，如有线的、无线的或互联网的广播系统。图像处理设备500也可以应用在电影制片厂或广播公司。

应当说明的是，上述实施例用于举例说明而不是限制本发明，本领域技术人员在不偏离所附权利要求的情况下可以设计出替代实施例。在权利要求书中，任何放在括号中的参考符号不应被解读为对权利要求的限制。词包括不排除存在多个这样的元件。本发明可以通过包含几个不同元件的硬件来实现，也可以通过合适编程的计算机来实现。在列举若干装置的单元权利要求中，这些装置中的若干可以通过一个或相同的硬件项来实现。第一、第二、第三等词汇的使用不表示任何顺序。这些词汇可被解释为名字。

Claims (10)

1.一种通过对输入图像的像素值进行内插在输入图像的基础上产生输出图像的图像内插单元，该图像内插单元包括：

用于选择输入图像中各个方向(50，60，70)上的评价像素集合的选择装置，该评价像素集合与要内插的输出图像的特定像素(10)有关；

用于通过比较所选的评价像素集合的子集(400，410，420)的值来计算各个方向的匹配误差的计算装置；

用于基于计算的匹配误差选择特定的方向的选择装置；

用于在特定方向的基础上产生内插像素的集合的产生装置；

用于在产生的内插像素集合的基础上计算该特定像素的像素值的计算装置，

其特征在于，计算匹配误差的计算装置被安排计算在第一评价像素集合的第一子集(400)的第一值之间的第一差值，和在该第一评价像素集合(300)的第二子集(410)的第二值之间的第二差值，并且计算在该第一差值和第二差值之间的进一步的差值。

2.如权利要求1所述的图像内插单元，其中评价像素集合包括在将被内插的图像的特定像素(10)的空间邻域内的输入图像的预定数目的像素。

3.如权利要求1或2所述的图像内插单元，其中第一评价像素集合(300)的第一子集(400)包含来自第一行对(350，360)的像素，第一评价像素集合(300)的第二子集(410)包含来自第二行对(360，370)的像素，在将被内插的图像的特定像素附近，第一行对和第二行对有个公共行(360)。

4.如权利要求3所述的图像内插单元，其中第一区配误差是在第一评价像素集合的第二子集(410)和第三子集(420)的基础上计算的，该第三子集包含第三行对(470，480)的像素，在将被内插的图像的特定像素附近，第二和第三行对有另一个公共行(470)。

5.如权利要求4所述的图像内插单元，其中第一匹配误差是第一中间匹配误差和第二中间匹配误差的和，第一中间匹配误差在第一子集(400)和第二子集(410)之间计算，第二中间匹配误差在第二子集(410)和第三子集(420)之间计算。

6.如权利要求4所述的图像内插单元，其中第一匹配误差是第一中间匹配误差和第二中间匹配误差的差，第一中间匹配误差在第一子集(400)和第二子集(410)之间计算，第二中间匹配误差在第二子集(410)和第三子集(420)之间计算。

7.如权利要求1所述的图像内插单元，其中用于选择特定方向的选择装置被安排在为各个方向计算的匹配误差的最小值的基础上，选择该特定的方向。

8.如权利要求1所述的图像内插单元，其中用于计算所述特定像素的像素值的计算装置被安排通过对内插像素集合的像素值求平均来计算特定像素的像素值。

9.一种图像处理设备(500)，包括：

用于接收对应于输入图像序列的信号的接收装置(510)；

如权利要求1所述的用于在一个输入图像的基础上产生输出图像的图像内插单元(520)。

10.一种通过对输入图像的像素值进行内插在输入图像的基础上产生输出图像的方法，该方法包括：

在输入图像的各个方向上选择评价像素集合，该评价像素集合与将要内插的输出图像的特定像素有关；

通过比较所选的评价像素集合的子集的值计算各个方向的匹配误差；

在计算的匹配误差的基础上选择特定的方向；

在特定方向的基础上产生内插像素集合；

在产生的内插像素集合的基础上计算该特定像素的像素值，

其特征在于，计算第一匹配误差包括计算在第一评价像素集合的第一子集的第一值之间的第一差值，和在该第一评价像素集合的第二子集的第二值之间的第二差值，并且计算在该第一差值和第二差值之间的进一步的差值。

Images