CN101578632B - 模糊边缘平滑度先验及其在阿尔法通道超分辨率上的应用 - Google Patents

Abstract

公开了用于通过以下来处理低分辨率图像的系统和方法：对低分辨率图像执行高分辨率边缘段提取；对每个边缘段执行图像超分辨率；执行重构约束加强；以及从低质量图像产生高质量图像。

Description

模糊边缘平滑度先验及其在阿尔法通道超分辨率上的应用

本发明要求2006年11月27日提交的美国临时申请60/867,259的权益，该申请的内容被结合于此以作参考。

背景技术

图像超分辨率(SR)是从低分辨率输入图像中获得高质量图像的方法。SR被广泛地应用于视频通信、对象识别、HDTV、图像压缩、仅可从中获得低分辨率图像的其它情况。一般而言，通过由低质量的图像传感器对目标场景进行平滑化和下采样(down-sample)来产生低分辨率图像。该产生过程的逆问题是从单个低分辨率(LR)图像来恢复原始高分辨率(HR)图像的任务。理想地，该过程中的重建误差(或图像似然项(likelihood term))应该被最小化。

作为迭代过程的反向投影(back-projection)已被用来有效地最小化重建误差。然而，该过程可能会在产生过程期间丢失大量的信息。为了克服这个难点，图像先验项(prior term)被用来调整该逆问题。

两个公知的图像建模先验是图像平滑度(smoothness)先验和边缘平滑度先验。邻近的像素可能具有相同的颜色，因此各种滤波/插值算法(例如，双线性算法或双三次插值算法)可被用来产生平滑的高分辨率图像。其它平滑化技术包括最小化图像微分(derivative)。对于一维的情况，可以使用线性闭型解(linear closed form solution)。然而，由于图像平滑度先验在区域边界处是无效的，所以这些方法趋向于产生过度平滑的结果，从而降低了图像质量。为了保持边缘锐度，边缘定向的插值可被用来使平滑的子像素边缘适于图像并且避免跨边缘插值。然而，对高精密的边缘位置定位可能是不平凡的(non-trivial)任务。

当采用插值方法执行SR时，需要去除发生的棋盘效应。对于给定的低分辨率输入，可以通过研究边缘空间平滑度先验来对高分辨率边缘定位，这意味着在没有其它信息的情况下一般优先采用平滑曲线。一种技术重建了所有图像水平集(level-set)轮廓的平滑近似(approximation)，以便同时细化(refine)边缘以及去除棋盘效应。为了避免过度平滑，可以引入硬约束，它们是源自图像似然的基本信息。

另一种技术一起考虑了所有三个颜色通道，并且通过多尺度张量表决(voting)来推理出高分辨率曲线。根据通过已修改的反向投影迭代所提取的曲线性(curveness)图来恢复HR图像。还有另一种技术使用基于蛇形(snake-based)的矢量化来实现图标图像SR的平滑边界。用于SR的另一种图像建模先验技术包括使用两种颜色的图像先验，这意味着在局部邻域内的每一个像素应当是两种有代表性的颜色中的一种或它们的线性组合。还使用了稀疏微分先验(sparse derivative prior)技术。

作为对图像先验建模的代替，图像样本可以被直接使用。图像通常被建模为马尔科夫随机场。基于低频信息来选择每个位置的各种候选。通过成对的交互作用主要在重叠区域实施空间一致性。通过置信传播来解决最终的离散优化问题。该方法还可应用于视频序列，例如在特定域的视频SR中的视频序列。对于基于样本的方法来说，通常需要处理两个关键问题：一个是有效地找到HR候选补丁(patch)，位置敏感散列法(Locality Sensitive Hashing)以及KD-树被用来加速搜索。该方法还已被用于图像原始要素图以便它们仅需要对链结构进行优化。而其它以学习为基础的方法也已被用于从中频来推断高频信息。例如，局部线性嵌入可被用于学习高维流形(manifold)。

发明内容

在一个方面，本发明公开了通过对低分辨率图像执行高分辨率边缘段提取；对每个边缘段执行图像超分辨率；执行重建约束加强；以及由低质量图像产生高质量图像来处理低分辨率图像的系统和方法。

在概括了Geocut方法的另一个方面中，将模糊(soft)边缘平滑度测量定义为对图像中的所有水平线的平均长度的近似。可以对单个图像超分辨率应用该图像先验。为了得出对所有具有不同强度的边缘的统一处理，应用了彩色图像超分辨率框架。采用阿尔法图像抽取来分解每个边缘段以便恢复边缘段两侧的实际颜色。通过超分辨率将平滑度先验结合到阿尔法通道上。

在又一方面中，系统对强度图像应用定义的模糊剪切度量(硬剪切度量的一般化)，并且随后对自然色图像应用了阿尔法图像抽取技术，以便求解模糊边缘平滑度先验。该度量可以通过近似所有水平线的平均长度来测量模糊边缘平滑度。将其作为先验项添加到超分辨率任务可以实现边缘保持和边缘平滑二者。系统将彩色图像超分辨率问题转换成阿尔法通道超分辨率和阿尔法图像抽取的结合。可以将闭型阿尔法图像抽取解用于以统一的方法通过阿尔法通道描述每个边缘段。同时利用源自所有三个通道的颜色信息。

以上方面的实施可包括下面的一个或多个。可以对每个边缘段应用阿尔法图像抽取来得到阿尔法通道和颜色。该过程可以对每个边缘段执行双三次插值。该过程可以对双三次插值的数据应用图形剪切来产生超分辨率阿尔法通道。将一种或多种颜色分配给超分辨率阿尔法通道。该过程可以得出低分辨率图像的平滑边缘先验。高分辨率边缘段提取可以使用一个或多个不同尺寸的邻域。也可以使用不同的距离图。可以应用Geocut方法来从低分辨率图像提供超分辨率。

上述系统的优点可包括下面的一个或多个。系统从单个低分辨率输入图像提供超分辨率(或图像幻像(hallucination))。系统使用的阿尔法图像抽取技术可以通过结合源自所有三个通道的颜色信息来提取边缘，从而可获得更精确的结果。系统可以用阿尔法通道来表示每个边缘。系统还可以将其归一化(normalize)为统一的尺度并且避免了对模糊边缘平滑度先验的参数选择的需要。角点检测算法可有助于避免角点的过度平滑的问题。最后得到的图像具有平滑而且清晰的边缘，这通常是改善人类感知所优先考虑的。系统支持图像平滑度先验偏好清晰的边缘而边缘平滑度先验偏好空间平滑边缘的互相冲突的要求。系统还用统一的方式结合了这两个因素。系统还可以处理显示了具有不同状况的很多种边缘的自然色图像。系统还可以通过同时利用源自所有三个颜色通道的信息来确定边缘。通过统一的框架来完成3D颜色信息和边缘处理。

附图说明

图1-2示出了对图像执行SR的示范性过程。

图3-4示出了模糊边缘平滑度先验过程的一个实施例。

图5是图形剪切过程的一个实施例的示范性说明。

图6示出了具有不同的的各种示范性邻域系。

图7(a)示出了示范性LR输入图像，而图7(b)、(c)以及(d)分别示出了当

时具有模糊边缘平滑度先验的示范性SR结果。

图8a-8f比较了由不同的参数设置而形成的图像。

图9示出了对角点附近的区域实施模糊边缘平滑度先验的结果。

图10a-10f示出了图像补丁的示范性结果。

图11示出了图10(a)的整个图像的结果。

图12A-12C示出了对包括动物、自然景物、人脸以及计算机图形在内的各种类别的图像的实验结果。

具体实施方式

图1示出了对图像执行SR的示范性过程。首先，接收输入图像(100)。接下来，该过程执行边缘段提取(110)。随后该过程对每个段执行SR(120)。这通过对强度图像应用定义的模糊剪切度量(硬剪切度量的一般化(generalization))来完成。度量可以通过近似所有水平线的平均长度来测量模糊边缘平滑度。将其作为先验项添加到超分辨率任务可以实现边缘保持和边缘平滑度二者。随后应用阿尔法图像抽取(alpha matting)技术来对自然色图像求解(solve)模糊边缘平滑度先验。从而可以将彩色图像SR过程转换成阿尔法通道超分辨率和阿尔法图像抽取的结合。闭型阿尔法图像抽取解(closed form alpha mattingsolution)可被用于以统一的方法通过阿尔法通道描述每个边缘段。同时利用源自所有三个通道的颜色信息。接下来，该过程执行重建约束加强(re-enforcement)(130)。随后，该过程产生高分辨率输出图像(140)。结果是具有平滑且清晰(sharp)的边缘的输出图像，其对于更好的人的感知来说通常是优选的。

在图2中图示地描述了图1的SR过程。如图中所示，接收低分辨率图像(210)。接下来，完成人的低分辨率输入图像的边缘段提取(220)，以及随后对每个边缘段执行SR过程(230)。通过源自所有三个颜色通道的信息来同时确定边缘。这导致图片的外形的锐化(240)。接下来，应用重建约束加强(250)，产生高分辨率输出图像(260)。以统一的方式结合图1-2的过程，该方式稳健地处理图像平滑度先验偏好清晰的边缘而边缘平滑度先验偏好空间平滑边缘的要求。这些过程研究3D颜色信息并且用统一的框架处理那些边缘以便有效且稳健地处理彩色图像SR。

图3示出了模糊边缘平滑度先验过程的一个实施例。首先，选择一个或多个边缘段(310)。对于每个边缘段，该过程对该边缘段的不同侧执行阿尔法图像抽取以得到阿尔法通道和颜色(320)。接下来，该过程对每个边缘段执行双三次插值(330)。基于Geocut算法，该过程对双三次的结果应用图形剪切以得到超分辨率阿尔法通道(340)。随后该过程将在步骤320中产生的颜色分配回新的超分辨率阿尔法通道(350)。

图4示出了图3的操作过程的图示说明。首先，选择低分辨率输入边缘段(410)。接下来，应用阿尔法图像抽取过程(420)以产生低分辨率阿尔法通道并且对图像执行双三次插值(430)。该过程对双三次的结果应用图形剪切以达到高分辨率阿尔法通道(440)。将在420中产生的颜色分配回新的SR阿尔法通道以产生输出结果(450)。可以对低分辨率图像执行第二次双三次插值以便与输出结果进行比较(460)。

在以上实施例中，系统采用Geocut技术来执行模糊边缘平滑度先验。在Geocut中，对于给定的加权网格图形

以及R²中的曲线C，假定E_C是与该曲线相交的边缘的集。则C的剪切度量被定义为：

其中，w_e是边缘的权(edge weight)。它是与C相交的边缘的加权总和。

该Geocut过程将规则网格

的邻域系定义为矢量集

其中e_k由它们与+x轴的相应角φ_k来排序，使得

此外，e_k作为中的第k个最近的邻近组而被选择。在图6中示出了一些实例。

假定|C|_ε是曲线C的欧几里德长度，

则通过设置

$w_k=\frac{{\mathrm{\δ}}^2\·{\mathrm{\Δ\φ}}_k}{2\·\left|e_k\right|},---\left(2\right)$

定理1：如果C是在R²中与每条直线相交有限次的连续可微的正则曲线(regular curve)，那么当δ、sup_k|Δφ_k|和sup_k|e_k|为零时则：

换句话说，可以通过曲线的剪切度量来近似曲线长度。在任意的黎曼度量下，该方法可被概括进3D中。可以通过图形剪切方法在接近的线性时间中找到全局最小值。如其名称所暗示的，Geocut构建了两个公知的分割算法(即测地线活动轮廓(Geodesic active contour)与图形剪切)之间的重要关系。

使用高阶邻域的一个常见问题是权的设置。一种解决方案是将剪切度量结合到目标函数中。这样做可增加边缘平滑度先验，从而最小化公制化赝像(metrication artifact)。

可以在不相交的闭曲线C的任何集上定义剪切度量，或者等效地，R²上的二元值函数F_C(p)表示如下：

则，函数L^C的剪切度量可被表示为：

其中，N_k包含在第k组邻域的路径中的所有节点对。其仅是等式1的另一种书写方式。

作为对R²上的二元值函数的代替，系统可以类似地相对于网格图形

来为R²上的实值函数S定义如下的模糊剪切度量：

通过用步长

来均匀地量化函数值，函数S可由从

取值的S_d近似。类似地，可以通过在等式5中用S_d替换S来定义S_d的模糊剪切度量。可以通过水平线

的集合来等效地描述S_d，其中

是R²中的在具有

的点和具有

的点之间的边界。

由定理1，系统知道了

的长度可以由其剪切度量

来近似。基于此，可以证明下面的定理。

定理2：在与定理1的条件相同的情况下，假定S是在R²上的连续可微的范围为[0，1]的正则函数，并且S_d是具有量化步长

的S的离散形态(version)，则相对于

S中的所有水平线的平均长度可由S_d的模糊剪切度量来近似，或者

定理2可被认为是对定理1的一般化并且可适用于模糊分割而不是二元分割。定理暗示了通过最小化模糊剪切度量，可以将离散水平线的长度总和最小化，从而可以结合模糊边缘的平滑度先验。

接下来，将讨论关于超分辨率的以上定理的应用。可以通过大气模糊、运动、相机模糊和下采样的结合来描述LR图像的产生过程。通过为整个图像假定单个滤波器G来简化最初的三个因素的影响，并且随后其可由下面的公式表达：

I^l＝(I^h*G)↓，    (7)

其中I^h和I^l分别是HR和LR图像，G是空间滤波器，*是卷积算子，以及↓是下采样算子。通过将目标函数定义为下式，可以将模糊剪切度量直接应用于SR问题：

其中 $E_l(I_l,I)={\left|\right|I_l-(I*G)\↓\left|\right|}_2^2$ 是似然项。其基于在给定的LR图像I_l和由I合成的LR图像之间的距离L₂。

是由等式5定义的模糊边缘的平滑度先验项。λ是平衡这两项的参数。

可以对似然和先验项使用不同的范数(norm)，这是由于以下的原因：

1、因为对大的重建误差而言，距离L₂比L1消耗(punish)的多，所以将距离L₂用于似然项。

2、尽管对于硬边缘来说对于定义的剪切度量距离L2没有差别，但定理2将不再有效。3、此外，最小化梯度(gradient)的L2范数不是边缘保持，考虑1D的情况将有助于理解这个属性。L2范数通常导致跨边缘的分级过渡(graduate transition)，尤其对于仅具有一个LR输入图像的情况。

系统通过最陡下降算法来优化该问题。这可以通过将邻域的相同组放在一起，来以非常有效的方式实现。在该部分，对于彩色图像来说，系统只是分别将该方法应用于三个颜色通道。

图5是图形剪切过程的一个实施例的示范性说明。在图5中，有效的边缘平滑度先验是图像超分辨率所必需的，这是因为其欠定(under-determined)性质。然而，一般难以用解析形式来评估边缘平滑度，尤其对于展示出强度逐渐过渡的模糊边缘来说。在图5中，基于geocut方法在大的邻域系上定义模糊边缘平滑度度量，其是对图像中的所有水平线的平均长度的近似。一般，更大量的邻域将产生更平滑的边界。

图6示出了

和

(左)以及

(右)的示范性邻域系，高亮的像素是由X标记的像素的邻居(neighbor)。为清楚起见，仅示出了在第一象限中的邻居。

图7a-7d示出了采用高阶邻域的必要性。图7(a)示出了LR输入图像。而图7(b)、(c)和(d)分别是当

时采用模糊边缘平滑度先验的SR结果。对于小的

来说，可以观察到公制化效果。在图7(c)中存在一些45°赝像，这是因为对其使用8-邻域系。

图8a-8f比较了由不同的参数设置而形成的图像。在图8(a)中，使用了LR输入图像(20×20)。在图8(b)中，λ＝0.01，在图8(c)中，λ＝0.001，

图8(d)示出了双三次插值的结果，而图8(e)采用了λ＝0.01，

(f)采用了λ＝0.1，

在(b)中应用了比在(e)中更大的

从而产生了更平滑的边界。在(c)中，系统使用了比在(b)中更小的λ，从而将更多的权放在数据拟合项上，这使得结果看起来过度锐化。在(f)中，使用了比在(b)中更大的λ，边缘平滑度先验被过于强调了，所有边界都非常平滑，但结果是模糊的。一般而言，参数的效果可被总结如下：1、更大的

将产生更平滑的边界，但要求更多的计算。在所有后面的实验中，如在图6的右部所示出的，

被设置成20，λ的值很重要，小的λ可产生过度锐化的图像，而大的λ可产生过度平滑化的结果。实际上，还存在可以影响结果的另一参数，它是在产生模型中的过滤器G(等式7)。然而，估计G超出了本文的范围，系统贯穿全文将其固定为具有σ＝2的高斯滤波器。在图9中示出了对于不同的情况更多的结果，并且这些图像示出了即使对于具有差质量的LR图像即时(instant)算法也可以产生好的结果。系统的算法的优点在于系统具有结合先验和似然项二者的明确目标函数并且存在对于结果的确切的几何解释。

对于自然色图像SR来说，三个原因限制了通过简单地分别处理每个颜色通道而将模糊边缘平滑度先验直接应用到整个图像的性能：

·将源自所有三个通道的颜色信息作为整体来确定确切的边缘位置。对每个通道分别作出的决定可能是错误的并且彼此可能不一致。

·由模糊边缘平滑度先验得到的SR对与实际边缘强度相关的λ值敏感。以图9中的第三个图像为例，采用这组参数一些弱(weak)边缘被平滑掉，而实际上，它们可由实验中的更小λ来完美地提取。需要一些边缘强度归一化(normalization)机制以便使所有边缘的统一处理成为可能。

·对角点附近的区域实施模糊边缘平滑度先验将会产生不期望的平滑化曲线，这在图9中也可以观察得到。

这些问题可以由提供自然色图像SR处理的图1的过程来解决。用于此处的伪码如下：

输入LR图像I^l和尺度因子(scale factor)s。

输出HR图像I^h

1、边缘段提取以及区域分配以得到{c_i}和{p_i}。

2、对于每个段c_i，处理p_i如下

-通过闭型阿尔法图像抽取解从I^l计算F^l、B^l和α^l。

-通过具有模糊边缘平滑度先验的单个通道SR，阿尔法通道SR以便从α^l得到α^h。

-通过F^l、B^l和α^h来合成HR补丁。

3、通过反向投影来加强对整个图像的重建约束。

在一个实施例中，标准的谨慎(Canny)边缘检测算法被用来提取连续边缘。应用了基于曲率尺度空间的稳健的角点检测算法。这些角点可将边缘断开成段。每个边缘段

都是连续曲线(可能是闭合的)，并且通过关于图像梯度的分水岭算法来将专用的邻近补丁分配给每个边缘段。

系统分别处理了在

处的每个边缘段。对于每个提取的边缘段来说，如果它们的系统将该边缘的两侧看作是前景和背景，则问题可变为阿尔法图像抽取问题。因此，可以通过闭型解来恢复边缘两侧的真实颜色。LR输入是通过阿尔法通道对这两个的混合，其范围是[0，1]。在低分辨率上处理整个阿尔法图像抽取部分。此后，基于模糊边缘平滑度先验的超分辨率被用来产生HR阿尔法通道，给出由阿尔法图像抽取提取的LR阿尔法通道。将HR阿尔法通道与该边缘两侧的LR补丁相结合以产生HR图像。最后，反向投影被用于在没有突出的边缘段的情况下实施区域的重建约束。

阿尔法图像抽取技术可以通过结合源自所有三个通道的颜色信息来提取边缘，从而可获得更精确的结果。该过程还用阿尔法通道表示每个边缘并且可以将其归一化为统一的尺度以避免对模糊边缘平滑度先验的参数选择的需要。此外，角点检测算法可有助于避免角点的过于平滑的问题。

阿尔法图像抽取是通过阿尔法通道将图像分解成背景图像与前景图像的线性组合的技术。计算机图形学中的一个重要问题就是提取用于图像编辑的前景对象。理想地，邻近的背景色的影响应当被去除。假定背景图像和前景图像是F和B，则下面的等式适用于每个像素p：

I_p＝α_pF_p+(1-α_p)B_p，    (9)

其中，α_p是像素p的前景不透明度，其取值于[0，1]。对于给定的混合图像I，F、B和α的求解同样是欠定的逆问题。

类似地，HR步长边缘也可被认为是通过权通道α对两个平滑补丁的结合，如下式所示：

$I^h={\mathrm{\α}}^h{I}_L^h+(1-{\mathrm{\α}}^h)I_R^h,---\left(10\right)$

其中I_L ^h和I_R ^h表示处于HR的边缘两侧的实际图像颜色。随后通过等式7，相应的LR图像可以如下式所示：

$I^l=({\mathrm{\α}}^h{I}_L^h+(1-{\mathrm{\α}}^h)I_R^h)*G\↓$

如果假定I_L ^h和I_R ^h二者都是局部平滑的(这对于SR任务来说是合理的)，则可采取近似等式。通过假定α＝(α^h*G)↓， $F=I_L^h\↓$ 以及 $B=I_R^h\↓,$ 等式12正好与等式9相同。这意味着系统可以对I^l进行阿尔法图像抽取从而得到(α^h*G)↓、I_L ^h↓和I_R ^h↓，随后可以相应地根据它们来恢复α^h，I_L ^h，I_R ^h。从α^l＝(α^h*G)↓来恢复α^h正是先前所讨论的问题，然而给定I_L ^h和I_R ^h的下采样形态，由于对它们的平滑度假定，则可以用双三次方法对I_L ^h和I_R ^h插值。

通过假定F和B二者都近似地满足局部线性模型，来结合正则性(regularity)项。从而可以得到闭型解。可以将硬约束容易地实施为成本函数(cost function)。当系统在图像区域R_i内应用该方法时，通过分析局部拓扑和图像梯度来选择两侧的硬约束。选择具有低的局部对比度的像素，这是因为它们与一侧的纯色相对应。即使对于非常有限量的硬约束，阿尔法图像抽取算法也稳健地处理下面所讨论的样本实例。

阿尔法图像抽取可被用在提取α值以便得到曲线的子像素位置之处。两种颜色的图像先验还被用于去马赛克，其假定在局部邻域内的每个像素是两种代表性的颜色之一或它们的线性组合。该假定基本上非常类似于将阿尔法图像抽取用于SR的想法。

图10示出了图像补丁结果的缩放。双三次插值产生了模糊的结果。锐化的双三次是在Photoshop中给出的结果，它比双三次较好，但仍是模糊的，并且存在棋盘效应。(d)是反向投影的结果，其中双三次结果作为初始输入。可以明显地观察到棋盘效应和振铃效应(ringingeffect)。本系统的方法产生了清晰且平滑的边缘。

图11示出了10(a)的整个图像的结果，本发明的方法给出了感知上最受人欢迎的结果。在图12A-12C中示出了对包括动物、自然景物、人脸以及计算机图形在内的各种类别图像的更多实验。

表1示出了与双三次插值相比较的误差减少的结果。在该系统的实验中缩放因子被设置成3。

以及λ＝0.01被用于阿尔法通道SR。在具有2G随机存取存储器的PIV3.4G的PC上用Matlab来完成该实验。通常，对于尺寸为160×120的LR输入图像PC花费1-2分钟，这取决于边缘密度。

表1.与双三次插值相比较的误差减少

	图像尺寸	双三次误差	本发明误差	减少(％)
					斑马	686×392	17.60	13.62	22.61
大象	480×320	9.48	7.99	15.72
					神殿	480×320	16.05	14.19	11.59
字符	512×512	24.98	18.78	24.82
					脸	320×480	7.76	5.88	24.23
卡通	738×768	10.66	7.90	25.89

总之，示范性系统提供了高效的单个图像超分辨率算法。在大的邻域系上定义了模糊边缘平滑度先验，这是对图像中的所有水平线的平均长度的近似。为了处理自然色图像SR，使用闭型阿尔法图像抽取算法来分解每个边缘，从而使对所有边缘段的统一处理成为可能。该系统为广泛种类的图像提供了视觉上受人欢迎的结果

还可以用硬件、固件或软件或三者的组合来实现本发明。优选地，本发明可以在执行于可编程计算机上的计算机程序中实施，该可编程计算机具有处理器、数据存储系统、易失性或非易失性存储器和/或存储元件、至少一个输入装置以及至少一个输出装置。

接下来以实例的方式讨论支持本系统的计算机的框图。计算机优选地包括处理器、随机存取存储器(RAM)、程序存储器(优选为例如闪速ROM的可写入只读存储器(ROM))以及由CPU总线来耦合的输入/输出(I/O)控制器。计算机可以可选地包括耦合到硬盘和CPU总线的硬盘驱动器控制器。硬盘可被用于存储例如本发明的应用程序和数据。可替换地，应用程序可被存储在RAM或ROM中。通过I/O总线将I/O控制器耦合到I/O接口。I/O接口通过例如串行链路、局域网、无线链路和并行链路的通信链路来以模拟或数字的形式接收并传送数据。可选地，还可将显示器、键盘和定位装置(鼠标)连接至I/O总线。可替换地，单独的连接(单独的总线)可被用于I/O接口、显示器、键盘和定位装置。可编程处理系统可以是预编程的或可以通过从另一个源(例如软盘、CD-ROM或另一个计算机)下载程序来对其编程。

每个计算机程序确实地存储在可由通用或专用可编程计算机读取的机器可读存储介质或装置(例如程序存储器或磁盘)中，以便当通过计算机读取存储介质或装置来执行在此描述的过程时配置和控制该计算机的操作。本发明的系统还可以被认为包含在配置有计算机程序的计算机可读存储介质中，将存储介质这样配置使计算机以特定且预定义的方式来操作，从而执行在此描述的函数。

在此非常详细地描述本发明以便遵照专利法规并且为本领域技术人员提供应用新原理和构建以及使用这种被要求的专用元件所需要的信息。然而，应当理解，可以通过特定不同的设备和装置来执行本发明，并且在不脱离本发明其自身的范围的情况下可以实现关于设备细节和操作过程二者的各种修改。

Claims (13)

1.一种处理低分辨率图像的方法，包括：

a、接收低分辨率图像；

b、对低分辨率图像执行高分辨率边缘段提取；

c、对每个边缘段执行图像超分辨率；

d、执行重建约束加强；

e、由低质量图像产生高质量图像；

其中，所述对每个边缘段执行图像超分辨率还包括对每个边缘段执行阿尔法图像抽取以得到阿尔法通道和颜色。

2.如权利要求1所述的方法，其中，在执行阿尔法图像抽取之后对每个边缘段执行双三次插值。

3.如权利要求2所述的方法，包括对双三次插值的数据应用图形剪切以产生超分辨率阿尔法通道。

4.如权利要求3所述的方法，包括将一种或多种颜色分配给超分辨率阿尔法通道。

5.如权利要求1所述的方法，其中所述对低分辨率图像执行高分辨率边缘段提取还包括对低分辨率图像应用定义的模糊剪切度量。

6.如权利要求5所述的方法，其中模糊剪切度量是通过近似一个或多个水平线的平均长度来测量模糊边缘平滑度。

7.如权利要求6所述的方法，其中为超分辨率添加作为先验项的所述模糊边缘平滑度以便实现边缘保持和边缘平滑度。

8.如权利要求7所述的方法，其中应用阿尔法图像抽取技术来对自然色图像提供模糊边缘平滑度先验。

9.如权利要求1所述的方法，其中，所述对每个边缘段执行图像超分辨率包括，使用闭型阿尔法图像抽取解来以统一的方法通过阿尔法通道描述每个边缘段。

10.如权利要求9所述的方法，其中同时利用源自多个通道的颜色信息来描述每个边缘段。

11.如权利要求1所述的方法，其中，所述对低分辨率图像执行高分辨率边缘段提取还包括执行边缘段提取和区域分配以得到{c_i}和{P_i}，其中c_i表示边缘段且P_i表示邻近补丁。

12.如权利要求1所述的方法，所述对低分辨率图像执行高分辨率边缘段提取还包括应用Canny边缘检测算法来提取连续边缘。

13.如权利要求12所述的方法，其中所述Canny边缘检测算法应用了将一个或多个边缘断开成段的基于曲率尺度空间的角点检测方法。

Images