CN1985274A - 用于复原图像模型中颜色分量的方法、系统和程序模块 - Google Patents

Abstract

本发明涉及一种用于改善成像模块捕获的数字图像的图像质量的方法，其中该成像模块至少包括成像光学器件以及图像传感器，图像是通过成像光学器件形成的，并且所述图像包含了至少一个颜色分量。在该方法中，其中将会发现每一个颜色分量的退化信息并且将其用于改善图像质量。每一个颜色分量的退化信息是由一个点扩展函数规定的。每一个颜色分量是由所述退化函数复原的。该图像可以是未处理的图像数据。此外，本发明还涉及若干种用于实施复原以及用于单独控制和正则化图像退化的逆过程的替换方案。另外，本发明还涉及一种设备、模块、系统以及一种计算机程序产品和程序模块。

Description

用于复原图像模型中颜色分量的方法、系统和程序模块

技术领域

本发明涉及图像处理，尤其涉及的是数字图像存储或捕获系统中的颜色分量的复原。

背景技术

图像模糊或退化有可能是由多种因素造成的，例如，散焦的光学装置，或是由于使用广角镜头或是由于不恰当的光圈值、焦距和镜头定位的组合而导致的其它像差。在图像捕获过程中，如果使用长的曝光时间，那么相机或成像物体的移动可能导致图片运动模糊。此外，如果使用短的曝光时间，那么所捕获的光子数量将会减少，由此将会产生很高的噪声级，并且将会导致所捕获图像的对比度很差。

在相关领域中，很多用于重建包含缺陷的图像的方法都是已知的。对于图像中的缺陷块来说，这些缺陷块可以用其周围的某些块或所有块的平均值来替换。这其中的一个实例是使用位于缺陷上方的三个块。此外还有一种名为“最佳相邻匹配”的方法，该方法是通过获得一个与缺陷区域具有相同大小的滑块并使之移经图像来复原该图像的。在除了该滑块与缺陷重叠的位置之外的每个位置上，该滑块边界周围的像素值都被置入一个矢量中。而缺陷边界周围的像素值则被置入另一个矢量中，并且计算这两个矢量之间的均方误差。然后，该缺陷区域将会被具有最低边界像素的块所替换。

例如，空间误差隐蔽技术尝试通过形成遗漏或被污染像素的良好重建来隐藏缺陷。有一种方法是在缺陷周围的区域中找出像素平均值，并且使用该平均像素值来替换该缺陷。可以添加对重建的方差的要求，使该重建的方差与缺陷周围区域的方差相等。

在图像重建处理中还可以使用不同的内插方法。例如，双线性内插可以应用于那些处于缺陷矩形四角的像素。这样做会使穿过缺陷区域的像素值具有线性和平滑的过渡。双线性内插是由所要重建的像素值、重建像素边角上的像素以及重建像素与边角像素之间的水平和垂直距离来定义的。另一种方法是在图像中内插遗漏采样的边缘敏感的非线性过滤。

图像复原的目的是去除这些退化，以使所复原的图像看上去尽可能接近原始场景。一般来说，如果退化过程是已知的；那么所复原的图像可以作为退化的逆过程来捕获。在现有技术中，有几种用于解决这个逆向数学问题的方法是已知的。但是，这其中的大多数技术在问题的建模过程中并未考虑到图像重建处理，并且这些技术假设的是过分简单化的线性模型。一般来说，实施过程中的求解是非常复杂的，其在计算方面的需求也是很高的。

图像复原通常包含了两个重要的步骤，即去模糊步骤和噪声过滤步骤。在现有技术中，某些用于去模糊的方法是已知的。这些方法可以被分类成非迭代技术和迭代技术。在非迭代方法中，求解是通过一种一次性处理算法来获得的，例如拉普拉斯高通过滤、反锐化掩膜或频域逆过滤。在迭代方法中，在若干遍的处理过程中对结果进行细化。去模糊处理由一个为细化处理设置标准的代价函数进行控制，例如最小二乘法或自适应Landweber算法。通常，经过几次迭代之后，在相邻步骤之间不存在很大的改进。在超出了某个点之后，继续执行去模糊算法将有可能在复原的图像中引入令人烦恼的伪像(artefact)。而另一种解决去模糊问题的方法则是反复地实施具有变化参数的单步去模糊方法并且保留最佳结果(盲去卷积)。

通常，相关领域中的这些方法通常实施在例如天文学和医疗成像之类的高端应用的图像复原中。由于图像采集的难以量化以及实施这些算法所需的复杂度和计算能力，因此在消费产品中，这些方法的应用是非常有限的。在具有有限计算资源和存储资源的设备中，某些方法已经得到了使用。通常，相关领域中的方法被设计成了一个后处理操作，这意味着复原是在图像被获得和存储之后才应用于该图像的。在后处理操作中，每个颜色分量都具有不同的点扩展函数，这个函数则是可以用于评估成像系统性能的重要规则。如果复原是作为后处理应用的，那么关于各个颜色分量中的不同模糊的信息将不再相关。图像采集处理的精确建模将会更为困难，并且(在大多数情况下)将不是线性的。因此，“逆”求解将会更不精确。此外，数码相机的输出往往会被压缩成.jpeg格式。如果复原是在压缩(这种压缩通常是有损的)之后施加的，那么其结果将会放大不希望的块伪像。

发明内容

本发明的目的是提供一种用于复原图像的改善方法。该目的可以通过一种方法、模型、模型使用、去模糊方法、设备、模块、系统、程序模块以及计算机程序产品来实现。

根据本发明，提供了一种用于形成可以改善成像模块所捕获的数字图像的图像质量的模型的方法，该成像模块至少包括成像光学器件和图像传感器，其中图像是通过成像光学器件形成的，所述图像包含了至少一个颜色分量，其中发现每一个颜色分量的退化信息，获得图像退化函数以及借助所述退化函数来复原所述每一个颜色分量。

根据本发明，还提供了一种用于改善数字图像的图像质量的模型，所述模型可以通过所要求保护的方法来获得。根据本发明，在这里还提供了该模型的使用。

此外，根据本发明，提供了一种用于改善成像模块所捕获的数字图像的图像质量的方法，其中该成像模块至少包括成像光学器件以及图像传感器，其中图像是通过成像光学器件形成的，并且所述图像至少包括一个颜色分量，其中发现图像中每一个颜色分量的退化信息，根据该退化信息来获得一个退化函数，以及通过所述退化函数来复原所述每个颜色分量。

此外，根据本发明，提供了一种用于复原图像的方法，其中复原是通过迭代复原函数来实施的，并且在每一次迭代中实施借助正则化的去模糊方法。

此外，根据本发明，提供了一种用于确定可以改善成像模块捕获的数字图像的图像质量的模型的系统，所述模块至少包括成像光学器件以及图像传感器，其中图像是通过成像光学器件形成的，所述图像至少包括一个颜色分量，其中该系统包括：用于发现图像中每一个颜色分量的退化信息的第一装置，用于根据退化信息来获得退化函数的第二装置，以及用于通过所述退化函数来复原所述每一个颜色分量的第三装置。

此外，根据本发明，提供了一种成像模块，该成像模块包括成像光学器件以及图像传感器，以便通过成像光学器件而在光敏图像传感器中形成图像，其中用于改善图像质量的模型与所述成像模块是相关的。此外，根据本发明，还提供了一种包含图像模块的设备。

另外，根据本发明，提供了一种在一设备中用于改善图像质量的程序模块，该设备包含成像模块，所述程序模块包含了用于发现图像的每一个颜色分量的退化信息、根据该退化信息获得退化函数以及通过所述退化函数来复原所述每一个颜色分量的装置。根据本发明，在这里还提供了其它用于复原图像的程序模块，其中包括用于在迭代复原的每一次迭代中实施借助正则化的去模糊处理的装置。

此外，提供了一种计算机程序产品，该计算机程序产品包含了用于发现每一个颜色分量的退化信息、获得图像退化函数以及借助所述退化函数来复原所述每一个颜色分量的指令。根据本发明，还提供了用于复原图像的计算机程序产品，该计算机程序产品包括用于在迭代复原的每一次迭代中实施借助正则化的去模糊处理的计算机可读指令。

对本发明的其它特征在附加的从属权利要求中进行描述。

在说明书中，术语“第一图像模型”对应的是这样的图像，即该图像已经由例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的图像传感器捕获，但是尚未进行任何处理。该第一图像模型是原始图像数据。第二图像模型则是已经确定了其退化信息的图像数据。可以理解的是，除CMOS或CCD之外的其它传感器类型同样可以应用于本发明。

第一图像模型被用于确定图像的模糊，并且根据本发明来复原第二图像模型。该复原还可以根据本发明而被正则化。在完成这些步骤之后，可以实施其它的图像重建函数。如果考虑整个图像重建链，那么本发明的思想是将复原作为预处理操作而应用的，由此后续的图像重建操作将会从该复原中受益。将复原作为预处理操作加以应用意味着复原算法直接针对的是原始颜色图像数据，并且这样一来，每一个颜色分量都是独立地处理的。

借助本发明，光学器件所产生的模糊可以明显减少。特别地，如果使用的是固定焦距，那么该过程将是非常有效的。本发明同样适用于变焦距系统，在此情况下，该处理根据镜头的焦点位置而考虑来自一个查找表的多个去模糊函数。所述去模糊函数还可以通过来自查找表的内插来获得。其中一种定义去模糊函数的可能是使用其中将焦距用作去模糊函数的参数的连续计算。所得到的图像将会更为锐利并具有更好的空间分辨率。值得一提的是，所建议的处理不同于传统的锐化算法，它还可以产生具有高频被放大的更锐利的图像。实际上，本发明提出的是一种回复退化过程并且将例如由光学器件所产生的模糊减至最小的方法，而锐化算法则是使用普通的高通过滤器在图像中添加伪像从而使其看上去更为锐利。

对可以在未来的产品中应用的不同类型的传感器来说，根据本发明的模型更是可行的(由于线性图像形成模型具有更好的保真度)。在当前的方法中，图像重建链中的后续步骤和算法将会从解决方案中提升的分辨率和对比度而受益。

将图像复原作为预处理操作而加以应用，可以最小化在图像捕获过程中累积的非线性度。此外，本发明还可以防止过度放大颜色信息。

数据复原通过迭代的逆过滤来锐化图像。这种逆过滤可以由本发明提供的一种控制方法来加以控制。由于这种控制方法，在图像足够锐利的时候，迭代停止。该控制方法提供了一种对那些在不同的位置进入图像的像素进行不同处理的机制。根据这种处理，复原图像中的过调(overshooting)可以减小，由此可以产生更好的最终图像的视觉质量。此外，位于被观察图像边缘的像素是以不同于平滑区域上的像素的方式复原的。该控制方法还可以解决空间变化的点扩展函数的问题。举例来说，如果光学系统的点扩展函数对不同的像素坐标来说是不同的，那么使用独立的像素处理的图像复原可以解决这个问题。此外，该控制方法可以通过几种去模糊算法来实施，从而改善其性能。

本发明还适用于视频复原。

附图说明

本发明是参考附图和后续描述中的实例来描述的。

图1描述了根据本发明的系统的一个实例；

图2描述了根据本发明的系统的另一个实例；

图3描述了根据本发明的设备的一个实例；

图4描述了根据本发明的安排的一个实例；以及

图5描述了根据本发明的迭代复原方法和控制方法的一个实例。

具体实施方式

本发明涉及一种用于改善利用成像模块捕获的数字图像的图像质量的方法，其中该成像模块至少包括成像光学器件以及图像传感器，图像是通过成像光学器件形成的，该图像包含了至少一个颜色分量。在该方法中，图像中各个颜色分量的退化信息被发现，并且被用于改善图像质量。而每个颜色分量的退化信息则是由点扩展函数规定的。每个颜色分量由所述退化函数进行复原。该图像可以是未处理的图像数据。此外，本发明还涉及用于实施复原以及对逆处理进行控制和正则化的多个替换方式。

对根据本发明的图像复原的描述针对三个要点，首先，例如通过测量针对至少一个原始颜色分量的点扩展函数(PSF)来确定模糊退化函数。其次，该复原算法是为至少一个原始颜色分量设计的。第三，正则化机制可以整合在其中，以便缓解高通过滤的效应。在本说明书中，移动设备中的光学器件是作为实例使用的，因为它们通常局限于很宽的聚焦范围。但对本领域技术人员来说，很明显，移动设备并不是唯一合适的设备。例如，本发明还可以供数码相机、网络摄像机或相类似的设备使用，并且可以由高端应用来使用。该算法的目的是撤除或削弱光学器件产生的退化处理(模糊)。借助该算法，所得到的图像将会更为锐利，并且具有改善的分辨率。

在使用术语“颜色分量”时，该术语涉及的是不同的颜色系统。在本实例中的实例为RGB系统(红、绿、蓝)，但是本领域技术人员是可以想到其它的系统，例如HSV(色度、饱和度、纯度)、YUV(亮度和色差)或CMYK(青、品红、黄、黑)等等。

在空间域中，图像模型可以以如下方式描述：

g_i(m，n)＝h_i(u，v)*f_i(m，n)+n_i(m，n)    (1)

其中g_i是测量得到的颜色分量图像，f_i是原始颜色分量，h_i是颜色分量中的相应线性模糊、n_i则是加性噪声项。g_i、f_i、n_i是在跨越了图像区域的像素阵列(m，n)上定义的，而h_i是在跨越模糊(点扩展函数)支集(support)的像素(u，v)上定义的。指数i＝{1，2，3，4}分别表示的是关于颜色分量的数据，例如红色、绿色1、蓝色和绿色2颜色分量。

借助图1和2对本发明进行更详细的描述，其中每一个附图都描述了根据本发明的图像复原系统的框图。

模糊规定

接下来将要描述的是对光学元件(100)所捕获的图像中的退化(图1，110)进行估计的过程。在图2中可以看出，该退化可以借助与三个颜色通道(在本实例中是R、G、B)中的模糊(原始数据)相对应的点扩展函数210来估计。所述点扩展函数被用于显示每一个颜色通道的不同特性。并且这个点扩展函数是一种可以用于评估成像系统性能的重要标准。

所述点扩展函数作为波长和相机视野中的位置的函数而改变。由此，寻找良好的点扩展函数有可能是困难的。在本说明书中，采用的是散焦近距离成像以及空间不变模糊处理。用于估计与各个颜色分量相关联的点扩展函数(h_i)的实际过程也可以作为一个独立应用来使用，从而帮助实施相机系统中的评估处理。

在给出了与检测板图案的一个颜色分量相对应的模糊图像的情况下，四个外部转角点是手动定位的，并且首先确定的是转角位置的大致估计。精确的位置(精确到子像素)则是通过在例如10×10像素的方块窗口中细化所述搜索而被再次计算的。通过使用这些转角点，可以借助对每一个方块的中心部分进行平均以及通过断定这些方块的恒定亮度值来重建原始网格图像f_i的近似值。

点扩展函数被假设成是在空间上不变的，由此可以通过伪逆过滤方法(例如在傅立叶域中)来计算模糊。由于伪逆技术对噪声是非常敏感的，因此，频率低通过滤器可以用于限制噪声，并且可以结合若干个图像来应用该过程，以便获得点扩展函数的平均估计(所提到的低通过滤的归一化截止频率约为0.6，但是至少从0.4到0.9的任何值也都是适用的)。

为了量化每一个颜色通道上出现的模糊程度，在这里定义了一个简单的统计信息，该统计信息被确定为与函数中心的加权距离(以像素为单位)的均值，所述权重对应的是该点的归一化点扩展函数的值：

$S_{\mathrm{psf}}\left(h_i\right)=\frac{M_I{N}_I}{{\mathrm{\Σ}}_{m,n}{h}_i(m,n)}{\mathrm{\Σ}}_{n=0}^{M_I}{\mathrm{\Σ}}_{n=0}^{N_I}\left(\sqrt{m^2+n^2}\right)h_i(m,n)---\left(2\right)$

其中M_I和N_I是点扩展函数过滤器的支集。S_psf描述的是模糊的程度。通过试验可以确认的是，这些通道具有不同的模糊图案。例如，在研究Mirage-1相机时，所获得的S_psf值是：

从结果中可以看出，红色分量最为模糊并且噪声最大，而最不模糊的是蓝色分量，并且该分量还具有最低的对比度。

复原算法

关于颜色分量的数据是由传感器120测得的，例如由CMOS或CCD传感器之类的Bayer传感器220(图2)测得。颜色分量可以是图2中的红色分量(R)、绿色分量1(G1)、蓝色分量(B)以及绿色分量2(G2)。这其中的每一个颜色“图像”都是最终输出图像的1/4大小。

第二图像模型是为复原提供的(130；250)。该图像按照字典顺序排列进矢量中，并且点扩展函数h_i被排列进方块-Toeplitz循环矩阵H_i中。然后，第二图像模型可以如下：

${\stackrel{-}{g}}_i=H_i{\stackrel{-}{f}}_i+{\stackrel{-}{\mathrm{\η}}}_i---\left(3\right)$

在得到了H_i的合理近似值的情况下，图像复原的目的是从退化的观察结果

中恢复最佳估计 。模糊函数H_i是不可逆的(它已在有限支集上被定义，由此其逆函数将会具有无穷支集)，因此无法得到直接的逆解。解决该问题的典型的直接方法考虑的是将输入的与所模拟的重新模糊的图像之间的能量减至最小，这种处理是通过下列范数得到的：

$J_{\mathrm{LS}}={\left|\right|{\stackrel{-}{g}}_i-H_i\widehat{\stackrel{-}{f_i}}\left|\right|}^2---\left(4\right)$

由此为数据提供最小二乘方拟合。当噪声已知是高斯噪声的时候，所述范数的最小化还会得到最大似然解。它还得到广义的逆过滤器，所述逆过滤器是如下给出的：

$\left(H^{T}H\right){\widehat{\stackrel{-}{f}}}_i=H^T{\stackrel{-}{g}}_i---\left(5\right)$

要想对其进行求解，通常的做法是将确定性迭代技术与连续近似方法结合使用，这样将会产生如下的迭代：

${{\stackrel{\widehat{-}}{f}}_i}^{\left(0\right)}=\mathrm{\μ}{H}^T{\stackrel{-}{g}}_i$

${\widehat{\stackrel{-}{f}}}_i^{(k+1)}={{\stackrel{\widehat{-}}{f}}_i}^{\left(k\right)}+{\mathrm{\μH}}^T\left({\stackrel{-}{g}}_i-{{\stackrel{\widehat{-}}{g}}_i}^{\left(k\right)}\right)$

如果

$0<\mathrm{\&mu;}<\frac{2}{{|\mathrm{\&lambda;}}_{\max }|}$

那么该迭代收敛，其中λ_max是矩阵H^TH的最大本征值。在能量的归一化变化变得很小之前，该迭代将会一直执行。

从图1和2中可以看出，复原(130；250)是为每一个颜色分量R、G、B独立地执行的。

迭代技术的主要优点是不需要显性地实施模糊算子的逆运算，并且复原处理可以在其进行过程中得到监视。

最小二乘方可以扩展成经典最小二乘方(CLS)技术。从理论上来说，图像复原的问题是不识定(ill-posed)的，也就是说，输出中诸如噪声之类的微小扰乱都有可能导致在如上给出的直接最小二乘解中出现极大的扰乱。因此，约束最小二乘方方法通常只在文献资料中加以考虑。这些算法会将等式(4)中隶属于(平滑)正则项的那些项减至最小，而所述正则项则是由输出的高通过滤的形式组成的。所述正则项允许包含关于图像的先验信息。

正则化机制的一个实例

在实践中，诸如CCD和CMOS传感器之类的图像传感电子仪器有可能在图像中引入非线性度，而其中饱和度是非常严重的一项。由于在图像形成模型中，非线性度是无法把握的，因此，颜色通道的独立处理有可能导致边缘周围出现严重的错误着色。由此，本发明引入了一种应用于复原的改善的正则化机制(图2；240)。饱和或是曝光不足的像素区域被用于设计一个缓解周围区域中的高通过滤效应的平滑变化系数。图像获取处理的公式表示始终被假设成是线性的(1)。由于三个颜色通道之间存在灵敏度差异以及模糊曝光的控制，在每一个颜色通道中，像素饱和度有可能是以无条理的方式出现的。对靠近这些饱和区域的独立通道复原来说，该复原将会导致该颜色分量被单独地过度放大，由此会在这些区域附近产生人为像颜色失配以及错误的着色。为了避免出现这种情况，在这里提出一种根据本发明的正则化机制。该正则化机制整合在等式(6)的迭代求解中。其思想是在空间上对μ进行调节，以便限制饱和区域附近的复原效应。经过调节的步长大小是如下所给出的：

μ_adap(m，n)＝β_sat(u，m)μ    (9)

其中μ是先前论述的全局步长大小，β_sat则是对步长大小进行调整的局部饱和度控制。并且β_sat是使用以下算法获得的：

对每一个颜色通道图像g_i来说，i＝{1..4}，

考虑围绕像素位置g_i(m，n)的窗口(w×w)的值，

对该窗口中的饱和像素S_i(m，n)的数量进行计数，

饱和控制是由以下等式给出的：

${\mathrm{\&beta;}}_{\mathrm{sat}}(m,n)=\max (0,(w^2-{\mathrm{\&Sigma;}}_{i=1}^4{s}_i(m,n))/w^2).$

β_sat根据任何颜色通道中的饱和像素的数量而在0与1之间变化。迭代复原方法和正则化机制的另一个实例

先前的数据复原是通过迭代逆过滤来锐化图像的。这种逆过滤可以由一种控制方法加以控制，由此在图像足够锐利时可以停止该迭代。在图5中以框图的形式对这种控制方法的基本思想进行了描述。在该方法的开端，其中将图像初始化成与观察图像相同，并且对去模糊算法的参数进行了设置(510)。此后，去模糊算法被应用于观察图像。这个处理可以是现有的一次性算法中的任何一种，例如反锐化掩模方法、模糊域去模糊、差分过滤等等(520)。在每一次迭代中，去模糊都是有意义的，这是因为如果去模糊不具有良好的性能，那么系统的总体性能都不会很好。在接下来的步骤(530)中，可以对来自去模糊图像的像素进行检查，以便检测出诸如过度放大的边缘之类的过调。在后续步骤(540)中，复原图像将会得到更新。如果去模糊图像中的像素位置域过调边缘相对应，那么在迭代处理中不会进行进一步的更新。否则，来自复原图像的像素通常将被更新。此外，与过调相对应的像素还被掩模，以便在接下来的迭代过程中使相应的复原像素保持不变(对那些像素来说，复原会在该点终止)。在接下来的步骤(550)中，对中间输出图像进行扫描，并且将会检测出仍旧包含过调的像素。如果检测到不变的过调(560)，则停止全局迭代处理并且返回到复原图像。否则，去模糊算法的参数将会改变(570)，并且接下来的迭代是以观察图像的去模糊为开始的。最后的步骤(560-570)将会使算法适于进行盲去卷积。这里公开的算法将会防止存储图像形成因为边缘的过度放大而出现的过调。该处理是通过两种方式完成的。首先，在每一次迭代中，像素都是独立更新的，由此，那些退化的像素是不会更新到复原图像中的。其次，如果在复原图像中存在退化过大的像素，那么整个去模糊处理都会停止。接下来将对去模糊方法的实施方式进行详细描述。

图5的方法步骤是为颜色分量R、G、B中的某一个分量实施的。其它两个分量则是完全以相同的方式单独处理的。如果使用的是YUV颜色系统，那么只需要对分量Y进行处理。

在步骤510，将图像初始化成与观察图像相同，并且设置去模糊算法的参数。在这里，输入的观察图像是用I表示的，并且最终的复原图像是用Ir表示的。在一开始，复原图像是用I(Ir＝I)初始化的。去模糊方法的参数同样也被初始化。举例来说，如果将反锐化掩模方法用于去模糊处理，则对所使用的模糊图像的数量及其参数进行选择。如果实施的是另一种算法，那么其参数将会在该点进行设置。此外，在这里还会初始化一个大小与图像大小相等并具有单位元素的矩阵。该矩阵是用mask表示的。

在步骤520，其中会将去模糊算法应用于观察图像并获得去模糊图像Idb。在步骤530，对来自去模糊图像的每一个像素进行检查，以便检测出诸如过度放大边缘之类的过调。来自去模糊图像Idb的像素将被扫描，并且相邻像素之间的水平和垂直距离是以如下方式计算的：

dh1(x，y)＝ldb(x，y)-ldb(x，y-l)

dh2(x，y)＝ldb(x，y)-ldb(x，y+l)

dv1(x，y)＝ldb(x，y)-ldb(x-l，y)

dv2(x，y)＝ldb(x，y)-ldb(x+l，y)

其中x，y分别代表的是垂直和水平像素坐标。此外，来自观察图像的像素同样将被扫描，并且相邻像素之间的水平和垂直差值可以计算如下：

dh3(x，y)＝l(x，y)-l(x，y-l)

dh4(x，y)＝l(x，y)-l(x，y+l)

dv3(x，y)＝l(x，y)-l(x-l，y)

dv4(x，y)＝l(x，y)-l(x+l，y)

对于来自去模糊图像的每一个像素来说，在这里将会检查相应差值dh1和dh3、dh2和dh4、dv1和dv3以及dv2和dv4的符号是否不同。如果它们不同，则意味着位于坐标x，y上的像素包含了过调。这种检查是通过以下算法实施的：

      ifNOT[sign(dh1(x，y))＝sign(dh3(x，y))]OR NOT[sign(dh2(x，y))＝sign(dh4(x，y))]

        if[abs(adl(x，y))＞＝th1*MAX]AND[abs(dh2(x，y))＞＝th1*MAX]

             mh＝0；

        end

     end

     ifNOT[sign(dv1(x，y))＝sign(dv3(x，y))]OR NOT[sign(dv2(x，y))＝sign(dv4(x，y))]

        if[abs(dv1(x，y)0＞＝th1*MAX]AND[abs(dv2(x，y))＞＝th1*MAX]

             mv＝0；

        end

     end

     if(mh＝0)OR(mv＝0)

        mask(x，y)＝0；

     end

基本上，上文中的思想是对来自去模糊图像的每一个像素进行所述去模糊图像的局部形状与所述观察图像的局部形状之间的比较。该处理是通过在水平和垂直方向上比较这两个图像的相应差值的符号来完成的。当发现这两个图像的形状存在差异时(无论是水平还是垂直方向)，则意味着有可能过度强调了来自去模糊图像的相应像素。对这些像素来说，在这里对过调的估计值与某个阈值(th1)进行比较。如果过调的量大于阈值(th1)，则将相应的像素标记成是失真的(使掩模值等于零)。该阈值(th1)则被定义成是来自观察图像的像素最大值的百分数(值MAX是I的最大值)。通过选择这种阈值计算，我们可以确保该阈值(th1)的值与图像范围相适配。

在步骤540，对复原图像进行更新。形成复原图像的像素是简单地使用来自未被标记成失真的去模糊图像的像素更新的。这个步骤可以以如下方式实施：

       for every pixel from Idb(x，y)

          if mask(x，y)＝1

               Ir(x，y)＝Idb(x，y)；

          end

       end

在步骤550，中间输出图像被扫描并且检测出仍旧包含过调的像素。在扫描复原图像的时候，相邻像素之间的水平和垂直差值可以以如下方式来计算：

dh5(x，y)＝lr(x，y)，y)-lr(x，y-l)

dh6(x，y)＝lr(x，y)-lr(x，y+l)

dv5(x，y)＝lr(x，y)-lr(x-1，y)

dv6(x，y)＝lr(x，y)-lr(x+1，y)

对相应差值dh5和dh3、dh6和dh4、dy5和dy3以及dy6和dv4的符号进行比较。如果这些符号存在差异，那么过调量可以以如下方式来计算：

      If NOT[sign(dh5(x，y))＝sign(dh3(x，y))]OR NOT[sign(dh6(x，y))＝sign(dh4(x，y))]

                    H(x，y)＝min(abs(dh5(x，y))，abs(dh6(x，y)))；

      end

      If NOT[sign(dv5(x，y))＝sign(dv3(x，y))]OR NOT[sign(dv6(x，y))＝sign(dv4(x，y))]

                    V(x，y)＝min(abs(dh5(x，y))，abs(dh6(x，y)))；

      end

通过比较在复原图像和原始图像上计算得到的差值的符号，可以对两个图像的局部形状进行比较。对局部形状不同的像素来说，复原图像中的过调是通过采用两个相邻差值的最小绝对值来估计的。该值是在垂直和水平方向上计算得到的。

在步骤560，对过调进行检查。如果最大过调大于预定步长，则停止复原过程，并且在输出中返回到复原图像Ir。如果在复原图像中没有具有大于阈值的过调的像素，则改变去模糊方法的参数，并且该过程将会从步骤520开始继续执行。这个步骤可以以如下方式加以实施：

      if max(max(H(x，y))，max(V(x，y)))＞＝th2*MAX

          return the image Ir and stop the restoration process

      else

         modify the parameters of the de-blurring method and go to step 520.

    end

过调检测的阈值th2定义为原始图像I的最大像素值的百分比。

正则化方法(图5的530、550和560)还可以与等式(6)的上述迭代复原方法相结合。在结合局部或全局正则化的上述方法之后，诸如高通过滤之类的其它非迭代复原算法也是可以实施的。上文定义的局部和全局正则化处理既可以同时应用于其它的迭代复原技术，也可以单独应用于其它的迭代复原技术。

图像重建链

先前关于各个颜色分量复原的描述是作为图像重建链中的第一操作而应用的。例如自动白平衡、色彩滤镜阵列内插(CFAI)、色域转换、几何失真和阴影校正、噪声减少、锐化的其它操作(140；260)则跟随其后。可以理解的是，最终的图像质量(270)取决于重建链中的所有这些操作的有效和优化使用。图像重建算法的最有效实施方式是非线性的。在图1中，例如通过图像压缩(150)或/和下采样/抖动(160)处理来进行图像处理。图像既可以通过相机取景器(180)或显示器查看，也可以以压缩形式存储(170)在存储器中。

在重建链中将复原作为第一操作进行使用，可以确保线性成像模型呈现最佳的保真度。对后面的算法，尤其是色彩滤镜阵列内插和噪声减少算法来说，这些算法充当的是附加的正则化机制，以防止因为过度的复原所导致的过度放大。

实施方式

根据本发明的系统可以安装在诸如移动终端、网络摄像机、数码相机之类的设备或是用于成像的其它设备中。该系统可以是安装在所述设备之一的相机模块中的数字信号处理的一部分。这些设备的一个实例是图3中以简化框图显示的成像移动终端。设备300包含了光学器件310或是用于捕获图像的类似设备，该设备可以可操作地与光学器件或是用于捕获图像的数码相机进行通信。此外，设备300还可以包括具有发射机321和接收机322的通信装置320。也可以存在具有发射机381和接收机382的其它通信装置380。第一通信装置320可以被适配成执行远程通信，而另一通信装置380则可以是某种短程通信装置，例如Bluetooth^TM系统、WLAN系统(无线局域网)或是其它适合本地使用以及与别的设备进行通信的系统。根据图3的设备300还包括用于显示可视信息的显示器340。此外，设备300还包括用于输入数据以及控制图像捕获等操作的小键盘350。另外，设备300还可以包括诸如耳机361和麦克风362之类的音频设备，并且可选地包括用于对音频信息进行编码(需要的话也可以进行解码)的编解码器。而且，该设备300还包括用于对设备300的功能进行控制的控制单元330，举例来说，所述功能例如是根据本发明的复原算法。该控制单元330可以包括一个或多个处理器(CPU、DSP)。而该设备还进一步包括用于存储数据、程序等等的存储器370。

根据本发明的成像模块包括成像光学器件和图像传感器，以及用于发现图像中每一个颜色分量的退化信息并且根据该退化信息来确定退化函数的装置，以及借助所述退化函数来复原每一个颜色分量的其它装置。该成像模块可以安装在先前描述的设备中。此外，该成像模块也可以安装在图4所示的与成像设备400和显示设备进行通信的独立设备410中其中该显示设备也可以是所述成像设备400或是个人计算机之类的其它设备。所述独立设备410包括复原模块411以及可选地包含了其它成像模块412，并且该设备是可以独立用于图像重建处理的。成像设备400与独立设备410之间的通信可以由有线或无线网络进行处理。关于此类网络的实例可以是因特网、WLAN、Bluetooth等等。

以上的详细描述仅仅是为了清楚理解本发明而提供的，并且不应该将其理解成是对这里的权利要求进行限定。

Claims (41)

1.一种开发用于改善成像模块所捕获的数字图像的图像质量的模型的方法，其中该成像模块至少包括成像光学器件以及图像传感器，该图像通过所述成像光学器件形成，所述图像包含了至少一个颜色分量，并且其中所述模型的开发至少包括下列步骤：

发现所述图像中每一个颜色分量的退化信息，

根据所述退化信息来获得退化函数，以及

通过所述退化函数来复原所述每一个颜色分量。

2.根据权利要求1的方法，其中为复原的颜色分量应用正则化控制。

3.根据权利要求1的方法，其中每一个颜色分量的所述退化信息是借助点扩展函数发现的。

4.根据权利要求3的方法，其中复原是通过迭代复原函数实施的，该迭代复原函数是从每一个颜色分量的点扩展函数确定的。

5.根据权利要求1的方法，其中复原是通过迭代复原函数实施的，其中在每一次迭代中使用借助正则化的单步去模糊方法。

6.根据权利要求1的方法，其中所述图像是未处理图像数据，并且其中所述复原的颜色分量由其它图像重建算法进一步进行处理。

7.根据权利要求1的方法，其中所使用的是下列颜色系统中的一种：RGB、HSV、CMYK、YUV。

8.根据权利要求2的方法，其中所述正则化控制实施在去模糊方法中，以便获得去模糊图像。

9.根据权利要求8的方法，其中借助第一阈值和第二阈值检测过调像素。

10.一种用于改善数字图像的图像质量的模型，所述模型可以通过如权利要求1所述的方法来获得。

11.一种对根据权利要求10的模块的使用，用于改善数字图像的图像质量。

12.一种用于改善成像模块所捕获的数字图像的图像质量的方法，其中该成像模块至少包括成像光学器件以及图像传感器，该图像通过所述成像光学器件形成，所述图像包含了至少一个颜色分量，其中：

发现所述图像中每一个颜色分量的退化信息，

根据所述退化信息来获得退化函数，以及

通过所述退化函数来复原所述每一个颜色分量。

13.根据权利要求12的方法，其中为复原的颜色分量应用正则化控制。

14.根据权利要求12的方法，其中每一个颜色分量的所述退化信息是借助点扩展函数发现的。

15.根据权利要求14的方法，其中复原是通过迭代复原函数实施的，该迭代复原函数是从每一个颜色分量的点扩展函数确定的。

16.根据权利要求12的方法，其中复原是通过迭代复原函数实施的，其中在每一次迭代中实施借助正则化的单步去模糊方法。

17.根据权利要求12的方法，其中所述图像是未处理图像数据，并且其中所述复原的颜色分量由其它图像重建算法进一步进行处理。

18.根据权利要求12的方法，其中所使用的是下列颜色系统中的一种：RGB、HSV、CMYK、YUV。

19.根据权利要求13的方法，其中所述正则化控制实施在去模糊方法中，以便获得去模糊图像。

20.根据权利要求19的方法，其中借助第一阈值和第二阈值检测过调像素。

21.一种用于复原图像的方法，其中复原是通过迭代复原函数实施的，其中在每一次迭代中实施借助正则化的去模糊方法。

22.根据权利要求21的方法，其中为复原的颜色分量应用正则化控制。

23.根据权利要求21的方法，其中所述正则化控制实施在所述去模糊方法中，以便获得去模糊图像。

24.根据权利要求21的方法，其中借助第一阈值和第二阈值检测过调像素。

25.一种确定用于改善成像模块所捕获的数字图像的图像质量的模型的系统，其中该成像模块至少包括成像光学器件以及图像传感器，该图像通过所述成像光学器件形成，所述图像包含了至少一个颜色分量，其中该系统包括：

用于发现所述图像中每一个颜色分量的退化信息的第一装置，

用于根据所述退化信息来获得退化函数的第二装置，以及

用于通过所述退化函数来复原所述每一个颜色分量的第三装置。

26.根据权利要求25的系统，还包括用于在复原过程中应用正则化控制的第四装置。

27.根据权利要求25的系统，还包括用于借助其它图像重建算法来对所述图像进行进一步处理的第五装置。

28.根据权利要求25的系统，其中该系统能够使用下列颜色系统中的一种：RGB、HSV、CMYK、YUV。

29.根据权利要求26的系统，其中对该正则化控制而言，所述系统包含了用于对所复原的图像进行去模糊的装置。

30.一种成像模块，包括成像光学器件以及图像传感器，以便通过该成像光学器件而在该光敏图像传感器中形成图像，其中权利要求10所述的用于改善图像质量的模型与所述成像模块是相关的。

31.根据权利要求30的成像模块，还包括用于在复原过程中实施正则化控制的装置。

32.一种设备，包含如权利要求30所述的成像模块。

33.根据权利要求32的设备，其中该设备是具有通信能力的移动设备。

34.一种用于在包含了成像模块的设备中改善图像质量的程序模块，所述程序模块包含了用于下列处理的装置：

发现所述图像中每一个颜色分量的退化信息，

根据所述退化信息来获得退化函数，以及

通过所述退化函数来复原所述每一个颜色分量。

35.根据权利要求34的程序模块，还包括用于在复原过程中实施正则化控制的指令。

36.一种用于复原图像的程序模块，包括用于在迭代复原的每一次迭代中实施借助正则化的去模糊处理的装置。

37.根据权利要求36的程序模块，还包括借助第一阈值和第二阈值来检测过调像素的装置。

38.一种用于改善图像质量的计算机程序产品，包含由计算机实施的指令，以便

发现所述图像中每一个颜色分量的退化信息，

根据所述退化信息来获得退化函数，以及

通过所述退化函数来复原所述每一个颜色分量。

39.根据权利要求38的计算机程序产品，还包括用于在复原过程中应用正则化控制的指令。

40.一种用于复原图像的计算机程序产品，包括用于在迭代复原的每一次迭代中实施借助正则化的去模糊处理的计算机可读指令。

41.根据权利要求40的计算机程序产品，还包括借助第一阈值和第二阈值来检测过调像素的指令。

Images