CN101986689A - 用于图像处理的方法和装置 - Google Patents

Abstract

提供了一种用于图像处理的方法和装置。该方法可以包括：通过从原始图像中消除失真分量来产生第一恢复图像；根据在原始图像中的感兴趣区域的失真信息来确定在所述原始图像和所述第一恢复图像之间的混合比率；以及通过根据所述混合比率来混合所述原始图像和所述第一恢复图像而产生第二恢复图像。

Description

用于图像处理的方法和装置

技术领域

与本发明构思一致的方法和装置涉及一种用于图像处理的方法和装置，并且更具体地，涉及通过使用边缘保留平滑滤波器(edge-preserving smoothing filter)来处理图像。

背景技术

因为人眼所见的场景具有非常大的亮度动态范围而照相机不能完全实现该亮度动态范围，所以在图像输出装置上精确地显现人类视觉系统所见的场景在图像处理技术中是十分理想化的目标和非常困难的问题。

具体地，当照相机拍摄对象时，如果没有恰当地设置曝光时间或使用了异常的照度，则捕获的场景不同于人类视觉系统所见的场景。

如此，不断地要求用于处理由于在所捕获场景和人类视觉系统所见到的场景之间的不同而产生的图像失真的改进的技术。

发明内容

示范性实施例至少解决上述问题和/或缺点以及上面没有描述的其他缺点。同样，不要求示范性实施例克服上述缺点，并且示范性实施例可以不克服上述的任何问题。

一个或多个示范性实施例提供一种用于有效处理图像的方法和装置。

根据示范性实施例，提供一种图像处理的方法，包括：通过从原始图像中消除失真分量来产生第一恢复图像；根据在原始图像中的感兴趣区域的失真信息来确定在所述原始图像和所述第一恢复图像之间的混合比率；以及通过根据所述混合比率来混合所述原始图像和所述第一恢复图像而产生第二恢复图像。

确定所述混合比率的步骤可以包括：根据在所述原始图像中的亮度分量的平均值和标准偏差值来确定所述混合比率。

产生所述第二恢复图像的步骤可以包括：根据所述混合比率，混合所述感兴趣区域和在所述第一恢复图像中的对应于所述感兴趣区域的区域。

所述方法还可以包括：经由接口接收用于选择所述感兴趣区域的用户输入。

产生所述第一恢复图像的步骤可以包括：通过使用边缘保留平滑滤波器将所述原始图像划分成基本层(base layer)、细节层(detail layer)和色彩层(color layer)；以及从所述基本层、所述细节层和所述色彩层的每一个中消除失真分量。

划分所述原始图像的步骤可以包括通过将所述原始图像的亮度分量除以所述基本层的亮度分量来获得细节分量，以及消除失真分量的步骤可以包括根据所述原始图像的亮度分量来改变所述细节分量。

改变所述细节分量的步骤可以包括：当所述原始图像的亮度分量大于临界点时增加所述细节分量，而当所述原始图像的亮度分量小于所述临界点时减少所述细节分量。

改变所述细节分量的步骤可以包括：将其中输入了所述原始图像的经缩放的亮度分量的对数函数的输出乘以所述细节分量。

消除所述失真分量的步骤可以包括：处理所述基本层以便在阴影区域中的亮度动态范围的变化量大于在高亮区域中的亮度动态范围的变化量。

消除所述失真分量的步骤可以包括：减少阴影区域中的细节分量，而增加在高亮区域中的细节分量。

消除所述失真分量的步骤可以包括：根据在所述原始图像中的亮度分量和在所述第一恢复图像中的亮度分量之间的变化量来校正所述色彩层。

所述方法还可以包括：将被消除了失真分量的基本层、细节层和色彩层进行组合。

所述边缘保留平滑滤波器可以包括：从由双向滤波器(bilateral filter)、西格马滤波器(sigma filter)和平均偏移滤波器(mean shift filter)组成的组中选择的一个滤波器。

根据示范性实施例，提供一种用于图像处理的装置，包括：图像恢复单元，其通过从原始图像中消除失真分量来产生第一恢复图像；混合比率确定单元，其根据在所述原始图像中的感兴趣区域的失真信息来确定在所述原始图像和所述第一恢复图像之间的混合比率；以及图像混合单元，其通过根据所述混合比率来混合所述原始图像和所述第一恢复图像来产生第二恢复图像。

附图说明

通过参考附图详细描述其示范性实施例，上述和其它特征和方面将变得更加明显，在附图中：

图1是根据一示范性实施例的用于图像处理的装置的方框图；

图2是图1中图解的装置的图像恢复单元的方框图；

图3是示出根据一示范性实施例的在图2中图解的图像恢复单元的第一处理单元中使用的S曲线的示例的曲线图；

图4是示出根据一示范性实施例的在图2中图解的图像恢复单元的第二处理单元中使用的S曲线的示例的曲线图；

图5是根据一示范性实施例的用于图像处理的装置的方框图；以及

图6是根据一示范性实施例的用于图像处理的方法的流程图。

具体实施方式

下文中，将参照附图详细描述示范性实施例。

图1是根据一示范性实施例的用于图像处理的装置100的框图。

参考图1，所述装置100包括图像恢复单元110、混合比率确定单元120和图像混合单元130。

所述图像恢复单元110从原始图像101中消除失真分量并且产生第一恢复图像102。所述图像恢复单元110将由红(R)、绿(G)和蓝(B)分量组成的原始图像101变换成亮度分量和色彩分量。每一亮度分量可以被表示为通过将照明分量(即从光源投射的光量)和反射分量(即在物体上反射的光量)相乘获得的值。所述图像恢复单元110通过使用给定的滤波器将亮度分量划分成所述照明分量和所述反射分量。

根据一示范性实施例，由所述照明分量形成的图像被称为基本层，由所述反射分量形成的图像被称为细节层，而由所述色彩分量形成的图像被称为色彩层。

如果所述原始图像101被划分成基本层、细节层和色彩层，则所述图像恢复单元110从基本层、细节层和色彩层的每一个中消除失真分量，组合基本层、细节层和色彩层，并且产生第一恢复图像102。

稍后将参考图2详细描述图像恢复单元110。

混合比率确定单元120根据在原始图像101中的感兴趣区域的失真信息来确定在原始图像101和第一恢复图像102之间的混合比率。可以根据用户的输入来选择该感兴趣区域，或者可以在没有用户输入的情况下通过分析原始图像101来指定该感兴趣区域。

在前一种情况中，经由界面(未示出)接收用户的输入。用户可以经由界面选择在原始图像101中具有严重失真的区域作为感兴趣区域。

在后一种情况中，装置100可以分析该原始图像101并且可以选择在原始图像101中具有大量失真分量的区域作为感兴趣区域。例如，具有最大数量的代表大于门限值的值的高亮度分量的区域或者具有最大数量的代表小于门限值的值的低亮度分量的区域可以被选择作为感兴趣区域。

失真信息可以是可代表感兴趣区域中的失真程度的任何类型的信息。例如，可以使用原始图像101的亮度分量的平均值和标准偏差值。公式1示出通过使用原始图像101的亮度分量的平均值和标准偏差值来确定混合比率的示例。

公式1

$\mathrm{\α}=\left|\max (-\mathrm{\ρ},\min (\mathrm{\ρ},\frac{z}{z_{\max }})\right|$

在公式1中，Z＝(目标平均亮度值-平均亮度值)/标准偏差值，而Z表示标准分数(standard score)。如果亮度值在值0和255之间，则目标平均亮度值可以是值125。

Zmax表示预定义的最大标准分数，而ρ表示预定义的Z/Zmax的最大值。

如果强光照图像或弱光照图像存在，则图像可能具有严重失真。具有严重失真的图像的标准分数Z可能较大(或较小)，因此该混合比率可能被增大(或减小)。

图像混合单元130根据该混合比率混合原始图像101和第一恢复图像102并且产生第二恢复图像103。更具体地，图像混合单元130根据混合比率使用不同的权重将原始图像101的像素值与第一恢复图像102的像素值相加。相加得到的像素值被确定为第二恢复图像103的像素值。例如，如果原始图像101具有像素值200，第一恢复图像102具有像素值120，而混合比率是1∶3，则第二恢复图像103的对应像素值可以被确定为值140(200*0.25+120*0.75＝140)。

图像混合单元130可以混合原始图像101和第一恢复图像102的整个区域。可替换地，图像混合单元130可以仅混合原始图像101和第一恢复图像102的部分区域。例如，对于第二恢复图像103，可以仅混合原始图像101的感兴趣区域和第一恢复图像102的对应于该感兴趣区域的区域，而第二恢复图像103的剩余区域可以是原始图像101的剩余区域或者是第一恢复图像102的剩余区域。在一示范性实施例中，该对应区域指代第一恢复图像102的对应于感兴趣区域的区域。当失真分量集中在某一区域(诸如在背光图像中)时，仅混合原始图像101和第一恢复图像102的部分区域是合适的。

图2是图1中图解的图像恢复单元110的方框图。

参考图2，图像恢复单元110可以包括图像划分单元210和处理单元220。

图像划分单元210将原始图像101划分为基本层、细节层和色彩层。虽然可以使用各种滤波器，诸如单尺度retinex(SSR)、多尺度retinex(MSR)、和具有色彩恢复的多尺度retinex(MSRCR)，但是图像划分单元210可以使用边缘保留平滑滤波器以便防止诸如光圈效应、色彩失真和噪声放大的问题。图像划分单元210可以使用双向滤波器、西格马滤波器或平均偏移滤波器作为边缘保留平滑滤波器。

处理单元220从基本层、细节层和色彩层的每一个中消除失真分量。处理单元220可以包括从基本层中消除失真分量的第一处理单元222、从细节层中消除失真分量的第二处理单元224、和从色彩层中消除失真分量的第三处理单元226。

第一处理单元222处理基本层以便在阴影区域中的亮度动态范围的变化量大于在高亮区域中的亮度动态范围的变化量。人类视觉系统可以通过增加在阴影区域中的对比度的灵敏度来识别甚至在阴影区域中的物体。如在人类视觉系统中一样，第一处理单元222允许在阴影区域中的亮度动态范围的变化量大于在高亮区域中的亮度动态范围的变化量。

第一处理单元222可以使用S形状的曲线，诸如对数曲线(log curve)、双逻辑曲线(double logistic curve)、重对数曲线(loglog curve)、Agnesi箕舌线(Witch of Agnesi curve)、或逻辑曲线(logistic curve)。S形状的曲线可以这样形成以使得在阴影区域中的输入亮度值和输出亮度值的比值比在高亮区域中的大。

第一处理单元222可以通过使用公式2来处理基本层。

公式2

y＝log(x+1)-αlog(log(x)+1)

在公式2中，x表示基本层的亮度分量，而y表示输出亮度分量。稍后将参考图3描述在第一处理单元222中通过使用公式2来消除基本层的失真分量的方法。

第二处理单元224处理细节层以便消除在阴影区域中的噪声，同时保留在高亮区域中的细节。通常，细节分量和噪声分量在细节层中混合。在这种情况下，在阴影区域中的噪声分量/细节分量的比值比在高亮区域中的大。也即，在阴影区域中噪声分量的量相对较大。具体而言，由于第一处理单元222大大地增加了在阴影区域中的亮度动态范围，所以在阴影区域中的亮度动态范围也增加了。为了防止在阴影区域中的噪声的增加，第二处理单元224减少在阴影区域中的细节分量而增加在高亮区域中的细节分量。

第二处理单元224可以通过使用公式3处理该细节层。

公式3

$i\left(x\right)=\frac{x_i}{x_s}*p\left(x\right)$

在公式3中，i(x)表示像素x的细节分量，x_i表示在原始图像101中像素x的亮度分量，x_s表示在基本层中像素的亮度分量，而p(x)表示边缘阻尼项。

可以通过将原始图像101的亮度分量x_i除以基本层中的亮度分量x_s来获得细节分量i(x)。第二处理单元224通过将原始图像101的亮度分量x_i除以基本层中的亮度分量x_s并且乘以边缘阻尼项p(x)来计算细节分量i(x)。在这种情况下，通过适当地控制该边缘阻尼项p(x)，在阴影区域中的噪声可以被消除，而在高亮区域中的细节可以变得清晰。

公式4示出边缘阻尼项p(x)的示例。

公式4

$p\left(x\right)=\log \left(\frac{x_i}{\mathrm{\ρ}}\right)$

在公式4，x_i表示在原始图像101中的像素x的亮度分量，而ρ表示恒定值。如果需要，则可以将常数加到该对数函数中从而该对数函数具有大于“0”的值。

可以通过适当控制该恒定值ρ来确定在其上边缘阻尼项p(x)具有大于“1”的值的原始图像101的亮度分量x_i的值。如果边缘阻尼项p(x)具有小于“1”的值，则细节分量被减少。如果边缘阻尼项p(x)具有大于“1”的值，则细节分量被增加。

虽然在公式4中使用对数函数，但是也可以使用诸如重对数函数的其他类型的S曲线。

稍后将参考图4描述在第二处理单元224中处理细节分量的方法。

可以通过使用第一处理单元222和第二处理单元224的结果值来获得第一恢复图像102的亮度分量。公式5是用于获得第一恢复图像102的亮度分量的示范性公式。

公式5

E＝s(E₁+E₂)

在公式5，E表示第一恢复图像102的亮度分量，E₁表示被消除失真分量的基本层，E₂表示被消除失真分量的细节层，而s()表示使用标准偏差的移动/扩展函数。

移动/扩展函数s()适当地扩展第一处理单元222和第二处理单元224的结果值。

例如，假定第一处理单元222根据公式2处理基本层并且输入亮度值的最小范围是“0～255”。

输出亮度分量y的最小值是“0”，而输出亮度分量y的最大值是“log255-log(log255)”，这大约为“2”。也即，输出亮度分量y的范围减少到“0～2”。移动/扩展函数s()通过使用诸如线性扩展方法、指数扩展方法或对数扩展方法的各种方法来将输出亮度分量y的范围扩展回“0～255”的范围。

第三处理单元226根据原始图像101中的亮度分量和第一恢复图像102中的亮度分量的比率来校正色彩层。也即，根据亮度分量的变化量来校正色彩分量。

第三处理单元226可以根据公式6来执行色彩校正。

公式6

$C_{\mathrm{out}}=C_{\mathrm{in}}*\mathrm{\τ}*\frac{L^{\′}}{L}$

在公式6，C_out表示第一恢复图像102的色彩分量，C_in表示原始图像101的色彩分量，τ表示参数，L′表示第一恢复图像102的亮度分量，而L表示原始图像101的亮度分量。虽然在公式6中第一恢复图像102的色彩分量C_out和C_in*τ成比例，但是根据另一示范性实施例，第一恢复图像102的色彩分量C_out可以和C_in^τ或C_in*logτ成比例。

虽然通过第一处理单元222和第二处理单元224处理原始图像101的亮度分量L，但是原始图像101的饱和度没有增加，并因此色调被降低。因此，原始图像101的色彩分量C_in的饱和度必须被适当地控制。可以通过根据亮度分量的变化量控制饱和度来实现自然色。

图像恢复单元110还可以包括组合单元(未示出)。组合单元组合被消除失真分量的第一恢复图像102的亮度分量和色彩分量，并且将组合结果变换成RGB分量。

图3是示出根据一示范性实施例的在图2中图解的第一处理单元222中使用的S曲线的示例的曲线图。

在图3，水平轴表示输入亮度值，垂直轴表示输出亮度值。为了说明方便，垂直轴的尺度放大为水平轴的十倍。图3的S曲线满足y＝log(x)-log(log(x))。根据图3的S曲线，如果“10”和“100”作为输入亮度值被输入，则“1”和“1.7”分别作为输出亮度值被输出。

假定“9”、“10”、“200”和“201”也可以作为输入亮度值被输入。具有“9”和“10”的输入亮度值的像素可以对应于阴影区域，而具有“200”和“201”的输入亮度值的像素可以对应于高亮区域。

参考图3，y(10)-y(9)大于y(201)-y(200)。也即，在阴影区域中，尽管输入亮度值的差较小，但是输出亮度值的差相对较大。如此，增加了在阴影区域中的亮度分量的值范围。也即，扩展了亮度动态范围。另一方面，在高亮区域中，输出亮度值的差小于输入亮度值的差。因此，在高亮区域中的亮度动态范围没有被较大地扩展。

如此，通过比在高亮区域中更大地增加在阴影区域中的亮度动态范围可以有效地加亮阴影区域。

图4是示出根据一示范性实施例的在图2中图解的第二处理单元224中使用的S曲线的示例的曲线图。

图4的S曲线满足

在图4中，常数σ具有值7，水平轴表示原始图像的输入亮度值，而垂直轴表示边缘阻尼项的值。同样，为了说明方便，垂直轴的尺度放大为水平轴的十倍。

参考图4，如果输入亮度值x是“63”，则边缘阻尼项p(x)是“1”。因此，如果输入亮度值x小于“63”，则边缘阻尼项p(x)小于“1”。结果，边缘阻尼项p(x)在阴影区域中小于“1”而在高亮区域中大于“1”。

在其上输出亮度值p(x)是“1”的边界点根据常数σ的值改变。因此，可以通过控制常数σ的值来将具有期望值的输出亮度值p(x)指定为“1”。

如上参考图2所述，可以通过将原始图像的亮度分量除以基本层中的亮度分量并且乘以边缘阻尼项来计算第一恢复图像的细节分量。根据图4的S曲线，边缘阻尼项在阴影区域具有小于“1”的值，而在高亮区域具有大于“1”的值。因而，通过减小在阴影区域中的细节分量来消除噪声。同样，边缘阻尼项使得在高亮区域中的细节分量清晰以清晰地示出边缘。

图5是根据一示范实施例的用于图像处理的装置500的框图。

参考图5，所述装置500包括第一变换单元510、图像划分单元520、第一处理单元532、第二处理单元534、第三处理单元536、移动/压缩单元540、第二变换单元550、界面单元560、混合比率确定单元570和混合单元580。

如同在人类视觉系统中一样，第一变换单元510将由RGB分量形成的输入图像划分为亮度分量和色彩分量。将稍后描述，通过第一处理单元532和第二处理单元534来校正亮度分量，以及稍后将描述，通过第三处理单元536校正色彩分量。

图像划分单元520通过使用边缘保留平滑滤波器将原始图像划分为基本层、细节层和色彩层。

第一处理单元532扩展基本层中的亮度动态范围。具体地，如在人类视觉系统中一样，第一处理单元532通过处理基本层从而在阴影区域中的亮度动态范围的变化量大于在高亮区域中的变化量来增加在阴影区域中的对比度的灵敏度。

第二处理单元534处理细节层从而消除在阴影区域中的噪声分量，并且清楚地保留在高亮区域中的细节分量。更具体地，通过使得边缘阻尼项在阴影区域具有小于“1”的值而在高亮区域中具有大于“1”的值，在阴影区域中的细节分量的变化量不同于高亮区域中的变化量。

第三处理单元536根据在第一恢复图像的亮度分量和原始图像的亮度分量之间的变化量处理该色彩层。

移动/压缩单元540扩展第一处理单元532和第二处理单元534的结果值的范围。移动/压缩单元540可以通过使用线性扩展方法或非线性扩展方法来扩展该结果。

第二转换单元550从移动/压缩单元540中接收第一恢复图像的亮度分量，从第三处理单元536接收第一恢复图像的色彩分量，并且将亮度分量和色彩分量变换为RGB分量。

界面单元560接收用于选择感兴趣区域的用户的输入。

混合比率确定单元570根据感兴趣区域的失真信息来确定在原始图像和第一恢复图像之间的混合比率。

混合单元580根据该混合比率来混合该原始图像和第一恢复图像。

图6是根据一示范性实施例的用于图像处理的方法的流程图。

参考图6，在操作s610中，通过从原始图像中消除失真分量来产生第一恢复图像。操作s610可以包括处理基本层从而在阴影区域的亮度动态范围的变化量大于在高亮区域中的该变化量；减少在阴影区域中的细节分量并且增加在高亮区域中的细节分量；并且根据在第一恢复图像中的亮度分量和原始图像中的亮度分量之间的变化量来校正色彩层。

在操作s620，根据在原始图像中的感兴趣区域的失真信息来确定在原始图像和第一恢复图像之间的混合比率。可以根据在原始图像中的亮度分量的平均值和标准偏差值来确定该混合比率。

在操作s630中，通过根据该混合比率来混合原始图像和第一恢复图像而产生第二恢复图像。可以混合原始图像和第一恢复图像的整个区域。替换地，可以仅混合原始图像和第一恢复图像的部分区域。

上述示范性实施例可以被写成计算机程序并且能够在使用计算机可读记录介质执行该程序的通用数字计算机中实现。

计算机可读记录介质的例子包括磁存储介质(例如，ROM、软盘和硬盘等)、光记录介质(例如，CD-ROM或DVD)等。

上述示范性实施例仅仅是示范性的，并且不应被曲解为限制权利要求的范围。形式和细节上的各种改变对本领域技术人员将是明显的。

对相关申请的交叉引用

本申请要求于2009年7月28日在韩国知识产权局提交的韩国专利申请第10-2009-0068960号的优先权，其公开在此通过引用方式而被整体并入。

Claims (15)

1.一种图像处理的方法，包括：

通过从原始图像中消除失真分量来产生第一恢复图像；

根据在所述原始图像中的感兴趣区域的失真信息来确定在所述原始图像和所述第一恢复图像之间的混合比率；以及

通过根据所述混合比率来混合所述原始图像和所述第一恢复图像而产生第二恢复图像。

2.如权利要求1所述的方法，其中，确定所述混合比率的步骤包括：根据在所述原始图像中的亮度分量的平均值和标准偏差值来确定所述混合比率。

3.如权利要求1所述的方法，其中，产生所述第二恢复图像的步骤包括：根据所述混合比率，混合在所述原始图像的所述感兴趣区域中的像素和在所述第一恢复图像中的对应于所述感兴趣区域的区域中的像素。

4.如权利要求1所述的方法，其中，产生所述第一恢复图像的步骤包括：

通过使用边缘保留平滑滤波器来将所述原始图像划分为基本层、细节层和色彩层；以及

从所述基本层、所述细节层和所述色彩层的每一个中消除失真分量。

5.如权利要求4所述的方法，其中，消除所述失真分量的步骤包括：处理所述基本层以便在阴影区域中的亮度动态范围的变化量大于在高亮区域中的亮度动态范围的变化量。

6.如权利要求4所述的方法，其中，消除所述失真分量的步骤包括：减少在阴影区域中的细节分量，而增加在高亮区域中的细节分量。

7.如权利要求4所述的方法，其中，消除所述失真分量的步骤包括：根据在所述原始图像中的至少一个亮度分量和在所述第一恢复图像中的至少一个亮度分量之间的变化量来校正该色彩层。

8.一种用于图像处理的装置，包括：

图像恢复单元，其从原始图像中消除失真分量并且产生第一恢复图像；

混合比率确定单元，其根据在所述原始图像中的感兴趣区域的失真信息来确定在所述原始图像和所述第一恢复图像之间的混合比率；以及

图像混合单元，其通过根据所述混合比率来混合所述原始图像和所述第一恢复图像而产生第二恢复图像。

9.如权利要求8所述的装置，其中，所述混合比率确定单元根据在所述原始图像中的亮度分量的平均值和标准偏差值来确定所述混合比率。

10.如权利要求8所述的装置，其中，所述图像混合单元根据所述混合比率，混合在所述原始图像的所述感兴趣区域中的像素和在所述第一恢复图像中的对应于所述感兴趣区域的区域中的像素。

11.如权利要求8所述的装置，其中，所述图像恢复单元包括：

图像划分单元，其通过使用边缘保留平滑滤波器将所述原始图像划分为基本层、细节层和色彩层；

处理单元，其从所述基本层、所述细节层和所述色彩层的每一个中消除失真分量。

12.如权利要求11所述的装置，其中，所述处理单元包括：第一处理单元，其处理所述基本层以便在阴影区域中的亮度动态范围的变化量大于在高亮区域中的亮度动态范围的变化量。

13.如权利要求11所述的装置，其中，所述处理单元包括：第二处理单元，其减少在阴影区域的细节分量，而增加在高亮区域中的细节分量。

14.如权利要求11所述的装置，其中，所述处理单元包括：第三处理单元，其根据在所述原始图像中的至少一个亮度分量和所述第一恢复图像中的至少一个亮度分量之间的变化量来校正所述色彩层。

15.一种计算机可读记录介质，其上记录有用于执行如权利要求1到10中的任何一个所述的方法的计算机程序。

Images