CN104346774A - 用于图像增强的方法和装置 - Google Patents

Abstract

本发明的实施例涉及用于图像增强的方法和装置。特别地，公开了一种用于增强图像的方法，所述方法包括：估计所述图像的不清晰度；基于所述不清晰度来确定所述图像中至少一个像素的保护水平；以及修改所述至少一个像素的值以增强所述图像，所述修改的量至少部分地基于所述保护水平而确定。还公开了相应的装置和用户设备。

Description

用于图像增强的方法和装置

技术领域

本发明的实施例涉及图像处理技术，更具体地，涉及用于图像增强的方法和装置。

背景技术

在过去数年间，图像捕获和处理技术已经获得了显著的发展和进步。目前，照相机、摄像机等图像捕获设备已经能够一体化地集成在诸如移动电话、个人数字助理(PDA)、平板式计算机、膝上型计算机等各种计算设备中。在目前的图像捕获和处理技术中，一个主要的挑战来自于拍摄环境对图像质量的影响。例如，在低光环境或是有雾的自然环境中，所捕获图像的质量通常将会明显下降，例如表现为图像中的景物模糊等等。

为了缓解这一问题，已经提出了一些解决方案。例如，已经提出每当用户发出捕获图像的指令时，利用不同的参数(例如，曝光参数，焦距，等等)拍摄一系列图像并且将这些合成在一起以获得最终图像，从而消除由低光带来的不利影响。然而，这种方法需要较高的计算代价，而且并非所有图像捕获设备都允许对参数的控制。更重要的是，这种方案无法满足实时图像增强的需求。例如，尽管得到的最终结果图像的质量可被增强，但是用户在取景器中所看到的表示场景的实时图像的质量却没有得到提高。因此，图像捕获过程中的用户体验没有得到改善。可见，这种图像增强方案不适用于实时的图像/视频增强。

另一方面，某些已知的方案借助于纯计算机软件来解决这一问题。例如，可以通过改进图像或视频帧的对比度来增强低光条件下的图像质量。备选地或附加地，可以执行专门的去雾(fog removal)过程或者去低光照过程，以基于成像模型来消除图像中的有雾区域或者低光照区域。然而，利用这种方法处理的图像常常包含很多噪声并且是不稳定的。例如，在执行去雾和去光照的区域中可能产生鳞片状的视觉效果，这在图像增强过程中错误地引入了噪声。这种现象可以成为“过移除”(over-removal)，它使得图像增强的结果不稳定、不可靠，并且会影响结果图像的视觉效果。

有鉴于此，本领域中需要一种能够适用于实时图像增强、同时避免过移除的图像增强技术。

发明内容

为了克服现有技术中的上述问题，本发明提出一种用于增强图像的方法和装置。

在本发明的一个方面，提供一种用于增强图像的方法。该方法包括：估计所述图像的不清晰度；基于所述不清晰度来确定所述图像中至少一个像素的保护水平；以及修改所述至少一个像素的值以增强所述图像，所述修改的量至少部分地基于所述保护水平而确定。

在本发明的另一方面，提供一种用于增强图像的装置。该装置包括：不清晰度估计单元，被配置为估计所述图像的不清晰度；修改保护单元，被配置为基于所述不清晰度来确定所述图像中至少一个像素的保护水平；以及图像增强单元，被配置为修改所述至少一个像素的值以增强所述图像，所述修改的量至少部分地基于所述保护水平而确定。

通过下文描述将会理解，根据本发明的实施例，在对图像执行增强时，图像中的不清晰度(例如，雾的浓度，暗度，等等)被定量地纳入考虑。以此方式，在对图像进行增强时，对图像中任何给定像素的修改量可以至少部分地基于图像的总体不清晰度而自适应地确定。而且，根据某些可选实施例，修改量还可取决于所修改的像素是否处于不清晰区域中。根据本发明的实施例，对于具有浓雾和/或光线非常暗淡的图像，图像增强的力度被适当地衰减。这可以有效地防止增强后的图像中出现过移除的现象，从而获得更加逼真、自然和可接受的视觉效果。而且，本发明的实施例适用于实时图像增强，使得用户在获得更好质量的图像的同时，还可以对图像捕获过程具有更加直观、方便的控制。

附图说明

通过参考附图阅读下文的详细描述，本发明实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施例，其中：

图1示出了根据本发明的示例性实施例的用于增强图像的方法的流程图；

图2示出了根据本发明的另一示例性实施例的用于增强图像的方法的流程图；

图3示出了根据本发明的示例性实施例的用于估计图像的不清晰度的示意图；

图4示出了分别利用根据本发明的示例性实施例和传统方法对图像执行去雾处理的示意图；

图5示出了分别利用根据本发明的示例性实施例和传统方法对图像执行去低光照处理的示意图；

图6示出了根据本发明的示例性实施例的用于增强图像的装置的框图；以及

图7示出了可用于实现本发明的示例性实施例的用户设备的示意性框图。

在各个附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考附图中示出的若干示例性实施例来描述本发明的原理和精神。应当理解，描述这些实施例仅仅是为了使本领域技术人员能够更好地理解和实现本发明，并非以任何方式限制本发明的范围。

首先参考图1，其示出了根据本发明的一个示例性实施例的用于增强图像的方法100的流程图。请注意，在本申请的上下文中，术语“图像”可以是静态图像，也可以是活动影像(例如，视频)中的图像(即，帧)。图像可以利用任何适当的捕获设备/手段来获取，并且可以按照任何适当的格式来存储和处理，本发明的范围在此方面不受限制。

如图所示，在方法100开始之后，在步骤S101估计所处理的图像的不清晰度。在此使用的术语“不清晰度”是指由于捕获图像时的环境因素而在图像中导致的不清晰或者说模糊的程度。可以理解，例如雾、霾、烟尘、雨雪、低光等各种因素都可能导致图像中景物的模糊。在传统方法中，图像增强过程并未对图像中的不清晰度进行定量地考虑，从而导致了过移除等现象的发生。与此不同，根据本发明的实施例，将定量地估计图像的总体不清晰度以便在增强图像清晰度的同时避免过移除。

为讨论方便之目的，在下文描述中，可能使用“雾的浓度”作为不清晰度的示例。然而，这仅仅是示例性的而并非意在限制本发明的范围。可以理解，下文结合雾的浓度所描述的各种实施例同样适用于由于其他因素而引起的图像模糊。例如，由于低光条件而引起的不清晰度称为暗度(darkness)。根据本发明的实施例，可以将暗度转换为雾的浓度，并且去雾处理来实现对图像的增强。例如，可以对低光条件下捕获的图像取反，从而将低光区域将被转换为高亮度区域。此时，高亮度区域可被视为有雾区域。由此，原始图像的暗度可以由取反图像的雾的浓度来表示。

根据本发明的实施例，在步骤S101，可以利用各种方式来估计图像的图清晰度。以雾的浓度为例，图像中有雾区域中的像素的亮度通常高于其他区域中的像素。因此，根据某些实施例，可以将图像中亮度高于特定阈值的多个像素(例如，最亮的前20％的像素)的平均颜色值定义为雾的浓度。注意，这仅仅是示例性的，任何目前已知或者将来开发的适当方法都可以用来估计图像中雾的浓度。这方面的其他示例性实施例将会在下文详述。

接下来，方法100进行到步骤S102，在此基于在步骤S101中确定的图像的不清晰度，确定图像中的至少一个像素的保护水平。这里所说的“至少一个像素”是指在图像增强中其值将被改变的像素。根据某些实施例，可以针对图像中的所有像素确定相关联的保护水平。备选地，可以仅根据图像中的某些特定区域而确定该区域中的像素的保护水平。这样的区域可以是自动确定的，也可以是用户手工指定的。本发明的范围在此方面不受限制。

在此使用的术语“保护水平”表示在图像增强中对相关联的像素的处理力度或幅度，保护水平越高则处理力度越小。根据本发明的实施例，一般而言，图像的总体不清晰度越高，则图像中各像素的保护水平越高。这样，对于薄雾条件下捕获的图像，将以较大的幅度执行去雾过程，从而提高图像中景物的清晰度；另一方面，对于在浓雾条件下捕获的图像，则将以较小的幅度执行去雾过程，从而防止发生现有技术中那样的过移除现象。根据本发明的实施例，可以利用任何适当的增函数来建立图像的不清晰度与像素保护水平之间的关联，使得像素保护水平随着图像不清晰度的增大而提高。例如，分段函数、阶梯函数、线性函数、指数函数、对数函数等等均可与本发明的实施例结合使用。下文将详细描述这方面的若干实施例。

备选地或附加地，根据本发明的实施例，像素的保护水平还可以与该像素与图像总体不清晰度之间的关系有关。例如，对于给定的雾的浓度，一个像素的值与雾的浓度的差距越小，则表明该像素处于有雾区域的可能性越大，导致该像素的保护水平越高。反之，一个像素的值与雾的浓度的差距越大，则该像素处于有雾区域的可能性越小，导致该像素的保护水平越低。以此方式，可以以较小的力度处理对有雾或浓雾区域中的像素，而以较大的力度处理无雾或薄雾区域中的像素。

接下来，在步骤S103，对图像中的至少一个像素进行图像增强处理。在诸如去雾、去低光照等图像增强过程中，相关像素的值将被改变以提高图像的清晰程度。特别地，根据本发明的实施例，对像素的修改的量至少部分地由步骤S102处确定的保护水平确定。以去雾处理为例，如上文所述，一个像素的保护水平越高，对该像素的修改量越小；反之，一个像素的保护水平越低，对该像素的修改量越大。

在图1描述的实施例中，方法103在步骤S103之后结束。根据本发明的实施例，图像的不清晰度(例如，雾的浓度)被引入图像增强(例如，去雾处理)的过程中。由此，区别于现有技术，在本发明的实施例中，每个像素的处理力度可以根据图像的总体不清晰度和该像素所在的区域而动态地、自适应地确定。这样，可以在图像增强与视觉效果之间取得适当的平衡，从而获得更加逼真、自然和可接受的视觉效果。

下面参考图2描述本发明另一示例性实施例的用于增强图像的方法200。方法200可以被认为是上文参考图1描述的方法100的一种特定实现。如图所示，在方法200开始之后，在步骤S201-S203，估计待增强图像的不清晰度。换言之，步骤S201-S203在功能上对应于上文描述的方法100中的步骤S101。

具体而言，在步骤S201，从图像中提取空间结构信息。根据本发明的实施例，空间结构信息用于描述图像中所包含的场景的结构化特征。根据某些实施例，这种空间结构信息可以通过对图像执行边缘提取来实现。换言之，可以利用图像场景中的边缘信息作为结构信息。在此方面，任何目前已知或者将来开发的边缘提取算法均可与本发明的实施例结合使用。

备选地或附加地，可以通过对图像执行不同尺度的滤波来实现结构信息的提取。例如，如图3所示，可以利用第一尺度的第一滤波器对原始图像300进行滤波以获得第一中间图像301。另外，利用第二尺度的第二滤波器对原始图像300进行滤波以获得第二中间图像302，其中第二尺度大于第一尺度。换言之，与第一滤波器相比，第二滤波器是大尺度滤波器。根据本发明的实施例，第一滤波器和第二滤波器例如可以是线性滤波器、高斯滤波器，等等。而后，计算第一中间图像301和第二中间图像302的差，得到差图像303。差图像303所包含的信息可被用作原始图像300中场景的空间结构信息。其他从图像中提取结构信息的方法也是可行的，本发明的范围在此方面不受限制。

接下来，在步骤S202，基于原始图像以及在步骤S201处提取的空间结构信息生成修正图像(corrected image)。例如，根据某些实施例，可以通过从原始图像中移除空间结构信息来获得该修正图像。仍然参考图3，可以从原始图像300中减去差图像302来生成修正图像304。备选地，也可以通过从原始图像的派生图像中移除空间结构信息来生成修正图像。例如，根据某些实施例，可以从图3中所示的第二中间图像30１(通过较大滤波尺度的第二滤波器得到的中间图像)中减去差图像303来生成修正图像304。其他实施例也是可行的，本发明的范围在此方面不受限制。

接下来，在步骤S203，基于修正图像来估计原始图像的不清晰度。例如，可以选择修正图像中亮度大于阈值的像素。该阈值可以是预先确定的，也可以是动态确定的。例如，作为一个示例，可以选择图像中特定数目的最亮像素，例如亮度排在前20％的像素。被选择的像素的值(例如，在一个或多个颜色通道中的值)的平均值被计算，以作为图像的不清晰度的定量值。

可以理解，在上文描述的步骤S201-S203中，在修正图像304中移除了原始图像300中的结构信息。以此方式，在确定不清晰度时，可以避免由于前景结构中存在某些颜色较浅的物体而过高地估计图像的不清晰度。这样，与直接从原始图像估计不清晰度相比，所估计的不清晰度能够更加准确地反映拍摄原始图像时的环境因素。

继续参考图2，如果当前所处理的图像是一个动态影像(例如，视频)中的帧，则根据某些可选实施例，可以在步骤S204处利用视频中的至少一个先前帧的不清晰度，更新当前图像的不清晰度。这种时间轴上的更新有助于提高不清晰度的连续性和平滑性。具体而言，假设当前图像的估计的不清晰度为D_t，则可以通过如下方式对D_t进行更新：

$\begin{array}{c}{D}_t=(1-\mathrm{\η})\·D_{t-1}+\mathrm{\η}\·D_t\\ ={(1-\mathrm{\η})}^{t-1}\·D_1+\mathrm{\η}\·\underset{i=2}{\overset{t}{\mathrm{\Σ}}}{(1-\mathrm{\η})}^{t-i}\·D_i\end{array}---\left(1\right)$

其中D_i表示先前计算的视频中第i帧的不清晰度(i＝2，...，t)，并且η表示取值范围在[0，1]之间的平滑参数(例如，可以取0.5)。通过这种时间轴上的平滑，可以避免图像不清晰度的估计在视频帧之间发生跳跃。

接下来，方法200进行到步骤S205，在此确定图像中的至少一个像素的保护水平。可以理解，在此描述的步骤S205是上文参考图1描述的方法100中的步骤S102的一种特定实现。具体而言，在步骤S205，对于图像中的任何一个给定像素，可以基于该像素的值和在步骤S203处估计的不清晰度计算针对该像素的调节因子。根据本发明的实施例，该调节因子将被用于在图像增强过程中控制对关联像素的处理力度。

根据某些实施例，针对图像中的像素(x，y)，其调节因子可以计算如下：

${\mathrm{coff}}_j(x,y)=\frac{|G_{t,j}(x,y)-D_t|}{|D_t-\mathrm{\δ}|}---\left(2\right)$

其中j表示颜色通道，例如在RGB(红绿蓝)颜色空间中j∈{R，G，B}；G_t，j(x，y)表示像素在颜色通道j中的初始值；D_t表示图像的不清晰度；并且δ是一个表示清晰度的先验系数。在这种实施例中，可以理解，调节因子的范围在[0，１]之间。

仍然考虑有雾图像作为示例，其中D_t是雾的浓度，而系数δ是在清朗、无雾的条件下捕获的图像的像素值。例如，根据某些实施例，δ可以取128或者其他任何适当的数值。可以理解，根据上面描述的公式求得的调节因子coff与雾的浓度成反比，而与当前像素的值与雾的浓度之间的差成正比。由此，该调节因子不仅指示了图像中的雾的浓厚程度，而且还指示当前像素处于图像中不清晰区域中的概率(即，处于有雾区域还是无雾区域)。在这些实施例中，调节因子可以充当像素的保护水平，并且被用来调节在图像增强中对像素的处理力度，如下文详述。

继续参考图2，根据某些可选实施例，在步骤S206处估计大气光在图像中的给定像素处的反射信息。在此方面，可以利用目前已知或者将来开发的各种方法来估计大气光在一个像素处的反射信息。例如，根据某些实施例，可以基于原始图像获得反射图(transmissionmap)。反射图中的每个点的值反映对应的像素在原始图像中的大气光反射情况。作为示例，可以在反射率估计之前通过基于暗通道(darkchannel)优化成像模型来粗略地估计反射图。获得反射图的各种方法是本领域中已知的，在此不再赘述其细节。

接下来，根据某些可选实施例，方法200进行到步骤S207，在此估计图像的大气光(atmospheric light)。如本领域中已知的，大气光学构成了人眼视觉效果的基础，雾等自然因素所导致的视觉效果本质上是由大气光的吸收和散射形成的。在估计大气光时，根据某些实施例，可以直接将图像中亮度最大的像素的值作为大气光的值。备选地，为了排除场景中某些浅色(例如，白色)物体的影响以进一步提高大气光的精度，可以基于多个随机种子来估计大气光。具体而言，最初，可以在图像上随机地放置M个种子(M为大于1的任何自然数，例如50)，其中每个种子被表示为一个多边形，例如(m/2)*(n/2)尺寸的矩形。对于每个种子，获得关联矩形内的每个像素的各颜色通道(例如，RGB通道)的最小值c_i，并且计算该种子的所有c_i的平均值。此后，从这M个种子中选择平均值最大的一个种子，同时丢弃其他M-1个种子。对于所选择的种子，在其相关联的矩形内再次随机放置M个种子，每个种子的矩形框缩小到例如(m/4)*(n/4)。迭代地重复基于平均颜色值的种子选择过程，直到种子的关联矩形框大小小于预定阈值。在最后剩余的种子的矩形框内具有最大灰度值的像素的值(例如，颜色值)被选择，以作为图像中大气光的值。

根据某些可选实施例，如果当前图像是视频中的帧，则在步骤S207处估计出的大气光可以基于视频中的至少一个先前帧的大气光而被更新：

$\begin{array}{c}{A}_{t,j}=(1-\mathrm{\η})\·A_{t-1,j}+\mathrm{\η}\·A_{t,j}\\ ={(1-\mathrm{\η})}^2\·A_{t-2,j}+(1-\mathrm{\η})\·\mathrm{\η}\·A_{t-1,j}+\mathrm{\η}\·A_{t,j}\\ ={(1-\mathrm{\η})}^{t-1}\·A_{1,j}+\mathrm{\η}\·\underset{i=2}{\overset{t}{\mathrm{\Σ}}}{(1-\mathrm{\η})}^{t-i}\·A_{t,j}\end{array}---\left(3\right)$

其中A_i，j(i＝2，...，t)表示第i帧在颜色通道j中的大气光的值，η表示平滑系数，可以取0-1之间的适当值，例如可以是0.5。通过这种时间轴上的平滑，可以避免大气光的估计在视频帧之间不连续。

请注意，步骤S207是可选的。根据某些实施例，大气光的值可以是预先确定的，或者可由用户输入。而且，在计算大气光的实施例中，也并非必须利用先前图像的大气光进行时间上的更新和平滑。

返回图2，在步骤S208，基于像素的值、图像的不清晰度以及大气光的反射信息，计算图像的大气光与真实场景辐射的偏离程度。例如，根据本发明的某些实施例，与像素(x，y)相关联的大气光偏离程度可以计算如下：

$\frac{G_{t,j}(x,y)-D_t}{P_t(x,y)}---\left(4\right)$

其中G_t，j(x，y)表示该像素的值(例如，在颜色通道j中的值)，其范围例如在[0，255]之间；D_t表示图像的不清晰度；P_t(x，y)表示该像素处的大气光反射信息。请注意，这仅仅示例，可以采用任何适当的函数来表征大气光在一个像素处的偏离程度与图像的不清晰度和/或该像素的值之间的关系。本发明的范围在此方面不受限制。

在随后的步骤S209，利用在步骤S205处计算的调节因子，对步骤S208处计算的大气光偏离程度进行调节。例如，根据某些实施例，对大气光偏离程度的调节可以如下实现：

$\frac{G_{t,j}(x,y)-D_t}{P_t(x,y)}\·{\mathrm{coff}}_j(x,y)---\left(5\right)$

如上所述，在结合图2所描述的实施例中，调节因子实质上表示像素的保护水平。因此，当图像中的不清晰程度较高和/或当前考虑的像素落入不清晰区域的概率较大时，偏离程度将被较大地衰减。相应地，如下文所述，该像素在图像增强处理中被修改的幅度将较小。

方法200继而进行到步骤S210，在此基于经过调解的偏离程度和大气光来修改像素的值，从而实现对原始图像的增强。例如，根据某些实施例，对像素值的修改可以如下实现：

$G_{t,j}^{\′}(x,y)=\frac{G_{t,j}(x,y)-D_t}{P_t(x,y)}\·{\mathrm{coff}}_j(x,y)+A_{t,j}---\left(6\right)$

其中G′_t，j(x，y)是该像素在颜色通道j中的修正后的值，其取值范围例如也在[0，255]。可以理解，根据公式(6)，例如除雾的图像增强是通过以项(G_t，j(x，y)-D_t)/P_t(x，y)来逼近A_t，j而实现的。以此方式，可以基于大气光在像素处的反射情况以及这种反射与实际场景辐射的偏离，来对像素的值进行了自适应的修正，从而能够实现图像增强。特别地，对像素值的修正的量可由图像中的不清晰度(例如，雾的浓度)以及像素在不清晰区域(例如，有雾区域)中的概率来确定，从而有效地避免了过移除。

仍然考虑去雾作为示例，并且假设用于计算调节因子的公式(2)δ＝128。此时，如果D_t≤128，则图像很可能比较清晰而没有雾。此时，可以以较大的量修改像素的值。反之，如果D_t＞＞128，则表明图像中可能存在浓雾。相应地，更多的满足G_t，j(x，y)∈[Ｄ_ｔ-|Ｄ_ｔ-128|，D_t+|Ｄ_ｔ-128|]的像素将由调节因子衰减，由此确保其在图像增强中被修改的量不会过大。而且，对于任何给定的雾的浓度，值靠近D_t的像素集中的区域将不会被过度增强，从而防止过移除的发生。

方法200在步骤S210之后结束。请注意，方法200中的若干步骤是可省略的，如上文所述。而且，方法步骤的顺序并不受到限制。例如，对大气光、大气光的反射情况以及调节因子的计算可以按照任意顺序来执行，甚至可以并行地执行。还应注意，结合图2描述的诸多特征都仅仅是示例性的。例如，尽管上文结合RGB颜色模型描述了颜色通道，但是本领域技术人员将会理解，本发明的范围在此方面不受限制。任何目前已知或者将来开发的适当颜色通道均可与本申请的实施例结合使用。

参考图4，其示出了利用本发明的实施例来执行图象增强的一个示例。在图4中，图像401和402分别是利用本发明的实施例和传统方法对在有雾条件下捕获的图像400执行去雾处理之后得到的结果图像。根据传统方法，没有考虑图像的不清晰度(在此例中是雾的浓度)，并且简单地将图像中最亮像素的值估计为大气光。可以看到，利用这种传统方法处理得到的图像402中含有明显的鳞片状特征，影响了图像的总体视觉效果。相反，在利用本发明实施例处理得到的图像401中，在图像增强与视觉效果之间取得了良好的平衡。

图5示出了利用本发明的实施例执行图象增强的另一示例。在图5中，图像50１和502分别是利用本发明的实施例和传统方法对在低光条件下捕获的图像500执行去低光照处置之后得到的图像。可以看到，利用本发明实施例去除低光照之后的结果图像501具有更好的视觉效果。

现在参考图6，其示出了根据本发明一个示例性实施例的用于增强图像的装置600的框图。如图所示，装置600包括：不清晰度估计单元601，被配置为估计所述图像的不清晰度；修改保护单元602，被配置为基于所述不清晰度来确定所述图像中至少一个像素的保护水平；以及图像增强单元603，被配置为修改所述至少一个像素的值以增强所述图像，所述修改的量至少部分地基于所述保护水平而确定。

根据某些实施例，装置600可以进一步包括：结构提取单元，被配置为从所述图像中提取空间结构信息。在这些实施例中，不清晰度估计单元601可被配置为基于所述图像和所述空间结构信息来估计所述不清晰度。而且，装置600可以进一步包括：第一滤波单元，被配置为利用第一尺度的第一滤波器对所述图像进行滤波以获得第一中间图像；以及第二滤波单元，被配置为利用第二尺度的第二滤波器对所述图像进行滤波以获得第二中间图像，所述第二尺度大于所述第一尺度。此时，结构提取单元可被配置为计算所述第一中间图像与所述第二中间图像的差作为所述空间结构信息。相应地，不清晰度估计单元601可被配置为从所述第二中间图像移除所述空间结构信息以生成修正图像，以及计算所述修正图像中亮度大于阈值的像素的平均值作为所述不清晰度。

根据某些实施例，所处理的图像可以是视频中的帧。此时，装置600可以进一步包括：不清晰度更新单元，被配置为利用所述视频中在所述图像之前的至少一个帧的所述不清晰度，来更新所述图像的所述不清晰度。

根据某些实施例，修改保护单元602可以包括：调节因子计算单元，被配置为基于所述至少一个像素的所述值和所述不清晰度，来计算针对所述至少一个像素的调节因子，所述调节因子至少指示所述至少一个像素属于所述图像中的不清晰区域的概率。在这些实施例中，装置600可以进一步包括：反射估计单元，被配置为估计大气光在所述至少一个像素处的反射信息；偏离计算单元，被配置为基于所述至少一个像素的所述值、所述不清晰度和所述反射信息，计算所述大气光在所述至少一个像素处与真实场景辐射的偏离程度；以及调节单元，被配置为利用所述调节因子来调节所述偏离程度。相应地，图像增强单元603被配置为基于经调节的偏离程度和所述大气光来修改所述至少一个像素的所述值。

根据某些实施例，装置600可以进一步包括：大气光估计单元，被配置为迭代地利用随机分布在所述图像中的多个种子来估计所述图像中的大气光，以用于对所述至少一个像素的所述值的所述修改。可选地，如果图像是视频中的帧，则装置600可以进一步包括：大气光更新单元，被配置为利用所述视频中在所述图像之前的至少一个帧中的所述大气光，来更新所述图像的所述大气光。

如上文所述，根据某些实施例，图像的所述不清晰度是所述图像中雾的浓度或者暗度。

应当理解，为清晰起见，在图6中没有示出装置600可选单元和子单元。然而，应当理解，上文参考图1和图2所描述的各个特征同样适用于装置600。而且，这里所用的术语“单元”既可以是硬件模块，也可以是软件单元模块。相应地，装置600可以通过各种方式实现。例如，在某些实施例中，装置600可以部分或者全部利用软件和/或固件来实现，例如被实现为包含在计算机可读介质上的计算机程序产品。备选地或附加地，装置600可以部分或者全部基于硬件来实现，例如被实现为集成电路(IC)、专用集成电路(ASIC)、片上系统(SOC)、现场可编程门阵列(FPGA)等。本发明的范围在此方面不受限制。

下面参考图7，其示出了本发明的示例性实施例可实现于其中的示例性用户设备700的框图。设备700可以是具有无限通信能力的移动设备。然而，应当理解，这仅仅是示例性和非限制性的。其他的用户设备类型也可以容易地采取本发明的实施例，诸如便携式数字助手(PDA)、寻呼机、移动计算机、移动TV、游戏装置、膝上式计算机、照相机、视频照相机、GPS设备和其他类型的语音和文本通信系统。固定类型的用户设备可以同样简单地使用本发明的实施例。

设备700包括可操作与发射器714和接收器716通信的一个或多个天线712。设备700还包括至少一个处理器控制器720。应当理解，控制器720包括实现移动终端700的功能所需要的电路。例如，控制器720可以包括数字信号处理器设备、微处理器设备、A/D转换器、D/A转换器以及其他支持电路。设备700的控制和信号处理功能根据这些设备各自的能力分配。设备700还可以包括用户接口，例如可以包括振铃器722、扬声器724、扩音器726、显示器728以及小键盘730，所有上述部件都耦合至控制720。

设备700还可以包括照相机模块736。根据本发明的实施例，照相机模块736至少可以包括用于捕捉静态图像和/或动态图像的图像捕获装置，以及如上文描述的图像增强装置(例如，装置600)。当然，图像增强装置也可以在设备700中独立于照相机模块736而定位，本发明的范围在此方面不受限制。

设备700还包括电池734，诸如振动电池组，用于向操作移动终端700所需要的各种电路供电，并且备选地提供机械振动作为可检测的输出。设备700还包括用户识别模块(UIM)738。UIM738通常是具有内置的处理器的存储器设备。UIM738可以例如包括订户识别模块(SIM)、通用集成电路卡(UICC)、通用用户识别模块(USIM)或可移动用户识别模块(R-UIM)等等。UIM738可以包括根据本发明的实施例的卡连接检测装置。

设备700还包括存储器。例如，设备700可以包括易失性存储器740，例如，包括高速缓存区域中的用于临时存储数据的易失性随机存取存储器(RAM)。设备700还可以包括其他的可以是嵌入的或可移动的非易失性存储器742。非易失性存储器742可以附加地或备选地例如包括EEPROM和闪存等。存储器可以存储多个信息片段中的任意项和设备700使用的数据，以便实现设备700的功能。应当理解，图7中的结构框图仅仅示出用于说明目的，并非旨在限制本发明的范围。在某些情况下，某些设备可以按需要被增加或减少。

如上描述的本发明的若干示例性实施例仅仅用于说明目的。本发明的实施例可以利用软件、硬件或其组合实现。硬件部分可以通过专用逻辑实现；软件部分可以被存储在存储器中并且通过适当的指令执行系统执行，适当的指令执行系统诸如微处理器或专门设计的硬件。本领域的正常的技术人员可以理解，以上方法和系统可以利用计算机可执行的指令实现并且/或者以处理器控制的代码实现，例如，此类代码被提供在诸如磁盘、CD或DVD-ROM的承载介质，或者诸如只读存储器(固件)的可编程存储器，或者诸如光或电信号承载器的数据承载器上。本发明的系统可以通过可编程的硬件设备的硬件电路实现，硬件电路诸如，大规模的集成电路或门阵列、诸如逻辑芯片或晶体管的半导体、或现场可编程门阵列、或可编程逻辑设备，或者通过由各种类型的处理器执行的软件实现，或者通过以上硬件电路和软件的组合实现。

应当注意，尽管在以上详细的描绘中提到了系统的多个模块或子模块，但是此类分割仅仅是非强制性的。在现实中，根据本发明的实施例，以上描述的两个或更多的模块的特征和功能可以体现在一个装置中。反过来，以上描述的一个装置的特征和功能也可以体现在多个模块中。此外，尽管本方法的操作在附图中以特定顺序进行描述，但并不要求或暗示这些操作必须根据该特定顺序执行，或者只有通过执行所有示出的操作才能获得所期望的结果。相反地，流程图中描绘的步骤的执行顺序可以变化。附加地或备选地，为了执行，某些步骤可以省略，多个步骤可以合并成一个步骤，或者一个步骤可以被划分成多个步骤。

尽管参考多个实施例对本发明进行了描绘，但是应当理解，本发明并不限于公开的实施例。相反，本发明旨在覆盖包括在所附的权利要求的精神和范围中的各种修改和同等布置。所附权利要求的范围满足最宽泛的解释并且覆盖所有的此类修改、同等结构和功能。

Claims (21)

1.一种用于增强图像的方法，所述方法包括：

估计所述图像的不清晰度；

基于所述不清晰度来确定所述图像中至少一个像素的保护水平；以及

修改所述至少一个像素的值以增强所述图像，所述修改的量至少部分地基于所述保护水平而确定。

2.根据权利要求1所述的方法，其中估计所述图像的不清晰度包括：

从所述图像中提取空间结构信息；以及

基于所述图像和所述空间结构信息来估计所述不清晰度。

3.根据权利要求2所述的方法，其中从所述图像中提取空间结构信息包括：

利用第一尺度的第一滤波器对所述图像进行滤波以获得第一中间图像；

利用第二尺度的第二滤波器对所述图像进行滤波以获得第二中间图像，所述第二尺度大于所述第一尺度；以及

计算所述第一中间图像与所述第二中间图像的差作为所述空间结构信息。

4.根据权利要求3所述的方法，其中基于所述图像和所述空间结构信息来估计所述不清晰度包括：

从所述第二中间图像移除所述空间结构信息以生成修正图像；以及

计算所述修正图像中亮度大于阈值的像素的平均值作为所述不清晰度。

5.根据权利要求1所述的方法，其中所述图像是视频中的帧，所述方法进一步包括：

利用所述视频中在所述图像之前的至少一个帧的所述不清晰度，来更新所述图像的所述不清晰度。

6.根据权利要求1所述的方法，其中确定所述图像的至少一个像素的保护水平包括：

基于所述至少一个像素的所述值和所述不清晰度，来计算针对所述至少一个像素的调节因子，所述调节因子至少指示所述至少一个像素属于所述图像中的不清晰区域的概率。

7.根据权利要求6所述的方法，其中修改所述至少一个像素的值包括：

估计大气光在所述至少一个像素处的反射信息；

基于所述至少一个像素的所述值、所述不清晰度和所述反射信息，计算所述大气光在所述至少一个像素处与真实场景辐射的偏离程度；

利用所述调节因子来调节所述偏离程度；以及

基于经调节的偏离程度和所述大气光来修改所述至少一个像素的所述值。

8.根据权利要求1所述的方法，进一步包括：

迭代地利用随机分布在所述图像中的多个种子估计所述图像的大气光，以用于对所述至少一个像素的所述值的所述修改。

9.根据权利要求8所述的方法，其中所述图像是视频中的帧，所述方法进一步包括：

利用所述视频中在所述图像之前的至少一个帧的所述大气光，来更新所述图像的所述大气光。

10.根据权利要求1至9任一项所述的方法，其中所述图像的所述不清晰度是所述图像中雾的浓度或者暗度。

11.一种用于增强图像的装置，所述装置包括：

不清晰度估计单元，被配置为估计所述图像的不清晰度；

修改保护单元，被配置为基于所述不清晰度来确定所述图像中至少一个像素的保护水平；以及

图像增强单元，被配置为修改所述至少一个像素的值以增强所述图像，所述修改的量至少部分地基于所述保护水平而确定。

12.根据权利要求11所述的装置，进一步包括：

结构提取单元，被配置为从所述图像中提取空间结构信息，

其中所述不清晰度估计单元被配置为基于所述图像和所述空间结构信息来估计所述不清晰度。

13.根据权利要求12所述的装置，进一步包括：

第一滤波单元，被配置为利用第一尺度的第一滤波器对所述图像进行滤波以获得第一中间图像；以及

第二滤波单元，被配置为利用第二尺度的第二滤波器对所述图像进行滤波以获得第二中间图像，所述第二尺度大于所述第一尺度，

其中所述结构提取单元被配置为计算所述第一中间图像与所述第二中间图像的差作为所述空间结构信息。

14.根据权利要求13所述的装置，其中所述不清晰度估计单元被配置为从所述第二中间图像移除所述空间结构信息以生成修正图像，以及计算所述修正图像中亮度大于阈值的像素的平均值作为所述不清晰度。

15.根据权利要求11所述的装置，其中所述图像是视频中的帧，所述装置进一步包括：

不清晰度更新单元，被配置为利用所述视频中在所述图像之前的至少一个帧的所述不清晰度，来更新所述图像的所述不清晰度。

16.根据权利要求11所述的装置，其中所述修改保护单元包括：

调节因子计算单元，被配置为基于所述至少一个像素的所述值和所述不清晰度，来计算针对所述至少一个像素的调节因子，所述调节因子至少指示所述至少一个像素属于所述图像中的不清晰区域的概率。

17.根据权利要求16所述的装置，进一步包括：

反射估计单元，被配置为估计大气光在所述至少一个像素处的反射信息；

偏离计算单元，被配置为基于所述至少一个像素的所述值、所述不清晰度和所述反射信息，计算所述大气光在所述至少一个像素处与真实场景辐射的偏离程度；以及

调节单元，被配置为利用所述调节因子来调节所述偏离程度，

其中所述图像增强单元被配置为基于经调节的偏离程度和所述大气光来修改所述至少一个像素的所述值。

18.根据权利要求11所述的装置，进一步包括：

大气光估计单元，被配置为迭代地利用随机分布在所述图像中的多个种子来估计所述图像的大气光，以用于对所述至少一个像素的所述值的所述修改。

19.根据权利要求18所述的装置，其中所述图像是视频中的帧，所述装置进一步包括：

大气光更新单元，被配置为利用所述视频中在所述图像之前的至少一个帧的所述大气光，来更新所述图像的所述大气光。

20.根据权利要求11至19任一项所述的装置，其中所述图像的所述不清晰度是所述图像中雾的浓度或者暗度。

21.一种设备，包括：

控制器；

用于捕获图像的图像捕获装置；以及

根据权利要求11至20任一项所述的用于增强所述图像的装置。