CN104303208A - 用于去除包含在视频中的雾的图像处理装置及其方法 - Google Patents

Abstract

本发明公开了用于去除包含在视频中的雾的图像处理装置和方法。所述图像处理装置包括：雾亮度测量单元，所述雾亮度测量单元用于测量包含雾的图像中的雾亮度；透射量估计单元，所述透射量估计单元用于估计用于生成由所述图像的对比度、图像损失和时间损失所导致的最小最终成本函数值的块单元透射量并且基于所述块单元透射量来估计像素单元透射量；以及图像恢复单元，所述图像恢复单元用于使用所述雾亮度和所述像素单元透射量来恢复所述图像。

Description

用于去除包含在视频中的雾的图像处理装置及其方法

技术领域

本公开内容在一个或更多个实施方式中涉及用于去除包含在视频中的雾的图像处理装置和方法。更具体地，本公开内容涉及用于通过以下步骤来去除包含在视频中的雾的图像处理装置和方法：基于各个块代表值来测量雾的亮度；估计用于生成能够由视频中的对比度、图像损失和时间损失计算的最小最终成本函数的按块(blockwise)透射；基于块单元透射来估计像素单元透射；以及通过使用雾的亮度和像素单元透射来重建图像。

背景技术

雾是以冷凝液滴的形式漂浮的水蒸气的大气现象。有雾环境通常对不到1km的能见度的视觉引起遮断。这样的有雾天气引起微粒水液滴进而引起光的散射。光的散射表示当它与空中微粒碰撞时行进光的方向改变。散射取决于光的波长和微粒尺寸。

光散射能够通常划分为瑞利(Rayleigh)散射和米氏(Mie)散射。瑞利散射在引起散射的微粒的尺寸小于光的波长时适用，其中散射能量与波长的四次幂成反比。这由在空气分子通过比红色使更多蓝色散射来使光散射时晴天里的天空的蓝色调举例说明。然而，米氏散射理论在负责微粒的尺寸大于光的波长时适用于光散射。雾遵循米氏散射理论，因为雾的微粒遍及可见光的400nm～700nm的波长具有和几个μm至几十个μm一样大的直径。根据米氏散射理论，在大气中像水液滴这样的较大散射微粒情况下，散射的量不太受波长影响以引起可见光区域中的所有光的更近散射(near-even scattering)。因此，当条件是有雾的时，对象展示模糊图像。这时，生成称作空气光的新的光源。

通过雾度失真的校正的图像质量改善可以解决能见度遮断并且锐化模糊图像。另外，这样的图像改善作为用于通过恢复由于雾而对字母、对象等导致的损坏信息而辨识对象的预处理步骤是重要的。

常规去雾技术可以粗略地分类为非模型方法和模型方法。

非模型方法的示例可以包括直方图均衡。直方图均衡是用于分析图像的直方图以调整分布的方法。直方图均衡是容易的并且提供改善的效果，但是不适合于具有非均匀深度的有雾图像。另外，直方图均衡适合于改善一般图像质量但是没有令人满意地反映雾对图像的影响的特性。对于包含厚雾的图像，它提供无意义的改善。

模型方法用于对光由于雾而导致的散射现象对图像的影响进行建模。首先，已公开了用于比较在不同天气下获得的两个或更多个图像以估计和校正场景深度从而校正由于雾而导致的失真的技术。然而，在这个技术中，在不同天气之下的至少两个图像的输入是需要的。对于实时实施方式，因此，有必要监测天气改变并且向其提供同数量的图像存储空间。另外，难以确定存储周期，因为不能够估计天气改变循环。此外，有必要捕获没有误差的相同场景。因此，移动对象在雾度失真的程度的估计期间频繁地引起误差。

接下来，公开了一种用于通过估计并且减去图像的像素值由于雾而导致的改变量来校正由于雾而导致的失真的技术。这个技术基于雾是均匀的假设，这仅适用于均匀且薄的雾。然而，大多数真实世界的雾往往是不均匀的。甚至对于均匀雾而言，这个方法也具有缺点，因为雾影响的程度取决于相机与对象之间的距离。

发明内容

技术问题

因此，本公开内容已被做出努力有效地解决以上描述的局限性，并且提供用于去除包含在视频中的雾以能够从视频有效地估计和去除雾成分从而改善图像质量的图像处理装置和方法。

另外，本公开内容提供了用于去除包含在视频中的雾以能够基于图像的深度信息不同地改善对比度的图像处理装置和方法。

技术方案

根据本公开内容的一些实施方式，用于去除包含在视频中的雾的图像处理装置包括雾亮度测量器、透射估计器和图像重建器。雾亮度测量器被构造成测量包含雾的图像中的雾亮度。透射估计器被构造成估计用于生成能够由所述图像的对比度、图像损失和时间损失计算的最小最终成本函数值的按块透射并且构造成基于所述按块透射来估计按像素透射。并且图像重建器被构造成通过使用雾亮度和按像素透射来重建图像。

雾亮度测量器可以包括图像分割模块、代表值计算模块和像素值选择模块。图像分割模块被构造成将图像分割为预定第一数目的块。代表值计算模块被构造成计算每块的像素值的平均值和标准偏差并且构造成通过使用平均值和标准偏差来计算每块的代表值。像素值选择模块被构造成选择在块中的具有为各个块所获得的代表值中的最大一个代表值的块，并且，如果所选块具有等于或小于预设面积的面积，则选择所选块的最亮像素值作为雾亮度。

透射估计器可以包括按块透射估计器和第一按像素透射估计器。按块透射估计器被构造成将包含雾的图像分割为预定第二数目的块并且构造成通过使用由每块的对比度、图像损失和时间损失所计算的最终成本函数来估计按块透射。第一按像素透射估计器被构造成通过对保边滤波器应用按块透射来估计第一按像素透射。

透射估计器可以进一步包括图像尺度缩小器(down-scalar)，所述图像尺度缩小器被构造成将包含雾的图像按比例缩小至预定尺寸并且构造成向按块透射估计器发送经尺度缩小的图像。

另外，透射估计器可以进一步包括图像尺度放大器(up-scaler)和第二按像素透射估计器。图像尺度放大器被构造成将经尺度缩小的图像和第一按像素透射放大至原始图像的对应大小。第二按像素透射估计器被构造成通过使经放大的第一按像素透射经历保边滤波器来估计第二按像素透射。

按块透射估计器可以包括图像分割模块、成本函数计算模块、最终成本函数计算模块和按块透射检测模块。图像分割模块被构造成将图像分割为预定第二数目的块。成本函数计算模块被构造成在按预定比率(ratio)改变预定范围的透射的同时计算每块的对比度、图像损失和时间损失。最终成本函数计算模块被构造成计算由对比度、图像损失和时间损失所生成的最终成本函数值。并且按块透射检测模块被构造成检测用于从所计算的最终成本函数值生成最小最终成本函数值的透射作为按块透射。

成本函数计算模块可以将从使用各个像素的亮度值所生成的离差乘以-1来获得对比度(E_C)。

另外，如果按块透射收敛于‘0’，则成本函数计算模块可以通过使用具有小于‘0’或大于‘255’的像素值的区域的面积来计算图像损失。

成本函数计算模块可以对前一帧的按块透射应用用于根据对象的移动来校正透射的按块校正系数以校正前一帧的按块透射，并且通过使用前一帧的经校正的按块透射和当前帧的按块透射来计算用于使图像的时间差最小化的时间损失。

最终成本函数计算模块可以生成包括对比度、图像损失和时间损失的最终成本函数，并且在改变在0至1之间的任何值作为透射的同时计算最终成本函数值。

第一按像素透射估计器或第二按像素透射估计器可以包括近似透射计算模块、变量计算模块和按像素透射检测模块。近似透射计算模块被构造成通过部分地重叠块并且对各个块应用高斯权重来计算每块的近似透射。变量计算模块被构造成计算用于生成按块透射与近似透射之间的最小差的变量。按像素透射检测模块被构造成检测基于所计算的变量的近似透射作为第一按像素透射或第二按像素透射。

图像尺度放大器可以通过使用最近邻插值将经尺度缩小的图像放大至原始图像的对应大小。

本公开内容的另一方面提供了由图像处理装置执行以用于去雾和重建包含雾的视频的方法，该方法包括以下过程：(a)测量包含雾的图像中的雾亮度；(b)估计用于生成能够由所述图像的对比度、图像损失和时间损失计算的最小最终成本函数值的按块透射并且基于所述按块透射来估计按像素透射；以及(c)通过使用雾亮度和按像素透射来重建图像。

用于测量雾亮度的过程(a)可以包括：将图像分割为预定第一数目的块；针对已分割块中的每一个块来计算像素值的平均值和标准偏差；通过使用平均值和标准偏差来计算每块的代表值；选择在块中的具有为各个块所计算的代表值中的最大一个代表值的块；确定所选块是否具有等于或小于预设面积的面积；以及在确定所选块的面积等于或小于预设面积后估计所选块的最亮像素值作为雾亮度。

用于估计按块透射的过程(b)可以包括：将包含雾的图像分割为预定第二数目的块并且通过使用由每块的对比度、图像损失和时间损失所计算的最终成本函数来估计按块透射；以及通过对保边滤波器应用按块透射来估计第一按像素透射。

视频去雾方法可以进一步包括：在按块透射的估计之前，将包含雾的图像尺度缩小为预定尺寸。

视频去雾方法可以进一步包括：在第一按像素透射的估计之后，将经尺度缩小的图像和第一按像素透射放大至原始图像的对应大小；以及通过对保边滤波器应用经放大的第一按像素透射来估计第二按像素透射。

按块透射的估计可以包括：将图像分割为预定第二数目的块；在按预定比率改变预定范围的透射的同时计算每块的对比度、图像损失和时间损失；计算由对比度、图像损失和时间损失所计算的每块的最终成本函数值；以及检测用于从所计算的最终成本函数值生成最小最终成本函数的透射作为按块透射。

第一按像素透射的估计可以包括：通过部分地重叠块并且对各个块应用高斯权重来计算每块的近似透射；计算用于生成按块透射与近似透射之间的最小差的变量；以及检测基于所计算的变量的近似透射作为第一按像素透射。

有益效果

根据如以上所描述的本公开内容，可以从视频有效地估计和去除视频的雾成分，从而改善图像质量。

另外，可以基于图像的深度信息不同地改善对比度。

另外，每像素的雾的浓度可以通过透射的计算来估计并且可以按照像素不同地去除雾，从而从图像中有效地去除雾，而不管雾如何分布在图像中。

另外，能够去除可能在从视频中去除雾之后发生的闪烁现象，从而更稳定地去除雾，这能够通过高速滤波器的引入被实时地处理。

附图说明

图1是根据至少一个实施方式的用于去除包含在视频中的雾的图像处理装置的构造的框图。

图2是图1中所示出的雾亮度测量器的详细构造的框图。

图3是图1中所示出的按块透射估计器的详细构造的框图。

图4是用于例示图像损失最小化的构思的图。

图5是图1中所示出的按像素透射估计器的详细构造的框图。

图6是用于例示块重叠的图。

图7是用于通过使用高斯权重来例示重叠的图。

图8是由根据至少一个实施方式的图像处理装置所执行的用于重建包含雾的图像的方法的流程图。

图9是示出了根据至少一个实施方式在保边滤波器基于重叠块应用情况下的示例画面的图。

图10是由根据至少一个实施方式的图像处理装置所执行的用于测量雾亮度的方法的流程图。

图11是由根据至少一个实施方式的图像处理装置所执行的用于检测按块透射的方法的流程图。

图12是由根据至少一个实施方式的图像处理装置所执行的用于估计按像素透射的方法的流程图。

具体实施方式

在下文中，将参照附图详细地描述本公开内容的至少一个实施方式。

在本公开内容中，雾可以是大气雾或浓雾。另选地，雾可以是黄沙、灰尘或与雾或浓雾相似的空中物质。

图像处理装置通过使用等式1来重建包含雾的图像。

I_p＝J_pt_p+(1-t_p)·A           等式1

这里，I_p是在像素位置p处获得的图像(受雾影响的图像)的亮度值，J_p是在像素位置p处所获得的图像(不受雾影响的图像)的原始亮度值，t_p是在像素位置p处所获得的图像的透射(深度信息和图像与对应点之间的距离)，而A是雾亮度值。

图像处理装置基于考虑到对比度的成本E_C、可能在改善对比度时引发的图像损失E_L和考虑到视频的时间相似性的成本E_T来生成成本函数，计算最小成本函数由其生成的透射‘t’，并且通过使用等式1来重建包含雾的图像。

在下文中，将参照附图描述由图像处理装置使用等式1所执行的包含雾的视频的重建。

图1是根据至少一个实施方式的用于去除包含在视频中的雾的图像处理装置的构造的框图。图2是图1中所示出的雾亮度测量器的详细构造的框图。图3是图1中所示出的按块透射估计器的详细构造的框图。图4是用于例示图像损失最小化的构思的图。图5是图1中所示出的按像素透射估计器的详细构造的框图。图6是用于例示块重叠的图。图7是用于通过使用高斯权重来例示重叠的图。

参照图1，用于去除包含在视频中的雾的图像处理装置100包括雾亮度测量器110、图像尺度缩小器120、按块透射估计器130、第一按像素透射估计器140、图像尺度放大器150、第二按像素透射估计器160和图像重建器170。

雾亮度测量器110将包含雾的图像分割为预定数目的块以为各个块获得代表值，选择具有所获得的代表值中的最大一个的块，并且重复以将所选块分割为预定数目的块直到所选块的面积变得等于或小于预设面积为止并且以获得代表值以及从而获得雾亮度。包含雾的图像可以是视频。

为了获得雾亮度，假定了“雾是从太阳到达的大气光进而具有非常高的亮度值”和“受雾影响的像素值近似雾亮度”。另外，参照等式1，可以看到获得的图像受雾影响与透射(深度信息和图像与对象之间的距离)成比例。因此，因为受雾大大地影响的区域的大多数值分布在雾度值附近，所以标准偏差减小。

当组合上述两个假设时，可以看到雾亮度值在图像中具有非常高的亮度值并且能够从受雾最大影响的区域获得。当可以选择导致问题的白色对象时，雾度可以由最亮像素值选择。作为解决方案，块逐渐减小至然后被检测到的较小尺寸，以便于将候选雾亮度值缩小至最低(具有预设面积的块)，其中大多数分量像素值能够被视为受雾亮度值影响并且然后最亮像素值能够不考虑可能的误差而被选择为雾亮度值。因此，雾亮度测量器110可以选择最亮像素值作为雾亮度值。

参照图2，雾亮度测量器110包括图像分割模块112、代表值计算模块114和像素值选择模块116。

图像分割模块112将包含雾的图像分割为预定数目的块。预定数目的块可以是四个。

为了为各个块获得代表值，图像分割模块112使用各个块中的像素值的标准偏差和平均亮度，这两者可以取决于各个快的尺寸而不同。例如，为了通过使用具有尺寸20×20的块来获得代表值，代表值可以被选择为在存在明亮对象时为高的，所述明亮对象诸如无雾区域中的白色建筑物或白色车辆。增加块的尺寸将渲染待选自雾更多侧的代表值同时使雾亮度值变得难以在块中找到。由于这个原因，通过将图像分割为块，块逐渐减小至较小尺寸以缩小候选雾亮度值。这时，为了处理视频，在第一帧处或每T帧检测雾亮度值以防止由于雾亮度值的更新而导致的高光(specularity)。

代表值计算模块114为由图像分割模块112所分割的块中的每一个获得像素值的平均值和标准偏差，并且通过使用在各个块中的平均值和标准偏差的差来获得代表值。

雾亮度值在图像中具有非常高的亮度值并且能够从受雾影响最大的区域获得。因为受雾大大地影响的区域的大多数值分布在雾度值附近，所以标准偏差减小。为了获得雾亮度值，因此，代表值计算模块114通过使用每一个块的平均值和标准偏差来计算代表值。

像素值选择模块116从为各个块所获得的那些代表值中选择具有最大代表值的块，并且，当所选块的面积等于或小于预设面积时，选择块的最亮像素值作为雾亮度。

如上述的，当候选雾亮度值缩小至最终值(具有预设面积的块)时，块中的大多数像素值能够被视为受雾亮度值影响，这即便在选择最亮像素值作为雾亮度值时也不考虑可能的误差。因此，当块面积变得等于预设面积或更小时，像素值选择模块116选择最亮像素值作为雾亮度值。

像素值选择模块116选择具有最大代表值的块并且确定所选块的面积是否等于或小于预设面积。块的预设面积是块的长度乘宽度，其可以是例如200。在确定所选块的面积变成等于或小于200后，像素值选择模块116选择所选块的最亮像素值并且估计所选像素值作为雾亮度。

在确定所选块的面积大于200后，像素值选择模块116将所选块分割为预定数目的较小块以为各个块获得代表值，选择在块中的具有最大代表值的一个块，并且确定所选块的面积是否等于或小于预设面积，这被重复。当这个过程选择具有等于或小于预设面积的面积的块时，像素值选择模块116估计所选块的最亮像素值作为雾亮度。

返回参照图1，图像尺度缩小器120将有雾图像按比例缩小为预定尺寸。例如，图像尺度缩小器120可以将输入图像按比例缩小为具有320×240的尺寸的图像。在输入视频照原样的这样的大尺寸情况下考虑大量计算，它最初经历尺度缩小过程。

按块透射估计器130将由图像尺度缩小器120所尺度缩小的图像分割为预定数目的块，获得每块的对比度、每块的图像损失和每块的时间损失，并且通过使用由对比度、图像损失和时间损失所计算的最终成本函数来估计按块透射。

参照图3，按块透射估计器130包括图像分割模块132、成本函数计算模块134、最终成本函数计算模块136和按块透射检测模块138。

图像分割模块132将由图像尺度缩小器120所尺度缩小的有雾图像分割为预定数目的块。如果各个块的尺寸太小，则对于图像分割模块132来说难以估计透射。由于这个原因，各个块的最小尺寸被设定为16x16或更大。可以任意地确定块的数目。由图像分割模块132所执行的图像分割将考虑到非均匀雾的影响来补偿雾成分。可以考虑到硬件复杂性适当地确定基于图像分割的块的数目。

等式1用来重建图像。仅仅关于由雾亮度测量器10所获得的雾亮度值的信息留下未确定问题，其中等式在针对各个像素计算透射t_p和原始亮度值J_p时由未知量过支配。在块中的透射t_p是均匀的假设下，因此，对于B(块中像素的数目)个等式，未知量的数目可以大大地减小至B+1。图像考虑到局部深度信息被分割，因为假定为具有单个均匀透射‘t’的整个未分图像根据图像深度信息排除针对图像劣化的自适应补偿。

成本函数计算模块134在按预定比率改变预定范围的透射的同时执行对比度、图像损失和时间损失的按块计算。

为了计算透射‘t’，需要满足以下条件：(1)基于透射‘t’所确定的输出图像对比度为大的，(2)基于透射‘t’所确定的输出图像损失为最低的，以及(3)为了减少视频的闪烁现象，与前一帧的差为小的。

因此，成本函数计算模块134考虑到考虑对比度的成本E_C、可能在改善对比度时引发的图像损失E_L和考虑到视频的时间相似性的成本E_T来生成成本函数，并且通过使用各个成本函数来计算对比度、图像损失和时间损失。

为此目的，成本函数计算模块134包括对比度计算模块134a、图像损失计算模块134b和时间损失计算模块134c。

对比度计算模块134a通过像由等式2所表示的那样使用基于各个像素的亮度值的离差δ²来计算对比度E_C。

$E_C=-{\mathrm{\σ}}^2=\underset{p=1}{\overset{N}{\mathrm{\Σ}}}\frac{{(J_p-\stackrel{\‾}{J})}^2}{N}$            等式2

这里，N是像素的数目，J_p是原始对象的亮度，p是各个像素的位置，而是原始对象的平均亮度。

等式2使用通常用来计算图像中的对比度的RMS(均方根)对比度。在RMS对比度中，通过使用图像的离差值来测量对比度。

另外，为了由透射‘t’所确定的输出图像的所期望的大对比度，生成了如等式2一样的成本函数，并且出于找到成本函数由其生成以具有最小(优化)值的透射‘t’的目的并且基于RMS对比度随着它改善而增加对比度的值的事实，负(-)符号被添加到成本函数使得成本函数随着透射降低而降低。

换句话说，对比度计算模块134a执行通过使用各个像素的亮度值来计算对比度而生成的离差的按块乘以-1。等式2可以被称为第一成本函数(或对比度改善成本函数)。第一成本函数是用于找到如下的透射的函数，即，重建图像的对比度通过该透射被最大化。使对比度最大化的按块透射总是收敛于‘0’。随着按块透射收敛于‘0’，对于输入像素值的输出像素值被确定为超过能够由计算机表达的像素值[0 255]。

当按块透射收敛于‘0’时，小于‘0’或大于‘255’的输出像素值作为需要被最小化的图像损失而存在。图像损失指的是在小于‘0’或大于‘255’的输出像素值舍入为0和255时所获得的量。

为了使图像损失最小化，因此，图像损失计算模块134b通过使用根据等式3的第二成本函数来计算每块的图像损失。

$E_L=\underset{p<0}{\mathrm{\&Sigma;}}\frac{{(0-J_p)}^2}{N}+\underset{p>255}{\mathrm{\&Sigma;}}\frac{{(J_p-255)}^2}{N}$           等式3

当图式地表达等式3的构思时，图4示出了区域A的对应面积。参照图4，区域A对应于小于‘0’或大于‘255’的像素值，即图像损失。

另外，在视频中，按块透射使其值根据对象的移动改变。为了计算按块透射，因此，有必要计算使图像的时间差最小化的时间损失。

时间损失计算模块134c通过使用根据等式4的第三成本函数来计算用于使图像的时间差最小化的时间损失。

$E_T={(t^f-\stackrel{\&OverBar;}{t^f}{t}^{f-1})}^2$                等式4

在等式4中，t^f是当前帧的透射，t^f-1是前一帧的透射，而k^-f是用于根据对象的移动来校正透射的按块校正系数。

将描述时间损失计算模块134c通过其来计算时间损失的等式4的分量。这里，透射根据对象的移动而改变。

当对象向观察者移动时，时间损失计算模块134c发现透射增加。另一方面，当对象远离观察者移动时，透射降低。如果雾的浓度是全体均匀的，则雾的量取决于对象与观察者之间的距离而改变。在对象与观察者之间的近距离情况下，雾很少影响图像。在更大的距离情况下，雾具有实质性影响。以相同的方式，当对象向观察者移动时，雾的影响是微弱的。另一方面，当对象远离观察者移动时，雾的影响是强烈的。然而，对象的重建原始亮度总是均匀的而不管对象的移动如何。对于相同的对象，因此，相邻帧之间的重建亮度可以由等式5表达。

$J_p^{f-1}=J_p^f$                    等式5

透射根据对象的移动的改变由等式6计算。

$t_p^f=k_p^f{t}_p^{f-1}$                         等式6

这里，是用于根据对象的移动来校正透射的系数，其通过使用等式7来计算。

$k_p^f=\frac{I_p^f-A}{I_p^{f-1}-A}$                   等式7

这里，是帧f中的像素p的亮度，是帧f-1中的像素p的亮度，而A是雾亮度。

等式7通过将等式1代入等式5来获得，其中排除‘t’的所有项在由K(kappa)共同地表示之后使用。

帧f和帧f-1的相同的像素位置不总是表达相同的对象，这是由于对象的移动而导致的。为了补偿对象的移动，通过使用在帧f和帧f-1的相同位置处的像素值之间的差来计算概率权重。概率权重通过使用等式8来计算。等式8可以是在如下假设下做出的等式，即在帧f-1的位置p处的像素值与在帧f的位置p处的像素值(在不同帧中位于一处)之间的大的差表示两个对象为相同的低概率，而位于一处的像素值之间的小的差表示两个对象为相同的高概率，同时，亮度由于透射‘t’的改变而改变。

$w_p^f=\exp (-\frac{{(I_p^f-I_p^{f-1})}^2}{{\mathrm{\&delta;}}^2})$                 等式8

这里，δ是指示基于像素值之间的差的概率的标准偏差，其通常为10。随着增加，和具有渐增概率以表示相同的对象。因为透射按块计算，所以通过使用概率权重按块B更新等式7将生成由等式9所表达的按块校正系数

$\stackrel{\&OverBar;}{k^f}=\frac{{\mathrm{\&Sigma;}}_{p\&Element;B}{w}_p^f{k}_p^f}{{\mathrm{\&Sigma;}}_{p\&Element;B}{w}_p^f}$                           等式9

在通过等式9计算了按块校正系数后，时间损失计算模块134c通过使用通过使用前一帧的透射与当前帧的透射之间的差所生成的等式4来计算时间损失。这时，时间损失计算模块134c通过使用概率权重以便考虑到由于对象的移动而导致的透射的改变来校正前一帧的透射t^f-1。

最终成本函数计算模块136基于由成本函数计算模块134所获得的对比度、图像损失和时间损失来计算最终成本函数值。

为了计算透射‘t’，需要满足以下条件：(1)基于透射‘t’所确定的输出图像对比度为大的，(2)基于透射‘t’所确定的输出图像损失为最小的，以及(3)为了减少视频的闪烁现象，与前一帧的差为小的。在满足上述三个条件的透射的搜索中，三个条件需要变换到成本函数中以找到用于生成最小成本函数的透射。换句话说，当成本函数具有最小值时，可以认为输出图像的对比度是大的，图像损失是小的，并且视频闪烁是最小的。

因此，最终成本函数需要包括三个条件中的全部。所以，当计算按块透射时，诸如等式10的总括式(all-inclusive)最终成本函数被生成以用于计算最终成本函数值。

E＝E_C+λ_LE_L+λ_TE_T              等式10

这里，E是最终成本函数值，E_C是对比度值，E_L是图像损失，E_T是时间损失，λ_L是图像损失系数，而λ_T是时间损失系数。

按块透射检测模块138检测用于从由最终成本函数计算模块136所计算的最终成本函数值生成最小最终成本函数的透射作为按块透射。具体地，按块透射是从0至1变化的值之一。因此，按块透射检测模块138将在从0至1的值(数)改变为按块透射的同时计算最终成本函数值并且检测用于从所计算的最终成本函数值生成最小最终成本函数的透射作为按块透射。从0至1的值(数)可以包括0.1、0.2等等。可以以任何间隔或比率改变值。

返回参照图1，第一按像素透射估计器140对保边滤波器应用由按块透射估计器130所检测到的按块透射以将按块透射转换为第一按像素透射。保边滤波器通过使用输入图像的像素值来生成按像素近似透射。

第一按像素透射估计器140通过使用等式11来计算按像素近似透射。

$\widehat{t_p}={\mathrm{aI}}_p+b$                   等式11

这里，是按像素近似透射，I_p是由相机所捕获到的亮度，而a和b是通过应用保边滤波器所计算的线性函数的变量。

输入图像具有在0与255之间的值，然而t具有在0至1之间的值。因此，等式11将通过将在0与255之间的值通过变量a和b按比例缩小至0～1并且通过近似尺寸(平均值)以输入图像表达‘t’。

第一按像素透射估计器140计算这样的变量a和b，其生成按块透射与近似透射之间的最小差以获得按像素透射。

这时，出于对视频的更迅速计算的目的，通过使用尺寸W的窗口计算变量a和b，并且在移位了W/2之后，计算变量a和b。在重叠区域中，变量a和b被平均。在移位W/2的长度方面，2可以用各种数代替。

参照图5，第一按像素透射估计器140包括近似透射计算模块142、变量计算模块144和按像素透射检测模块146。

近似透射计算模块142通过部分地重叠块并且对各个块应用高斯权重来计算每块的近似透射。

为了满足按像素处理准确性和按块处理计算复杂性两者，近似透射计算模块142通过部分地重叠块同时解决计算速度和算法准确性的增加。部分块重叠是在局部直方图均衡中所用的通用方法。如在图6中在(a)和(b)处所示，更多重叠范围涉及待用于平均的更多块，所述平均提供接近于按像素操作的结果的结果。特别地，图6(a)示出了按1/2重叠的块而图6(b)示出了按1/4重叠的块。如可以从图6(a)和(b)看到的，重叠范围变得越大，能够获得用于平均操作的更多块，并且因此，结果接近于按像素操作的结果。

然而，因为计算速度同样随着重叠范围增加而增加，并且，因为部分块重叠不是像素重叠，所以在块的边界处发生块效应(blocking effect)并且块恶化随着重叠的次数减少而变坏。

因此，近似透射计算模块142对各个块应用如图7中所示出的高斯权重以使块效应最小化。高斯权重单独地应用于各个重叠块。使用高斯权重能够减少在块的边界处的模糊现象。

然后，近似透射计算模块142通过使用{(第一块的按块近似透射值×高斯权重)+(第二块的按块近似透射值×高斯权重)}的等式来计算特定像素的近似透射。这根据透射与像素亮度成比例的原理获得。

变量计算模块144计算用于生成按块透射与近似透射之间的最小差的变量。该变量是等式11中的a和b。等式12被定义如下以使按块透射与近似透射之间的差最小化。

${\mathrm{\&Sigma;}}_{p\&Element;B}{(t_p-\widehat{t_p})}^2$                  等式12

这里，p是像素位置并且B是块。

为了找到用于生成等式12以具有最小值的变量a和b，变量计算模块144使用在线性代数中所用的最小二乘方方法。因此，变量计算模块144通过使用最小二乘方方法来计算变量a和b。

按像素透射检测模块146检测基于由变量计算模块144所计算的变量的近似透射作为第一按像素透射。

换句话说，图像的数据按照每一个像素改变，因为所计算的透射已按照块加以计算，在这个差异上，图像通过使用透射的重建由于透射差异而在块的边界处展示块效应。块效应是其中像素值在块的边界处大大地不同的现象。为了去除块效应，因此，以块计算的透射需要转换为按像素透射。

按像素透射检测模块146检测基于由变量计算模块144所计算的变量的近似透射作为第一按像素透射。

图1中的图像尺度放大器150通过使用最近邻插值将由图像尺度缩小器120所尺度缩小的图像放大回至原始图像的大小。这时，图像尺度放大器150还将由第一按像素透射估计器140所计算的第一按像素透射放大至原始图像的对应大小。

第二按像素透射估计器160通过使第一按像素透射经历保边滤波器来将经放大的第一按像素透射转换为第二按像素透射。换句话说，第二按像素透射估计器160通过部分地重叠经放大的图像的块并且对各个块应用高斯权重来计算每块的近似透射。随后，第二按像素透射估计器160计算用于生成第一按像素透射与近似透射之间的最小差的变量，并且检测基于所计算的变量的近似透射作为第二按像素透射。尽管由第二按像素透射估计器160所检测到的按像素透射在本文中称为第二按像素透射，但是第二按像素透射可以简单地称为按像素透射。

第二按像素透射估计器160的构造与图5相同，并且因此，将省略其描述。

图像尺度缩小器120、按块透射估计器130、第一按像素透射估计器140、图像尺度放大器150和第二按像素透射估计器160可以被构造为单个部件。在这种情况下，该单个部件可以被称为透射估计器。

图像重建器170通过使用由雾亮度测量器110所测量到的雾亮度和由第二按像素透射估计器160所转换的第二按像素透射从图像中去除雾。

换句话说，图像重建器170通过使用等式13来生成去雾图像。

$J_p=\frac{I_p-A}{t_p}+A$               等式13

这里，I_p是由相机所捕获到的亮度，J_p是原始对象的亮度，p是各个像素的位置，A是雾亮度，而t_p是按像素透射。

等式13通过针对J_p布置等式1而得到。

图8是由根据至少一个实施方式的图像处理装置所执行的用于重建包含雾的图像的方法的流程图，并且图9是示出了根据至少一个实施方式的如基于重叠块应用保边滤波器的画面的示例的图。

参照图8，当包含雾的视频被输入到图像处理装置(S802)时，它测量视频中的雾亮度(S804)。将参照图10详细地描述由图像处理装置所执行的用于测量视频中的雾亮度的方法。

在完成步骤S804后，图像处理装置将包含雾的视频尺度缩小至预定尺寸(S806)，并且在将经尺度缩小的图像分割预定尺寸的块之后估计按块透射(S808)。

将参照图11详细地描述由图像处理装置执行以用于估计按块透射的方法。

继步骤S808之后，图像处理装置通过使按块透射经历保边滤波器来将按块透射转换为第一按像素透射(S810)。将参照图12详细地描述由图像处理装置执行以用于估计第一按像素透射的方法。

继步骤S810之后，图像处理装置将第一按像素透射和经尺度缩小的图像放大至原始图像的对应大小(S812)。这时，图像处理装置通过使用最近邻插值将图像放大至原始图像的尺寸。

继步骤S812之后，图像处理装置使已被放大至原始数据的大小的第一按像素透射经历保边滤波器以估计第二按像素透射(S814)。将参照图12详细地描述用于估计第二按像素透射的方法。

继步骤S814之后，图像处理装置通过使用利用雾亮度和第二按像素透射所生成的等式13来重建经放大的图像(S816)。

以下描述参照图9解决图像处理装置对包含雾的视频应用保边滤波器的情况。

参照图9，当如图9(a)所示出的包含雾的视频被应用按块透射时，所获得的结果图像如图9(b)中所示。按块边滤波器应用于图9(b)的图像以获得如图9(c)中所示出的图像。高斯权重应用于图9(c)的图像以获得在其边界处具有减少的块效应的如图9(d)中所示出的图像。

图10是由根据至少一个实施方式的图像处理装置所执行的用于测量雾亮度的方法的流程图。

参照图10，图像处理装置将包含雾的图像分割为四个块(S1002)，并且针对各个块来计算像素平均值和标准偏差(S1004)。

然后，图像处理装置计算针对各个块基于像素平均值和标准偏差所生成的每块的代表值(S1006)。

随后，图像处理装置选择在块中的具有代表值中的最大一个代表值的块(S1008)，并且确定所选块的面积是否等于或小于200(S1010)。

在步骤S1010中确定所选块的面积等于或小于200后，图像处理装置从所选块中选择和定义最亮像素值作为雾亮度(S1012)。

如果步骤S1010确定所选块的面积大于200，则另一方面，图像处理装置执行步骤S1002。

图11是由根据至少一个实施方式的图像处理装置所执行的用于检测按块透射的方法的流程图。

参照图11，图像处理装置将包含雾的图像分割为尺寸B的块(S1102)。

继步骤S1102之后，图像处理装置在按预定比率改变预定范围的透射的同时针对各个块来计算对比度、图像损失和时间损失(S1104)。已经在上面参照图3详细地描述了由图像处理装置执行以用于计算对比度、图像损失和时间损失的方法。

继步骤S1104之后，图像处理装置基于对比度、图像损失和时间损失来计算每块的最终成本函数值(S1106)，并且选择用于从所计算的最终成本函数值生成最小最终成本函数的透射(S1108)。

然后，图像处理装置检测所选透射作为按块透射(S1110)。

图12是由根据至少一个实施方式的图像处理装置所执行的用于估计按像素透射的方法的流程图。

参照图12，图像处理装置部分地重叠块并且对各个块应用高斯权重以计算每块的近似透射(S1202)

然后，图像处理装置计算用于生成先前计算的按块透射与近似透射之间的最小差的变量值(S1204)。

图像处理装置检测基于所计算的变量值的近似透射作为第一按像素透射(S1206)。

本公开内容可以用来在各种领域内改善图像的对比度，所述各种领域诸如飞行、机场管理、运输、海运、水下监视、医疗成像(由身体内的气体等所生成的雾成分的去除)、农业监视和视频监视相机。

从视频中去除雾可以作为程序被实现。构成这样的程序的代码或代码段能够由本领域的技术人员容易地想到。

尽管已经出于说明性目的描述了本公开内容的示例性实施方式，但是本领域的技术人员应了解，在不背离本公开内容的本质特性的情况下各种修改、添加和替换是可能的。因此，为了简洁和清楚起见，已经对本公开内容的示例性实施方式进行了描述。因此，普通技术人员应理解，本公开内容的范围不受以上显式地描述的实施方式限制，而是受权利要求及其等同物限制。

工业应用

如上所述，本公开内容对于在从视频有效地估计和去除雾成分以改善图像质量、去除可能在从视频中去除雾之后发生的闪烁现象以更稳定地去除雾、以及通过高速滤波器的引入来执行实时处理的图像处理装置和方法中的应用是高度有用的。

附图标记

100：图像处理装置

110：雾亮度测量器

120：图像尺度缩小器

130：按块透射估计器

140：第一按像素透射估计器

150：图像尺度放大器

160：第二按像素透射估计器

170：图像重建器

相关申请的交叉引用

如果适用，本申请根据美国专利法第35条119(a)款要求于2012年5月15日在韩国提交的专利申请No.10-2012-0051330的优先权，其整个内容通过引用并入本文。另外，该非临时申请因基于韩国专利申请的相同原因而在除美国以外的国家要求优先权，其整个内容从而通过引用并入。

Claims (19)

1.一种用于去除包含在视频中的雾的图像处理装置，所述图像处理装置包括：

雾亮度测量器，所述雾亮度测量器被构造成测量包含雾的图像中的雾亮度；

透射估计器，所述透射估计器被构造成估计用于生成能够由所述图像的对比度、图像损失和时间损失计算的最小最终成本函数值的按块透射并且构造成基于所述按块透射来估计按像素透射；以及

图像重建器，所述图像重建器被构造成通过使用所述雾亮度和所述按像素透射来重建所述图像。

2.根据权利要求1所述的图像处理装置，其中，所述雾亮度测量器包括：

图像分割模块，所述图像分割模块被构造成将所述图像分割为预定第一数目的块；

代表值计算模块，所述代表值计算模块被构造成计算每块的像素值的平均值和标准偏差并且构造成通过使用所述平均值和标准偏差来计算每块的代表值；以及

像素值选择模块，所述像素值选择模块被构造成选择在所述块中的具有在为各个块所获得的所述代表值中的最大代表值的块，并且，如果所选块具有等于或小于预设面积的面积，则选择所选块的最亮像素值作为所述雾亮度。

3.根据权利要求1所述的图像处理装置，其中，所述透射估计器包括：

按块透射估计器，所述按块透射估计器被构造成将包含所述雾的所述图像分割为预定第二数目的块并且构造成通过使用由每块的对比度、图像损失和时间损失所计算的最终成本函数来估计按块透射；以及

第一按像素透射估计器，所述第一按像素透射估计器被构造成通过对保边滤波器应用所述按块透射来估计第一按像素透射。

4.根据权利要求3所述的图像处理装置，所述图像处理装置还包括图像尺度缩小器，所述图像尺度缩小器被构造成将包含所述雾的所述图像按比例缩小至预定尺寸并且构造成向所述按块透射估计器发送经尺度缩小的图像。

5.根据权利要求4所述的图像处理装置，所述图像处理装置还包括：

图像尺度放大器，所述图像尺度放大器被构造成将经尺度缩小的图像和所述第一按像素透射放大至原始图像的对应大小；以及

第二按像素透射估计器，所述第二按像素透射估计器被构造成通过使经放大的第一按像素透射经历保边滤波器来估计第二按像素透射。

6.根据权利要求3所述的图像处理装置，其中，所述按块透射估计器包括：

图像分割模块，所述图像分割模块被构造成将所述图像分割为所述预定第二数目的块；

成本函数计算模块，所述成本函数计算模块被构造成在按预定比率改变预定范围的透射的同时计算每块的对比度、图像损失和时间损失；

最终成本函数计算模块，所述最终成本函数计算模块被构造成计算由所述对比度、所述图像损失和所述时间损失所生成的最终成本函数值；以及

按块透射检测模块，所述按块透射检测模块被构造成检测用于从计算的最终成本函数值生成最小最终成本函数值的透射作为按块透射。

7.根据权利要求6所述的图像处理装置，其中，所述成本函数计算模块将从使用每一个像素的亮度值所生成的离差乘以-1以获得对比度(EC)。

8.根据权利要求6所述的图像处理装置，其中，如果所述按块透射收敛于‘0’，则所述成本函数计算模块通过使用具有小于‘0’或大于‘255’的像素值的区域的面积来计算所述图像损失。

9.根据权利要求6所述的图像处理装置，其中，所述成本函数计算模块对前一帧的按块透射应用用于根据对象的移动来校正透射的按块校正系数以校正所述前一帧的按块透射，并且通过使用所述前一帧的经校正的按块透射和当前帧的按块透射来计算用于使所述图像的时间差最小化的时间损失。

10.根据权利要求6所述的图像处理装置，其中，所述最终成本函数计算模块生成包括所述对比度、所述图像损失和所述时间损失的最终成本函数，并且在将0至1之间的任何值改变为透射的同时计算最终成本函数值。

11.根据权利要求5所述的图像处理装置，其中，所述第一按像素透射估计器或第二按像素透射估计器包括：

近似透射计算模块，所述近似透射计算模块被构造成通过部分重叠所述块并且对各个块应用高斯权重来计算每块的近似透射；

变量计算模块，所述变量计算模块被构造成计算用于生成所述按块透射与所述近似透射之间的最小差的变量；以及

按像素透射检测模块，所述按像素透射检测模块被构造成检测基于计算的变量的所述近似透射作为所述第一按像素透射或第二按像素透射。

12.根据权利要求5所述的图像处理装置，其中，所述图像尺度放大器通过使用最近邻插值将经尺度缩小的图像放大至所述原始图像的对应大小。

13.一种由图像处理装置执行以用于去雾和重建包含雾的视频的方法，所述方法包括以下步骤：

(a)测量包含雾的图像中的雾亮度；

(b)估计用于生成能够由所述图像的对比度、图像损失和时间损失计算的最小最终成本函数值的按块透射并且基于所述按块透射来估计按像素透射；以及

(c)通过使用所述雾亮度和所述按像素透射来重建所述图像。

14.根据权利要求13所述的方法，其中，测量所述雾亮度的步骤(a)包括：

将所述图像分割为预定第一数目的块；

针对分割块中的每一个块来计算像素值的平均值和标准偏差；

通过使用所述平均值和标准偏差来计算每块的代表值；

选择在所述块中的具有为各个块所计算的所述代表值中的最大代表值的块；

确定所选块是否具有等于或小于预设面积的面积；以及

在确定所选块的面积等于或小于所述预设面积后，估计所选块的最亮像素值作为所述雾亮度。

15.根据权利要求13所述的方法，其中，估计所述按块透射的步骤(b)包括：

将包含所述雾的所述图像分割为预定第二数目的块并且通过使用由每块的对比度、图像损失和时间损失所计算的最终成本函数来估计按块透射；以及

通过对保边滤波器应用所述按块透射来估计第一按像素透射。

16.根据权利要求15所述的方法，所述方法还包括：在所述按块透射的估计之前，将包含所述雾的所述图像尺度缩小为预定尺寸。

17.根据权利要求16所述的方法，在所述第一按像素透射的估计之后，所述方法还包括：

将经尺度缩小的图像和所述第一按像素透射放大至原始图像的对应大小；以及

通过对保边滤波器应用经放大的第一按像素透射来估计第二按像素透射。

18.根据权利要求15所述的方法，其中，估计所述按块透射的步骤包括：

将所述图像分割为预定第二数目的块；

在按预定比率改变预定范围的透射的同时计算每块的对比度、图像损失和时间损失；

计算由所述对比度、所述图像损失和所述时间损失所计算的每块的最终成本函数值；以及

检测用于从计算的最终成本函数值生成最小最终成本函数的透射作为按块透射。

19.根据权利要求15所述的方法，其中，所述第一按像素透射的估计包括：

通过部分地重叠所述块并且对各个块应用高斯权重来计算每块的近似透射；

计算用于生成所述按块透射与所述近似透射之间的最小差的变量；以及

检测基于所计算的变量的近似透射作为所述第一按像素透射。