CN103186887B - 图像除雾装置和图像除雾方法 - Google Patents

Abstract

本发明涉及一种图像除雾装置，包括：预处理单元，其用于将输入图像归类为核心帧或普通帧，输入图像的各像素具有取决于物距的距离参数；核心帧参数求取单元，其用于求取核心帧的各像素的距离参数以及核心帧的背景图像的各个像素距离参数；普通帧参数求取单元，其用于求取普通帧的各像素的距离参数；图像除雾单元，其利用由核心帧参数单元求出的距离参数对核心帧进行除雾处理，以及利用由普通帧参数求取单元得到的距离参数对普通帧进行除雾处理，其中，普通帧参数求取单元将普通帧分割为背景部分和前景部分。本发明还涉及一种相应的图像除雾方法和一种图像处理系统。

Description

图像除雾装置和图像除雾方法

技术领域

本发明涉及一种图像除雾装置、一种图像除雾方法以及一种图像处理系统，尤其涉及基于大气模型，利用视频图像序列的冗余来提高图像除雾处理的效率的图像除雾领域。

背景技术

中国地理环境复杂，天气多样，雾天在大多数地区经常可见，而且个别地区还会受到沙尘天气的影响。雾与沙尘天气降低了户外视频图像的能见度。另外，在大型城市中，由于空气质量的问题，户外视频图像的能见度也会降低。能见度的降低对于视频图像的质量产生较大影响。特别是对于安防监控领域，影响更加明显。雾化图像清晰化是图像处理领域中的迫切的实用需求。同时最近几年基于单帧图像的除雾技术的突破使得雾化图像除雾处理成为计算机视觉领域越来越重要的研究方向。

目前，雾化图像清晰化方法主要有两个方向：基于一般图像增强方法的除雾算法和基于大气模型的除雾算法。属于基于一般图像增强方法的除雾算法的有直方图均值、空间锐化滤波、高频加强滤波、小波增强、Retinex增强滤波等等。这些算法以增强图像的对比度和能见度为出发点并且与除雾没有直接关系，对于由低照明等原因引起的视频图像能见度降低等问题也可以进行处理。在2002年，由NARASIMAHAN等人在论文“VisionandtheAtmosphere”中首次提出了基于大气模型的除雾清晰化方法。这类方法在最近几年取得技术突破，主要是由Fattal,KaimingHe等人提出了一些新的算法，在仅仅单帧图像的情况下，除雾效果远远优于一般图像增强的除雾方法。

大气物理模型描述了当大气中具有悬浮颗粒时摄像装置拍摄或人眼观察物体的光学原理。大气模型的公式为：

I(X)＝J(X)t(X)+A(1-t(X))(1)

其中，I(X)代表摄像装置拍摄到的雾化图像或者人眼观察到的雾化图像，X＝(x,y)为图像像素坐标。J(X)为物体反射光图像，表示没有雾的图像，或者可以说是除雾处理的结果图像。A为图像中天空的一点(以下也称作“天空点”)的RGB值，以下也称作天空点参数。如果当前输入图像中没有天空存在，则将图像中雾浓度最强的点视作天空点。t(X)定义了空气介质的传输函数，描述了物体反射光经过空中悬浮颗粒的散射以后残留下来而达摄像装置的比例。t(X)是一个大于0且小于1的标量数据，图像中每个像素具有一个t(X)。I(X)、J(X)与A均为图像RGB的矢量数据。

以下参照图1说明式(1)。图1是大气模型公式的示意图。图1左侧的图像是人眼或摄像装置观察到的图像I(X)。图像I(X)由两部分组成，其中，第一部分为物体反射光J(X)经过空中悬浮颗粒散射以后存留下来的部分J(X)t(X)，第二部分为空中悬浮颗粒散射太阳光所造成的大气环境光A(1-t(X))。式(1)中的t(X)是被摄物体与摄像装置(人眼)之间距离(即物距)的函数，具体表示为

t(X)＝e^-βd(X)(2)

其中，d(X)是图像中一物体点与摄像装置(人眼)之间的距离，因此t(X)也称作“距离参数”。β是大气散射系数，是常数。

由式(1)与式(2)可以看出物体反射光到达摄像装置的强度J(X)t(X)和物体与摄像装置之间的距离d(X)成反比，距离越远，则光线衰减越厉害；大气环境光到达摄像装置的强度A(1-t(X))与距离d(X)成正比，距离越远，光线越强，所以在无穷远处呈现出白色。

最近几年，基于大气模型公式(1)的除雾算法取得突破，这些算法仅需单帧图像作为输入图像就能取得不错的除雾效果。在表1中列举了一些相关算法。

表1基于大气模型的除雾算法

与传统的图像增强算法相比，这些基于大气模型的除雾算法能够获得更好的除雾效果。但这些方法的缺点是运算较复杂，处理速度较慢，实时性较差。在表格2中列举了一些基于现有算法的除雾处理时间。

表2基于大气模型除雾新算法处理时间

基于大气模型的现有除雾算法均针对单帧输入图像。然而，在实际应用中往往涉及多帧的情况，即连续的视频图像。基于大气模型的现有除雾算法没有对视频图像进行进一步研究。

专利文献CN101290680A公开了一种基于直方图均衡化过校正恢复的雾天视频图像清晰化方法。具体而言，对直方图均衡化除雾方法在视频中的应用提出了一种加速方法，在视频前后帧中重用直方图均衡化的映射表来提高处理速度。虽然该发明同样提高单帧除雾处理算法在视频多帧处理中的速度，但其涉及简单的直方图均衡图像增强方法，并不是针对除雾应用，因此除雾效果也不理想。

发明内容

本发明的目的在于提供一种图像除雾装置和一种图像除雾方法，所述图像除雾装置和所述图像方法可以在确保良好的除雾效果的情况下显著地降低计算开销，尤其适于实时应用场合。

为了实现这个目的，本发明提供了一种图像除雾装置，所述图像除雾装置用于对输入图像进行除雾处理，所述图像除雾装置包括：预处理单元，其用于将所述输入图像归类为核心帧或者普通帧，所述输入图像的各像素具有取决于物距的距离参数；核心帧参数求取单元，其用于求取所述核心帧的各像素的距离参数以及所述核心帧的背景图像的各像素的距离参数；普通帧参数求取单元，其用于求取所述普通帧的各像素的距离参数；图像除雾单元，其利用由所述核心帧参数单元求出的距离参数对所述核心帧进行除雾处理，以及利用由所述普通帧参数求取单元得到的距离参数对所述普通帧进行除雾处理，其中，所述普通帧参数求取单元将所述普通帧分割为背景部分和前景部分，使所述背景部分的每个像素的距离参数等于前一核心帧的背景图像的相应像素的距离参数，使所述前景部分的每个像素的距离参数等于所述前景部分与所述背景部分的边界上的像素的距离参数的特征值。

在本发明中，采用视频图像的背景更新算法来更新当前帧的背景，以获得当前帧的背景图像，即核心帧或普通帧的背景图像。背景更新算法已经成熟，比较常用的有Surenda算法，AMF算法，MOG算法等。

在本发明的一个优选实施方式中，所述图像除雾装置还包括：核心帧参数存储单元，其用于存储所述核心帧的背景图像的各像素的距离参数。

在本发明的一个优选实施方式中，所述预处理单元在连续的图像序列中以固定的间隔选择所述核心帧，比如每10000帧选取一核心帧。

在本发明的一个优选实施方式中，所述预处理单元检测所述输入图像中是否存在场景变换并且在检测到所述场景变换的情况下将所述输入图像归类为所述核心帧，同时检测当前帧与前一核心帧相隔帧数，如果相隔一定间隔，则也将当前的输入图像归类为核心帧。

在本发明的一个优选实施方式中，所述普通帧参数求取单元选择背景部分边界作为所述边界，其中，所述背景部分边界位于所述背景部分上并且与所述前景部分相邻；所述普通帧参数求取单元求取所述背景部分边界的所有像素的距离参数的最大值，并将所述最大值作为所述特征值。

在本发明的一个优选实施方式中，所述普通帧参数求取单元选择前景部分边界作为所述边界，其中，所述前景部分边界位于所述前景部分上并且与所述背景部分相邻；所述普通帧参数求取单元求取所述前景部分边界的所有像素的距离参数的最大值或者平均值或者中值，并将所述最大值或者所述平均值或者所述中值作为所述特征值。

在本发明的一个优选实施方式中，所述普通帧参数求取单元判断所述前景部分的平均物距和所述背景部分的平均物距的差别是否小于一个预给定的阈值：所述普通帧参数求取单元在所述差别小于所述阈值的情况下选择背景部分边界作为所述边界，其中，所述背景部分边界位于所述背景部分上并且与所述前景部分相邻；所述普通帧参数求取单元还求取所述背景部分边界的所有像素的距离参数的最大值，并将所述最大值作为所述特征值；所述普通帧参数求取单元在所述差别不小于所述阈值的情况下选择前景部分边界作为所述边界，其中，所述前景部分边界位于所述前景部分上并且与所述背景部分相邻；所述普通帧参数求取单元求取所述前景部分边界的所有像素的距离参数的最大值或者平均值或者中值，并将所述最大值或者所述平均值或者所述中值作为所述特征值。

在本发明的一个优选实施方式中，所述普通帧参数求取单元计算所述前景部分的各个像素的粗略距离参数并且计算所有粗略距离参数的平均值作为所述前景部分的平均物距；所述普通帧参数求取单元计算所述背景部分或者所述背景与所述前景部分相邻的子区域的各个像素的粗略距离参数并且计算所有粗略距离参数的平均值作为所述背景部分的平均物距。

在本发明的一个优选实施方式中，所述核心帧参数求取单元还求取所述核心帧的天空点参数，并且所述普通帧参数求取单元使所述普通帧的天空点参数等于由所述核心帧参数求取单元求取的所述核心帧的天空点参数。

本发明还提供了一种图像除雾方法，所述图像除雾方法对输入图像进行除雾处理，所述图像除雾方法包括以下方法步骤：将所述输入图像归类为核心帧或者普通帧，所述输入图像的各像素具有取决于物距的距离参数；求取所述核心帧的各像素的距离参数以及所述核心帧的背景图像的各像素的距离参数；求取所述普通帧的各像素的距离参数，其中，将所述普通帧分割为背景部分和前景部分，使所述背景部分的每个像素的距离参数等于前一核心帧的背景图像的相应像素的距离参数以及使所述前景部分的每个像素的距离参数等于所述前景部分与所述背景部分的边界上的像素的距离参数的特征值；利用由所述核心帧参数单元求出的距离参数对所述核心帧进行除雾处理，以及利用由所述普通帧参数求取单元得到的距离参数对所述普通帧进行除雾处理。

在本发明的一个优选实施方式中，所述图像除雾方法还包括以下步骤：存储所述核心帧的背景图像的各像素的距离参数。

在本发明的一个优选实施方式中，在连续的图像序列中以固定的间隔选择所述核心帧，比如每10000帧选取一核心帧。

在本发明的一个优选实施方式中，检测所述输入图像中是否存在场景变换并且在检测到所述场景变换的情况下将所述输入图像归类为所述核心帧，同时检测当前帧与前一核心帧相隔帧数，如果相隔一定间隔，则也将当前的输入图像归类为核心帧。

在本发明的一个优选实施方式中，选择背景部分边界作为所述边界，其中，所述背景部分边界位于所述背景部分上并且与所述前景部分相邻；求取所述背景部分边界的所有像素的距离参数的最大值，并将所述最大值作为所述特征值。

在本发明的一个优选实施方式中，选择前景部分边界作为所述边界，其中，所述前景部分边界位于所述前景部分上并且与所述背景部分相邻；求取所述前景部分边界的所有像素的距离参数的最大值或者平均值或者中值，并将所述最大值或者所述平均值或者所述中值作为所述特征值。

在本发明的一个优选实施方式中，判断所述前景部分的平均物距和所述背景部分的平均物距的差别是否小于一个预给定的阈值：在所述差别小于所述阈值的情况下，选择背景部分边界作为所述边界，其中，所述背景部分边界位于所述背景部分上并且与所述前景部分相邻；求取所述背景部分边界的所有像素的距离参数的最大值，并将所述最大值作为所述特征值；在所述差别不小于所述阈值的情况下，选择前景部分边界作为所述边界，其中，所述前景部分边界位于所述前景部分上并且与所述背景部分相邻；求取所述前景部分边界的所有像素的距离参数的最大值或者平均值或者中值，并将所述最大值或者所述平均值或者所述中值作为所述特征值。

在本发明的一个优选实施方式中，计算所述前景部分的各个像素的粗略距离参数并且计算所有粗略距离参数的平均值作为所述前景部分的平均物距；计算所述背景部分或者所述背景与所述前景部分相邻的子区域的各个像素的粗略距离参数并且计算所有粗略距离参数的平均值作为所述背景部分的平均物距。

在本发明的一个优选实施方式中，所述图像除雾方法还包括以下步骤：求取所述核心帧的天空点参数；使所述普通帧的天空点参数等于所述核心帧的天空点参数。

最后，本发明还提出一种图像处理系统，所述图像处理系统包括摄像装置、输出单元和根据以上所述的图像除雾装置。

根据本发明的图像除雾装置和图像除雾方法利用视频图像序列在空间上与时间上的冗余来提高图像除雾处理的效率，尤其是在基于大气模型的单帧除雾算法中。视频图像序列的空间冗余表现在：如果图像的距离参数取决于图像像素的物距或者成像物体与摄像装置之间的距离，而与成像物体的具体形状无关，所述距离参数例如是大气模型公式中的传输函数t(X)，则图像中成像物体部分的像素的距离参数可以非常良好地由成像物体部分上(或者成像物体部分附件)的一个或多个像素的距离参数近似。视频图像序列的时间冗余表现在：图像的某些参数——例如图像中表示背景的像素的距离参数和大气模型公式中的参数A仅仅缓慢地更新，因此这些参数可以在视频图像序列的除雾处理过程中重复使用。

根据本发明的图像除雾方法或图像除雾装置具有以下优点：

1.充分利用了视频图像序列中图像参数在时间和空间上的冗余，显著地降低了计算开销，提高了图像处理速度；

2.根据本发明图像除雾方法可以容易地结合到其他的除雾方法中；

3.根据本发明的方法或装置可以容易地通过软件或硬件实现，仅需在用于现有的软件或硬件的基础上做较小的改动；

4.根据本发明的方法通过判断图像中运动物体的性质可以灵活地适用于不同的场景，从而在确保除雾效果的情况下自适应地选择不同的解决方案。

附图说明

图1示出大气模型的示意图。

图2示出根据本发明的图像处理系统的示意性结构框图。

图3示出核心帧和普通帧的划分。

图4示出前景部分和背景部分的分割以及背景部分边界。

图5示出前景部分和背景部分的分割以及前景部分边界。

图6示出根据本发明的第一实施例的图像除雾方法的流程图。

图7示出根据本发明的第二实施例的图像除雾方法的流程图。

图8示出原始雾化图像、粗略传输函数图像和传输函数图像。

图9示出根据本发明的第三实施例的图像除雾方法的流程图。

具体实施方式

图2示出根据本发明的图像处理系统的示意性结构框图。根据本发明的图像处理系统包括摄像装置100、图像除雾装置200、输出单元300和共享存储器90。所述摄像装置100用于摄取图像(尤其是连续的视频图像序列)以及将所述图像传输给图像除雾装置200。所述图像除雾装置200用于对由摄像装置100提供的图像进行清晰化处理(也称作除雾处理)。输出单元300用于显示经图像除雾装置200清晰化处理的图像。共享存储器90用于存储各种数据。

图像除雾装置200包括预处理单元10、核心帧参数求取单元20、核心帧参数存储单元30、普通帧参数求取单元40、图像除雾单元50和控制与配置单元60。

所述预处理单元10用于分析由摄像装置100提供的各帧图像，并且根据预给定的判断标准来划分各帧图像，即将各帧图像归类为核心帧或者归类为普通帧。因此，所述预处理单元10也称作帧分离单元或者核心帧确定单元。随后，核心帧图像传输给核心帧参数求取单元20，而普通帧图像传输给普通帧参数求取单元40。

核心帧参数求取单元20用于求取核心帧参数，例如包括核心帧的(基于大气模型的除雾方法所需的)传输函数t(X)和天空点参数A。所述核心帧参数还包括核心帧的背景图像的传输函数t(X)。例如可以借助基于大气模型的已知除雾算法求取这些参数。

核心帧参数存储单元30用于存储由核心帧参数求取单元20求出的核心帧参数，尤其是核心帧的背景图像的传输函数t(X)。优选地，当存储当前核心帧的参数时，删除前一核心帧的参数。

普通帧参数求取单元40用于求取普通帧参数，例如包括普通帧的(基于大气模型的除雾方法所需的)传输函数t(X)和天空点参数A。根据本发明，普通帧参数求取单元40首先将普通帧图像分割为前景部分和背景部分，其中，前景部分是普通帧图像中运动物体所在的图像部分，而背景部分是普通帧图像中除去运动物体后的图像部分。检测运动物体所在的图像部分的常用方法例如是当前帧的图像(尤其是原始图像)与当前帧的背景图像相减。对于普通帧的背景部分，不再借助现有技术中已知的除雾方法计算背景部分的每个像素的传输函数t(X)，而是使背景部分的每个像素的传输函数t(X)等于(存储在核心帧参数存储单元30中的前一)核心帧的背景图像的相应像素的传输函数t(X)；对于普通帧的前景部分，将借助以下详细阐述的根据本发明的方法求取前景部分的传输函数t(X)。对于天空点参数A，不再区分前景部分和背景部分，直接将(存储在核心帧参数存储单元30中的)核心帧的天空点参数A作为普通帧的天空点参数A。

优选地，核心帧参数求取单元20还用于获取核心帧、尤其是每一核心帧的背景图像，而普通帧参数求取单元40用于获取普通帧、尤其是每一普通帧的背景图像。为了获取视频图像中的当前帧的背景图像，目前比较常用的方法有Surenda算法，AMF算法，MOG算法等。

图像除雾单元50利用由核心帧参数求取单元20求出的核心帧参数对核心帧图像进行除雾处理，以及利用由普通帧参数求取单元40得到的普通帧参数对普通帧进行除雾处理。在此，例如可以借助基于大气模型的已知除雾方法进行所述除雾处理。

控制与配置单元60用于控制或配置图像除雾装置200中的各个单元或模块。

可选地，根据本发明的图像处理系统还包括视频编码器80，其用于对除雾图像进行压缩处理。

图3示意性地示出核心帧和普通帧的划分。如图3所示，第1帧和第N帧是核心帧(通过加粗的边缘表示)，其他帧是普通帧。例如可以通过以下方法来实现核心帧与普通帧的划分。在第一种可能的实现方法中，在视频图像序列中以固定的间隔选取核心帧，例如每隔10000帧图像选取一帧图像作为核心帧，其他图像作为普通帧。在第二可能的实现方法中，当视频图像序列中发生场景变换时，选取当前帧图像作为核心帧，并且当前帧与前一核心帧相隔一预给定的间隔时，同样选择当前帧作为核心帧，其他图像作为普通帧。在此，“场景变换”是指当前场景发生变化，环境的背景产生变化。可以借助现有技术中已知的方法来检测视频图像序列中是否发生测场景变换。

以下阐述根据本发明的图像除雾方法的第一实施例。

首先根据图4和5阐述在根据第一实施例的图像除雾方法中用于求取普通帧的前景部分的传输函数t(X)的基本构思。因为根据本发明将普通帧划分为背景部分和前景部分，所以普通帧的每个像素或者属于前景部分或者属于背景部分，其中，在图4中背景部分通过附图标记1表示而前景部分通过附图标记3表示，在图5中背景部分通过附图标记1'表示而前景部分通过附图标记3'表示。在此，位于前景部分中并且与背景部分相邻的所有像素定义为前景部分边界，而位于背景部分中并且与前景部分相邻的所有像素定义为背景部分边界，其中，背景部分边界在图4中通过附图标记2表示而前景部分边界在图5中通过附图标记2'表示。如果图像中的运动物体不是“悬浮的”物体而是与背景相接触，则普通帧的背景部分边界上存在至少一个这样的像素，其表示运动物体与背景的接触点。因为现实中绝大部分的运动物体是刚体并且运动物体的尺寸远远小于运动物体与摄像装置之间的距离，所以运动物体和背景的接触点与摄像装置之间的距离可以良好地近似整个运动物体(或者说运动物体的每个点)与摄像装置之间的距离。根据式(2)，运动物体上的任意一点的传输函数t(X)取决于这一点与摄像装置之间的距离。因此，图像中表示运动物体与背景的接触点的像素的传输函数t(X)能够非常良好地近似于运动物体(即前景部分)的每个像素的传输函数t(X)。此外，因为与背景相比运动物体距离摄像机一般更近，所以图像中表示运动物体与背景的接触点的像素的传输函数t(X)大于背景部分边界的其他像素的传输函数t(X)。基于以上认识，在根据本发明的第一实施例的图像除雾方法中将背景部分边界的所有像素的t(x)中的最大值Tmax作为背景部分的每个像素的t(x)，从而在确保准确性的情况下显著地降低了计算开销。

图6示出根据本发明的第一实施例的图像除雾方法的流程图。

在方法步骤S0中，输入或者读取图像I(X)，其也称作当前帧图像I(X)。

在接下来的方法步骤S1中，判断当前帧图像I(X)是否是核心帧。可以借助以上所述的两种可能的实现方法进行判断。

如果在方法步骤S1中将当前帧图像I(X)归类为核心帧，则在方法步骤S2中例如借助现有技术中已知的基于单帧图像的除雾方法计算其传输函数t(X)与天空点参数A，以及获取其背景图像和计算这一背景图像的传输函数t(X)。

接下来，在方法步骤S8中，利用在方法步骤S2中求出的核心帧的传输函数t(X)与天空点参数A根据大气模型公式(1)借助现有技术中已知的基于单帧图像的除雾方法对核心帧图像进行除雾处理。随后，在方法步骤S9中作为除雾结果输出除雾图像。

如果在方法步骤S1中将当前帧图像I(X)归类为普通帧，则在方法步骤S3中将其分割为背景部分和前景部分，其中，前景部分是普通帧图像中运动物体所在的图像部分，而背景部分是普通帧图像中除去运动物体后的图像部分。

检测运动物体所在的图像部分的方法例如是当前帧的原始图像与当前帧的背景图像相减。获取视频图像中的当前帧的背景图像的比较常用方法是Surenda算法，AMF算法，MOG算法等。因此，在方法步骤S3中优选首先获取(每一)普通帧的背景图像。

对于普通帧的背景部分，在方法步骤S4中，使背景部分的每个像素的传输函数t(X)等于前一核心帧的背景图像的相应像素的传输函数t(X)。

对于普通帧的前景部分，在方法步骤S5中确定背景部分边界并且求出背景部分边界的所有像素的传输函数t(X)中的最大值Tmax，其中，背景边界的每个像素的传输函数t(X)已经在方法步骤S4中求出。随后在方法步骤S6中使前景部分的每个像素的t(X)均等于Tmax。

在接下来的方法步骤S7中，将在方法步骤S2中求出的前一核心帧图像的天空点参数A作为普通帧图像的天空点参数。

随后，在方法步骤S8中，利用在方法步骤S4～S7中得到的传输函数t(X)与天空点参数A根据大气模型公式(1)借助现有技术中已知的基于单帧图像的除雾方法对普通帧图像进行除雾处理。随后，在方法步骤S9中作为除雾结果输出除雾图像。

应该理解的是，可以如上所述依次执行方法步骤S4和方法步骤S5～S6，也可以先执行方法步骤S5～S6然后执行方法步骤S4，也可以并行地执行方法步骤S4和方法步骤S5～S6。方法步骤S7也可以在方法步骤S3之后执行。

根据本发明的第一实施例的除雾方法的主要优点在于显著地降低了计算开销，但其在“悬浮的”运动物体的情形中可能导致较大的误差，因为“悬浮的”运动物体与背景没有接触，例如在天空中飞行的飞机等。为了克服这一缺陷，提出了根据本发明的第二实施例的除雾方法。

首先阐述在根据第二实施例的除雾方法中用于求取普通帧的前景部分的传输函数t(X)的基本构思。因为现实中绝大部分的运动物体的尺寸远远小于运动物体与摄像装置之间的距离，所以可以通过运动物体轮廓上各个点与摄像装置的距离的某种特征值来良好地近似运动物体上所有点与摄像装置的距离，也就是说，可以通过普通图像的前景部分边界的所有像素的传输函数t(X)的某种特征值来良好地近似前景部分的所有像素的传输函数t(X)。所述特征值可以是最大值、平均值或中值等。因为需要借助现有技术中已知的基于单帧图像的除雾方法计算前景部分边界的像素的传输函数t(X)，所以与根据第一实施例的方法相比根据第二实施例的方法的运算速度更慢，但根据第二实施例的方法同样显著快于根据现有技术的方法并且可以避免根据第一实施例的方法在存在“悬浮的”运动物体时出现的偏差。

图7示出根据本发明的第二实施例的图像除雾方法的流程图。

简明起见，在此不再赘述与第一实施例相同的部分，而仅仅详细阐述与第一实施例的区别。

在根据第二实施例的除雾方法中，方法步骤S0～S4与根据第一实施例的除雾方法基本相同。

在方法步骤S5中，根据第二实施例的方法不再利用已经求出的背景部分边界的像素的传输函数t(X)，在此需要借助现有技术已知的基于单帧图像的除雾方法计算前景部分边界的每个像素的传输函数t(X)，随后求出这些像素的传输函数t(X)的某一特征值T。所述特征值T优选是最大值、平均值或中值等等。

在接下来的方法步骤S6中，使前景部分的每个像素的t(X)等于所述特征值T。

接下来的方法步骤S7～S9与根据第一实施例的除雾方法基本相同。

同样应该理解的是，可以如上所述依次执行方法步骤S4和方法步骤S5～S6，也可以先执行方法步骤S5～S6然后执行方法步骤S4，也可以并行地执行方法步骤S4和方法步骤S5～S6。方法步骤S7也可以在方法步骤S3之后执行。

因为根据第一实施例的方法主要适用于普通帧的前景部分和背景部分具有交点或者接触点的情况，其主要优点在于运算速度较快，计算开销较低。然而，如果普通帧的前景部分和背景部分没有接触，例如“悬浮”在空中的飞机，则根据第一实施例的方法得到的前景部分的传输函数t(x)很可能是不准确的。根据第二实施例的方法很好地解决了这一问题，但同时带来额外的计算开销。因此，在根据本发明的第三实施例的方法中通过在以上所述两种方法之间进行切换实现了以上所述两种方法的优点的结合。

首先根据图8阐述在根据第三实施例的除雾方法中用于求取普通帧的前景部分的t(X)的基本构思。在计算普通帧的前景部分的t(X)之前判断普通帧图像中是否存在“悬浮的”运动物体，然后根据判断的结果选择以上所述方法中的一种进行处理。在此可以考虑借助普通帧的前景部分和背景部分的参数Rawt(X)(以下也称作粗略t(X))来进行判断，其中，粗略t(X)是在现有技术中已知的除雾算法中通常需要计算一个参数，其与以上所述的t(X)相比计算速度更快，但是对于图像细节的反应更加粗糙。粗略t(X)也可以用于除雾处理，但是对于图像细节很多的时，在图像边缘会出现除雾处理不够的情况，表现为一圈白色的雾。例如在论文《Singleimagehazeremoveusingdarkchannelprior》中介绍了一种求解粗略t(X)的方法，在此采用所谓的“暗通道”的理论，其基本原理是认为图像的小块区域内的RGB分量的最小值可以代表该处雾浓度。另外，在论文《Singleimagedehazing》中描述一种通过“独立元”分析方法来求解粗略t(X)的方法。

如图8所示，左侧是未经处理的雾化图像，中间是由粗略t(X)构成的图像，右侧是由t(X)构成的图像。可以利用粗略t(X)大概地判断前景部分和背景部分的传输函数t(X)的差别大小，如果前景部分和背景部分相差较小，则认为普通帧图像中的物体不是“悬浮的”，如果前景部分和背景部分相差较大，则认为普通帧图像中的运动物体是“悬浮的”。

图9示出根据本发明的第三实施例的图像除雾方法的流程图。

简明起见，在此不再赘述与第一实施例或第二实施例相同的部分，而仅仅详细阐述与第一实施例或第二实施例的区别。

在根据第三实施例的除雾方法中，方法步骤S0～S4与根据第一实施例或第二实施例的除雾方法基本相同。

在方法步骤S5中判断普通帧图像中的运动物体(前景部分)是否是“悬浮的”。首先计算普通帧的前景部分的各像素的粗略t(X)并且求出前景部分的所有像素的粗略t(X)的均值R1。然后计算背景部分中与前景部分相邻的子区域或者整个背景部分的各像素的粗略t(X)，然后计算所有像素的粗略t(X)的均值R2。例如根据公式|R1-R2|/Max(R1,R2)<T1来判断R1和R2的差别，其中，Max(R1,R2)表示R1和R2中的较大值，T1是一个预给定的阈值，其范围是0～1。在此，阈值T可以根据系统应用需求设定，一般而言，如果期望较好的除雾结果，则选择较小的阈值T，如果期较快的除雾速度，则选择较大的阈值T。优选地，阈值T＝0.5。

如果R1和R2的差值与R1和R2中的较大值的比值不小于阈值T，则认为存在“悬浮的”运动物体，即方法步骤S5中的判断成立，则执行方法步骤S6-1；如果R1和R2的差值与R1和R2中的较大值的比值小于阈值T1，则认为不存在“悬浮的”运动物体，即方法步骤S5中的判断不成立，则执行方法步骤S6-2。

在方法步骤S6-1中，如同在第二实施例中那样基于前景部分边界计算前景部分的传输函数t(X)，其中，使前景部分中各像素的传输函数t(X)均等于前景部分边界的所有像素的传输函数t(X)的某一特征值，例如最大值、平均值或中值，其中，前景部分边界的像素的传输函数t(X)借助现在技术中已知的方法求出。

在方法步骤S6-2中，如同在第一实施例中那样基于背景部分边界计算前景部分的传输函数t(X)，其中，使前景部分中各像素的传输函数t(X)均等于背景部分边界的所有像素的传输函数t(X)中的最大值，其中，背景部分边界的像素的传输函数t(X)已经在方法步骤S4中得出。

接下来的方法步骤S7～S9与根据第一实施例或第二实施例的除雾方法基本相同。

同样应该理解的是，可以如上所述依次执行方法步骤S4和方法步骤S5～S6-1/S6-2，也可以先执行方法步骤S5～S6-1/S6-2然后执行方法步骤S4，也可以并行地执行方法步骤S4和方法步骤S5～S6-1/S6-2。

替代地，也可以根据以下方式进行方法步骤S5中的判断：计算背景部分的所有像素的传输函数t(X)的平均值R3，其中，背景部分的所有像素的传输函数t(X)在方法步骤S4中已经求出；计算前景部分边界的所有像素的传输函数t(X)的平均值R4；比较两个平均值R3和R4的差别，例如根据公式|R3-R4|/Max(R3,R4)<T2，其中，T2是一个预给定的阈值，范围是0～1。

应当理解，根据本发明的除雾装置和除雾方法不限于基于大气模型的单帧图像处理，可以适用于任何借助取决于成像物体与摄像装置的距离的距离参数的图像处理领域和/或任何借助在视频图像序列的各帧图像之间变化缓慢的全局参数的图像处理领域。

Claims (19)

1.一种图像除雾装置，所述图像除雾装置用于对输入图像进行除雾处理，所述图像除雾装置包括：

预处理单元，其用于将所述输入图像归类为核心帧或者普通帧，所述输入图像的各像素具有取决于物距的距离参数；

核心帧参数求取单元，其用于求取所述核心帧的各像素的距离参数以及所述核心帧的背景图像的各像素的距离参数；

普通帧参数求取单元，其用于求取所述普通帧的各像素的距离参数；

图像除雾单元，其利用由所述核心帧参数单元求出的距离参数对所述核心帧进行除雾处理，以及利用由所述普通帧参数求取单元得到的距离参数对所述普通帧进行除雾处理，

其中，所述普通帧参数求取单元将所述普通帧分割为背景部分和前景部分，使所述背景部分的每个像素的距离参数等于前一核心帧的背景图像的相应像素的距离参数，使所述前景部分的每个像素的距离参数等于所述前景部分与所述背景部分的边界上的像素的距离参数的特征值。

2.根据权利要求1所述的图像除雾装置，其特征在于，所述图像除雾装置还包括：

核心帧参数存储单元，其用于存储所述核心帧的背景图像的各像素的距离参数。

3.根据权利要求1或2所述的图像除雾装置，其特征在于，

所述预处理单元在连续的图像序列中以固定的间隔选择所述核心帧。

4.根据权利要求1或2所述的图像除雾装置，其特征在于，通过所述普通帧的图像与所述普通帧的背景图像相减得到所述普通帧的前景部分。

5.根据权利要求1或2所述的图像除雾装置，其特征在于，

所述普通帧参数求取单元选择背景部分边界作为所述边界，其中，所述背景部分边界位于所述背景部分上并且与所述前景部分相邻；

所述普通帧参数求取单元求取所述背景部分边界的所有像素的距离参数的最大值，并将所述最大值作为所述特征值。

6.根据权利要求1或2所述的图像除雾装置，其特征在于，

所述普通帧参数求取单元选择前景部分边界作为所述边界，其中，所述前景部分边界位于所述前景部分上并且与所述背景部分相邻；

所述普通帧参数求取单元求取所述前景部分边界的所有像素的距离参数的最大值或者平均值或者中值，并将所述最大值或者所述平均值或者所述中值作为所述特征值。

7.根据权利要求1或2所述的图像除雾装置，其特征在于，

所述普通帧参数求取单元判断所述前景部分的平均物距和所述背景部分的平均物距的差别是否小于一个预给定的阈值：

所述普通帧参数求取单元在所述差别小于所述阈值的情况下选择背景部分边界作为所述边界，其中，所述背景部分边界位于所述背景部分上并且与所述前景部分相邻；所述普通帧参数求取单元还求取所述背景部分边界的所有像素的距离参数的最大值，并将所述最大值作为所述特征值；

所述普通帧参数求取单元在所述差别不小于所述阈值的情况下选择前景部分边界作为所述边界，其中，所述前景部分边界位于所述前景部分上并且与所述背景部分相邻；所述普通帧参数求取单元求取所述前景部分边界的所有像素的距离参数的最大值或者平均值或者中值，并将所述最大值或者所述平均值或者所述中值作为所述特征值。

8.根据权利要求7所述的图像除雾装置，其特征在于，

所述普通帧参数求取单元计算所述前景部分的各个像素的粗略距离参数并且计算所有粗略距离参数的平均值作为所述前景部分的平均物距；

所述普通帧参数求取单元计算所述背景部分或者所述背景与所述前景部分相邻的子区域的各个像素的粗略距离参数并且计算所有粗略距离参数的平均值作为所述背景部分的平均物距。

9.根据权利要求1或2所述的图像除雾装置，其特征在于，

所述核心帧参数求取单元还求取所述核心帧的天空点参数，并且所述普通帧参数求取单元使所述普通帧的天空点参数等于由所述核心帧参数求取单元求取的所述核心帧的天空点参数。

10.一种图像除雾方法，所述图像除雾方法对输入图像进行除雾处理，所述图像除雾方法包括以下方法步骤：

将所述输入图像归类为核心帧或者普通帧，所述输入图像的各像素具有取决于物距的距离参数；

求取所述核心帧的各像素的距离参数以及求取所述核心帧的背景图像的各个像素的距离参数；

求取所述普通帧的各像素的距离参数，其中，将所述普通帧分割为背景部分和前景部分，使所述背景部分的每个像素的距离参数等于前一核心帧的背景图像的相应像素的距离参数以及使所述前景部分的每个像素的距离参数等于所述前景部分与所述背景部分的边界上的像素的距离参数的特征值；

利用由所述核心帧参数单元求出的距离参数对所述核心帧进行除雾处理，以及利用由所述普通帧参数求取单元得到的距离参数对所述普通帧进行除雾处理。

11.根据权利要求10所述的图像除雾方法，其特征在于，所述图像除雾方法还包括以下步骤：

存储所述核心帧的背景图像的各像素的距离参数。

12.根据权利要求10或11所述的图像除雾方法，其特征在于，

在连续的图像序列中以固定的间隔选择所述核心帧。

13.根据权利要求10或11所述的图像除雾方法，其特征在于，通过所述普通帧的图像与所述普通帧的背景图像相减得到所述普通帧的前景部分。

14.根据权利要求10或11所述的图像除雾方法，其特征在于，

选择背景部分边界作为所述边界，其中，所述背景部分边界位于所述背景部分上并且与所述前景部分相邻；

求取所述背景部分边界的所有像素的距离参数的最大值，并将所述最大值作为所述特征值。

15.根据权利要求10或11所述的图像除雾方法，其特征在于，

选择前景部分边界作为所述边界，其中，所述前景部分边界位于所述前景部分上并且与所述背景部分相邻；

求取所述前景部分边界的所有像素的距离参数的最大值或者平均值或者中值，并将所述最大值或者所述平均值或者所述中值作为所述特征值。

16.根据权利要求10或11所述的图像除雾方法，其特征在于，

判断所述前景部分的平均物距和所述背景部分的平均物距的差别是否小于一个预给定的阈值：

在所述差别小于所述阈值的情况下，选择背景部分边界作为所述边界，其中，所述背景部分边界位于所述背景部分上并且与所述前景部分相邻；

求取所述背景部分边界的所有像素的距离参数的最大值，并将所述最大值作为所述特征值；

在所述差别不小于所述阈值的情况下，选择前景部分边界作为所述边界，其中，所述前景部分边界位于所述前景部分上并且与所述背景部分相邻；

求取所述前景部分边界的所有像素的距离参数的最大值或者平均值或者中值，并将所述最大值或者所述平均值或者所述中值作为所述特征值。

17.根据权利要求16所述的图像除雾方法，其特征在于，

计算所述前景部分的各个像素的粗略距离参数并且计算所有粗略距离参数的平均值作为所述前景部分的平均物距；

计算所述背景部分或者所述背景与所述前景部分相邻的子区域的各个像素的粗略距离参数并且计算所有粗略距离参数的平均值作为所述背景部分的平均物距。

18.根据权利要求10或11所述的图像除雾方法，其特征在于，所述图像除雾方法还包括以下步骤：

求取所述核心帧的天空点参数；

使所述普通帧的天空点参数等于所述核心帧的天空点参数。

19.一种图像处理系统，所述图像处理系统包括摄像装置、输出单元和根据权利要求1至9中任一项所述的图像除雾装置。