CN104537623A - 基于图像分割的图像去雾方法及装置 - Google Patents

Abstract

本发明提供一种基于图像分割的图像去雾方法及装置，该去雾方法包括：获取有雾图像信息，对所述有雾图像求暗原色图并计算得到所述有雾图像的环境光；对所述有雾图像生成一个与所述有雾图像大小相同的矩阵，并将相近的像素设为一区域；分别对所述每个区域求暗原色图，计算每个像素的透光率；通过所述有雾图像的环境光和所述透光率，对所述每个区域计算进行去雾得到去雾后的无雾图像。通过本发明提供的去雾方法，能够有效避免直接使用暗原色先验去雾所产生的边缘效应，而且该方法获得的去雾图片质量较高，图片的对比度亦得到很大的增强，视觉效果较原图像有较大提高。

Description

基于图像分割的图像去雾方法及装置

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于图像分割的图像去雾方法及装置。

背景技术

随着计算机软硬件技术的不断发展，对有雾天气图像的景物影像进行去雾处理已经成为可能，这反过来又对去雾图像的清晰度和真实感提出了新的要求。在雾天情况下，由于大气中水滴等粒子较多，随着物体到成像设备距离的增大,大气粒子的散射作用对成像的影响逐渐增加，这种影响主要由两个散射过程造成：第一，物体表面的反射光在到达成像设备的过程中,由于大气粒子的散射而发生衰减；第二，自然光因大气粒子的散射而进人成像设备参与成像。它们的共同作用导致采集的图像对比度、饱和度低及色调偏移，不仅影响图像的视觉效果,而且影响图像分析和理解的性能。在雾天情况下，如上所述，由于大气粒子对户外图像采集造成了比较严重的影响，致使室外视频系统无法正常工作，对地形勘探、视频监控等户外作业带来了一定的不便，特别是对交通运输业有着十分恶劣的影响，可能造成交通事故的发生和运输速度的降低。因此对于雾天各种监测系统获取的图像上景物影像的清晰化方法的研究具有重大的现实意义。

近年来，基于暗原色先验原理的去雾方法被广泛的认同，暗原色先验的规律是作者通过对大量的无雾图像观察得到的统计规律，它表述为：在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值。然而，对于有雾的图像，由于附加的大气光，图像被雾干扰之后往往要比其本身亮度更大，透光率t一般较小。所以被浓雾覆盖的图像的暗原色具有较高的强度值。视觉上看来，暗原色强度值是雾浓度的粗略近似，利用有雾图像和无雾图像的这一点差别，就可以将有雾图像进行去雾，并获得很好的结果。

由于暗原色先验在含雾图像和无雾图像之间有着很大的区别，根据这一区别，该方法几乎对于所有类型的含雾图像都有一定的效果。然而，该方法并不能直接作用于整幅自然图像，因为自然图像中，场景深度通常会在景物的边缘处发生突变，该方法处理后的图像中，在边缘处会产生明显的边缘效应。

发明内容

本发明要解决的技术问题是提供一种基于图像分割的图像去雾方法及装置，用以解决对景物深度变化的有雾图像利用传统去雾方法处理时造成边缘效应的问题。

本发明的技术方案是提供一种基于图像分割的图像去雾方法，包括：

获取有雾图像信息并计算得到所述有雾图像的环境光；

对所述有雾图像生成一个与所述有雾图像大小相同的矩阵，并将相近的像素设为一区域；

分别对所述每个区域求暗原色图，计算每个区域的透光率；

通过所述有雾图像的环境光，对所述图像区域计算得到去雾后的无雾图像。

本发明一实施例中，所述对所述有雾图像进行基于熵率的超像素图像分割进一步包括：

对所述有雾图像进行图像分割，生成一个与所述有雾图像大小相同的矩阵，将每个矩阵元相等的矩阵划为同一区域。

本发明还提供一种基于图像分割的图像去雾装置，包括：第一图像处理单元，图像分割单元、第二图像处理单元和图像去雾单元；其中，

第一图像处理单元，用于获取有雾图像信息，对所述有雾图像求暗原色图并计算得到所述有雾图像的环境光；

图像分割单元，与所述第一图像处理单元连接，对所述有雾图像生成一个与所述有雾图像大小相同的矩阵，并将相近的像素设为一区域；

第二图像处理单元，与所述图像分割单元连接，分别对所述每个区域求暗原色图，计算每个区域的透光率；

图像去雾单元，与所述第二图像处理单元连接，通过所述有雾图像的环境光和所述透光率，对所述每个区域计算进行去雾得到去雾后的无雾图像。

通过本发明提供的去雾方法及装置，能够有效避免直接使用暗原色先验去雾所产生的边缘效应，而且该方法获得的去雾图片质量较高，图片的对比度亦得到很大的增强，视觉效果较原图像有较大提高。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1所示为本发明基于图像分割的图像去雾方法的流程示意图。

图2所示为本发明实施例基于图像分割的图像去雾装置示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

在计算机视觉和计算机图形中，有雾的图形被表现为：

I(x)＝J(x)t(x)+A[1-t(x)]   (1)

其中I指观测到的图像强度，J指的是在没有雾的条件下景物的光线强度，A指环境光成分，t指的是光线通过媒质透射到照相机的过程中没有被散射的部分，也就是透光率。去雾的目标就是从图像I中恢复出J、A和t。

图1所示为本发明提供的一种基于图像分割的图像去雾方法的流程示意图，包括：

S101：获取有雾图像信息并计算得到所述有雾图像的环境光(即式(1)中的A)。具体来说，先对待去雾的有雾图像求出其相应的暗原色图，具体来说，即对每一像素选取其亮度最小的通道，构成灰度图，对该灰度图作最小值滤波，找出暗原色图中亮度最大的10％像素所在的图像区域，找出原图像中该区域里亮度最高的像素点，以该像素的三通道亮度值作为向量A的三通道值；

S102：对所述有雾图像生成一个与所述有雾图像大小相同的矩阵，并将每个矩阵元的值相等的像素设为一区域，然后对所述有雾图像进行分割。具体来说，就是使用基于熵率的超像素分割算法对原图像进行分割，保证分割后每个图像区域中，景物的深度、雾气的浓度基本一致，避免去雾后由深度突变引起的边缘效应；

S103：分别对所述每个区域求暗原色图，计算每个区域的透光率。具体来说就是求暗原色图的方法同S101，求出每个区域的暗原色图以及环境光，根据式(3)求出每个像素的透光率。

S104：通过所述有雾图像的环境光，对所述图像区域计算得到去雾后的无雾图像。也就是根据式(4)求出最终的去雾图像J。

本发明一实施例中，所述计算得到所述有雾图像的环境光的方法为：先对所述有雾图像求暗原色图，然后找出所述暗原色图中亮度最大的10％像素所在的图像区域，最后找出所述有雾图像中所述图像区域中亮度最高的像素点，以所述像素的三通道亮度值作为大气光照度。

本发明一实施例中，所述对所述图像区域计算得到去雾后的无雾图像进一步为通过所述大气光照度，利用暗原色先验算法计算得到去雾后的无雾图像。

通过本发明提供的去雾方法，能够有效避免直接使用暗原色先验去雾所产生的边缘效应，而且该方法获得的去雾图片质量较高，图片的对比度亦得到很大的增强，视觉效果较原图像有较大提高。

目前对于图像的处理大都以像素为单位，用二维矩阵来表示一张图像，并未考虑像素之间的空间组织关系，这使得算法处理效率过低。所谓超像素，是指具有相似纹理、颜色、亮度等特征的相邻像素构成的图像块。它利用像素之间特征的相似程度将像素分组，可以获取图像的冗余信息，在很大程度上降低了后续图像的处理任务的复杂度。

下面结合一个具体的实施例对本发明进行具体描述，然而值得注意的是该具体实施例仅是为了更好地描述本发明，并不构成对本发明的不当限定。

为了消除暗原色先验去雾所带来的边缘效应，我们把基于图论的超像素分割方法结合到暗原色先验去雾算法中，具体来说，首先对输入待去雾的有雾图像使用基于图论的超像素分割方法，使得待去雾的有雾图像在分割后的图像区域基本能够保证在同一图像区域内景物深度、雾气浓度基本一致，然后再对各个区域分别使用暗原色先验去雾。

基于熵率的超像素分割算法是基于图论的超像素分割算法的具体应用方法之一，该分割算法的最终目的是找出一个边集A∈E，则子图为G＝(V,A)，其中包括K个连通子图。

具体来说，首先，该算法把原图像映射到一幅无向图G＝(V,E)上，其中V是顶点集，E是边集。图的每个顶点v_i对应每一个像素，相邻像素所对应的顶点都有带权值的边e_i,j连接，权值w_i,j表示两个顶点之间的差异。

通过最大化目标函数完成分割，该算法采用一种新型的目标函数，分为图像局部随机游走熵率项和平衡项。具体的目标函数如下：

J(A)＝H'(A)+λB(A)   (2)

其中，H'(A)表示图像随机游走熵率，B(A)表示平衡项，λ≥0是一个权重值。通过最大化上述目标函数就可以完成超像素分割。

特别的，熵率项主要体现超像素中像素点集群的均匀程度和紧凑程度，促使每个超像素仅覆盖图像中的单一目标对象，而平衡项促使集群有相似的尺寸，降低不平衡超像素的个数。

对于熵率项，随机游走熵率是用来衡量一个随机过程X＝{X_t|t∈T}的不确定性，对于离散的随机过程，熵率可以用如下的公式来表示：

$H^{\′}\left(X\right)=\underset{t\→\∞}{\lim }H\left(X_t\right|X_{t-1},X_{t-2,...,}{X}_1)---\left(3\right)$

对于图像随机游走熵率，它作为衡量集群的紧凑度和均匀程度的标准，图G＝(V,A)上的随机游走熵率表示为：

$H^{\′}\left(X\right)=-\underset{i}{\mathrm{\Σ}}{\mathrm{\μ}}_i\underset{j}{\mathrm{\Σ}}{p}_{i,j}\left(A\right)\log \left(p_{i,j}\left(A\right)\right)---\left(4\right)$

其中，μ_i＝w_i/w_T，w_i是图中与节点i相连的边的权重之和，w_T是图中所有边权重的总和。p_i,j是节点i到节点j的转移概率，定义如下：

$p_{i,j}=\left\{\begin{array}{c}\frac{w_{i,j}}{w_i},\mathrm{ifi}\≠\mathrm{jand}{e}_{i,j}\∈A\\ 0,\mathrm{ifi}\≠\mathrm{jand}{e}_{i,j}\∉A\\ 1-\frac{{\mathrm{\Σ}}_{i,j\∈A}{w}_{i,j}}{w_i},\mathrm{ifi}=j\end{array}\right.---\left(5\right)$

对于平衡项，用如下公式表示：

$B\left(A\right)\≡H\left(Z_A\right)-N_A=-\underset{i}{\mathrm{\Σ}}{\mathrm{pz}}_A\left(i\right)\log \left({\mathrm{pz}}_A\left(i\right)\right)-N_A---\left(6\right)$

其中，N_A是区域中联通分支的个数，Z_A是集群成员的分布，若边集A的图分割是S＝{S₁,S₂,...,S_NA}，那么Z_A的分布为：

$p{z}_A\left(i\right)=\frac{\left|S_i\right|}{\left|V\right|},i=\{1,...,N_A\}---\left(7\right)$

为了使目标函数最大化，一般采取贪心算法，算法开始时，设定边集A为空集，然后不断往边集里添加边，每一次都是添加能使目标函数增加最多的一条边，迭代的终止条件是N_A＝K，另外，为了提高效率，规定A为无圈图。

通过上述基于熵率的超像素图像分割算法即可将待去雾的有雾图像进行分割，使得图像块之间没有边缘，取得良好的分割效果。

下面通过大气散射模型对所述有雾图像求暗原色图并计算得到所述有雾图像的环境光并计算分割后的有雾图像每个分割区域的透光率。

首先通过大气散射模型可以很好的估算出待去雾的有雾图像环境光A。

并且通过对基于熵率的超像素图像分割后的待去雾的有雾图像进一步利用A估算透光率t，最终的透光率t如下：

$t\left(x\right)=1-\mathrm{\ω}\underset{c\∈\{R,G,B\}}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\frac{I^C\left(y\right)}{A^C}\right)---\left(8\right)$

其中参数ω用来保留一部分雾。

由于估计得到的透光率t，最后利用公式(1)就可以得到最终的去雾图像(式中t0是为了防止分母中的t(x)过小而进行的限制)：

$J\left(x\right)=\frac{I\left(x\right)-A}{\max (t\left(x\right),t0)}+A---\left(9\right)$

图2所示为本发明还提供一种基于图像分割的图像去雾装置示意图，该图像去雾装置包括：第一图像处理单元201，图像分割单元202、第二图像处理单元203和图像去雾单元204；其中，

第一图像处理单元201，用于获取有雾图像信息，对所述有雾图像求暗原色图并计算得到所述有雾图像的环境光；

图像分割单元202，与所述第一图像处理单元201连接，对所述有雾图像生成一个与所述有雾图像大小相同的矩阵，并将相近的像素设为一区域；

第二图像处理单元203，与所述图像分割单元202连接，用于分别对所述每个区域求暗原色图，计算每个像素的透光率；

图像去雾单元204，与所述第二图像处理单元203连接，通过所述有雾图像的环境光和所述透光率，对所述每个区域计算进行去雾得到去雾后的无雾图像。

本发明一实施例中，所述图像处理单元203先对所述有雾图像求暗原色图，然后找出所述暗原色图中亮度最大的10％像素所在的图像区域，最后找出所述有雾图像中所述图像区域中亮度最高的像素点，以所述像素的三通道亮度值作为大气光照度。

本发明一实施例中，所述图像去雾单元204通过所述大气光照度，利用暗原色先验算法计算得到去雾后的无雾图像。

由于本发明提供的一种基于图像分割的图像去雾装置是上述图像去雾方法的对应的装置，故在此不赘述。

通过本发明提供的去雾方法及装置，能够有效避免直接使用暗原色先验去雾所产生的边缘效应，而且获得的去雾图片质量较高，图片的对比度亦得到很大的增强，视觉效果较原图像有较大提高。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于图像分割的图像去雾方法，其特征在于，包括：

获取有雾图像信息，对所述有雾图像求暗原色图并计算得到所述有雾图像的环境光；

对所述有雾图像生成一个与所述有雾图像大小相同的矩阵，并将相近的像素设为一区域；

分别对所述每个区域求暗原色图，计算每个区域的透光率；

通过所述有雾图像的环境光和所述透光率，对所述每个区域计算进行去雾得到去雾后的无雾图像。

2.如权利要求1所述的图像去雾方法，其特征在于，所述计算得到所述有雾图像的环境光的方法为：先对所述有雾图像求暗原色图，然后找出所述暗原色图中亮度最大的10％像素所在的图像区域，最后找出所述有雾图像中所述图像区域中亮度最高的像素点，以所述像素的三通道亮度值作为环境光。

3.如权利要求2所述的图像去雾方法，其特征在于，所述对所述图像区域计算得到去雾后的无雾图像进一步为通过所述大气光照度，利用暗原色先验算法计算得到去雾后的无雾图像。

4.一种基于图像分割的图像去雾装置，其特征在于，包括：图像处理单元，图像分割单元和图像去雾单元；其中，

第一图像处理单元，用于获取有雾图像信息，对所述有雾图像求暗原色图并计算得到所述有雾图像的环境光；

图像分割单元，与所述第一图像处理单元连接，对所述有雾图像生成一个与所述有雾图像大小相同的矩阵，并将相近的像素设为一区域；

第二图像处理单元，与所述图像分割单元连接，用于分别对所述每个区域求暗原色图，计算每个区域的透光率；

图像去雾单元，与所述第二图像处理单元连接，通过所述有雾图像的环境光和所述透光率，对所述每个区域计算进行去雾得到去雾后的无雾图像。

5.如权利要求4所述的图像去雾装置，其特征在于，所述第一图像处理单元先对所述有雾图像求暗原色图，然后找出所述暗原色图中亮度最大的10％像素所在的图像区域，最后找出所述有雾图像中所述图像区域中亮度最高的像素点，以所述像素的三通道亮度值作为大气光照度。

6.如权利要求5所述的图像去雾装置，其特征在于，所述图像去雾单元通过所述大气光照度，利用暗原色先验算法计算得到去雾后的无雾图像。