CN108460743A - 一种基于暗通道的无人机航拍图像去雾算法 - Google Patents

Abstract

本发明公开了一种基于暗通道的无人机航拍图像去雾算法，根据彩色有雾图像获取暗通道图像，由暗通道图像求取全球大气光成分A，再根据暗通道图像求取粗透射率图，将粗透射率图下采样并进行引导滤波再上采样得到精细透射率图，接着根据精细透射率图和全球大气光成分A求得初始去雾图像，最后使用限制对比度自适应直方图均衡化对初始去雾图像进行局部对比度增强，解决暗通道去雾后图像偏暗并突出原图局部信息，用于后续图像处理工作。本发明特别适用于无人机拍摄的高分辨率有雾图像去雾操作，通过大量实验证明，本发明能够快速的在去除无人机图像雾气影像的同时，得到更多无人机图像细节点，计算简便，有很好的鲁棒性。

Description

一种基于暗通道的无人机航拍图像去雾算法

技术领域

本发明属于暗通道先验模型的图像去雾技术领域，具体涉及一种基于暗通道的无人机航拍图像去雾算法。

背景技术

近年来，随着无人机技术的快速发展，其军用和民用应用领域不断扩大。无人机在低空检测系统中的作用无可替代，其操作维护简单，成本低廉，动作灵活且可持续工作，不局限于完成有人驾驶飞机执行的任务，在有人飞机不宜执行的任务上应用更加广泛，如自然受灾区域监测、公共安全、空中救援指挥、水利、矿产资源勘查。无人机为空中遥感的平台的微型遥感技术，遥感传感器通过无人机获取信息，用计算机处理图像信息，进而按照一定的精度要求制作成图像。在社会发展各个领域具有重要作用，成为继有人通用航空遥感技术和卫星遥感技术之后的新兴发展方向，潜力巨大，应用前景广阔。

空气中的悬浮颗粒对光线产生散射，使得景物反射后的光线发生衰减，同时散射环境光混合进观察者接收到光线中，造成雾霾天气下感受的景物在对比度、颜色等特征发生改变。随着计算机视觉在无人机中应用的不断发展，图像去雾技术受到了极大关注。

目前主要的图像去雾方法分为两类：基于图像增强的方法和基于物理模型的方法。基于图像增强的方法对被降质的图像做清晰化处理主要是提高图像对比度或者突出图像特征，包括局部直方图均衡化、同态滤波去雾、小波变换图像增强、Retinex理论图像增强等等，虽然可以应用的成熟的图像增强算法很多，但是这些方法不能适应不同的场景和图像，尤其是景物深度变化较多的图像，可能会使得图像部分信息损失，造成图像失真。同时，这类方法不考虑图像质降的过程，并不是真正的去除雾气，只是对图像清晰度有限的提高，不利于后续的计算机视觉系统处理。基于物理模型的方法是通过研究悬浮颗粒在大气中对光的散射影响，从而建立大气散射模型，了解图像退化的物理机制，反演出未被降质的景物原图。这种方法更能复原出真实图像。基于大气散射模型的方法可以分为三类，包括基于深度信息的方法、基于大气光偏振特性的方法和基于先验知识的方法。其中基于深度信息的方法对对比度和视觉效果都有明显的增强，但需要一定程度的用户交互操作，难以做到实时自动处理。基于大气光偏振的去雾方法前提条件容易实现，可以保证一定程度上视频的实时去雾处理，但是在雾气浓度较大时效果较差，并且不能单张图片自动处理。基于暗通道的图像去雾方法能都对单幅图像及位深变化较大的图像作出较好的处理，其中暗通道滤波窗口大小需要手动设定，暗通道滤波窗口大小直接影响投射率图的计算，并且由于在引导滤波的时候需要大量计算，难以实现实时处理，特别是由于无人机图像本身分辨率过高，实时处理更加困难。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于暗通道的无人机航拍图像去雾算法，在保证透射率图精度的同时优化速度，利用自适应对比度直方图均衡化的方法得到去雾后航拍图像的更多图像细节。

本发明采用以下技术方案：

一种基于暗通道的无人机航拍图像去雾算法，根据彩色有雾图像获取暗通道图像，由暗通道图像求取全球大气光成分A，再根据暗通道图像求取粗透射率图，将粗透射率图下采样并进行引导滤波再上采样得到精细透射率图，接着根据精细透射率图和全球大气光成分A求得初始去雾图像，最后使用限制对比度自适应直方图均衡化对初始去雾图像进行局部对比度增强，解决暗通道去雾后图像偏暗并突出原图局部信息，用于后续图像处理工作。

具体的，包括以下步骤：

S1、根据雾图形成模型获取暗通道并验证，通过不同窗口大小选择，求取窗口下原图中各个像素点处的暗通道值；

S2、根据已有的暗通道值获取暗通道值最大的百分之十的像素点，然后将这些像素点的值求平均做为全球大气光成分值A；

S3、对雾图形成模型进行变形处理，对暗通道两边求两次最小值运算得到透射率的预估值，求出粗透射率图；

S4、将透射率图和原图灰度图进行双线性插值，下采样为原来尺寸的1/12，然后进行引导滤波，再上双线性插值上采样为原来的尺寸，得到精细透射率图；

S5、将步骤S4的精细透射率图和步骤S2的全球大气光成分值A代入雾图形成模型计算得到去雾图像；

S6、对步骤S5得到的去雾图像进行对比度调整，选择限制对比度自适应直方图均衡化，使得图像局部细节对比度增强，选取适当的裁剪限幅值去除直方图均衡化中放大噪声的影响，将每个通道的映射值图像合并起来构成新的彩色图像。

进一步的，暗通道J^dark(x)如下：

其中，J^c(y)为无雾图像在通道c的像素值，c∈{r,g,b}为c取值彩色图像{r,g,b}三通道，Ω(x)为以x为中心的一个滑动窗口。

进一步的，设置暗通道窗口Ω边长为9，求取在此窗口下原图中各个像素点处的暗通道值。

进一步的，假设在每一个窗口内透射t(x)为常数，定义为透射率预估值对暗通道两边求两次最小值运算，引入[0,1]的一个因子ω，确定透射率预估值如下：

其中，^c为r、g、b三个通道，I^c(x)为图像在通道c处x点的像素值，A^c为全球大气光成分，ω为0.9。

进一步的，精细透射率图求取具体为：根据局部线性模型，将线性函数上所有包含某一点的线性函数值平均求的q_i的输出值输出值如下：

其中，q是输出像素的值，I是输入像素，_i和k是像素索引，a和b是当窗口中心位于k时该线性函数的系数，ω_k为第k个窗口。

进一步的，精细透射率图求取包括以下步骤：

S401、假设图像函数的输出与输入在一个二维窗口内满足线性关系如下：

S402、求出线性函数的系数，即希望拟合函数的输出值与真实值p之间的差距最小E(a_k,b_k)如下：

其中，p待滤波图像，I是原图灰度图，ε为0.00001；

S403、通过最小二乘法对步骤S402计算得到

其中，μ_k是I在窗口w_k中的平均值，是I在窗口w_k中的方差，|ω|是窗口w_k中像素的数量，是待滤波图像p在窗口w_k中的均值，窗口w_k边长为36。

进一步的，求取去雾图像具体为：令t＝t₀，将透射率图和全球大气光值带入雾图形成模型得到如下：

其中，t₀＝0.1，I(x)为待去雾的图像，t(x)为透射率，J(x)为要恢复的无雾的图像。

进一步的，限制对比度自适应直方图均衡化去雾图像具体为：

将每个通道的每个块分为不重叠的9×9窗口的小块，每个小块占81个像素点，计算每个小块的各通道的直方图，然后将直方图bin值高于裁剪限幅值的部分均匀分配给每个直方图bin，然后计算每个小块直方图累计分布函数，根据累计分布函数构造像素值映射关系，根据映射关系得到小块中心点像素值的映射值，计算出每个小块中心点像素值之后使用双线性插值上采样，得到原图每个像素点的映射值，进而得到一个图像的局部对比度增强的图像。

进一步的，当图像行列不能被9整除时，剩余没有分配到小块之内的点的映射值通过已有的中心点双线性插值得到。

与现有技术相比，本发明至少具有以下有益效果：

本发明针对无人机航拍图像分辨率高、数据处理实时性难以实现的问题，本发明提出基于暗通道原理的图像去雾技术，采用对精细投射率图下采样的方式得到适当分辨率的投射率图，用以达到实时性。对于基于暗通道去雾后的航拍图对比度低的问题，本发明提出利用限制自适应对比度直方图均衡化方法，改进图像局部对比度以获得更多航拍图像细节信息。

进一步的，采用最适先验窗口大小，对无人机航拍图像采用三通道最小值滤波求得最佳暗通道图像，使得在下一步求得更好的全球大气光成分和透射率图。

进一步的，首先记录暗通道图的像素值最大的百分之二十的像素点，然后求取这些像素点的暗通道值的平均值作为全球大气光成分，求取平均值可以使得去雾后的航拍图不会像白场过度。

进一步的，在计算粗透射率图的时候加入调节因子w，可以使得去雾后图像保持景深，更符合自然生活中看到的图像。

进一步的，对得到的粗透射率图进行下采样缩小尺寸，然后引导滤波得到精细透射率图，最后在上采样线性插值得到原尺寸透射率图。其中下采样后引导滤波时间倍级缩小，提高了实时性。

进一步的，引入透射率阈值t₀，当像素点透射率值低于t₀时选择t₀为像素点透射率值，这样可以防止在计算去雾图像时透射率值过低的像素点像素值偏高，防止了去雾图像像白场过度。

进一步的，对得到的去雾图像进行对比度调整，选择限制对比度自适应直方图均衡化，使得图像局部细节对比度增强，选取适当的裁剪限幅值去除直方图均衡化中放大噪声的影响。

综上所述，本发明特别适用于无人机拍摄的高分辨率有雾图像去雾操作，通过大量实验证明，本发明能够快速的在去除无人机图像雾气影像的同时，得到更多无人机图像细节点，计算简便，有很好的鲁棒性。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明去雾流程图；

图2为有雾的无人机航拍图；

图3为本发明去雾后的无人机航拍原始图。

具体实施方式

本发明提供了一种基于暗通道的无人机航拍图像去雾算法，根据彩色有雾图像获取暗通道图像，由暗通道图像求取全球大气光成分A，再根据暗通道图像求取粗透射率图。将粗透射率图下采样并进行引导滤波再上采样得到精细透射率图，这一步将大大降低了计算量，并且保证了去雾质量，接着根据精细透射率图和全球大气光成分A求得初始去雾图像。最后使用限制对比度自适应直方图均衡化对初始去雾图像进行局部对比度增强，这一步不仅解决了暗通道去雾后图像偏暗的问题，并且可以突出原图局部信息，方便后续图像处理工作。

请参阅图1，本发明一种基于暗通道的无人机航拍图像去雾算法，包括以下步骤：

S1、获取有雾图像暗通道

在计算机视觉和计算机图形中，下述方程所描述的雾图形成模型被广泛使用：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

其中，I(x)就是我们现在已经有的图像(待去雾的图像)，J(x)就是要恢复的无雾的图像，A是全球大气光成分，t(x)为透射率。

暗通道定义J^dark(x)：

其中，J^c(y)为无雾图像在通道c处y点的值，先验暗通道：J^dark(x)＞0。

通过不同窗口大小选择，执行本算法，通过对结果图的分析，当窗口大小取9时，可以满足最佳效果。设置窗口大小为9，求取在此窗口下原图中各个像素点处的暗通道值。

S2、求取全球大气光成分A

首先根据已有的暗通道值获取暗通道值最大的百分之十的像素点，然后将这些像素点的值求平均，做为全球大气光成分A的值。

S3、求取粗透射率图

对(1)式变形：

^c表示r、g、b三个通道

假设在每一个窗口内透射t(x)为常数，定义为并且A值已求出，然后对(2)两边求两次最小值运算，得到：

根据暗原色先验有

代入(4)得到：

就是透射率的预估值。现实生活中应保留一些雾的存在使人感受到景深，因此引入[0,1]的一个因子ω，得到：

根据公式(7)求出粗透射率图，本次ω取0.9。

S4、求取精细透射率图

局部线性模型认为，某函数上一点与其邻近部分的点成线性关系，一个复杂的函数就可以用很多局部的线性函数来表示，当需要求该函数上某一点的值时，只需计算所有包含该点的线性函数的值并做平均即可。

假设图像函数的输出与输入在一个二维窗口内满足线性关系，如下：

q是输出像素的值，I是输入像素(原图像的灰度图)，_i和k是像素索引，a和b是当窗口中心位于_k时该线性函数的系数。

下一步是求出线性函数的系数，也就是线性回归，即希望拟合函数的输出值与真实值p之间的差距最小，也就是让下式最小：

p待滤波图像，I是原图灰度图，同时，ε用于防止求得的a过大。

通过最小二乘法得到

μ_k是I在窗口w_k中的平均值，是I在窗口w_k中的方差，|ω|是窗口w_k中像素的数量，是待滤波图像p在窗口w_k中的均值。

在计算每个窗口的线性系数时，一个像素会被多个窗口包含，也就是说，每个像素都由多个线性函数所描述。因此，要具体求某一点的输出值时，只需将所有包含该点的线性函数值平均即可，如下：

由于无人机航拍图的分辨率过高，而得到的透射率图尺寸和原图尺寸相同，在对透射率图进行引导滤波的时候耗时长，所以首先将透射率图和原图灰度图进行双线性插值，下采样为原来尺寸的1/12。然后进行引导滤波，再上双线性插值上采样为原来的尺寸，到此就得到了精细的透射率图。此处的引导滤波窗口大小为暗通道窗口大小的四倍，ε取值为0.00001。

窗口w_k边长为36，p为粗透射率图，I为原图灰度图。

S5、求取去雾图像

将透射率图和全球大气光值代入(1)得到：

投射率图t的值很小时，会导致J的值偏大，从而使淂图像整体向白场过度，因此一般可设置一阈值t₀，当t值小于t₀时，令t＝t₀。于是得到：

由此公式计算得到去雾图像，此处t₀＝0.1。

S6、限制对比度自适应直方图均衡化去雾图像

首先对每个通道进行如下操作：

将每个块分为不重叠的9×9窗口的小块，每个小块占81个像素点，计算每个小块的各通道的直方图，然后将直方图bin值高于裁剪限幅值的部分均匀分配给每个直方图bin，然后计算每个小块直方图累计分布函数，根据累计分布函数构造像素值映射关系，根据映射关系得到小块中心点像素值的映射值，计算出每个小块中心点像素值之后使用双线性插值上采样，得到原图每个像素点的映射值，由此就得到一个图像的局部对比度增强的图像。

其中，在图像行列可能不能被9整除，这些剩余的没有分配到小块之内的点的映射值通过已有的中心点双线性插值得到。

将每个通道的映射值图像合并起来就构成了新的彩色图像。此处裁剪限幅值为50。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅投入2和图3，从图2中能够看出湖泊边界和森林交界不够明显，但图3中这两个的交界比较清晰，这是因为本身湖泊的颜色和森林就比较相近，再有雾情况下就更加模糊，图3充分说明了本方法的有效性。由于雾气的影响，图2中的森林纹理不够明显，只能模糊看到一片绿色，在图3中可以清晰的看到森林的纹理，图像纹理更加清晰。最后，图3较图2中，森林、道路以及河流等地物颜色明显比之前更加清晰，这是本方法最后使用限制对比度直方图增强的效果，使得图像颜色更加真实。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于暗通道的无人机航拍图像去雾算法，其特征在于，根据彩色有雾图像获取暗通道图像，由暗通道图像求取全球大气光成分A，再根据暗通道图像求取粗透射率图，将粗透射率图下采样并进行引导滤波再上采样得到精细透射率图，接着根据精细透射率图和全球大气光成分A求得初始去雾图像，最后使用限制对比度自适应直方图均衡化对初始去雾图像进行局部对比度增强，解决暗通道去雾后图像偏暗并突出原图局部信息，用于后续图像处理工作。

2.根据权利要求1所述的一种基于暗通道的无人机航拍图像去雾算法，其特征在于，包括以下步骤：

S1、根据雾图形成模型获取暗通道并验证，通过不同窗口大小选择，求取窗口下原图中各个像素点处的暗通道值；

S2、根据已有的暗通道值获取暗通道值最大的百分之十的像素点，然后将这些像素点的值求平均做为全球大气光成分值A；

S3、对雾图形成模型进行变形处理，对暗通道两边求两次最小值运算得到透射率的预估值，求出粗透射率图；

S4、将透射率图和原图灰度图进行双线性插值，下采样为原来尺寸的1/12，然后进行引导滤波，再上双线性插值上采样为原来的尺寸，得到精细透射率图；

S5、将步骤S4的精细透射率图和步骤S2的全球大气光成分值A代入雾图形成模型计算得到去雾图像；

S6、对步骤S5得到的去雾图像进行对比度调整，选择限制对比度自适应直方图均衡化，使得图像局部细节对比度增强，选取适当的裁剪限幅值去除直方图均衡化中放大噪声的影响，将每个通道的映射值图像合并起来构成新的彩色图像。

3.根据权利要求1或2所述的一种基于暗通道的无人机航拍图像去雾算法，其特征在于，暗通道J^dark(x)如下：

其中，J^c(y)为无雾图像在通道c的像素值，c∈{r,g,b}为c取值彩色图像{r,g,b}三通道，Ω(x)为以x为中心的一个滑动窗口。

4.根据权利要求3所述的一种基于暗通道的无人机航拍图像去雾算法，其特征在于，设置暗通道窗口_Ω边长为9，求取在此窗口下原图中各个像素点处的暗通道值。

5.根据权利要求1或2所述的一种基于暗通道的无人机航拍图像去雾算法，其特征在于，假设在每一个窗口内透射t(x)为常数，定义为透射率预估值对暗通道两边求两次最小值运算，引入[0,1]的一个因子ω，确定透射率预估值如下：

其中，^c为r、g、b三个通道，I^c(x)为图像在通道c处x点的像素值，A^c为全球大气光成分，ω为0.9。

6.根据权利要求1或2所述的一种基于暗通道的无人机航拍图像去雾算法，其特征在于，精细透射率图求取具体为：根据局部线性模型，将线性函数上所有包含某一点的线性函数值平均求的q_i的输出值输出值如下：

其中，q是输出像素的值，I是输入像素，_i和k是像素索引，a和b是当窗口中心位于k时该线性函数的系数，ω_k为第k个窗口。

7.根据权利要求6所述的一种基于暗通道的无人机航拍图像去雾算法，其特征在于，精细透射率图求取包括以下步骤：

S401、假设图像函数的输出与输入在一个二维窗口内满足线性关系如下：

S402、求出线性函数的系数，即希望拟合函数的输出值与真实值p之间的差距最小E(a_k,b_k)如下：

其中，p待滤波图像，I是原图灰度图，ε为0.00001；

S403、通过最小二乘法对步骤S402计算得到

其中，μ_k是I在窗口w_k中的平均值，是I在窗口w_k中的方差，|ω|是窗口w_k中像素的数量，是待滤波图像p在窗口w_k中的均值，窗口w_k边长为36。

8.根据权利要求1或2所述的一种基于暗通道的无人机航拍图像去雾算法，其特征在于，求取去雾图像具体为：令t＝t₀，将透射率图和全球大气光值带入雾图形成模型得到如下：

其中，t₀＝0.1，I(x)为待去雾的图像，t(x)为透射率，J(x)为要恢复的无雾的图像。

9.根据权利要求1或2所述的一种基于暗通道的无人机航拍图像去雾算法，其特征在于，限制对比度自适应直方图均衡化去雾图像具体为：

将每个通道的每个块分为不重叠的9×9窗口的小块，每个小块占81个像素点，计算每个小块的各通道的直方图，然后将直方图bin值高于裁剪限幅值的部分均匀分配给每个直方图bin，然后计算每个小块直方图累计分布函数，根据累计分布函数构造像素值映射关系，根据映射关系得到小块中心点像素值的映射值，计算出每个小块中心点像素值之后使用双线性插值上采样，得到原图每个像素点的映射值，进而得到一个图像的局部对比度增强的图像。

10.根据权利要求9所述的一种基于暗通道的无人机航拍图像去雾算法，其特征在于，当图像行列不能被9整除时，剩余没有分配到小块之内的点的映射值通过已有的中心点双线性插值得到。