CN109636735A - 一种基于时空一致性约束的快速视频去雾方法 - Google Patents

Abstract

本发明提供了一种基于时空一致性约束的快速视频去雾方法，将输入图像采用四分叉树分割求瞬时大气光值，对瞬时大气光值进行时空一致性约束，求解全局大气光值，根据全局大气光值以及输入图像，求解初始透射率，对初始透射率进行保持边缘滤波，求解精细透射率，根据输入图像、全局大气光值和精细透射率即可进行去雾复原。本发明对全局大气光值进行时空一致性约束，避免了单帧去雾算法在处理视频图像时可能会产生的闪烁现象。透射率估计中，对图像雾气浓度进行判断，并用判断的结果对透射率的最小值进行约束，保证了本发明的方法在不同雾气状况下的自适应能力。透射率估计中多采用比较算法，非常便于硬件逻辑实现与移植。

Description

一种基于时空一致性约束的快速视频去雾方法

技术领域

本发明涉及图像处理和计算机视觉技术领域，尤其涉及一种快速视频去雾方法。

背景技术

由于地面、海面背景复杂，目标种类繁多，远距离下的被探测目标极容易被淹没在背景噪声中，尤其是在低能见度条件下，环境中雾霾、水汽、沙尘等气溶胶粒子对光波的吸收和散射作用，严重影响光电系统的作战使用效能。图像去雾技术是通过图像复原的手段，从有雾场景拍摄的图像、视频中去除雾霾的影响，恢复物体原有的颜色和细节信息，得到高质量的图像并获取更多有效的图像信息的过程。

根据其是否依赖物理模型分为基于图像增强的去雾算法和基于物理模型的去雾算法。基于图像增强的去雾方法由于未考虑图像退化模型与场景深度信息，实际应用中对于成像深度较大的浓雾区域去雾效果往往不尽如人意。同时，图像增强可能会造成局部区域的过饱和失真。基于物理模型的去雾方法充分考虑了雾图形成的原因，取得了较好的去雾效果，比较有代表性的方法有He的暗通道先验去雾、Tan的局部对比度最优去雾、Fattal的独立成分分析去雾等等。尽管基于物理模型的图像去雾取得了一些成果，然而现有的方法大多是针对单帧图像的处理。人类视觉对视频的时空一致性非常敏感，因此，不考虑视频帧间的相互关系而简单地将单幅去雾算法应用到视频上会导致去雾后视频闪烁。

发明内容

为了克服现有技术的不足，本发明针对视频去雾计算量大，对时空一致性要求高等需求，提出一种快速视频去雾方法。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：根据输入图像I_c，采用四分叉树分割求瞬时大气光值

将输入图像I_c平均分割成4个子空间组成四叉树，用每个子空间的均值减去标准偏差作为该子空间的最终得分；选择得分最高的子空间继续进行四叉树分割，重复该过程直至分割后的子空间的像素数目小于设定值Z为止，Z＝(M×N)/2⁷，其中M，N分别代表图像长度与宽度；最后一次分割后得分最高的子空间为I_c ^s(p)，在子空间I_c ^s(p)中选取RGB与[255,255,255]的欧氏距离最近的点作为瞬时大气光值

步骤2：对瞬时大气光值进行时空一致性约束，求解全局大气光值A_c；

假设视频的帧率为N帧/秒，则第n帧的全局大气光值A_c(n)按照如下公式计算得到：

其中，为步骤一计算得到的第n帧的瞬时大气光值；

步骤3：根据全局大气光值以及输入图像，求解初始透射率t_c；

对输入图像I_c降四倍采样，得到降采样图像使用(x,y)代表降采样图像中像素的坐标，计算降采样图像中每个像素点与全局大气光值A_c之间的欧式距离r(x,y):

根据欧式距离r(x,y)计算初始透射率t_b(x,y)：

t_b(x,y)＝r(x,y)/r_max,

其中r_max表示r(x,y)中的最大值，对初始透射率t_b(x,y)进行边界约束，得到透射率为：

其中，min为求解最小值操作，max为求解最大值操作，t_LB为中间求解变量，A_c和分别为全局大气光值和降采样图像，下标c代表了图像RGB三个通道；

对透射率最小值进行约束，得到初始透射率t_c为：

其中，mean(·)与std(·)分别表示对输入图像取均值与标准差的操作，max为求解最大值操作，t_min为最小约束值；

步骤4：对初始透射率进行保持边缘滤波，求解精细透射率t_f；

使用降采样图像对初始透射率t_c进行保持边缘滤波，具体操作流程如下：

降采样图像按照下式计算沿x，y方向的平滑权重a_x、a_y：

其中，分别为降采样图像沿x,y方向的偏导，ε是为了防止分母为零的小数，取值范围为[0.001～0.0001]，以平滑权重a_x、a_y作为对角线元素，构建对角矩阵A_x和A_y，对A_x和A_y分别沿x，y方向做前向与后向差分运算并相加，得到中间变量L_g：

其中，D_x和分别是沿x方向的前向与后向差分算子，D_y和分别是沿y方向的前向与后向差分算子；

将中间变量L_g与步骤3得到的初始透射率t_c带入下式，进行保持边缘滤波，得到透射率t_fd：

t_fd＝t_c(1+λL_g)^-1

其中，λ是权重系数，范围是0.1-0.15，通过线性插值对t_fd进行升四倍采样，得到精细透射率t_f；

步骤5：根据输入图像、全局大气光值和精细透射率t_f，进行去雾复原；

根据输入图像I_c、全局大气光值A_c以及精细透射率t_f，按照下式计算：

即可得到去雾复原的图像J_c。

本发明的有益效果在于对全局大气光值进行时空一致性约束，避免了单帧去雾算法在处理视频图像时可能会产生的闪烁现象。透射率估计中，对图像雾气浓度进行判断，并用判断的结果对透射率的最小值进行约束，保证了本发明的方法在不同雾气状况下的自适应能力。透射率估计中多采用比较算法，非常便于硬件逻辑实现与移植。

附图说明

图1为本发明方法的步骤流程图；

图2为本发明对原图像处理的结果。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

步骤1：根据输入图像I_c，采用四分叉树分割求瞬时大气光值

将输入图像I_c平均分割成4个子空间组成四叉树，用每个子空间的均值减去标准偏差作为该子空间的最终得分；选择得分最高的子空间继续进行四叉树分割，重复该过程直至分割后的子空间的像素数目小于设定值Z为止，Z＝(M×N)/2⁷，其中M，N分别代表图像长度与宽度；最后一次分割后得分最高的子空间为I_c ^s(p)，在子空间I_c ^s(p)中选取RGB与[255,255,255]的欧氏距离最近的点作为瞬时大气光值

步骤2：对瞬时大气光值进行时空一致性约束，求解全局大气光值A_c；

假设视频的帧率为N帧/秒，则第n帧的全局大气光值A_c(n)按照如下公式计算得到：

其中，为步骤一计算得到的第n帧的瞬时大气光值；

步骤3：根据全局大气光值以及输入图像，求解初始透射率t_c；

对输入图像I_c降四倍采样，得到降采样图像使用(x,y)代表降采样图像中像素的坐标，计算降采样图像中每个像素点与全局大气光值A_c之间的欧式距离r(x,y):

根据欧式距离r(x,y)计算初始透射率t_b(x,y)：

t_b(x,y)＝r(x,y)/r_max,

其中r_max表示r(x,y)中的最大值，对初始透射率t_b(x,y)进行边界约束，得到透射率为：

其中，min为求解最小值操作，max为求解最大值操作，t_LB为中间求解变量，A_c和分别为全局大气光值和降采样图像，下标c代表了图像RGB三个通道；

对透射率最小值进行约束，得到初始透射率t_c为：

其中，mean(·)与std(·)分别表示对输入图像取均值与标准差的操作，max为求解最大值操作，t_min为最小约束值；

步骤4：对初始透射率进行保持边缘滤波，求解精细透射率t_f；

使用降采样图像对初始透射率t_c进行保持边缘滤波，具体操作流程如下：

降采样图像按照下式计算沿x，y方向的平滑权重a_x、a_y：

其中，分别为降采样图像沿x,y方向的偏导，ε是为了防止分母为零的小数，取值范围为[0.001～0.0001]，以平滑权重a_x、a_y作为对角线元素，构建对角矩阵A_x和A_y，对A_x和A_y分别沿x，y方向做前向与后向差分运算并相加，得到中间变量L_g：

其中，D_x和分别是沿x方向的前向与后向差分算子，D_y和分别是沿y方向的前向与后向差分算子；

将中间变量L_g与步骤3得到的初始透射率t_c带入下式，进行保持边缘滤波，得到透射率t_fd：

t_fd＝t_c(1+λL_g)^-1

其中，λ是权重系数，范围是0.1-0.15，通过线性插值对t_fd进行升四倍采样，得到精细透射率t_f；

步骤5：根据输入图像、全局大气光值和精细透射率t_f，进行去雾复原；

根据输入图像I_c、全局大气光值A_c以及精细透射率t_f，按照下式计算：

即可得到去雾复原的图像J_c。

参照图1，以输入原图为彩色图像为例，本发明实施例的具体步骤如下：

步骤1：根据输入图像I，采用四分叉树分割求大气光值；

参照附图2图(b)四分叉树分割示意图，首先将原图像平均分割成4个子空间组成四叉树。用每个子空间的均值减去该子空间的标准偏差作为该子空间的最终得分。选择得分最高的子空间继续进行四叉树分割，重复该过程直到分割后子空间的像素数目小于设定值Z，记最后打分最高的子空间为I^s(p)，参照附图2图(b)右上角黑色矩形填充部分为最终分割的子空间I^s(p)。在子空间I^s(p)中选取RGB与[255,255,255]的欧式距离最近的点作为瞬时大气光值结合本发明实例应用，附图2中有雾图像的瞬时大气光值计算结果为(232,234,233)；

步骤2：对所述瞬时大气光值进行时空一致性约束，求解全局大气光值A_c；

此次处理视频的帧率是25，则输入视频前12帧图像的全局大气光值A_c等于本帧由步骤1计算得到的瞬时大气光值，13帧之后的全局大气光值A等于本帧由步骤1计算得到的瞬时大气光值与之前13帧的瞬时大气光值的平均值。

步骤3：根据所述全局大气光值以及所述输入图像，求解初始透射率tc；

对输入图像I_c降四倍采样，得到降采样图像使用(x,y)代表降采样图像中像素的坐标，计算降采样图像中每个像素点与全局大气光值A_c之间的欧式距离r(x,y):

根据欧式距离r(x,y)计算初始透射率t_b(x,y)：

t_b(x,y)＝r(x,y)/r_max,

其中r_max表示r(x,y)中的最大值，对初始透射率t_b(x,y)进行边界约束，得到透射率为：

本次计算的最小值t_min为0.45，对透射率最小值进行约束，得到初始透射率t_c，根据输入图像

结合本发明实例应用，附图2图(c)为使用上述公式及参数计算的初始透射率。

步骤4：对所述初始透射率进行保持边缘滤波，求解精细透射率t_f；

使用所述降采样图像对初始透射率t_c进行保持边缘滤波，具体操作流程如下：

降采样图像按照下式计算沿x，y方向的平滑权重a_x、a_y：

其中，分别为降采样图像沿x,y方向的偏导，ε是为了防止分母为零的小数，取值范围为[0.001～0.0001]，以平滑权重a_x、a_y作为对角线元素，构建对角矩阵A_x和A_y，对A_x和A_y分别沿x，y方向做前向与后向差分运算并相加，得到中间变量L_g：

其中，D_x和分别是沿x方向的前向与后向差分算子，D_y和分别是沿y方向的前向与后向差分算子；

将中间变量L_g与步骤三得到的初始透射率t_c带入下式，进行保持边缘滤波，得到透射率t_fd；

t_fd＝t_c(1+λL_g)^-1

通过线性插值对t_fd进行升四倍采样，得到精细透射率t_f。结合本发明实例应用，附图2图(d)为使用上述公式及参数计算的精细透射率。

步骤5：根据所述原图像、所述全局大气光值和所述精细透射率tf；进行去雾复原步骤中，根据输入图像I_c、全局大气光值A_c、以及精细透射率tf，按照下式计算去雾复原的图像J_c：

结合本发明实例应用，附图2(e)为去雾复原的结果。

本发明无需手动输入参数，无论晴天还是雾天，均可以达到满意的去雾效果，同时，去雾后忠于原始图片颜色分布，无色彩失真。除此之外，本发明的方法在透射率求取等关键步骤上多采用比较算法，非常便于FPGA逻辑电路设计与实现。

Claims (1)

1.一种基于时空一致性约束的快速视频去雾方法的方法，其特征在于包括下述步骤：

步骤1：根据输入图像I_c，采用四分叉树分割求瞬时大气光值

将输入图像I_c平均分割成4个子空间组成四叉树，用每个子空间的均值减去标准偏差作为该子空间的最终得分；选择得分最高的子空间继续进行四叉树分割，重复该过程直至分割后的子空间的像素数目小于设定值Z为止，Z＝(M×N)/2⁷，其中M，N分别代表图像长度与宽度；最后一次分割后得分最高的子空间为I_c ^s(p)，在子空间I_c ^s(p)中选取RGB与[255,255,255]的欧氏距离最近的点作为瞬时大气光值

步骤2：对瞬时大气光值进行时空一致性约束，求解全局大气光值A_c；

假设视频的帧率为N帧/秒，则第n帧的全局大气光值A_c(n)按照如下公式计算得到：

其中，为步骤一计算得到的第n帧的瞬时大气光值；

步骤3：根据全局大气光值以及输入图像，求解初始透射率t_c；

对输入图像I_c降四倍采样，得到降采样图像使用(x,y)代表降采样图像中像素的坐标，计算降采样图像中每个像素点与全局大气光值A_c之间的欧式距离r(x,y)：

根据欧式距离r(x,y)计算初始透射率t_b(x,y)：

t_b(x,y)＝r(x,y)/r_max,

其中r_max表示r(x,y)中的最大值，对初始透射率t_b(x,y)进行边界约束，得到透射率为：

其中，min为求解最小值操作，max为求解最大值操作，t_LB为中间求解变量，A_c和分别为全局大气光值和降采样图像，下标c代表了图像RGB三个通道；

对透射率最小值进行约束，得到初始透射率t_c为：

其中，mean(·)与std(·)分别表示对输入图像取均值与标准差的操作，max为求解最大值操作，t_min为最小约束值；

步骤4：对初始透射率进行保持边缘滤波，求解精细透射率t_f；

使用降采样图像对初始透射率t_c进行保持边缘滤波，具体操作流程如下：

降采样图像按照下式计算沿x，y方向的平滑权重a_x、a_y：

其中，分别为降采样图像沿x,y方向的偏导，ε是为了防止分母为零的小数，取值范围为[0.001～0.0001]，以平滑权重a_x、a_y作为对角线元素，构建对角矩阵A_x和A_y，对A_x和A_y分别沿x，y方向做前向与后向差分运算并相加，得到中间变量L_g：

其中，D_x和分别是沿x方向的前向与后向差分算子，D_y和分别是沿y方向的前向与后向差分算子；

将中间变量L_g与步骤3得到的初始透射率t_c带入下式，进行保持边缘滤波，得到透射率t_fd：

t_fd＝t_c(1+λL_g)^-1

其中，λ是权重系数，范围是0.1-0.15，通过线性插值对t_fd进行升四倍采样，得到精细透射率t_f；

步骤5：根据输入图像、全局大气光值和精细透射率t_f，进行去雾复原；

根据输入图像I_c、全局大气光值A_c以及精细透射率t_f，按照下式计算：

即可得到去雾复原的图像J_c。