CN113610728A - 一种基于四分暗通道均值比较的偏振双图像去雾方法 - Google Patents

Abstract

本发明公开了一种基于四分暗通道均值比较的偏振双图像去雾方法，该方法包括以下步骤：步骤1，通过镜头前加装有偏振片的相机，获取预设的偏振片旋转角度的偏振带雾图像；步骤2，根据多幅所述偏振带雾图像，获取光强最大的图像I^⊥和光强最小的图像I^||；步骤3，根据I^⊥和I^||，获得原始带雾图像I以及估计无穷远处大气光强A_∞；步骤4，对I进行去雾处理，获得去雾后的图像L。本发明能够使最终输出的图像清晰化，对比度变高，梯度增强。

Description

一种基于四分暗通道均值比较的偏振双图像去雾方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于四分暗通道均值比较的偏振双图像去雾方法。

背景技术

在雾和霾天气中，前者是由于天气骤然变冷使得空气中的水蒸气凝结而成，后者是由于大气污染颗粒和气溶胶悬浮在天空中导致。这两种天气下，光经过雾或霾的大气无数次反射、折射、散射后，到达相机的大气光和景物原始反射光叠加，导致拍摄的图像模糊不清、对比度差，严重影响人们对场景的观测结果。因此，图像去雾的研究对于复原场景细节、提升图像对比度具有十分重要的意义。

目前，图像去雾分为两类，一类是基于物理退化模型复原的方法，另一类是图像增强的方法。第一种方法的典型方法是偏振去雾法。Y.Y.Schechner 等人首次利用光的偏振特性，获取亮度最大和亮度最小的两幅偏振图像，实现了图像去雾，但该方法获取最好最差双图像和无穷远处大气光强依赖于人工判断，因此估计精度较低。Kaiming He提出用暗通道估计无穷远处大气光强，但这种方法会受到纯白色场景或建筑物的干扰，使得场景中白色建筑物多的情况下估计大气光强选取的像素为白色建筑物像素。

发明内容

本发明的目的在于提供一种基于四分暗通道均值比较的偏振双图像去雾方法，使最终输出的图像清晰化，对比度变高，梯度增强。

为实现上述目的，本发明提供一种基于四分暗通道均值比较的偏振双图像去雾方法，该方法包括以下步骤：

步骤1，通过镜头前加装有偏振片的相机，获取预设的偏振片旋转角度的偏振带雾图像；

步骤2，根据多幅所述偏振带雾图像，获取光强最大的图像I^⊥和光强最小的图像I^||；

步骤3，根据I^⊥和I^||，获得原始带雾图像I以及估计无穷远处大气光强A_∞；

步骤4，对I进行去雾处理，获得去雾后的图像L。

进一步地，所述步骤1中，所述预设的偏振片旋转角度包括0°、45°、 90°、和135°。

进一步地，所述步骤2具体包括：

步骤21，利用式(1)计算入射光的斯托克斯矢量S：

式中，S₀表示不加偏振片时入射光的总光强，S₁表示所述偏振片旋转角度分别为0°与90°时的光强差，S₂表示所述偏振片旋转角度分别为45°和135°的光强差，S₃为右旋圆偏振分量的信息，I₀表示所述偏振片旋转角度为0°时所述相机接收到的光强，I₉₀表示所述偏振片旋转角度为90°时所述相机接收到的光强，I₄₅表示所述偏振片旋转角度为45°时所述相机接收到的光强，I_LC表示光通过左旋圆偏振片后所述相机接收到的光强；

步骤22，利用式(2)计算出I^⊥对应的偏振片旋转角度θ^⊥和I^||对应的偏振片旋转角度θ^||：

步骤23，联立式(1)、式(2)、式(4)和式(5)，计算I^⊥和I^||：

进一步地，所述步骤3具体包括：

步骤31，提取所述I的每个像素的暗通道像素，获得一幅由r、g、b三个通道最低亮度像素组成的暗通道图像；

步骤32，将所述暗通道图像进行四分均值比较法：图像被平均分成四块区域，计算每一块所述区域像素强度的平均值，并判断最大的所述光强平均值所在所述区域的横向或纵向像素个数是否小于设定像素数目，若是，则取所述原始带雾图像上对应位置的所述区域的光强平均值作为无穷远处大气光强A_∞；否则，最大的所述光强平均值所在所述区域继续进行四分均值比较法。

进一步地，所述步骤31中，提取所述原始带雾图像的每个像素的暗通道像素的方法具体包括：

步骤311，提取所述原始带雾图像中以x为中心、大小为Ω(x)的窗口中选择像素强度值最低的像素J_c(y)；

步骤312，对J_c(y)提取r、g、b通道的像素值进行大小比较，基于暗通道先验知识，对非天空区域中单个像素提取的r、g、b通道像素强度最低的一个通道作为暗通道像素。

进一步地，所述步骤33之前还包括：对所述暗通道图像进行一步最小值滤波。

进一步地，所述步骤4中，利用式(10)对所述原始带雾图像进行去雾：

式中，A表示天空区域中每一点的大气光强。

进一步地，所述步骤4还包括：

步骤41，建立大气散射模型；

步骤42，根据所述大气散射模型，模拟光线传播的物理过程，根据式(7)、 (8)和(9)，并采用透射率t代替朗伯比尔定律中e^-β(λ)x、省略场景与相机位置固定为d、以及采用A_∞表示t，获得式(10)：

I＝Lt+A_∞(1-t) (7)

L₀＝Lt (8)

A＝A_∞(1-t) (9)。

本发明提供的方法能够使雾天采集的模糊不清的带雾图像清晰化，对比度提高，色彩更加鲜艳。

附图说明

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1是本发明实施例提供的一种基于四分暗通道均值比较的偏振双图像去雾方法的流程图。

图2是本发明实施例中的光强最大的图像I^⊥和光强最小的图像I^||对应的偏振片旋转角度的计算流程图。

图3是本发明实施例中的暗通道图像提取流程图。

图4是本发明实施例中的无穷远处大气光强估计流程图。

图5是本发明实施例中的四分暗通道均值比较法过程图。

图6是大气散射模型示意图。

图7是去雾前后对比图。

图8是偏振片旋转四个方向示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明实施例所提供的基于四分暗通道均值比较的偏振双图像去雾方法，其特征在于，包括以下步骤：

步骤1，通过镜头前加装有偏振片的相机，获取预设的偏振片旋转角度的偏振带雾图像。

步骤2，根据多幅所述偏振带雾图像，获取光强最大的图像I^⊥和光强最小的图像I^||。

步骤3，根据I^⊥和I^||，获得原始带雾图像I以及估计无穷远处大气光强A_∞。原始带雾图像I可以采用将I^⊥和I^||光强叠加的方式，合成获得，I为不加偏振片时相机拍摄所得图像。

步骤4，对I进行去雾处理，获得去雾后的图像L。如图7所示，其中的a 表示I，b表示L。

在一个实施例中，步骤1中，如图8所示，设定水平方向x为标准，旋转偏振片，使其透振方向与标准方向分别呈0°、45°、90°、和135°后固定之后采集图像，此时的0°、45°、90°、和135°为一组预设的偏振片旋转角度，如a示出的是偏振片摆放角度示意图，b示出的是拍摄后图像对应角度，这种组合方式相对其它角度组合，在后续计算将更加简便，且旋转角度调整操作方便。

在一个实施例中，如图2所示，步骤2包括：

步骤21，根据四个角度偏振图像，利用斯托克斯公式(1)计算入射光的斯托克斯矢量：

式中，S₀表示不加偏振片时入射光的总光强，S₁表示所述偏振片旋转角度分别为0°与90°时的光强差，S₂表示所述偏振片旋转角度分别为45°和135°的光强差，S₃为右旋圆偏振分量的信息，I₀表示所述偏振片旋转角度为0°时所述相机接收到的光强，I₉₀表示所述偏振片旋转角度为90°时所述相机接收到的光强，I₄₅表示所述偏振片旋转角度为45°时所述相机接收到的光强，I_LC表示光通过左旋圆偏振片后所述相机接收到的光强，因为自然界中该分量较少因此可以忽略不计，本方法获取该信息是为了验证其数值趋于0。

步骤22，根据式(2)提供的偏振角计算公式和菲涅折射尔原理，计算I^⊥对应的偏振片旋转角度θ^⊥和I^||对应的偏振片旋转角度θ^||：

步骤23，利用旋转任意角度线偏振片的Muller矩阵(3)与斯托克斯公式(1)的关系联系起来，Muller矩阵(3)的第一行是斯托克斯公式(1)中的代表相机接收到的总光强的量，将第一行单独列出来，可获得式(4)和(5)，最后联立式(1)、式(2)、式(4)和式(5)，计算I^⊥和I^||：

除了通过步骤21至步骤23获取最大最小光强双图像对应的双角度图像之外，还可以依靠人眼判断或者在相机镜头前装上步进电机，偏振片每隔一定角度旋转拍摄照片，直至旋转一周，将拍摄的照片进行某点的光强对比也能得出所需的两幅图。

在一个实施例中，如图3所示，步骤3具体包括：

步骤31，提取所述原始带雾图像的每个像素的暗通道像素，获得一幅由r、 g、b三个通道最低亮度像素组成的暗通道图像。

步骤32，将所述暗通道图像进行四分均值比较法：图像被平均分成四块区域，计算每一块所述区域的光强平均值，并判断最大的所述光强平均值所在所述区域的横向或纵向像素个数是否小于设定像素数目，若是，则取所述原始带雾图像上对应位置的所述区域的光强平均值作为无穷远处大气光强A_∞；否则，最大的所述光强平均值所在所述区域继续进行四分均值比较法。

如图4所示，当然，设定像素数目越小，则四分均值比较法的步骤重复越多，耗时间越长，但是结果越精确。可以根据实际需求进行设置，比如：横向或纵向的设定像素数目选为5。

上述实施例中的四分均值比较法也可以采用四叉树或两叉树或八叉树方法等替代。

在一个实施例中，步骤32中，如图5所示，提取原始带雾图像的每个像素的暗通道像素的方法具体包括：

步骤311，提取所述原始带雾图像中以x为中心、大小为Ω(x)的窗口中选择像素强度值最低的像素J_c(y)。其中，Ω(x)以计算及运行速度和图片大小来定，区域越小结果越精确，但是耗时长，有些计算机因为配置不够可能出现卡死，因此只能加大窗口尺寸来牺牲精确度获得计算速度。

步骤312，对J_c(y)提取r、g、b通道的像素值进行大小比较，基于暗通道先验知识：J_dark(x)→0，在非天空区域中，对单个像素提取的r、g、b通道中最少有一个通道的像素强度极低且接近于零，该单通道像素定义为暗通道像素，选取像素强度最低的一个通道作为暗通道像素J_dark(x)，如式(6)所示：

J_dark(x)＝min(min(J_c(y)))，c∈{r，g，b}，y∈Ω(x) (6)

式中，y表示区域内数值最小的像素，x表示暗通道像素，c表示像素在rgb 通道中的某个通道。

需要说明的是，暗通道理论针对的是整幅图像，提取的也是整幅图像的范围内的像素，只不过绝大多数图片中出现“对单个像素提取的r、g、b通道中最少有一个通道的像素强度极低且接近于零”这个现象的像素属于非天空区域，但暗通道方法只是单图像去雾，因此只有一张原始带雾图像，没有其他图像。本实施例中无需精确识别出天空与非天空区域的界限，只需要找到天空区域最亮的一个区域即可，因此只需保证两点，一：该位置属于天空区域；二：该位置是最亮的点。

在一个实施例中，所述步骤33之前还包括：对所述暗通道图像进行一步最小值滤波，这样可以减少高亮噪声对后期估计的影响。

在一个实施例中，步骤4中，利用式(10)对所述原始带雾图像进行去雾：

式中，L表示所述原始带雾图像经由去雾后的图像，I表示所述原始带雾图像，A表示天空区域中每一点的大气光强。

在一个实施例中，式(10)的获得方法包括：

步骤41，建立大气散射模型：如图6所示，模型假设大气中的雾是均匀的，接下来可以把到达相机的光进行分解，一部分为大气散射光，这部分光是有光从光源出发，经大气中的大颗粒分子经过无数次反射、折射到达相机，由偏振知识可知，这部分光为部分偏振光，通过偏振片后光强有最大最小值，随着偏振片旋转角度改变而改变。另一部分为景物直接反射光，光从光源出发经过景物的反射后直接到达相机，由于是二次反射光，因此这部分光传播路径只有景物到相机的直线距离，可以近似认为是自然光，通过偏振片后光线强度为原来一半。

步骤42，根据所述大气散射模型，模拟光线传播的物理过程，到达相机的光线强度表示为式(7)：

I＝Lt+A_∞(1-t) (7)

其中，采用透射率t代替朗伯比尔定律中e^-β(λ)x，省略场景与相机位置固定为d，散射系数β是不确定值，L是由衰减反射光模型导出，代表景物原始反射光强，这部分光经过透射衰减和雾气散射衰减到达相机，与透射率的关系为：

L₀＝Lt (8)

无穷远处大气光强A_∞是散射太阳光强度最大的部分，距离此处越近透射率越小，A表示天空区域中每一点的大气光强，由A_∞经过大气颗粒或水雾多次反射衰减到达相机，用公式(9)进行表示：

A＝A_∞(1-t) (9)

将透射率用无穷远处大气光强表示，结合公式(7)可推导出去雾算法为式(10)：

其中大气光强A与其偏振度P_A关系如下式(11)，P_∞是无穷远处大气光偏振度，代表全局偏振度：

利用双角度偏振图像与大气光强A的关系如下式(12)，获得A：

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于四分暗通道均值比较的偏振双图像去雾方法，其特征在于，包括以下步骤：

步骤1，通过镜头前加装有偏振片的相机，获取预设的偏振片旋转角度的偏振带雾图像；

步骤2，根据多幅所述偏振带雾图像，获取光强最大的图像I^⊥和光强最小的图像I^||；

步骤3，根据I^⊥和I^||，获得原始带雾图像I以及估计无穷远处大气光强A_∞；

步骤4，对I进行去雾处理，获得去雾后的图像L。

2.如权利要求1所述的基于四分暗通道均值比较的偏振双图像去雾方法，其特征在于，所述步骤1中，所述预设的偏振片旋转角度包括0°、45°、90°、和135°。

3.如权利要求2所述的基于四分暗通道均值比较的偏振双图像去雾方法，其特征在于，所述步骤2具体包括：

步骤21，利用式(1)计算入射光的斯托克斯矢量S：

式中，S₀表示不加偏振片时入射光的总光强，S₁表示所述偏振片旋转角度分别为0°与90°时的光强差，S₂表示所述偏振片旋转角度分别为45°和135°的光强差，S₃为右旋圆偏振分量的信息，I₀表示所述偏振片旋转角度为0°时所述相机接收到的光强，I₉₀表示所述偏振片旋转角度为90°时所述相机接收到的光强，I₄₅表示所述偏振片旋转角度为45°时所述相机接收到的光强，I_LC表示光通过左旋圆偏振片后所述相机接收到的光强；

步骤22，利用式(2)计算出I^⊥对应的偏振片旋转角度θ^⊥和I^||对应的偏振片旋转角度θ^||：

步骤23，联立式(1)、式(2)、式(4)和式(5)，计算I^⊥和I^||：

4.如权利要求2所述的基于四分暗通道均值比较的偏振双图像去雾方法，其特征在于，所述步骤3具体包括：

步骤31，提取所述I的每个像素的暗通道像素，获得一幅由r、g、b三个通道最低亮度像素组成的暗通道图像；

步骤32，将所述暗通道图像进行四分均值比较法：图像被平均分成四块区域，计算每一块所述区域像素强度的平均值，并判断最大的所述光强平均值所在所述区域的横向或纵向像素个数是否小于设定像素数目，若是，则取所述原始带雾图像上对应位置的所述区域的光强平均值作为无穷远处大气光强A_∞；否则，最大的所述光强平均值所在所述区域继续进行四分均值比较法。

5.如权利要求4所述的基于四分暗通道均值比较的偏振双图像去雾方法，其特征在于，所述步骤31中，提取所述原始带雾图像的每个像素的暗通道像素的方法具体包括：

步骤311，提取所述原始带雾图像中以x为中心、大小为Ω(x)的窗口中选择像素强度值最低的像素J_c(y)；

步骤312，对J_c(y)提取r、g、b通道的像素值进行大小比较，基于暗通道先验知识，对非天空区域中单个像素提取的r、g、b通道像素强度最低的一个通道作为暗通道像素。

6.如权利要求4或5所述的基于四分暗通道均值比较的偏振双图像去雾方法，其特征在于，所述步骤33之前还包括：对所述暗通道图像进行一步最小值滤波。

7.如权利要求1-6中任一项所述的基于四分暗通道均值比较的偏振双图像去雾方法，其特征在于，所述步骤4中，利用式(10)对所述原始带雾图像进行去雾：

式中，A表示天空区域中每一点的大气光强。

8.如权利要求7所述的基于四分暗通道均值比较的偏振双图像去雾方法，其特征在于，所述步骤4还包括：

步骤41，建立大气散射模型；

步骤42，根据所述大气散射模型，模拟光线传播的物理过程，根据式(7)、(8)和(9)，并采用透射率t代替朗伯比尔定律中e^-β(λ)x、省略场景与相机位置固定为d、以及采用A_∞表示t，获得式(10)：

I＝Lt+A_∞(1-t) (7)

L₀＝Lt (8)

A＝A_∞(1-t) (9)。

Images