CN116167943A - 一种适用于室外大景深场景的偏振去雾方法 - Google Patents

Abstract

本发明提供一种适用于室外大景深场景的偏振去雾方法，所述方法包括：获取待去雾的原始图像；根据矫正前的局部大气光强计算所述原始图像的传输系数；根据所述原始图像的深度对所述传输系数进行划分得到传输系数阈值；根据所述传输系数阈值计算矫正系数；根据所述矫正系数计算矫正后的局部大气光强；以及根据所述矫正后的局部大气光强获得所述原始图像的去雾恢复图像。本发明基于原始图像的深度对传输系数进行划分得到传输系数阈值，再根据传输系数阈值计算矫正系数以及矫正后的局部大气光强，实现对同一原始图像不同深度区域的差异化去雾强度，可以在室外大景深场景实现均匀且自然的去雾效果，实现图像恢复的自然过渡，提升图像的恢复质量。

Description

一种适用于室外大景深场景的偏振去雾方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种适用于室外大景深场景的偏振去雾方法。

背景技术

在恶劣的天气条件下采集的图像往往会受到雾的影响，由于光线会被空气中的粒子所干扰，因此捕获的图像质量往往会明显地下降，如对比度差、颜色保真度不真实以及场景细节的丢失。这种图像质量的下降对于广泛的计算机视觉任务来说是一种普遍的障碍。例如城市交通监测、户外视频监控以及自动驾驶等计算机视觉任务。因此，需要通过去雾处理来提升在恶劣天气条件下采集的图像质量。

偏振去雾是一种常用的去雾方法，该方法是一种基于大气散射模型，将雾霾图像退化的原因归结为景物透射光的衰减和大气散射光参与成像造成的干扰，由于二者具有不同的偏振特性，通过偏振分析手段可实现图像复原。该方法无需不同气相条件下的图像和场景先验知识，算法复杂度低，图像复原质量良好，易于实现。然而，由于室外大景深场景雾的分布存在景深差异，现有的基于偏振去雾方法通常存在去雾后远景发白或近景发黑的现象，从而影响图像恢复的质量。如图1a与图1b所示，是基于现有的偏振方法去雾之后的图像示意图，如图1a所示的图像存在远景发白的现象，如图1b所示的图像存在近景发黑的现象。

发明内容

本发明的目的在于提供一种适用于室外大景深场景的偏振去雾方法，实现对同一原始图像不同深度区域的差异化去雾强度，从而实现图像恢复的自然过渡，提升了图像的恢复质量。

为解决上述技术问题，本发明提供一种适用于室外大景深场景的偏振去雾方法，所述方法包括：

获取待去雾的原始图像；

根据矫正前的局部大气光强计算所述原始图像的传输系数；

根据所述原始图像的深度对所述传输系数进行划分得到传输系数阈值；

根据所述传输系数阈值计算矫正系数；

根据所述矫正系数计算矫正后的局部大气光强；以及

根据所述矫正后的局部大气光强获得所述原始图像的去雾恢复图像。

可选的，所述传输系数的计算公式为：

其中，A′是矫正前的局部大气光强，A_∞是无穷远处的大气光强。

可选的，根据所述原始图像的深度对所述传输系数进行划分得到传输系数阈值的方法包括K-means聚类算法。

可选的，根据所述原始图像的深度将所述传输系数划分为远景、中景与近景，并获得所述远景与所述中景的传输系数阈值t₁以及所述中景与所述近景的传输系数阈值t₂。

可选的，所述矫正系数随所述原始图像深度的增大或所述传输系数的减小而增大。

可选的，所述矫正系数的计算公式为：

可选的，在保证所述远景下的所述矫正系数最小值大于所述中景下的所述矫正系数最小值的前提下，所述远景下的所述矫正系数随着所述原始图像深度的增大或所述传输系数的减小而减小。

可选的，所述矫正系数的计算公式为：

可选的，所述矫正后的局部大气光强的计算公式为：

其中，θ_A是大气光偏振角，P_A是大气光偏振度，S₀是斯托克斯参量，I是所述原始图像。

可选的，所述去雾恢复图像的计算公式为：

其中，(x,y)是所述原始图像中的像素点位置。

综上所述，本发明提供的适用于室外大景深场景的偏振去雾方法中，首先获取待去雾的原始图像，接着根据矫正前的局部大气光强计算所述原始图像的传输系数，之后根据所述原始图像的深度对所述传输系数进行划分得到传输系数阈值，然后根据所述传输系数阈值计算矫正系数，接着根据所述矫正系数计算矫正后的局部大气光强，以及根据所述矫正后的局部大气光强获得所述原始图像的去雾恢复图像。本发明基于原始图像的深度对传输系数进行划分得到传输系数阈值，再根据传输系数阈值计算矫正系数以及矫正后的局部大气光强，实现对同一原始图像不同深度区域的差异化去雾强度，可以在室外大景深场景实现均匀且自然的去雾效果，实现图像恢复的自然过渡，提升图像的恢复质量。

进一步的，在保证所述远景下的所述矫正系数最小值大于所述中景下的所述矫正系数最小值的前提下，所述远景下的所述矫正系数随着所述原始图像深度的增大或所述传输系数的减小而减小，从而可以让远景天空过渡平滑，同时在远景中保留了相对远处的轻微雾感，使恢复图像更符合视觉规律。

附图说明

本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：

图1a与图1b是基于现有的偏振方法去雾之后的图像示意图。

图2是本发明一实施提供的适用于室外大景深场景的偏振去雾方法的流程图。

图3是本发明一实施提供的校正系数与传输系数的关系示意图。

图4是本发明另一实施提供的校正系数与传输系数的关系示意图。

图5a是本发明另一实施提供的天空平滑前的图像示意图。

图5b是本发明另一实施提供的天空平滑后的图像示意图。

图6a是本发明一实施提供的采用现有技术去雾后远景发白的图像示意图。

图6b是本发明一实施提供的采用本发明的去雾方法去雾后的图像示意图。

图6c是本发明一实施提供的采用现有技术去雾后近景发黑的图像示意图。

图7a是本发明一实施提供的对于同景深下亮度区间较大的场景在去雾前的图像示意图。

图7b是本发明一实施提供的对于同景深下亮度区间较大的场景在去雾后的图像示意图。

具体实施方式

偏振去雾算法基于大气散射模型：I＝D+A＝Lt(z)+A_∞[1-t(z)]，其中，D＝Lt(z)是场景直射光强度，A＝A_∞[1-t(Z)]是大气散射光强度，图像去雾模型为：

其中，L是去雾恢复图像，即最终恢复出的无雾图像，I是待去雾的原始图像，即探测系统获得的雾天图像，具体为使用偏振相机获取的偏振图像，(x,y)是图像中的像素点位置，A_∞是无穷远处的大气光强，t(z)是传输系数，即经过粒子衰减能够达到探测系统的那部分光的比例，所述传输系数反映了图像中景物相对距离。

在上述去雾模型中，I是已知量，A_∞是全局变量，因此去雾的关键在于局部大气光强A(x,y)的估计。

传统的去雾算法在排除了量子噪声影响的前提下对整个图像的不同区域估计到的大气光强值是十分接近的。但在户外的大景深场景中，远景的雾往往更厚更浓，近景的雾相对更薄更淡，造成了雾在图像深度上的分布差异。若使用相近的局部大气光强估计值对同一张图像的不同深度区域进行去雾操作，就容易产生远景去雾强度不足(发白)或者近景去雾强度过强(发黑)的现象。

针对上述问题，发明人进行了研究，提出基于图像深度的偏振去雾方法，首先对反映了图像中景物相对距离的传输系数进行分隔，再根据距离对每个像素大气光强计算中的偏振度进行额外的校正。

经过进一步研究，本发明提供一种适用于室外大景深场景的偏振去雾方法，实现对同一原始图像不同深度区域的差异化去雾强度，从而实现图像恢复的自然过渡，提升了图像的恢复质量。

本发明提供一种适用于室外大景深场景的偏振去雾方法，包括：

获取待去雾的原始图像；

根据矫正前的局部大气光强计算所述原始图像的传输系数；

根据所述原始图像的深度对所述传输系数进行划分得到传输系数阈值；

根据所述传输系数阈值计算矫正系数；

根据所述矫正系数计算矫正后的局部大气光强；以及

根据所述矫正后的局部大气光强获得所述原始图像的去雾恢复图像。

本发明提供的适用于室外大景深场景的偏振去雾方法，基于原始图像的深度对传输系数进行划分得到传输系数阈值，再根据传输系数阈值计算矫正系数以及矫正后的局部大气光强，实现对同一原始图像不同深度区域的差异化去雾强度，可以在室外大景深场景实现均匀且自然的去雾效果，实现图像恢复的自然过渡，提升图像的恢复质量。

为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。

如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，术语“或”通常是以包括“和/或”的含义而进行使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征，术语“近端”通常是靠近操作者的一端，术语“远端”通常是靠近患者的一端，“一端”与“另一端”以及“近端”与“远端”通常是指相对应的两部分，其不仅包括端点，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。

此外，如在本发明中所使用的，一元件设置于另一元件，通常仅表示两元件之间存在连接、耦合、配合或传动关系，且两元件之间可以是直接的或通过中间元件间接的连接、耦合、配合或传动，而不能理解为指示或暗示两元件之间的空间位置关系，即一元件可以在另一元件的内部、外部、上方、下方或一侧等任意方位，除非内容另外明确指出外。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

图2是本发明一实施提供的适用于室外大景深场景的偏振去雾方法的流程图。请参考图2所示，本发明提供一种适用于室外大景深场景的偏振去雾方法，包括：

S1：获取待去雾的原始图像；

S2：根据矫正前的局部大气光强计算所述原始图像的传输系数；

S3：根据所述原始图像的深度对所述传输系数进行划分得到传输系数阈值；

S4：根据所述传输系数阈值计算矫正系数；

S5：根据所述矫正系数计算矫正后的局部大气光强；以及

S6：根据所述矫正后的局部大气光强获得所述原始图像的去雾恢复图像。

以下对本发明一实施例所提供的适用于室外大景深场景的偏振去雾方法进行详细说明。

在步骤S1中，获取待去雾的原始图像。即采用探测系统获得的雾天图像，将该图像作为待去雾的原始图像。所述原始图像可以用I来表示。本实施例中，所述原始图像I是使用偏振相机获取的偏振图像。

在步骤S2中，根据矫正前的局部大气光强计算所述原始图像的传输系数。

所述传输系数的计算公式为：

其中，A′是矫正前的局部大气光强，A_∞是无穷远处的大气光强。

本实施例中，根据矫正前的局部大气光强A′与无穷远处的大气光强A_∞计算得到所述原始图像的传输系数t。其中，所述传输系数t反映了所述原始图像中景物的相对距离，所述传输系数减小，则所述原始图像的深度增加。

在步骤S3中，根据所述原始图像的深度对所述传输系数进行划分得到传输系数阈值。

示例性的，采用K-means(K均值)聚类算法对所述传输系数进行划分，根据所述原始图像的深度对反映了所述原始图像中景物相对距离的传输系数进行划分，例如划分为远景、中景与近景，从而获得所述远景与所述中景的传输系数阈值t₁以及所述中景与所述近景的传输系数阈值t₂。

在步骤S4中，根据所述传输系数阈值计算矫正系数。

图3是本发明一实施提供的校正系数与传输系数的关系示意图，图3中横坐标为传输系数t，纵坐标为矫正系数w_re，所述传输系数由小到大分别分为远景、中景与近景，且远景与中景的传输系数阈值为t₁，中景与近景的传输系数阈值为t₂。请参考图3所示，本发明一实施例中，校正系数w_re会随着所述原始图像深度的增加，即传输系数t的减小而增大，从而使不同深度的区域在经过去雾处理后呈现出相近的恢复效果。

所述矫正系数的计算公式为：

根据所述远景与所述中景的传输系数阈值t₁、所述中景与所述近景的传输系数阈值t₂以及所述传输系数t可以计算得到所述矫正系数w_re。

此外，户外大景深场景往往还具有另一个特征，包含相对亮度较高的天空区域，这一区域同时具有深度很大和亮度很高的特点，根据去雾模型L＝(I-A)/t，0<t<1，在这一区域去雾时若一味使用更大的局部大气光强，即容易被放大噪声，又容易被放大亮度出现过曝，从而出现突兀又多噪声的过曝边界。

因此，在本发明另一实施例中，在远景中保证矫正系数整体比中景更大的前提下，可以随着所述原始图像深度的增大适当地减小矫正系数。图4是本发明另一实施提供的校正系数与传输系数的关系示意图，图4中横坐标为传输系数t，纵坐标为矫正系数w_re，所述传输系数由小到大分别分为远景、中景与近景，且远景与中景的传输系数阈值为t₁，中景与近景的传输系数阈值为t₂。请参考图4所示，本发明另一实施例中，在保证所述远景下的所述矫正系数最小值大于所述中景下的所述矫正系数最小值的前提下，所述远景下的所述矫正系数w_re随着所述原始图像深度的增大或所述传输系数的减小而减小。在中景与近景中，所述矫正系数w_re随着所述原始图像深度的增大或所述传输系数的减小而增大。在远景中，随着所述原始图像深度的增大适当减小矫正系数，可以让远景天空过渡平滑，同时在远景中保留了相对远处的轻微雾感，使恢复图像更符合视觉规律。

图5a是本发明另一实施提供的天空平滑前的图像示意图，图5b是本发明另一实施提供的天空平滑后的图像示意图。请参考图5a与图5b所示，经过天空平滑之后的图像更自然，更符合视觉规律。

本实施例中，所述矫正系数的计算公式为：

根据所述远景与所述中景的传输系数阈值t₁、所述中景与所述近景的传输系数阈值t₂以及所述传输系数t可以计算得到所述远景(t<t₁)的矫正系数w_re以及所述中景与所述近景(t>t₁)的矫正系数w_re。

在步骤S5中，根据所述矫正系数计算矫正后的局部大气光强。

本实施例中，所述矫正后的局部大气光强的计算公式为：

其中，θ_A是大气光偏振角，P_A是大气光偏振度，S₀是斯托克斯参量，I是所述原始图像。根据步骤S4中计算出的矫正系数w_re以及上述公式可以计算出矫正后的局部大气光强A。由于步骤S4中计算出的校正系数w_re涉及到了所述原始图像的不同深度的区域(即涉及到了远景、中景与近景)，因此本步骤中计算出的矫正后的局部大气光强A也包含了所述原始图像的不同深度的区域，即实现了对同一所述原始图像不同深度区域的差异去雾强度。

在步骤S6中，根据所述矫正后的局部大气光强获得所述原始图像的去雾恢复图像。

所述去雾恢复图像的计算公式为：

其中，I是待去雾的原始图像，(x,y)是所述原始图像中的像素点位置。根据在步骤S5中计算得到的矫正后的局部大气光强A可以计算出去雾恢复图像L，即得到去雾之后的图像。

图6a是本发明一实施提供的采用现有技术去雾后远景发白的图像示意图，图6b是本发明一实施提供的采用本发明的去雾方法去雾后的图像示意图，图6c是本发明一实施提供的采用现有技术去雾后近景发黑的图像示意图。请对比图6a与图6b，以及对比图6b与图6c可以看出(请主要参考图中圆圈所标注的位置)，采用本实施例所述的偏振去雾方法，避免了远景发白以及近景发黑的问题，可以在室外大景深场景实现均匀且自然的去雾效果，实现图像恢复的自然过渡，提升了图像的恢复质量。

图7a是本发明一实施提供的对于同景深下亮度区间较大的场景在去雾前的图像示意图，图7b是本发明一实施提供的对于同景深下亮度区间较大的场景在去雾后的图像示意图。请参考图7a与图7b所示，对于某些同景深下亮度区间较大的场景(例如局部过曝的天空，图中圆圈所标注的位置)，本实施例所提供的偏振去雾方法，在去雾的同时会增大亮度差异，进一步提高了图像的恢复质量。

综上所述，本发明提供的适用于室外大景深场景的偏振去雾方法中，首先获取待去雾的原始图像，接着根据矫正前的局部大气光强计算所述原始图像的传输系数，之后根据所述原始图像的深度对所述传输系数进行划分得到传输系数阈值，然后根据所述传输系数阈值计算矫正系数，接着根据所述矫正系数计算矫正后的局部大气光强，以及根据所述矫正后的局部大气光强获得所述原始图像的去雾恢复图像。本发明基于原始图像的深度对传输系数进行划分得到传输系数阈值，再根据传输系数阈值计算矫正系数以及矫正后的局部大气光强，实现对同一原始图像不同深度区域的差异化去雾强度，可以在室外大景深场景实现均匀且自然的去雾效果，实现图像恢复的自然过渡，提升图像的恢复质量。

进一步的，在保证所述远景下的所述矫正系数最小值大于所述中景下的所述矫正系数最小值的前提下，所述远景下的所述矫正系数随着所述原始图像的深度的增大或所述传输系数的减小而减小，从而可以让远景天空过渡平滑，同时在远景中保留了相对远处的轻微雾感，使恢复图像更符合视觉规律。

上述描述仅是对本发明较佳实施例的描述，并非对本发明权利范围的任何限定，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.一种适用于室外大景深场景的偏振去雾方法，其特征在于，所述方法包括：

获取待去雾的原始图像；

根据矫正前的局部大气光强计算所述原始图像的传输系数；

根据所述原始图像的深度对所述传输系数进行划分得到传输系数阈值；

根据所述传输系数阈值计算矫正系数；

根据所述矫正系数计算矫正后的局部大气光强；以及

根据所述矫正后的局部大气光强获得所述原始图像的去雾恢复图像。

2.根据权利要求1所述的适用于室外大景深场景的偏振去雾方法，其特征在于，所述传输系数的计算公式为：

其中，A′是矫正前的局部大气光强，A_∞是无穷远处的大气光强。

3.根据权利要求2所述的适用于室外大景深场景的偏振去雾方法，其特征在于，根据所述原始图像的深度对所述传输系数进行划分得到传输系数阈值的方法包括K-means聚类算法。

4.根据权利要求3所述的适用于室外大景深场景的偏振去雾方法，其特征在于，根据所述原始图像的深度将所述传输系数划分为远景、中景与近景，并获得所述远景与所述中景的传输系数阈值t₁以及所述中景与所述近景的传输系数阈值t₂。

5.根据权利要求4所述的适用于室外大景深场景的偏振去雾方法，其特征在于，所述矫正系数随所述原始图像深度的增大或所述传输系数的减小而增大。

6.根据权利要求5所述的适用于室外大景深场景的偏振去雾方法，其特征在于，所述矫正系数的计算公式为：

7.根据权利要求4所述的适用于室外大景深场景的偏振去雾方法，其特征在于，在保证所述远景下的所述矫正系数最小值大于所述中景下的所述矫正系数最小值的前提下，所述远景下的所述矫正系数随着所述原始图像深度的增大或所述传输系数的减小而减小。

8.根据权利要求7所述的适用于室外大景深场景的偏振去雾方法，其特征在于，所述矫正系数的计算公式为：

9.根据权利要求6或8所述的适用于室外大景深场景的偏振去雾方法，其特征在于，所述矫正后的局部大气光强的计算公式为：

其中，θ_A是大气光偏振角，P_A是大气光偏振度，S₀是斯托克斯参量，I是所述原始图像。

10.根据权利要求9所述的适用于室外大景深场景的偏振去雾方法，其特征在于，所述去雾恢复图像的计算公式为：

其中，(x,y)是所述原始图像中的像素点位置。

Images