CN115187472A - 基于容差的暗通道先验去雾方法 - Google Patents

Abstract

本发明涉及一种基于容差的暗通道先验去雾方法，包括以下步骤：步骤S1:从车载相机读取图像,并获得图像的基本信息；步骤S2:获取图像每个像素点三个通道的最小值并进行最小值滤波，然后输出暗通道图像；步骤S3:初始化大气光成分A值并读取数据，取出暗通道图像亮度大于阈值的亮点，根据亮点的位置计算并输出大气光成分A值；步骤S4:根据暗通道估计透射率t，用导向滤波对透射率t进行优化，设置透射图阈值，最后计算透射率矩阵t(x)；步骤S6:根据透射率矩阵，获取无雾图像并输出进行可视化。本发明解决雾天环境下导致了车辆无法正常识别道路的问题，提供图像识别效果。

Description

基于容差的暗通道先验去雾方法

技术领域

本发明涉及无人驾驶图像处理技术领域，具体涉及一种基于容差的暗通道先验去雾方法。

背景技术

近年来,随着互联网技术的快速发展,通讯、感知等技术的不断进步,汽车越来越智能化,开始走上了向无人驾驶汽车发展的道路。智能汽车将人工智能、互联网、通信信息等多方面高新技术集于一身，这使得智能汽车具备自动驾驶功能，并成为新时代下汽车产业转型的关键，同时也是全球各国汽车产业的战略方向。图像处理是智能汽车中的关键一环，可以通过光学装置和非接触传感器自动地接受和处理一个真实场景的图像，通过分析图像获得所需信息或用于控制机器运动，其中图像去雾可以使之更加精准，避免雾天环境下导致了车辆无法正常识别道路情况，从而保证车辆驾驶安全，减少交通事故的发生。

发明内容

有鉴于此，本发明的目的在于提供一种基于容差的暗通道先验去雾方法，针对无人驾驶汽车在雾天环境相机获取的户外图像存在视觉模糊、饱和度过低，以及颜色灰白等负面视觉特征进行去雾优化，解决雾天环境下导致了车辆无法正常识别道路的问题。

为实现上述目的，本发明采用如下技术方案：

一种基于容差的暗通道先验去雾方法，包括以下步骤：

步骤S1:从车载相机读取图像,并获得图像的基本信息；

步骤S2:获取图像每个像素点三个通道的最小值并进行最小值滤波，然后输出暗通道图像；

步骤S3:初始化大气光成分A值并读取数据，取出暗通道图像亮度大于阈值的亮点，根据亮点的位置计算并输出大气光成分A值；

步骤S4:根据暗通道估计透射率t，用导向滤波对透射率t进行优化，设置透射图阈值，最后计算透射率矩阵t(x)；

步骤S5:根据透射率矩阵，获取无雾图像并输出进行可视化。

进一步的，所述步骤S1具体为：从车载相机读取储存拍摄的照片，并获取该照片的灰度图像，然后对灰度图像进一步分析处理获取灰度图像的大小和纬度。

进一步的，所述步骤S2具体为：

步骤S21：获取灰度图像大小和维度，然后初始化暗通道图像；

设对于任意的输入图像J，其暗通道用下式表达：

其中：J^c表示彩色图像的每个通道，Ω(x)表示以像素X为中心的一个窗口。RGB代表红、绿、蓝三个颜色通道。y代表像素点；

式中J^c表示彩色图像的每个通道，Ω(x)表示以像素x为中心的一个窗口；

步骤S22:通过循环判断width的最小值和height的最小值，从而得到像素点位置三个通道的最小值min(I(i,j,:))

其中：width代表图片的高度，height代表图片的宽度，I代表输入RGB图像，i代表R通道，j代表G通道，min(I(i,j,:))代表像素点位置三个通道的最小值；

步骤S23:利用最小值滤波函数进行最小值滤波，首先读取图像信息，然后遍历循环，进行最小值化，其中注意设置边界：

i_down＝i-window_size

i_up＝i+window_size

j_down＝j-window_size

j_up＝j+window_size

其中：I_down代表R通道下限，I_up代表R通道上限，j_down代表G通道下限，j_up代表G通道上限，i代表R通道，j代表G通道，window_size代表暗通道最小值滤波的窗口大小；

判断图像边界，防止发生越界，取窗口内的最小值作为当前像素点的值并输出该最小值，最后输出暗通道图像。

进一步的，所述步骤S3，具体为：

步骤S31:先选择暗通道中亮度大于阈值的像素，在这些像素中，将最亮点置0，从最亮点中计算A的值，从零开始迭代；

步骤S32:根据最亮点的位置计算A值并输出，具体为：

在原图中对应位置找到最亮点的亮度值，对三个通道取平均，若大于A，则更新A的值；

if(mean(I(i,j,:))>mean(A(1,1,:)))，分别记录三个通道的A值，输出RGB三个通道的全局大气光A。

进一步的，选择输入图像I中强度最高的像素作为大气光，雾图形成模型用以下数学模型表示：

I(x)＝J(x)t(x)+A(1-t(x))

其中，I(X)就是待去雾的图像，J(x)是除雾后的图像，A是全球大气光成分，t(x)为透射率。

进一步的，所述步骤S4具体为：

步骤S41:根据雾图形成模型改进得：

其中，C表示R/G/B三个通道；

设在每一个窗口内透射率t(x)为常数，定义他为

并且由步骤三A值已经计算得出，然后对该式两边求两次最小值运算，得到：

暗原色先验理论:

得出：

求出透射率

的表达式为

步骤S42:根据透射率

的表达式估计t，设去雾完全系数为w

t(x)＝1-w*dark_channel/mean(A(1,1,:))

步骤S43:采用导向滤波对t(x)透射率进行优化，调用导向滤波函数软抠图优化透射率矩阵；

步骤S44:用导向滤波对透射率t矩阵进行保边缘模糊处理；

调用导向滤波函数，把透射率矩阵作为向导图片和滤波图片，设置滤波半径和平滑程度，实现对透射率t矩阵的保边缘模糊处理。

进一步的，所述步骤S43具体为：

设输出图像:

将输出图像表示为：

其中，W_ij为权值；

在导向滤波中，在一个以k为核心的处理窗口中，输出图像的q是一种线性的模式，即：

q_i＝a_kI_i+b_k,

其中的a_k和b_k为窗口中的常系数；

由上文得知，a_k和b_k由输入的图像来进行限制，输出的图像是输入图像减去噪声而形成的，故有：

q_i＝p_i-n_i

其中的n_i为图像中的噪声，将此图像中的噪声降低到最低，采用以下方法：

将该式变为一个关于a_k和b_k的像素损失函数，同时设置一个调整参数，将调整参数设定为e，这个调整参数限定了a_k：

获得a_k和b_k其显式解为

其中μ_k为引导图I中的窗口中的像素均值，而

为窗口中的像素方差

而下式的e则为调整参数，w为窗口的像素点的个数，

为：

进行取均值的处理：

上式改写为：

这就建立了一个，从p，再依据I，最后到q的一种映射的过程。

进一步的，所述步骤S5具体为：

将符合去雾条件的像素点的值与A相减，如果结果小于某个值，认为这个区域是天空，需要重新计算透射率，如果结果小于某个值，则认为该区域不是天空，不用重新计算透射率，引进容差K，每个像素处的透射率用它来调节，则透射率计算公式为:

采用以上公式对图像的GRB三通道进行处理去雾，由于采用暗通道的这种方法会使图片变暗，所以我们乘系数k使得图片变亮，所以将公式改良为：

最后输出无雾图像。

本发明与现有技术相比具有以下有益效果：

本发明针对无人驾驶汽车在雾天环境相机获取的户外图像存在视觉模糊、饱和度过低，以及颜色灰白等负面视觉特征进行去雾优化，解决雾天环境下导致了车辆无法正常识别道路的问题。

附图说明

图1是本发明方法流程图；

图2是本发明一实施例中大气散射模型图；

图3是本发明一实施例中输入输出图像模型；

图4是本发明一实施例中未处理原图；

图5是本发明一实施例中经处理后图；

图6是本发明另一实施例中未处理原图；

图7是本发明另一实施例中经处理后图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于容差的暗通道先验去雾方法，包括以下步骤：

步骤S1:从车载相机读取图像,并获得图像的基本信息；

在本实施例中，具体的，从相机中读取储存拍摄的有雾照片，首先读取该照片的灰度图像，可以发现有雾图片的灰度图整体呈灰色，无雾图片的非天空部分呈黑色。在这里读取灰度图像目的是为了简化矩阵，提高运算速度，然后对该图像进一步分析处理获取图像的大小和纬度。

步骤S2:获取图像每个像素点三个通道的最小值并进行最小值滤波，然后输出暗通道图像；

在本实施例中，具体的，在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值。换言之，该区域光强度的最小值是个很小的数，对于任意的输入图像J，其暗通道可以用下式表达：

式中J^c表示彩色图像的每个通道，Ω(x)表示以像素x为中心的一个窗口，式子的意义为求出每个像素RGB分量中的最小值，存入一副和原始图像大小相同的灰度图中，然后再对这幅灰度图进行最小值滤波，设置最小值滤波窗口大小为15，滤波的半径由窗口大小决定，一般有WindowSize＝2*Radius+1。窗口的大小对结果来说是个关键的参数，窗口越大，其包含暗通道的概率越大，暗通道也就越黑。从实践的效果来看，窗口越大，去雾的效果越不明显，因此将窗口大小半径设置为7。

①读取图像信息

获取图像大小和维度，然后初始化暗通道图像。

②获取每个像素点三个通道的最小值

通过循环判断width的最小值和height的最小值，从而得到像素点位置三个通道的最小值min(I(i,j,:))。

③最小值滤波

利用My_minfilter(最小值滤波)函数进行最小值滤波，首先读取图像信息，然后遍历循环，进行最小值化，其中注意设置边界：

i_down＝i-window_size

i_up＝i+window_size

j_down＝j-window_size

j_up＝j+window_size

判断图像边界，防止发生越界，取窗口内的最小值作为当前像素点的值并输出该最小值。

④输出暗通道图像

步骤S3:初始化大气光成分A值并读取数据，取出暗通道图像亮度大于阈值的亮点，根据亮点的位置计算并输出大气光成分A值；

在本实施中，具体如下：

雾霾图像的暗通道很好地近似于雾霾的密集度，可以利用暗通道来改进大气光估计。首先选择暗通道中最亮的0.1％的像素，这些像素是最不透明的。在这些像素中，选择输入图像I中强度最高的像素作为大气光，但这些像素有时不是整个图像中最亮的，这种基于暗通道先验的简单方法比“最亮像素”方法具有更强的鲁棒性。

雾图形成模型用以下数学模型表示：

I(x)＝J(x)t(x)+A(1-t(x))

其中，I(X)就是我们现在已经有的图像(待去雾的图像)，J(x)是我们要恢复的无雾的图像，A是全球大气光成分，t(x)为透射率。

①初始化A并读取信息

从暗通道图中按照亮度的大小取前0.1％的像素，从最亮点中计算A的值，从零开始迭代。

②取出暗通道里的亮点

有时有多个最亮点，取第一个即可，将此最亮点置0，方便找寻第二亮的点。

③根据亮点的位置计算A值并输出

在原图中对应位置找到它的亮度值，对三个通道取平均，若大于A，则更新A的值。

if(mean(I(i,j,:))>mean(A(1,1,:)))，分别记录三个通道的A值，输出RGB三个通道的全局大气光A。

步骤S4:根据暗通道估计透射率t，用导向滤波对透射率t进行优化，设置透射图阈值，最后计算透射率矩阵t(x)；

在本实施例中，具体如下：

由步骤三的数学模型改进可得：

(上标C表示R/G/B三个通道的意思)

假设在每一个窗口内透射率t(x)为常数，定义他为

并且由步骤三A值已经计算得出，然后对该式两边求两次最小值运算，得到：

暗原色先验理论:

得出：

所以可以求出透射率

的表达式为

①采用上述公式估计t(透射率)

设置去雾完全系数w＝0.95(w＝1完全去雾)

t＝1-w*dark_channel/mean(A(1,1,:))

②采用导向滤波对t(x)透射率进行优化，调用导向滤波函数软

抠图优化透射率矩阵，见附录图一：

其中输出图像q有

而输出图像q又有如下表达：

在这个式子中W_ij为权值，这个权值限定了图像q的输出，而这个权值的来源是引导图像I，所以W是一个与I有关的数值，其中i与j为图像的像素坐标引导，由此表达式可以看出，输出图像I和输入图像p，存在的是一种线性关系。

在导向滤波中，核心的假设在于，在一个以k为核心的处理窗口中，输出图像的q是一种线性的模式，即：

q_i＝a_kI_i+b_k,

其中的a_k和b_k为窗口中的常系数，同时我们需要设置一个窗口，即上文提到的最小值滤波窗口大小，在这个程序中我们设置为15，这个滤波的半径由窗口大小决定，一般有WindowSize＝2*Radius+1。

由上文得知，a_k和b_k由输入的图像来进行限制，输出的图像是输入图像减去噪声而形成的，故有：

q_i＝p_i-n_i

其中的n_i为图像中的噪声，我们需要将此图像中的噪声降低到最低，采用以下方法：

将该式变为一个关于a_k和b_k的像素损失函数，同时设置一个调整参数，将调整参数设定为e，这个调整参数限定了a_k。

获得a_k和b_k其显式解为

其中μ_k为引导图I中的窗口中的像素均值，而

为窗口中的像素方差

而下式的e则为调整参数，w为窗口的像素点的个数，

为：

当在实际应用中，对于具体的图像会存在一个N*N的处理窗格，那么一个像素点就会被包含N次，所以需要进行取均值的处理。

上式可以改写为：

这就建立了一个，从p，再依据I，最后到q的一种映射的过程。

所以在实际程序中，我们先求出向导图的平均和滤波图的平均。

③进行保边缘模糊

④透射图阈值

防止投射图很小的时候图像像素值过大，取t₀＝0.1；防止整体向白场过度，小于0.1的值取0.1。

步骤S5:根据透射率矩阵，获取无雾图像并输出进行可视化。

在本实施例中，具体如下：

将符合条件的像素点的值与A相减，如果结果小于某个值，认为这个区域可能是天空，就需要重新计算透射率。如果结果小于某个值，则认为该区域不是天空，不用重新计算透射率。所以我们引进容差K＝0.2，每个像素处的透射率用它来调节，则透射率计算公式为:

采用以上公式对图像的GRB三通道进行处理去雾，由于采用暗通道的这种方法会使图片变暗，所以我们乘系数1.3使得图片变亮，所以将公式改良为：

最后输出无雾图像。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种基于容差的暗通道先验去雾方法，其特征在于，包括以下步骤：

步骤S1:从车载相机读取图像,并获得图像的基本信息；

步骤S2:获取图像每个像素点三个通道的最小值并进行最小值滤波，然后输出暗通道图像；

步骤S3:初始化大气光成分A值并读取数据，取出暗通道图像亮度大于阈值的亮点，根据亮点的位置计算并输出大气光成分A值；

步骤S4:根据暗通道估计透射率t，用导向滤波对透射率t进行优化，设置透射图阈值，最后计算透射率矩阵t(x)；

步骤S5:根据透射率矩阵，获取无雾图像并输出进行可视化。

2.根据权利要求1所述的基于容差的暗通道先验去雾方法，其特征在于，所述步骤S1具体为：从车载相机读取储存拍摄的照片，并获取该照片的灰度图像，然后对灰度图像进一步分析处理获取灰度图像的大小和纬度。

3.根据权利要求2所述的基于容差的暗通道先验去雾方法，其特征在于，所述步骤S2具体为：

步骤S21：获取灰度图像大小和维度，然后初始化暗通道图像；

设对于任意的输入图像J，其暗通道用下式表达：

其中：J^c表示彩色图像的每个通道，Ω(x)表示以像素X为中心的一个窗口。RGB代表红、绿、蓝三个颜色通道。y代表像素点；

式中J^c表示彩色图像的每个通道，Ω(x)表示以像素x为中心的一个窗口；

步骤S22:通过循环判断width的最小值和height的最小值，从而得到像素点位置三个通道的最小值min(I(i,j,:))

其中：width代表图片的高度，height代表图片的宽度，I代表输入RGB图像，i代表R通道，j代表G通道，min(I(i,j,:))代表像素点位置三个通道的最小值；

步骤S23:利用最小值滤波函数进行最小值滤波，首先读取图像信息，然后遍历循环，进行最小值化，其中注意设置边界：

i_down＝i-window_size

i_up＝i+window_size

j_down＝j-window_size

j_up＝j+window_size

其中：I_down代表R通道下限，I_up代表R通道上限，j_down代表G通道下限，j_up代表G通道上限，i代表R通道，j代表G通道，window_size代表暗通道最小值滤波的窗口大小；

判断图像边界，防止发生越界，取窗口内的最小值作为当前像素点的值并输出该最小值，最后输出暗通道图像。

4.根据权利要求2所述的基于容差的暗通道先验去雾方法，其特征在于，所述步骤S3，具体为：

步骤S31:先选择暗通道中亮度大于阈值的像素，在这些像素中，将最亮点置0，从最亮点中计算A的值，从零开始迭代；

步骤S32:根据最亮点的位置计算A值并输出，具体为：

在原图中对应位置找到最亮点的亮度值，对三个通道取平均，若大于A，则更新A的值；

if(mean(I(i,j,:))＞mean(A(1,1,:)))，分别记录三个通道的A值，输出RGB三个通道的全局大气光A。

5.根据权利要求2所述的基于容差的暗通道先验去雾方法，其特征在于，选择输入图像I中强度最高的像素作为大气光，雾图形成模型用以下数学模型表示：

I(x)＝J(x)t(x)+A(1-t(x))

其中，I(X)就是待去雾的图像，J(x)是除雾后的图像，A是全球大气光成分，t(x)为透射率。

6.根据权利要求5所述的基于容差的暗通道先验去雾方法，其特征在于，所述步骤S4具体为：

步骤S41:根据雾图形成模型改进得：

其中，C表示R/G/B三个通道；

设在每一个窗口内透射率t(x)为常数，定义他为

并且由步骤三A值已经计算得出，然后对该式两边求两次最小值运算，得到：

暗原色先验理论:

得出：

求出透射率

的表达式为

步骤S42:根据透射率

的表达式估计t，设去雾完全系数为w

t(x)＝1-w*dark_channel/mean(A(1,1,:))

步骤S43:采用导向滤波对t(x)透射率进行优化，调用导向滤波函数软抠图优化透射率矩阵；

步骤S44:用导向滤波对透射率t矩阵进行保边缘模糊处理；

调用导向滤波函数，把透射率矩阵作为向导图片和滤波图片，设置滤波半径和平滑程度，实现对透射率t矩阵的保边缘模糊处理。

7.根据权利要求6所述的基于容差的暗通道先验去雾方法，其特征在于，所述步骤S43具体为：

设输出图像:

将输出图像表示为：

其中，W_ij为权值；

在导向滤波中，在一个以k为核心的处理窗口中，输出图像的q是一种线性的模式，即：

其中的a_k和b_k为窗口中的常系数；

由上文得知，a_k和b_k由输入的图像来进行限制，输出的图像是输入图像减去噪声而形成的，故有：

q_i＝p_i-n_i

其中的n_i为图像中的噪声，将此图像中的噪声降低到最低，采用以下方法：

将该式变为一个关于a_k和b_k的像素损失函数，同时设置一个调整参数，将调整参数设定为e，这个调整参数限定了a_k：

获得a_k和b_k其显式解为

其中μ_k为引导图I中的窗口中的像素均值，而

为窗口中的像素方差

而下式的e则为调整参数，w为窗口的像素点的个数，

为：

进行取均值的处理：

上式改写为：

这就建立了一个，从p，再依据I，最后到q的一种映射的过程。

8.根据权利要求2所述的基于容差的暗通道先验去雾方法，其特征在于，所述步骤S5具体为：

将符合去雾条件的像素点的值与A相减，如果结果小于某个值，认为这个区域是天空，需要重新计算透射率，如果结果小于某个值，则认为该区域不是天空，不用重新计算透射率，引进容差K，每个像素处的透射率用它来调节，则透射率计算公式为:

采用以上公式对图像的GRB三通道进行处理去雾，由于采用暗通道的这种方法会使图片变暗，所以我们乘系数k使得图片变亮，所以将公式改良为：

最后输出无雾图像。

Images