CN114636648A - 一种基于目标检测反馈的雾浓度估计方法 - Google Patents

Abstract

本发明提出一种基于目标检测反馈的雾浓度估计方法，利用大气散射模型生成雾浓度标注数据集，提取分布特征、全局雾浓度特征和局部雾浓度特征，输入到多分类支持向量机中得到雾浓度预测模型。本发明采取去雾参数的自适应调节并指导去雾，实现执行机器视觉任务效能最优的雾浓度估计；将目标检测与未知场景环境感知进行结合，实现室外场景雾浓度自主预测，与目标检测等其他算法进行集成；将目标识别置信度非参数估计结果以及全局和局部雾浓度相关特征综合，使监督学习输入特征空间同时具有低级的像素统计特征以及卷积网络提取的高级统计特征；实现从清晰图像到大雾图像的雾浓度估计，使用多分类模型节省了使用拟合模型所需的数据集人工标注过程。

Description

一种基于目标检测反馈的雾浓度估计方法

技术领域

本发明涉及于图像处理技术领域，具体涉及一种基于目标检测反馈的雾浓度估计方法。

背景技术

目前，光电成像系统易于受到雾天环境影响导致图像产生退化并进一步影响后续处理任务。将图像去雾算法作为前端模块可以解决这一问题，但现有去雾算法由于无法自动评估雾浓度而自适应调整去雾策略与参数，导致去雾效果与去雾应用的自主性受限。现存的目标检测算法无法通过在有雾数据集上进行微调而改善与目标识别置信度相关的损失，因此目标损失无法进行改善，微调只能减少预测框位置损失函数值。

针对这一问题，目前亟需一种检测雾浓度的方法，能够根据雾浓度大小估计应用于去雾参数的自适应调节并指导去雾，实现针对机器视觉任务执行效能最优的雾浓度估计。

发明内容

有鉴于此，本发明提供了一种基于目标检测反馈的雾浓度估计方法，能够根据雾浓度大小估计应用于去雾参数的自适应调节并指导去雾，实现针对机器视觉任务执行效能最优的雾浓度估计。

为实现上述发明目的，本发明的技术方案为：

一种基于目标检测反馈的雾浓度估计方法，具体步骤包括：

步骤一、利用大气散射模型生成雾浓度图像，通过对雾浓度图像进行标注，得到雾浓度标注数据集。

步骤二、对雾浓度标注数据集中的雾浓度图像的目标识别置信度进行非参数估计，提取分布特征。

步骤三、提取雾浓度图像的全局雾浓度特征。

步骤四、根据雾浓度图像的目标识别预测框，提取雾浓度图像的局部雾浓度特征，局部雾浓度特征包括韦伯对比度、暗通道值和饱和度值。

步骤五、将步骤二、三和四提取的特征作为输入特征，归一化后输入到多分类支持向量机中，训练得到雾浓度预测模型。

进一步的，利用大气散射模型生成雾浓度标注数据集，具体方法为：

将场景点的深度值d(x)和大气散射系数β带入大气透过率函数t(x)，公式表达为：

t(x)＝exp{-βd(x)}

将大气透过率函数t(x)、场景点的像素值J(x)、大气光参数A以及大气散射系数β生成雾浓度图像I(x)，得到每个场景点的雾浓度图像I(x)，公式表达为：

I(x)＝J(x)×t(x)+A×(1-t(x))。

进一步的，对雾浓度标注数据集中的雾浓度图像的目标识别置信度进行非参数估计，提取分布特征，具体方法为：

将单位带宽上场景点的高斯核进行求和，并乘以常系数，得到目标识别置信度；得到分布特征。

进一步的，提取雾浓度图像的全局雾浓度特征，具体方法为：

全局雾浓度特征包括熵、全局对比度和标准差。

根据每个场景点对应的灰度图像绘制像素直方图。

熵

其中，p_m为像素直方图中不同像素值的分布概率，m为像素值。

全局对比度

其中，C_j为第j个分辨率下的对比度均值，w_j为C_j的权重因子。

标准差

其中，N为场景点个数，A_i为每个灰度图像的像素值，μ为灰度图像的灰度均值。

进一步的，根据雾浓度图像的目标识别预测框，提取雾浓度图像的局部雾浓度特征，局部雾浓度特征包括韦伯对比度、暗通道值和饱和度值，具体方法为：

韦伯对比度

其中I为场景点对应的前景亮度均值，I_b为场景点对应的背景亮度均值。

暗通道值

其中，J^dark(x_k)为暗通道函数，x_k是第k个场景点的像素。

在HSV色彩空间中，得到饱和度图，得到目标局部区域的饱和度值。

进一步的，场景点周围的3×3个场景点区域为该场景点的目标局部区域。

有益效果：

本发明提出一种基于目标检测反馈的雾浓度估计方法，利用大气散射模型生成雾浓度标注数据集，对雾浓度图像的目标识别置信度进行非参数估计，提取分布特征，提取雾浓度图像的全局雾浓度特征；根据雾浓度图像的目标识别预测框，提取雾浓度图像的局部雾浓度特征；将前面提取的特征作为输入特征，归一化后输入到多分类支持向量机中，训练得到雾浓度预测模型。本发明方法根据雾浓度大小估计应用于去雾参数的自适应调节并指导去雾，实现针对机器视觉任务执行效能最优的雾浓度估计；将目标检测与未知场景环境感知进行结合，实现室外场景雾浓度自主预测，可与目标检测等其他算法进行集成；将目标识别置信度非参数估计结果统计特征以及全局和局部雾浓度相关特征综合，使监督学习输入特征空间同时具有低级的像素统计特征以及卷积网络提取的高级统计特征；可以实现从清晰图像到大雾图像的雾浓度估计，使用多分类模型克服了使用拟合模型所需的耗时耗力的数据集人工标注过程。

附图说明

图1为本发明的方法流程图。

图2为目标识别算法在有雾数据集上的预测框损失图。

图3为目标识别算法在有雾数据集上的置信度相关损失图。

图4为不同雾浓度图像的目标置信度曲线图。

图5为每个目标的置信度分数柱状图。

图6为支持向量机在测试集上预测结果图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

如图2所示，目标识别算法在有雾数据集上的预测框损失随着算法的执行，并未呈现持续的下降趋势。同时，如图3所示，目标识别算法在有雾数据集上的置信度随着算法的执行，也未呈现持续的下降趋势。因此，现存的目标检测算法无法通过在有雾数据集上进行微调而改善与目标识别置信度相关的损失，可见目标损失无法进行改善，微调只能减少预测框位置的损失函数值。

如图4和图5所示，图4中给出了不同雾浓度图像的目标置信度，图5给出了每个目标的置信度分数。可以看出随着雾浓度的增大，可检测的目标数量以及目标识别置信度分布都存在明显偏差。因此，取置信度在80以上的统计分布作为目标检测的特征提取结果。

本发明基于以上原理，提出一种基于目标检测反馈的雾浓度估计方法，分为四个阶段：第一阶段是对大量图像进行目标检测并统计场景中的目标识别置信度以及预测框位置，对目标识别置信度进行非参估计提取特征。第二阶段是提取图像标准差、熵以及全局对比度三种特征；第三阶段是使用多目标识别预测框位置计算对应局部区域的韦伯对比度，暗通道以及饱和度值；第四步阶段是采用多分类支持向量机在训练集上使用如5折交叉验证以及网格搜索的方法，得到雾浓度预测模型并在验证集上进行预测验证。

如图1所示，具体的执行流程如下：

步骤一、利用大气散射模型生成雾浓度图像，通过对雾浓度图像进行标注，得到雾浓度标注数据集，具体方法为：

将场景点的深度值d(x)和大气散射系数β带入大气透过率函数t(x)，公式表达为：

t(x)＝exp{-βd(x)}；

将大气透过率函数t(x)、场景点的像素值J(x)、大气光参数A以及大气散射系数β生成雾浓度图像I(x)，得到每个场景点的雾浓度图像I(x)，公式表达为：

I(x)＝J(x)×t(x)+A×(1-t(x))。

其中，x为场景点的坐标。

本发明实施例中，大气光参数A为均值200，方差20的正态分布。大气散射系数取值为{2.0,1.5,1.0,0,6}，对应雾浓度标签{0,1,2,3,4}，雾浓度标签值越大，雾浓度越大。场景点的深度值d(x)由原始RESIDE(包含原始图像和去雾图像)数据集中使用深度图估计方法得到。

步骤二、本发明实施例中，对每个场景点都得到一个分布特征，即一个概率密度估计结果。场景点所有目标经过目标检测算法得到的置信度的分布反映了当前场景下的雾浓度大小，随着雾浓度的增大，置信度80以上的分布曲线发生明显变化，经过非参数估计最终得到概率密度曲线用于提取分布特征，由于采用了高斯核的非参估计方法，因此概率密度曲线的局部形状类似于正态分布曲线，可以80以上置信度分布的均值及方差作为概率密度曲线的分布特征进行提取。因此，对雾浓度标注数据集中的雾浓度图像的目标识别置信度进行非参数估计，可以提取分布特征，具体方法为：

对雾浓度标注数据集中的雾浓度图像的目标识别置信度进行非参数估计，提取分布特征。将单位带宽上场景点的高斯核φ(u)进行求和，并乘以常系数，得到分布特征

具体方法如下：

通过使用高斯核φ(u),以h为带宽，{x₁,x₂,...,x_n}为分布f在给定点x处获得的独立同分布样本，最终计算得到分布特征

步骤三、提取雾浓度图像的全局雾浓度特征，包括熵、全局对比度和标准差。

根据每个场景点对应的灰度图像绘制像素直方图，熵

其中，p_m为像素直方图中不同像素值的分布概率，m为像素值。

全局对比度

其中，C_j为第j个分辨率下的对比度均值，w_j为固定的权重因子。

标准差

其中，N为场景点个数，A_i为每个灰度图像的像素值，μ为灰度图像的灰度均值。

步骤四、根据雾浓度图像的目标识别预测框，提取雾浓度图像的局部雾浓度特征，局部雾浓度特征包括韦伯对比度、暗通道值和饱和度值。

本发明实施例中，如果雾浓度图像的目标检测结果中存在目标，本发明方法直接使用目标识别预测框的位置作为局部雾浓度特征的提取位置；如果雾浓度图像中不存在目标，则采用四叉分割方法得到雾浓度图像中特征最明显的矩形区域，作为提取位置。

韦伯对比度

其中I为场景点对应的前景亮度均值，I_b为场景点对应的背景亮度均值。对不存在目标的雾浓度图像不计算韦伯对比度。

暗通道值

其中，J^dark(x_p)为暗通道函数，x_p是前景区域的第p个场景点的像素，P是前景区的场景点个数。

其中，c是RGB的三个通道，y是局部区域的像素，Ω是局部区域。

在HSV色彩空间中，得到饱和度图，得到局部区域的饱和度值。

步骤五、将步骤二、三和四提取的特征作为输入特征，归一化后输入到多分类支持向量机中，训练得到雾浓度预测模型。如图6所示，为支持向量机在测试集上预测结果。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于目标检测反馈的雾浓度估计方法，其特征在于，具体步骤包括：

步骤一、利用大气散射模型生成雾浓度图像，通过对所述雾浓度图像进行标注，得到雾浓度标注数据集；

步骤二、对雾浓度标注数据集中的雾浓度图像的目标识别置信度进行非参数估计，提取分布特征；

步骤三、提取雾浓度图像的全局雾浓度特征；

步骤四、根据雾浓度图像的目标识别预测框，提取雾浓度图像的局部雾浓度特征，所述局部雾浓度特征包括韦伯对比度、暗通道值和饱和度值；

步骤五、将步骤二、三和四提取的特征作为输入特征，归一化后输入到多分类支持向量机中，训练得到雾浓度预测模型。

2.如权利要求1所述的方法，其特征在于，所述利用大气散射模型生成雾浓度标注数据集，具体方法为：

将场景点的深度值d(x)和大气散射系数β带入大气透过率函数t(x)，公式表达为：

t(x)＝exp{-βd(x)}

将大气透过率函数t(x)、场景点的像素值J(x)、大气光参数A以及大气散射系数β生成雾浓度图像I(x)，得到每个场景点的雾浓度图像I(x)，公式表达为：

I(x)＝J(x)×t(x)+A×(1-t(x))。

3.如权利要求1所述的方法，其特征在于，所述对雾浓度标注数据集中的雾浓度图像的目标识别置信度进行非参数估计，提取分布特征，具体方法为：

将单位带宽上场景点的高斯核进行求和，并乘以常系数，得到目标识别置信度；得到分布特征。

4.如权利要求1所述的方法，其特征在于，所述提取雾浓度图像的全局雾浓度特征，具体方法为：

全局雾浓度特征包括熵、全局对比度和标准差；

根据每个场景点对应的灰度图像绘制像素直方图；

熵

其中，p_m为像素直方图中不同像素值的分布概率，m为像素值；

全局对比度

其中，C_j为第j个分辨率下的对比度均值，w_j为C_j的权重因子；

标准差

其中，N为场景点个数，A_i为每个灰度图像的像素值，μ为灰度图像的灰度均值。

5.如权利要求4所述的方法，其特征在于，所述根据雾浓度图像的目标识别预测框，提取雾浓度图像的局部雾浓度特征，所述局部雾浓度特征包括韦伯对比度、暗通道值和饱和度值，具体方法为：

韦伯对比度

其中I为场景点对应的前景亮度均值，I_b为场景点对应的背景亮度均值；

暗通道值

其中，J^dark(x_k)为暗通道函数，x_k是第k个场景点的像素；

在HSV色彩空间中，得到饱和度图，得到目标局部区域的饱和度值。

6.如权利要求5所述的方法，其特征在于，场景点周围的3×3个场景点区域为该场景点的目标局部区域。

Images