CN113033687A - 一种雨雪气候条件下的目标检测识别方法 - Google Patents

Abstract

本发明公开了一种雨雪气候条件下的目标检测识别方法，首先获取包含目标的待检测的雨雪气候背景图像数据，并通过模糊过滤器构建对应雨雪天气条件下的训练数据集；优化雨雪层与背景层的分离模型，分别处理有雨和无雨区域，以削弱无雨雪区域的细节损失；搭建基于情景信息的上下文扩张去雨网络，以此来还原不同雨雪程度下的背景图像；搭建基于局部特征学习的卷积神经网络，提升目标识别率；将去雨雪后的图像作为优化后目标检测网络模型的输入，目标检测网络模型提取出图像数据中感兴趣的区域，并输出目标类别；本发明提出的去雨雪目标检测模型具有良好的泛化性和普适性，可广泛应用于不同雨雪程度下的多种目标高精度自动化识别检测以及其它实际场景。

Description

一种雨雪气候条件下的目标检测识别方法

技术领域

本发明属于图像处理技术领域，具体涉及一种目标检测识别方法。

背景技术

雨雪等复杂多变的天气情况会极大地影响监控侦察传感器的性能，导致采集到的图像噪声增加、细节丢失、对比度下降等后果，目标识别检测作为大部分计算机视觉应用的预处理部分，其识别效果不可避免地会受到不同程度的雨雪情况的干扰。因此能快速准确地去除输入图像中的雨雪干扰，使之能在各种复杂天气状态下稳定正常的工作对提高目标识别检测地准确率具有极高的价值。传统的去雨雪方法是从背景和雨线的分离入手得到先验信息，主要通过构造描述雾气、雨雪的气象模型来分别刻画背景层和雨雪层，并通过形态成分分析、稀疏矩阵、字典学习等优化方法实现图像去雨雪。理想情况下，雨雪程度不大，背景信息充足时，传统方法具有很好的去雨雪效果和很强的实时性。但在实际应用中一系列优化过程可能仍无法获得充分的雨雪层信息，出现图像信息丢失的情况。而传统的目标检测算法则是根据区域选择算法选取目标上待提取特征的区域，然后设计利于识别的目标特征进行提取。该思路因区域选择算法缺乏针对性，选择的区域不一定利于特征检测，因此效率不高，提取出来的目标特征容易因目标复杂而效果不好。综上所述，传统的去雨雪目标识别检测方法易受雨雪程度的影响而且算法提升空间有限，需要结合神经网络算法来提高雨雪天气下目标识别的准确率。

发明内容

为了克服现有技术的不足，本发明提供了一种雨雪气候条件下的目标检测识别方法，首先获取包含目标的待检测的雨雪气候背景图像数据，并通过模糊过滤器构建对应雨雪天气条件下的训练数据集；优化雨雪层与背景层的分离模型，分别处理有雨和无雨区域，以削弱无雨雪区域的细节损失；搭建基于情景信息的上下文扩张去雨网络，以此来还原不同雨雪程度下的背景图像；搭建基于局部特征学习的卷积神经网络，提升目标识别率；将去雨雪后的图像作为优化后目标检测网络模型的输入，目标检测网络模型提取出图像数据中感兴趣的区域，并输出目标类别；本发明提出的去雨雪目标检测模型具有良好的泛化性和普适性，可广泛应用于不同雨雪程度下的多种目标高精度自动化识别检测以及其它实际场景。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：获取包含待检测目标的雨雪气候原始图像数据集，并将图像通过模糊过滤器模糊化，从而减少运算量，构成训练数据集；

步骤2：优化雨雪层与背景层的分离模型，引入定位因子定位雨雪区域，具体如下：

雨雪层与背景层的分离模型为：

其中B代表背景层，即要获取的目标图像；

代表雨雪层；O代表包含雨雪的输入图像；

在式(1)中加入定位因子，即雨雪位置信息，得到广义的分离模型如下：

其中R为基于区域的变量，表示可见的雨雪位置，值为“1”表示对应像素位置有雨雪，值为“0”表示对应像素位置没有雨雪；

考虑不同雨雪层和大气光，构建优化的分离模型如下：

其中

表示第t个雨雪层，该层中的雨雪方向一致；S为雨雪层数量，t为雨雪层索引，A表示全局大气光，α是全局大气光传输系数；

步骤3：构建基于情景信息的上下文扩张网络，去除图像中的雨雪；

步骤3-1：构建上下文扩张网络；

所述上下文扩张网络首先为卷积层，将输入图像转换为特征空间表示；然后再分为三个扩展路径，每个扩展路径都由两个具有相同内核大小的3×3卷积和膨胀因子依次组成；三个扩展路径的接受域分别为5×5、9×9和13×13；三个扩展路径的输出最终进行融合，作为上下文扩张网络的输出，从而提取雨雪判别特征F；

步骤3-2：构建联合去雨与检测网络；

所述联合去雨与检测网络为多层卷积神经网络；输入为雨雪判别特征F，然后按R、S、B的顺序预测，R由F的卷积过程估计，S由联合矩阵

的卷积过程估计，B由联合矩阵

的卷积过程计算得到；

采用极大后验估计值作为损失函数：

其中，P_b(B),

p_r(R)分别是B,

R的先验条件；

步骤3-3：在联合去雨与检测网络中，计算O与B之间的差值，生成残差图像T(.)；迭代过程表示如下：

[ε_i,R_i,S_i]＝T(O_i)

B_i＝O_i-ε_i

O_i+1＝B_i (5)

其中，R_i表示第i次迭代的雨雪位置，S_i表示第i次迭代的雨雪层，O_i表示第i次迭代的输入图像，B_i表示第i次迭代的背景层，ε_i表示第i次迭代的误差，O_i+1表示第i+1次迭代的输入图像；

最终背景层估计B_τ表示为：

其中τ为总迭代数，O_τ表示第τ次迭代的输入图像；

步骤4：构建基于局部特征学习的卷积神经网络；

步骤4-1：所述基于局部特征学习的卷积神经网络是基于Faster R-CNN网络构成；基于局部特征学习的卷积神经网络包括三个并行的独立的卷积网络和特征融合层；三个卷积网络的卷积核大小分别为5×5、7×7和11×11，其余网络参数相同；

步骤4-2：三个卷积网络的输出向量分别为a＝(a₁,a₂,...,a_n)，b＝(b₁,b₂,...,b_n)，c＝(c₁,c₂,...,c_n)，在特征融合层使用向量相连方法将三个输出向量融合成一个向量，连接方式如下所示：

d(a,b,c)＝(a₁,a₂,...,a_n,b₁,b₂,...,b_n,c₁,c₂,...,c_n) (7)

步骤4-3：在检测过程中采用非极大值抑制算法对重叠的检测框进行重新赋分：

其中，M表示得分最高检测框的分值，b_i表示第i个检测框的分值，N_t表示第t个目标的预设分数阈值，S_i表示检测框的相应得分，iou(.)表示交并比；

对非极大值抑制算法进行改进：

其中，D表示最终检测结果，σ表示所有检测框分值的方差；

步骤4-4：在网络迭代训练时采用弃权策略，具体如下：

在网络每一次迭代训练时，以50％的概率使全连接层中的一部分神经元不参与网络连接；在下一次迭代训练时，网络又重新以50％的概率使全连接层中的一部分神经元不参与网络连接；

步骤5：将步骤3去雨雪后的图像作为基于局部特征学习的卷积神经网络的输入，输出目标类别，完成目标识别过程。

本发明的有益效果如下：

1、本发明方法充分考虑了雨雪的位置信息，建立的模型包含多个雨雪方向的雨雪层，并结合全局大气系数以描述雨天和雾气共存的真实状态，切实提高了去雨雪后图像的对比度和清晰度；

2、本发明方法基于卷积神经网络的思路设计了一种多任务学习框架，包含一个基于情景信息的上下文扩张网络，该网络引入扩张卷积技术以在不牺牲特征图尺寸的前提下增加了模型的感受野，从而能更好的学习雨雪特征，能实现不同雨雪程度和雾气程度下的去雨雪功能，并可针对不同天气状态更好的还原背景图像，具有良好的泛化性；

3、本发明方法设计将目标识别网络利用异源数据分别训练模型得到识别概率，并通过设计融合规则对结果进行决策判决，增强了目标识别的鲁棒性；

4、本发明提出的去雨雪目标检测模型具有良好的泛化性和普适性，可广泛应用于不同雨雪程度下的多种目标高精度自动化识别检测以及其它实际场景。

附图说明

图1为本发明方法的网络结构示意图。

图2为本发明方法的目标识别流程图。

图3为本发明方法的弃权策略示意图。

图4为本发明实施例效果图，其中图4(a)为包含雪花点的图像，图4(b)为从图4(a)图中最终去掉的雪花图，图4(c)为包含雨线的图像，图4(d)为从图4(c)图中最终去掉的雨线图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明为了提高户外信息采集系统的稳定性，使之在各种极端天气下均能正常有效的工作，解决的主要问题为以下两点：(1)如何在背景信息损失最小的基础上去除雨雪；(2)如何有效提高目标分割辨识的准确性。采取的措施如下：(1)构建了一个基于扩张卷积的语境化的深度网络来扩大接受域，以自适应联合探测和去除雨雪，并通过对多个具有不同扩展因子的并行卷积信息进行聚合，逐步提取和细化特征，从而保留更多的丰富细节；(2)在全连接层前将不同通路学习的特征图进行融合，用于训练全连接层参数，加强对特征向量中高权重特征的提取，提高特征语义的表达能力，提高网络对于检测目标的感知能力，从而有效提升目标对象的检测分割精度。

一种雨雪气候条件下的目标检测识别方法，包括以下步骤：

步骤1：获取包含待检测目标的雨雪气候原始图像数据集，并将图像通过模糊过滤器模糊化，从而减少运算量，构成训练数据集；

步骤2：优化雨雪层与背景层的分离模型，引入定位因子定位雨雪区域，具体如下：

雨雪层与背景层的分离模型为：

其中B代表背景层，即要获取的目标图像；

代表雨雪层；O代表包含雨雪的输入图像；

在式(1)中加入定位因子，即雨雪位置信息，得到广义的分离模型如下：

其中R为基于区域的变量，表示可见的雨雪位置，值为“1”表示对应像素位置有雨雪，值为“0”表示对应像素位置没有雨雪；

考虑不同雨雪层和大气光，构建优化的分离模型如下：

其中

表示第t个雨雪层，该层中的雨雪方向一致；S为雨雪层数量，t为雨雪层索引，A表示全局大气光，α是全局大气光传输系数；

步骤3：构建基于情景信息的上下文扩张网络，去除图像中的雨雪；

步骤3-1：构建上下文扩张网络；

所述上下文扩张网络首先为卷积层，将输入图像转换为特征空间表示；然后再分为三个扩展路径，每个扩展路径都由两个具有相同内核大小的3×3卷积和膨胀因子依次组成；三个扩展路径的接受域分别为5×5、9×9和13×13；三个扩展路径的输出最终进行融合，作为上下文扩张网络的输出，从而提取雨雪判别特征F；

步骤3-2：构建联合去雨与检测网络；

所述联合去雨与检测网络为多层卷积神经网络；输入为雨雪判别特征F，然后按R、S、B的顺序预测，R由F的卷积过程估计，S由联合矩阵

的卷积过程估计，B由联合矩阵

的卷积过程计算得到；

采用极大后验估计值作为损失函数：

其中，P_b(B),

p_r(R)分别是B,

R的先验条件；

步骤3-3：在联合去雨与检测网络中，计算O与B之间的差值，生成残差图像T(.)；迭代过程表示如下：

[ε_i,R_i,S_i]＝T(O_i)

B_i＝O_i-ε_i

O_i+1＝B_i (5)

其中，R_i表示第i次迭代的雨雪位置，S_i表示第i次迭代的雨雪层，O_i表示第i次迭代的输入图像，B_i表示第i次迭代的背景层，ε_i表示第i次迭代的误差，O_i+1表示第i+1次迭代的输入图像；

最终背景层估计B_τ表示为：

其中τ为总迭代数，O_τ表示第τ次迭代的输入图像；

步骤4：构建基于局部特征学习的卷积神经网络；

步骤4-1：所述基于局部特征学习的卷积神经网络是基于Faster R-CNN网络构成；基于局部特征学习的卷积神经网络包括三个并行的独立的卷积网络和特征融合层；三个卷积网络的卷积核大小分别为5×5、7×7和11×11，其余网络参数相同；

步骤4-2：三个卷积网络的输出向量分别为a＝(a₁,a₂,...,a_n)，b＝(b₁,b₂,...,b_n)，c＝(c₁,c₂,...,c_n)，在特征融合层使用向量相连方法将三个输出向量融合成一个向量，连接方式如下所示：

d(a,b,c)＝(a₁,a₂,...,a_n,b₁,b₂,...,b_n,c₁,c₂,...,c_n) (7)

步骤4-3：在检测过程中采用非极大值抑制算法对重叠的检测框进行重新赋分：

其中，M表示得分最高检测框的分值，b_i表示第i个检测框的分值，N_t表示第t个目标的预设分数阈值，S_i表示检测框的相应得分，iou(.)表示交并比；

对非极大值抑制算法进行改进：

其中，D表示最终检测结果，σ表示所有检测框分值的方差；

步骤4-4：在网络迭代训练时采用弃权策略，具体如下：

在网络每一次迭代训练时，以50％的概率使全连接层中的一部分神经元不参与网络连接；在下一次迭代训练时，网络又重新以50％的概率使全连接层中的一部分神经元不参与网络连接；

步骤5：将步骤3去雨雪后的图像作为基于局部特征学习的卷积神经网络的输入，输出目标类别，完成目标识别过程。

具体实施例：

1、获取包含待检测目标的雨雪气候原始图像数据集，并将图像通过模糊过滤器模糊化，从而减少运算量，构成训练数据集；

2、优化雨雪层与背景层的分离模型，引入定位因子定位雨雪区域，具体如下：

分离模型能够描述现实场景中的各种雨雪况，包括雨条纹积累和大雨，然后利用它们来设计一个有效的深度学习架构，重点针对单幅输入图像。

雨雪层与背景层的分离模型为：

其中B代表背景层，即要获取的目标图像；

代表雨雪层；O代表包含雨雪的输入图像；基于这个模型，图像去雨雪被认为是“双信号分离问题”，基于给定的降质图像O，由于背景层和雨雪层的具有各自不同的特点可以实现将两层分离，从而得到目标结果。但是这个模型有两个缺陷：一是层密度不均匀，因为该层只有部分区域有雨痕，使用统一的稀疏编码建模的效果是不理想的；二是信号分离的问题，没有区分有雨区域和无雨区域，这会导致处理后的背景过度平滑，导致形变或者模糊。

基于以上的缺陷，对上述模型进行改进。使得层既包含雨痕的位置信息也包含特定像素点位置的雨痕对像素值的贡献；在式(1)中加入定位因子，即雨雪位置信息，得到广义的分离模型如下：

其中R为基于区域的变量，表示可见的雨雪位置，值为“1”表示对应像素位置有雨雪，值为“0”表示对应像素位置没有雨雪；之所以将

R别描述并分别用于网络预测，是为了避免只回归

影响了图中不含雨雪的部分。对R独立建模有以下两点好处：一是为网络提供更多的信息学习雨雪区域；二是可以检测到雨雪区域和非雨雪区域，对两者做不同的处理，可以最大化得到背景层的信息。

在现实场景中，基于雨雪带具有不同的形状和不同的方向且雨雪之间会相互重叠，以及暴雨情况下的雨水积聚产生的雾气效果导致远处场景的能见度降低这两个主要的问题，因此提出了一个更细致的雨水模型，该模型包含多个雨雪层(每个雨雪层中的雨雪方向是一致的)，也包含了全局大气光的作用效果(用来模拟雨水产生的雾气效果)，考虑不同雨雪层和大气光，构建优化的分离模型如下：

其中

表示第t个雨雪层，该层中的雨雪方向一致；S为雨雪层数量，t为雨雪层索引，A表示全局大气光，其实质是对雨水产生的雾气效果进行建模；α是全局大气光传输系数；这个模型同时实现了雨水效果和雾气效果的一种综合状态，更逼近真实的降雨效果，基于这个模型得到的目标图像更接近自然图像。

基于以上雨雪层与背景层的分离模型，首先在模型中使用雨雪条纹二值图，其中“1”表示像素中有单独可见的雨条纹，“0”表示像素中无单独可见的雨雪条纹。还模拟了雨雪条纹累积的形态，以及重叠条纹的各种形状和方向来模拟暴雨情况。其次，基于所引入的模型，构建了一个联合探测和去除降雨的深度网络。雨条纹区域是自动检测的，可用来约束雨去除。这样网络就能够在雨区和非雨区执行自适应操作，以保留更丰富的细节。第三，为了获取更多的语境信息，提出了一个语境化的扩张网络来扩大接受域，如图1所示。在该网络中，通过对多个具有不同扩展因子的并行卷积信息进行聚合，逐步提取和细化特征。最后，为了恢复在有雨积累和各种雨条纹方向的环境中的图像，提出了一种循环雨检测和去除网络，逐步去除雨条纹。因此，去雨雪具体实施方式有：

1)、对雨条纹进行二元掩模建模，同时对由于雨条纹积累以及雨条纹重叠的各种形状和方向而形成的雾气进行建模。因此可以合成更多的与真实降雨图像相似的数据来进行网络训练；

2)、利用检测到的雨区信息联合检测并从单个图像中去除降雨；

3)、使用上下文的扩展网络来获得更多的上下文信息的去雨，它同时能保留丰富的局部细节；

4)、通过引入重复降雨检测和去除网络来解决暴雨问题，在这种方法中，通过重复降雨检测和去除来逐步去雨，使模型具有较好的普适性。

3、构建基于情景信息的上下文扩张网络，去除图像中的雨雪；

单幅图像去雨算法经过了由基于过滤器到基于先验构建模型再到使用深度学习方法的过渡，早期的算法性能不太理想，去雨后的输出图像中仍含有大量的雨痕而且耗时也长，无法应用于实践中。后来基于深度学习的去雨方法虽然在一定程度上缓解了以上问题，但一些性能仍不够理想，存在一定的改进空间，如去雨图像色彩失真；部分细节丢失；耗时过长等问题。为了改进这些情况，本发明设计从网络模型的设计出发，通过配置和调整网络参数，在缩短运算时间的基础上进一步提升网络的区域效果。

本发明设计构造了一个多任务网络来实现雨水的联合检测与去除,该方法先检测雨区以进一步约束去雨条件，为了能在不丢失局部细节的情况下利用更多的信息，还提出了一种新的网络结构：上下文扩张网络，用于提取雨水判别特征，便于后续的雨水检测和去除。

3.1构建上下文扩张网络；

所述上下文扩张网络首先为卷积层，将输入图像转换为特征空间表示；然后再分为三个扩展路径，每个扩展路径都由两个具有相同内核大小的3×3卷积和膨胀因子依次组成；三个扩展路径的接受域分别为5×5、9×9和13×13；三个扩展路径的输出最终进行融合，作为上下文扩张网络的输出，从而提取雨雪判别特征F；

3.2构建联合去雨与检测网络；

因为B,

R的估计是内在相关的。因此对B的估计依赖于所预测的

和

为了表达这一点，选择采用一个多任务架构，可以在B,

R的基础上使用多个损失函数进行训练。

所述联合去雨与检测网络为多层卷积神经网络；输入为雨雪判别特征F，然后按R、S、B的顺序预测，R由F的卷积过程估计，S由联合矩阵

的卷积过程估计，B由联合矩阵

的卷积过程计算得到；

对于去雨雪任务，从输入图像得到额外信息有用的自动识别和去除雨雪方法。因此，使用上下文扩张网络来得到多尺度的上下文信息，以学习雨雪的特征。

该网络通过两种方式获取上下文信息：1)通过一个重复结构，类似于重复的残差网络，并为后续层提供一个越来越大的接受域；2)在每次递归中，输出特征都是将三种不同的扩张因子和感受域的卷积路径表示集合起来。

如图1所示，网络首先通过第一次卷积将输入的雨图像转换为特征空间。然后，网络逐步细化特征，在每次递归中，通过特征转换将三种不同膨胀因子的卷积路径的结果与上一次递归的输入特征进行聚合。

然后将进一步增强网络来处理多个雨雪层(其中每个层都有自己的条纹方向)和雨雾。去雨与检测网络可以理解为卷积联合雨检测和去除网络的级联，它可以执行渐进式的雨检测和去除，并恢复背景层，具有越来越好的可视性。

采用极大后验估计值作为损失函数：

其中，P_b(B),

p_r(R)分别是B,

R的先验条件；之前关于B,

的先验包括人工识别的特征，如雨纹的分解，一些如稀疏字典和高斯混合模型的数据驱动类模型。在深度学习中，B,

R的先验信息从训练数据中学习，并隐含在网络中。

3.3在联合去雨与检测网络中，计算O与B之间的差值，生成残差图像T(.)；迭代过程表示如下：

[ε_i,R_i,S_i]＝T(O_i)

B_i＝O_i-ε_i

O_i+1＝B_i (5)

其中，R_i表示第i次迭代的雨雪位置，S_i表示第i次迭代的雨雪层，O_i表示第i次迭代的输入图像，B_i表示第i次迭代的背景层，ε_i表示第i次迭代的误差，O_i+1表示第i+1次迭代的输入图像；

在每个迭代中，通过预测残留积累和传播来更新O_i和最终评估B_i。虽然预估的雨掩模R_i和条纹层S_i没有直接计算到下一个递归式中，但是正则化它们的损失实际上为学习O_i提供了足够的边缘信息。最终背景层估计B_τ表示为：

其中τ为总迭代数，O_τ表示第τ次迭代的输入图像；该方法根据前一步的中间结果，逐步去除雨纹。因此，在每次迭代中去除雨雪的复杂性降低了，从而能够更好地进行估计。

4、构建基于局部特征学习的卷积神经网络；

传统的卷积神经网络一般是在卷积和池化操作后将最后一个池化层得到的所有特征图连接起来映射为一维向量作为全连接层的输入，通过分类器进行图像分类并使用反向传播来训练网络模型。对于单路卷积模型来说卷积核的尺寸及步长等只能设定单一值，从而限制了参数的灵活性。而且它只考虑了单路中最后一个池化得到的特征图的信息。但是对于输入数据来说卷积核大小的变化会提取不同范围内的特征，由于提取的特征尺度不同，最终目标分类结果也会有所变化。

因此本发明设计分别确定了卷积层数、每层卷积核个数、卷积核的大小等因素对目标识别的影响，然后建立了适用于目标识别的基于局部特征学习的卷积网络模型，并在原模型的基础上建立多路卷积神经网络模型，用不同的卷积核尺寸充分提取目标图像不同尺度中的局部特征，最后将提取的特征进行融合并进行分类识别。

步骤4-1：如图2，基于局部特征学习的卷积神经网络是基于Faster R-CNN网络构成；该网络基于卷积网络模型，通过对输入图像多路输入，每个通路卷积核大小不相同其余参数一致，不同通路的特征经过最后一个池化层后在全连接层进行特征融合，形成最终用于图像分类的特征并通过神经网络最终的分类器进行图像分类识别。基于局部特征学习的卷积神经网络包括三个并行的独立的卷积网络和特征融合层；三个卷积网络的卷积核大小分别为5×5、7×7和11×11，其余网络参数相同；

4.2三个卷积网络的输出向量分别为a＝(a₁,a₂,...,a_n)，b＝(b₁,b₂,...,b_n)，c＝(c₁,c₂,...,c_n)，在特征融合层使用向量相连方法将三个输出向量融合成一个向量，连接方式如下所示：

d(a,b,c)＝(a₁,a₂,...,a_n,b₁,b₂,...,b_n,c₁,c₂,...,c_n) (7)

4.3在检测过程中采用非极大值抑制算法对重叠的检测框进行重新赋分：

其中，M表示得分最高检测框的分值，b_i表示第i个检测框的分值，N_t表示第t个目标的预设分数阈值，S_i表示检测框的相应得分，iou(.)表示交并比；

如上面公式，非极大值抑制算法在处理重叠区域时，要么保留，要么丢弃。为了改进这一点，当b_i与M重叠区域很大时，我们应该降低得分而不是完全地设为零。这样当b_i确实包含另一个物体时，也能够检测出来。为了设计一个新的赋值函数，考虑以下几点：

1)对相邻的检测框筛选时，能够减少误检率。

2)以较低的重叠阈值删除相邻的检测区域时，会增加漏检率。

3)NMS的阈值过高会导致检测AP降低。

赋值函数需要惩罚与M重叠的检测框，以改进非极大值抑制算法。很明显，与M重叠区域较高的检测框惩罚较大，因为它们很可能会误检。因此，可以采用以下的公式：

上面的函数在IOU超过阈值时，是IOU的线性函数。因此，当检测框与M较远时，检测框不受影响，而相邻的检测框会因IOU增大，而得分更低。

但是，上面的函数并不是一个连续函数，这可能会导致一些新问题。一个理想的惩罚函数应该是：当没有重叠区域时，没有惩罚，当重叠区域较大时，惩罚较大，当重叠区域较小时，惩罚系数应该缓慢的增加。考虑到这些因素，因此可以采用以下的惩罚函数：

其中，D表示最终检测结果，D表示最终检测结果，σ表示所有检测框分值的方差。

改进的非极大值抑制算法每一轮的时间复杂度是O(N)，其中N是检测框的个数。这是因为所有与M有所重叠的检测框都会更新得分。因此，算法的总的时间复杂度是O(N²)，这跟传统的非极大值抑制算法是一样的。

4.4在网络迭代训练时采用弃权策略，具体如下：

传统的卷积神经网络尽管通过局部连接、权值共享和降采样等操作来减少网络参数数量，但在实际情况中，仍会因为网络模型复杂度过高、参数数量过多而产生过拟合现象。在网络每一次迭代训练时，以50％的概率使全连接层中的一部分神经元不参与网络连接；如图3所示，因此弃权策略也被称为“随机失活”。而且失活的神经元并不是永久失活，在下一次迭代训练时，网络又重新以50％的概率使全连接层中的一部分神经元不参与网络连接；弃权策略使得神经元的输出不再依赖于固定神经元之间的共同作用，使得网络可以学习出更具鲁棒性的特征，进而提高网络的泛化能力，有效防止过拟合现象，同时也减少了网络训练的时间。

5、将第3步去雨雪后的图像作为基于局部特征学习的卷积神经网络的输入，输出目标类别，完成目标识别过程。

6、向原始图像训练数据集中加入真实雨雪天图像数据，扩充样本空间，增强检测模型的普适性。

7、在公开的雨雪数据集上对提出的网络模型进行测试。

8、将本发明方法的检测结果与目前先进的目标检测方法作比较分析。

图4为采用本发明方法去雨雪示例，图4(a)为包含雪花点的图像，图4(b)为从图4(a)图中最终去掉的雪花图，图4(c)为包含雨线的图像，图4(d)为从图4(c)图中最终去掉的雨线图。

Claims (1)

1.一种雨雪气候条件下的目标检测识别方法，其特征在于，包括以下步骤：

步骤1：获取包含待检测目标的雨雪气候原始图像数据集，并将图像通过模糊过滤器模糊化，从而减少运算量，构成训练数据集；

步骤2：优化雨雪层与背景层的分离模型，引入定位因子定位雨雪区域，具体如下：

雨雪层与背景层的分离模型为：

其中B代表背景层，即要获取的目标图像；

代表雨雪层；O代表包含雨雪的输入图像；

在式(1)中加入定位因子，即雨雪位置信息，得到广义的分离模型如下：

其中R为基于区域的变量，表示可见的雨雪位置，值为“1”表示对应像素位置有雨雪，值为“0”表示对应像素位置没有雨雪；

考虑不同雨雪层和大气光，构建优化的分离模型如下：

其中

表示第t个雨雪层，该层中的雨雪方向一致；S为雨雪层数量，t为雨雪层索引，A表示全局大气光，α是全局大气光传输系数；

步骤3：构建基于情景信息的上下文扩张网络，去除图像中的雨雪；

步骤3-1：构建上下文扩张网络；

所述上下文扩张网络首先为卷积层，将输入图像转换为特征空间表示；然后再分为三个扩展路径，每个扩展路径都由两个具有相同内核大小的3×3卷积和膨胀因子依次组成；三个扩展路径的接受域分别为5×5、9×9和13×13；三个扩展路径的输出最终进行融合，作为上下文扩张网络的输出，从而提取雨雪判别特征F；

步骤3-2：构建联合去雨与检测网络；

所述联合去雨与检测网络为多层卷积神经网络；输入为雨雪判别特征F，然后按R、S、B的顺序预测，R由F的卷积过程估计，S由联合矩阵

的卷积过程估计，B由联合矩阵

的卷积过程计算得到；

采用极大后验估计值作为损失函数：

其中，

分别是

的先验条件；

步骤3-3：在联合去雨与检测网络中，计算O与B之间的差值，生成残差图像T(.)；迭代过程表示如下：

[ε_i,R_i,S_i]＝T(O_i)

B_i＝O_i-ε_i

O_i+1＝B_i (5)

其中，R_i表示第i次迭代的雨雪位置，S_i表示第i次迭代的雨雪层，O_i表示第i次迭代的输入图像，B_i表示第i次迭代的背景层，ε_i表示第i次迭代的误差，O_i+1表示第i+1次迭代的输入图像；

最终背景层估计B_τ表示为：

其中τ为总迭代数，O_τ表示第τ次迭代的输入图像；

步骤4：构建基于局部特征学习的卷积神经网络；

步骤4-1：所述基于局部特征学习的卷积神经网络是基于Faster R-CNN网络构成；基于局部特征学习的卷积神经网络包括三个并行的独立的卷积网络和特征融合层；三个卷积网络的卷积核大小分别为5×5、7×7和11×11，其余网络参数相同；

步骤4-2：三个卷积网络的输出向量分别为a＝(a₁,a₂,...,a_n)，b＝(b₁,b₂,...,b_n)，c＝(c₁,c₂,...,c_n)，在特征融合层使用向量相连方法将三个输出向量融合成一个向量，连接方式如下所示：

d(a,b,c)＝(a₁,a₂,...,a_n,b₁,b₂,...,b_n,c₁,c₂,...,c_n) (7)

步骤4-3：在检测过程中采用非极大值抑制算法对重叠的检测框进行重新赋分：

其中，M表示得分最高检测框的分值，b_i表示第i个检测框的分值，N_t表示第t个目标的预设分数阈值，S_i表示检测框的相应得分，iou(.)表示交并比；

对非极大值抑制算法进行改进：

其中，D表示最终检测结果，σ表示所有检测框分值的方差；

步骤4-4：在网络迭代训练时采用弃权策略，具体如下：

在网络每一次迭代训练时，以50％的概率使全连接层中的一部分神经元不参与网络连接；在下一次迭代训练时，网络又重新以50％的概率使全连接层中的一部分神经元不参与网络连接；

步骤5：将步骤3去雨雪后的图像作为基于局部特征学习的卷积神经网络的输入，输出目标类别，完成目标识别过程。

Images