CN112507327B - 一种基于机器学习的晴雨检测与处理方法 - Google Patents

Abstract

本发明公开了一种基于机器学习的晴雨检测与处理方法，包括以下步骤：搜集N张无雨图像，同时搜集H张雨滴模板，利用图像合成的方法合成包含N张有雨图像及N张无雨图像构成的数据集，并根据类别设置标签，划分成训练图像与测试图像。将训练图像输入晴雨分类卷积神经网络，进行晴雨分类，并用测试图像进行训练效果检验；构造支持向量机晴雨图像分类器；构建宽度学习神经网络，输入训练图像到该网络，进行宽度学习训练，并使用测试图像检验训练效果；使用集成学习方法组合所述的晴雨分类卷积神经网络、SVM晴雨图像分类器和宽度学习神经网络，形成并行联合判别测试模型；使用该模型检测图像是否有雨，若无雨直接输出；若有雨则进行去雨处理。

Description

一种基于机器学习的晴雨检测与处理方法

技术领域

本发明属于机器学习与图像去噪领域，涉及一种基于机器学习的晴雨检测与处理方法。

背景技术

近年来随着人工智能与机器学习领域的迅猛发展，许多图像处理与目标识别算法相继涌出，并被大量用在自动驾驶、智能机器人的应用设计中。但是现有的图像处理算法大都是都是基于清晰图像来设计，但是在实际使用环境中物体景象会因为各种干扰而无法保证成像质量，雨是工作于室外环境中常见的不可忽略的干扰，在多雨的地方影响尤其大。图像处理已经广泛运用在生活的各个方面，如果在室外工作时无法有效排除雨点噪声干扰，将有可能导致识别错误的结果，甚至造成生命财产损失，势必影响其在室外环境的进一步运用。比如高度依赖图像识别的自动驾驶技术，错误的识别结果可能导致驾驶系统无法正确分析路况并规避危险，进而导致车毁人亡。去雨去雾应用可用于自动驾驶及航空业，能帮助我们去除不良天气的影响，提升交通行驶的安全性。同时也可用于各种摄像头，可消除雨对摄像头拍摄清晰度的影响，获得更好的拍摄效果。然而，当前大部分去雨算法，如ShuhangGu，Joint Convolutional Analysis and Synthesis Sparse Representation forSingle Image Layer Separation，ICCV,2017中所提出的图层分离去雨算法、WenhanYang，Joint Rain Detection and Removal from a Single Image with ContextualizedDeep Networks中的深度网络去雨算法以及He Zhang，Image De-raining Using aConditional Generative Adversarial Network中的对抗生成神经网络去雨算法，都需要耗费较多时间进行去雨。当一张无雨图像输入去雨系统时，若对该图像进行去雨处理，则会浪费大量时间，还可能导致输出图像质量降低。

发明内容

本发明的目的是构建一个能够自动识别图像是否有雨且自动进行去雨处理的模型，作为单独的图像优化方法或者用于其他图像处理方法的预处理步骤。本发明所提出的晴雨分类器可以对图像完成晴雨分类，以使系统只对有雨图像进行处理，提高系统处理速度和处理效率。

本发明至少通过如下技术方案之一实现。

一种基于机器学习的晴雨检测与处理方法所述包括以下步骤：

(1)搜集N张无雨图像，同时搜集H张雨滴模板，利用图像合成的方法合成包含N张有雨图像及N张无雨图像的数据集，对该数据集中的有雨图像和无雨图像设置对应标签，并分为训练图像与测试图像；

(2)将训练图像与对应标签输入晴雨分类卷积神经网络(Clear-Rainclassification Convolutional Neural Network,CRCNN)，进行晴雨识别检测，并用测试图像进行训练效果检验；

(3)构造基于HOG特征和LBP特征的支持向量机(SVM)晴雨图像分类器；

(4)构建宽度学习神经网络，输入训练图像与其对应标签到宽度学习神经网络，进行宽度学习训练，并使用测试图像检验训练效果；

(5)使用集成学习方法组合所述的CRCNN、SVM晴雨图像分类器和宽度学习神经网络，构成并行联合判别测试模型；

(6)使用步骤(5)构建的并行联合判别测试模型检测图像是否有雨，若无雨直接输出；若有雨则进行去雨处理。

进一步地，所述步骤(1)构建总共包含2N张图两个种类的数据集，其中包含N张无雨的图像，N张有雨的图像，并对其打上相应的标签；利用原始无雨的图像和如下光学模型公式生成有雨的图像：

I(x)＝(J(x)+∑s(x))

式中：x为图像像素索引，I(x)为输入图像，J(x)为无雨图像，s(x)为雨滴蒙板，利用该雨滴蒙板合成有雨的图像。

进一步地，步骤(2)所述的CRCNN为6层的卷积神经网络，具体每层构成为：

(3-1)、卷积层，卷积层一共有三层，第一层为n₁个大小为M₁×M₁,步长为m₁×m₁的卷积核构成；第二层为n₂个大小为M₂×M₂，步长为m₂×m₂的卷积核构成；第三层为n₃个大小为M₃×M₃，步长为m₃×m₃的卷积核构成；

(3-2)、池化层，采用平均池化的方法，池化层采用大小为M₄×M₄，步长为m₄×m₄；

(3-3)、Relu层，激活函数采用是线性整流函数(Relu函数)；

(3-4)、全连接层一共有两层，第一层为n₄个神经元，第二层为n₅个神经元；

(3-5)、Softmax层，包括Softmax函数，Softmax函数的作用为将得到的结果归一化；

在训练卷积神经网络时，选择训练的代数为r，学习率为lr。

进一步地，所述步骤(3)构造基于HOG特征和LBP特征的支持向量机(SVM)晴雨图像分类器，包括以下步骤：

(4-1)从步骤(1)构建的数据集中选取若干张训练图像作为SVM晴雨图像分类器的训练样本；

(4-2)对步骤(4-1)中的训练样本进行LBP和HOG特征提取；

(4-3)计算样本图像的HOG特征均值，并将HOG特征均值与LBP特征一起作为图像特征输入SVM进行训练，得到训练好的SVM晴雨分类器，SVM的目标函数为

s.t.y_i(ω^Tx_i+b)≥1,i＝1,2,…,m.

其中ω^Tx+b＝0为样本空间中划分的超平面，x为样本特征向量，ω为法向量，b为位移项，y_i是x_i所对应的标志项，m为特征向量x的最大维度；

(4-4)使用测试图像检验SVM晴雨分类器效果。

进一步地，对训练样本的图像进行LBP特征提取包括以下步骤：

1)、将输入的图像从RGB格式转化为灰度图，提取出其灰度矩阵，提取灰度矩阵的局部纹理特征；

2)、选择半径为R、采样点为k的LBP算子将输入图像进行分块，分别比较每个子块的中心像素点与k个采样点的灰度，若采样点的灰度大于中心点，则该采样点的位置置1，否则置0；

3)、k个采样点共产生k位二进制数，转化为十进制即LBP码共2k个，再将该子块产生的LBP码除于2k进行归一化，得到该子块对应的LBP值，并用这个值来反映该子块的纹理信息；

对训练样本的图像进行HOG特征提取的步骤包括：

S1、将图像分成小细胞单元，每个细胞单元大小为R×R；然后采集每个细胞单元的梯度的或边缘的方向直方图；

S2、对R×R大小的细胞单元每个像素点构建梯度直方图，以角度为横坐标，幅值为纵坐标，建立直方图，得到该细胞单元的HOG特征描述向量；

S3、将邻近的h×h个细胞单元组成一个单元块，将单元块中的细胞单元的梯度直方图重新整合成该单元块的梯度直方图；

S4、将图像所有的单元块的梯度直方图整合起来，得到输入图像的梯度直方图，即得到该输入图像的HOG特征描述向量。

进一步地，所述步骤(4)构建宽度学习神经网络，具体为：采用增强节点的宽度网络，从步骤(1)构建的数据集中选取若干张训练图像作为训练样本，并将这些样本映射为特征，特征数目为N₁个，每个映射层特征窗口数目为N₂个，每个特征窗口内的特征节点数目为N₃个，映射层完成后扩展增强层，每个增强层的增强节点数目为N₄个，所有映射层和增强层组合成输入层，求解得到的特征权重矩阵行数目与输入层列数目一致，且列数目与输出标签向量元素数目一致，所述宽度学习神经网络输出标签向量元素数目为有雨与无雨，取权重较大值对应标签作为最终输出结果。

进一步地，所述步骤(6)采用图层分离去雨算法进行去雨。

与现有相比，本发明的技术效果为：实现一个完整的晴雨图像分类与处理系统，能够对包含各种雨滴形状、不同疏密程度的有雨图像进行高精度识别，并能配合各种现有的去雨算法进行处理。

附图说明

图1本实施例卷积神经网络结构示意图；

图2本实施例宽度神经网络结构示意图；

图3本实施例晴雨联合分类器结构示意图；

图4本实施例晴雨联合分类器结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1、图2、图3、图4所示，一种基于机器学习的晴雨检测与处理方法，所述包括以下步骤：

(1)数据采集：

搜集N张无雨图像，同时搜集H张雨滴模板，利用图像合成的方法合成包含N张有雨图像及N张无雨的数据集，对该数据集中的两类图像设置对应标签，并划分为训练图像与测试图像，划分方法为：按照分层采样的方法分离出10％的数据作为测试集，20％的数据作为验证集，剩余的70％的数据作为训练集；

(2)将训练图像与对应标签输入卷积神经网络，进行晴雨识别检测，并用测试图像进行训练效果检验；

所述的CRCNN为6层的卷积神经网络，具体每层构成为：

卷积层：卷积层一共有三层，第一层卷积层1为40个大小为20×20,步长为2×2的卷积核构成；第二层卷积层2为30个大小为10×10，步长为2×2的卷积核构成；第三层卷积层3为20个大小为5×5，步长为2×2的卷积核构成；

池化层：池化层一共有一层，采用的是平均池化，大小为5×5，步长为3×3；

Relu层：激活函数采用的是线性整流函数(Relu函数)；

全连接层：一共有两层，第一层为100个神经元，第二层为10个神经元；

Softmax层：包括Softmax函数，Softmax函数的作用为将得到的结果归一化。

卷积神经网络的训练过程：使用步骤(1)构建的数据集进行训练，并使用步骤(1)构建的验证集进行验证。训练过程采用随机梯度下降法，每个批次(batch)包含200张图，当所有训练图像按照批次训练完成一次后，则视为完成一代训练。此后使用验证集进行检验，若验证集分类正确率不如前代则停止训练。在训练时，选择训练的代数为60，学习率为2×10^(-3)，在训练之后，模型对训练集的正确率能够达到88.8％，对测试集的正确率能达到86.5％。

卷积神经网络的测试过程：

对训练好的模型使用测试集测试正确率，并根据其正确率更改单层网络种类，调整网络层数，或者调整单层神经元个数，以及调整学习率训练代数等超参数，重复步骤(2)中的训练过程，获得测试正确率最高的模型。

(3)构造基于HOG特征和LBP特征的支持向量机(SVM)晴雨图像分类器，包括以下步骤：

(3-1)特征提取：

首先对图像进行LBP特征提取的步骤包括提取图像的灰度矩阵，提取灰度矩阵的局部纹理特征。将输入的图像从RGB格式转化为灰度图，提取出其灰度矩阵。选择半径为1、采样点为8的LBP算子将200x200的输入图像进行分块，分别比较每个子块的中心像素点与8个采样点的灰度，若采样点的灰度大于中心点，则该采样点的位置置1，否则置0；8个采样点共可产生8位二进制数，转化为十进制即LBP码共256个，再将该子块产生的LBP码除于256进行归一化，得到该子块对应的LBP值，并用这个值来反映该子块的纹理信息。

然后对图像进行HOG特征提取的步骤包括计算图像梯度以及直方图，对图像梯度进行归一化处理。将图像分成小细胞单元，每个细胞单元大小为8x8。然后采集每个细胞单元的梯度的或边缘的方向直方图。对8x8大小的细胞单元每个像素点构建梯度直方图，以角度为横坐标，幅值为纵坐标，建立直方图，可得到该细胞单元的HOG特征描述向量。将邻近的2x2个细胞单元组成一个单元块，将单元块中的细胞单元的梯度直方图重新整合成该单元块的梯度直方图。将图像所有的单元块的梯度直方图整合起来，就得到输入图像的梯度直方图，即可得到该输入图像的HOG特征描述向量。

(3-2)SVM训练：

计算样本图像的HOG特征向量均值，并将其与LBP特征一起作为图像特征输入SVM进行训练，得到训练好的SVM晴雨分类器；

SVM的目标函数为

s.t.y_i(ω^Tx_i+b)≥1,i＝1，2，…，m.

其中ω^Tx+b＝0为样本空间中划分的超平面，x为样本特征向量，ω为法向量，b为位移项，y_i是x_i所对应的标志项，m为特征向量x的最大维度。

(3-3)测试过程：

使用测试集检验SVM的训练效果，并根据测试准确率调整SVM所使用的核函数或者考虑是否加入正则项，重复步骤(3-3)、步骤(3-4)，最终获得最优模型。

(4)构建宽度学习神经网络，输入图像与其对应标签到宽度学习神经网络，进行宽度学习训练，并使用测试图像检验训练效果，具体包括以下步骤：

(4-1)生成输入特征与输出标签：

对输入晴雨图像特征进行归一化处理，并增加一个输入恒为0.1的偏置特征。对输出晴雨标签进行One-Hot编码。

(4-2)生成特征节点与增强节点：

输入晴雨图像特征进行模糊BLS特征提取生成特征节点，不同特征窗口的特征节点可以使用不同的特征提取方式。

(4-3)生成增强节点

生成随机权重矩阵，矩阵列数目与特征节点数相同，行数目与增强节点数相同，视所有特征节点的输出为一个特征向量，将随机权重矩阵与特征向量相乘，得到增强向量，使用Sigmoid函数对增强向量进行激活，生成具有非线性特征的增强节点。

(4-4)求得输入到输出的映射：

X：输入晴雨图像特征

Y：输出晴雨标签

W：权重矩阵

符号如上，网络映射基本结构为XW＝Y，求出权重矩阵W＝X^(-1)Y。

(4-5)宽度学习神经网络测试：

使用测试集进行测试，每张图像映射为40000个特征节点，归一化后利用步骤(4-4)求得的权重矩阵W对输出晴雨标签Y进行预测，计算测试正确率。根据测试正确率调整特征结点数与增强结点数，重复步骤(4-2)～步骤(4-5)，获得最优模型。

(5)使用集成学习(Bagging)方法组合所述的CRCNN、SVM晴雨图像分类器和宽度学习神经网络，构成并行联合判别测试模型，即将待分类输入图像分别输入CRCNN、SVM晴雨图像分类器和宽度学习神经网络获得三类分类的结果，在得到的三类分类结果中用投票法表决，以票数多的结果作为最终判别结果。

(6)使用步骤(5)中构建的并行联合判别测试网络检测图像是否有雨，若无雨直接输出；若有雨则进行去雨处理。

使用图层分离去雨算法进行去雨。对含有大量雨滴信息的图层进行雨滴掩模识别和分离。完成分离后，将得到的基本不含雨滴掩模的图层与原基本不含雨滴信息的图层进行整合，得到去雨图像。在该过程当中，可适当引入相关图像增强技术，如基于拉普拉斯算子的锐化滤波、直方图均衡化等方法，对各图层进行处理，以提升去雨结果的效果。

本发明可运用于无人驾驶汽车摄像头、高速公路监控摄像头、送餐机器人视觉模块等可能工作于雨雾环境的设备，作为图像预处理步骤中的图像增强模块，使得雨雾环境对设备的干扰减小。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于机器学习的晴雨检测与处理方法，其特征在于，包括以下步骤：

(1)搜集N张无雨图像，同时搜集H张雨滴模板，利用图像合成的方法合成包含N张有雨图像及N张无雨图像的数据集，对该数据集中的有雨图像和无雨图像设置对应标签，并分为训练图像与测试图像；

(2)将训练图像与对应标签输入晴雨分类卷积神经网络(CRCNN)，进行晴雨识别检测，并用测试图像进行训练效果检验；

(3)构造基于HOG特征和LBP特征的支持向量机(SVM)晴雨图像分类器；

(4)构建宽度学习神经网络，输入训练图像与其对应标签到宽度学习神经网络，进行宽度学习训练，并使用测试图像检验训练效果，具体包括以下步骤：

(4-1)生成输入特征与输出标签：

对输入晴雨图像特征进行归一化处理，并增加一个输入恒为0.1的偏置特征，对输出晴雨标签进行One-Hot编码；

(4-2)生成特征节点与增强节点：

输入晴雨图像特征进行模糊BLS特征提取生成特征节点，不同特征窗口的特征节点可以使用不同的特征提取方式；

(4-3)生成增强节点

生成随机权重矩阵，矩阵列数目与特征节点数相同，行数目与增强节点数相同，视所有特征节点的输出为一个特征向量，将随机权重矩阵与特征向量相乘，得到增强向量，使用Sigmoid函数对增强向量进行激活，生成具有非线性特征的增强节点；

(4-4)求得输入到输出的映射：

X：输入晴雨图像特征

Y：输出晴雨标签

W：权重矩阵

符号如上，网络映射基本结构为XW＝Y，求出权重矩阵W＝X^(-1)Y；

(4-5)宽度学习神经网络测试：

使用测试集进行测试，每张图像映射为40000个特征节点，归一化后利用步骤(4-4)求得的权重矩阵W对输出晴雨标签Y进行预测，计算测试正确率；根据测试正确率调整特征结点数与增强结点数，重复步骤(4-2)～步骤(4-5)，获得最优模型；

(5)使用集成学习方法组合所述的晴雨分类卷积神经网络、支持向量机晴雨图像分类器和宽度学习神经网络，构成并行联合判别测试模型；

(6)使用步骤(5)构建的并行联合判别测试模型检测图像是否有雨，若无雨直接输出；若有雨则进行去雨处理。

2.根据权利要求1所述的一种基于机器学习的晴雨检测与处理方法，其特征在于，步骤(1)构建总共包含2N张图两个种类的数据集，其中包含N张无雨的图像，N张有雨的图像，并对其打上相应的标签；利用原始无雨的图像和如下光学模型公式生成有雨的图像：

I(x)＝(J(x)+∑s(x))

式中：x为图像像素索引，I(x)为输入图像，J(x)为无雨图像，s(x)为雨滴蒙板，利用该雨滴蒙板合成有雨的图像。

3.根据权利要求1所述的一种基于机器学习的晴雨检测与处理方法，其特征在于，步骤(2)所述的晴雨分类卷积神经网络为6层的卷积神经网络，具体每层构成为：

(3-1)、卷积层，卷积层一共有三层，第一层为n₁个大小为M₁×M₁,步长为m₁×m₁的卷积核构成；第二层为n₂个大小为M₂×M₂，步长为m₂×m₂的卷积核构成；第三层为n₃个大小为M₃×M₃，步长为m₃×m₃的卷积核构成；

(3-2)、池化层，采用平均池化的方法，池化层采用大小为M₄×M₄，步长为m₄×m₄；

(3-3)、Relu层，激活函数采用是线性整流函数(Relu函数)；

(3-4)、全连接层一共有两层，第一层为n₄个神经元，第二层为n₅个神经元；

(3-5)、Softmax层，包括Softmax函数，Softmax函数的作用为将得到的结果归一化；

在训练卷积神经网络时，选择训练的代数为r，学习率lr。

4.根据权利要求1所述的一种基于机器学习的晴雨检测与处理方法，其特征在于，所述步骤(3)构造基于HOG特征和LBP特征的支持向量机(SVM)晴雨图像分类器，包括以下步骤：

(4-1)从步骤(1)构建的数据集中选取若干张训练图像作为SVM晴雨图像分类器的训练样本；

(4-2)对步骤(4-1)中的训练样本进行LBP和HOG特征提取；

(4-3)计算样本图像的HOG特征均值，并将HOG特征均值与LBP特征一起作为图像特征输入SVM进行训练，得到训练好的SVM晴雨分类器，SVM的目标函数为

s.t.y_i(ω^Tx_i+b)≥1,i＝1,2,…,m.

其中ω^Tx+b＝0为样本空间中划分的超平面，x为样本特征向量，ω为法向量，b为位移项，y_i是x_i所对应的标志项，m为特征向量x的最大维度；

(4-4)使用测试图像检验SVM晴雨分类器效果。

5.根据权利要求4所述的一种基于机器学习的晴雨检测与处理方法，其特征在于，对训练样本的图像进行LBP特征提取包括以下步骤：

1)、将输入的图像从RGB格式转化为灰度图，提取出其灰度矩阵，提取灰度矩阵的局部纹理特征；

2)、选择半径为R、采样点为k的LBP算子将输入图像进行分块，分别比较每个子块的中心像素点与k个采样点的灰度，若采样点的灰度大于中心点，则该采样点的位置置1，否则置0；

3)、k个采样点共产生k位二进制数，转化为十进制即LBP码共2^k个，再将该子块产生的LBP码除于2^k进行归一化，得到该子块对应的LBP值，并用这个值来反映该子块的纹理信息；

对训练样本的图像进行HOG特征提取的步骤包括：

S1、将图像分成小细胞单元，每个细胞单元大小为R×R；然后采集每个细胞单元的梯度的或边缘的方向直方图；

S2、对R×R大小的细胞单元每个像素点构建梯度直方图，以角度为横坐标，幅值为纵坐标，建立直方图，得到该细胞单元的HOG特征描述向量；

S3、将邻近的h×h个细胞单元组成一个单元块，将单元块中的细胞单元的梯度直方图重新整合成该单元块的梯度直方图；

S4、将图像所有的单元块的梯度直方图整合起来，得到输入图像的梯度直方图，即得到该输入图像的HOG特征描述向量。

6.根据权利要求1所述的一种基于机器学习的晴雨检测与处理方法，其特征在于，所述步骤(4)构建宽度学习神经网络，具体为：采用增强节点的宽度网络，从步骤(1)构建的数据集中选取若干张训练图像作为训练样本，并将这些样本映射为特征，特征数目为N₁个，每个映射层特征窗口数目为N₂个，每个特征窗口内的特征节点数目为N₃个，映射层完成后扩展增强层，每个增强层的增强节点数目为N₄个，所有映射层和增强层组合成输入层，求解得到的特征权重矩阵行数目与输入层列数目一致，且列数目与输出标签向量元素数目一致，所述宽度学习神经网络输出标签向量元素数目为有雨与无雨，取权重较大值对应标签作为最终输出结果。

7.根据权利要求1所述的一种基于机器学习的晴雨检测与处理方法，其特征在于，步骤(6)采用图层分离去雨算法进行去雨。

Images