CN113158874A - 一种基于傅里叶变换自适应深度学习算法的高速公路团雾检测方法 - Google Patents

Abstract

本发明公开了一种基于傅里叶变换自适应深度学习算法的高速公路团雾检测方法，首先建立高速团雾数据集，同时建立卷积神经网络模型，结合数据集和模型进行训练，得到团雾检测训练权重；然后读入待测试视频，包括3个方向：将其输入训练好的模型进行预测，FFT变换及逆变换，求取每帧图像的均值和方差，接着使用方向三的结果对方向二的结果进行归一化，最终对归一化的结果和方向一的预测结果求取均值，根据当前图像可视区域内特点，自动生成自适应的阈值进行对比，得出图像是否有团雾的结论。本发明的优点在于结合传统机器学习算法和深度神经网络模型，对测试图像采取卷积特征提取和频域特征计算的方式，进而完成对团雾的稳定且准确的检测。

Description

一种基于傅里叶变换自适应深度学习算法的高速公路团雾检 测方法

技术领域

本发明涉及图像识别与机器视觉技术领域，具体来说，涉及一种基于傅里 叶变换自适应深度学习算法的高速公路团雾检测方法。

背景技术

雾天会使驾驶员的视线受到影响，直接导致的后果就是驾驶员对紧急情况的 反应时间变长，进而导致其生命受到威胁，同时，浓雾天气的一个事故会引发出 另一个不良反应：连环追尾事故，此时损失更为惨重。因此及时检测到浓雾，规 避出行，在一定程度上可以降低由浓雾天气带来的交通事故的发生。

目前团雾检测的主要方法有两大类：一是基于能见度计算的检测方法，二是 提取团雾特征，并根据提取到的团雾特征进行检测。提取团雾特征方法又可以分 为深度学习模型法和机器学习人工提取特征法。深度学习方法虽然检测效果较 好，但是消耗资源较大，不适合进行工业落地；相比之下，传统机器学习方法需 要调整大量阈值，才可以得到较好的效果。

发明内容

为了解决上述问题，本发明提出了一种基于傅里叶变换(Fast FourierTransform，FFT)自适应深度学习算法的高速公路团雾检测方法。由于团雾在图 像域的特征无法满足团雾检测的要求，本发明的方法是通过使用结合了深度学习 模型及机器学习在频率域的特征来实现团雾图像的准确检测，一方面，通过建立 团雾数据集和构建的深度学习网络训练模型，并使用训练好的模型进行预测，进 而得到图像可能为团雾的概率，另一方面对图像进行FFT变换，并计算图像为团 雾的可能性，最终对深度学习模型的预测结果和FFT变换处理后的结果求均值， 并与根据当前图像可视区域内特点，自动生成自适应的阈值进行对比，得出图像 是否有团雾的结论。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种基于傅里叶变换自适应深度学习算法的高速公路团雾检测方法，具体包 括以下步骤：

1)建立高速团雾数据集：首先收集多个一定分钟时长的不同区域的高速团 雾和晴朗的视频，对收集到的团雾和晴朗天气的图像进行逐一标注，然后设定时 间间隔，采取抽帧的方式对视频图像进行标注，最后将标注好的图像打乱，按照 设定比例划分训练集和测试集；

2)建立卷积神经网络模型：使用以PyTorch框架为基础的YOLOv3模型进行 训练，其主干网络为DarkNet53，YOLOv3使用多个卷积层和残差层，可以实现对 输入的团雾图像进行多层特征提取，充分的特征提取可以提高模型的分类性能；

3)模型训练及训练权重的保存：视频中图像的尺寸较大，首先对图像进行 分块，然后固定到输入尺寸并输入模型，输入的图像通过进行多次下采样进行特 征提取，最后生成是否有雾的判断模型，训练时使用在ImageNet上预训练的权 重进行续训练，通过设置学习率、batchsize、迭代次数等参数实现模型训练，最 终将训练好的权重文件保存下来；

4)加载训练权重和待检测视频进行团雾预测：读取视频时，将预测视频中 的图像进行抽帧读取，预测结果以概率的形式输出；

5)FFT变换：读取视频，对输入的图像进行灰度化处理，将视频中的RGB 彩色帧转为单通道的灰度图像，灰度化时采用平均R、G、B值的方式，在得到 图像的宽w、高h后，进行两层循环，得到图像上每个坐标点的R、G、B通道 值，然后求平均再返回到对应的坐标点上；

然后将灰度图像进行FFT变换，该步是将时域空间的图像转换到频域空间， 其本质是图像的灰度分布函数变换为图像的频率分布函数，其变换公式为：

其中，u和v是频域中频率变量，x和y是空间域中图像的变量，F(u,v)的值 表示团雾的能量大小，f(x,y)表示时域空间的连续值，M和N为图像的宽和高；

式(1)的具体计算过程如下：

然后按照式(2)中下标的奇偶性把A(x)分成两部分：

然后式(3)中的两部分再进行拆分：

式(4)可以简化为：

A(x)＝A₁(x²)+xA₂(x²) (5)

式(5)中变量x²可以视为x，进行逐层递归，进而实现快速求解；

6)FFT逆变换：FFT逆变换是将图像从频率域转换回到空间域，即将图像的 频率分布函数变回为灰度分布函数。变换之前需要零频率分量中心化并置零，可 以将步骤5)得到的频域图中零频率分量移至中心。零频率分量F(0,0)可以表示 为：

FFT逆变换公式可以表示为：

式(6)中，u和v是频域中频率变量，x和y是空间域中图像的变量。最终计 算FFT逆变换后图像量值的平均值Ml；

7)将预测视频中的图像抽帧读取，抽取的帧与步骤4)相同：读取到所取 帧图像后首先进行分块处理，然后计算每一块的均值a_i和方差c_i，最后计算整张 图像的均值之和Ms，方差之和Ds。每帧图像的均值之和可以表示为：

其中，X为该步骤中的分块的块数。每帧图像的方差之和可以表示为：

8)将步骤7)得到的均值之和Ms和方差之和Ds对步骤6)得到的FFT逆变 换得到的值进行一化，得到归一化的结果Mg，其中归一化的公式为：

将Mg与步骤4)中深度学习模型得到的团雾概率Pd值求均值Md，均值Md 计算公式为：

得到本发明算法对团雾的计算结果后，与设定的阈值T进行比较，最终得出 是否有团雾的结论。由于天空和车道内的团雾会有所有所不同，因此T的设定是 由步骤7中每一块的均值决定的，首先将X块的均值按递增的顺序进行排序，然 后对前X/2块与后X/2块的均值求和Md，再求比值。对其方差也做相同的处理， 算得其比值，将均值之比与方差之比的乘积作为阈值T，可以得到较好的团雾检 测结果。其前X/2块的均值之和Mf为：

其中，m∈{1,2，…，X/2}。后X/2块的均值之和Mh为：

其中，n∈{X/2+1,X/2+2，…，X}。前X/2块的方差之和为：

其中，x∈{1,2，…，X/2}。后X/2块的方差之和为：

其中，y∈{X/2+1,X/2+2，…，X}。最终T值的取值为：

本发明的有益效果：本发明的优点在于结合传统机器学习算法和深度神 经网络模型，对测试图像采取卷积特征提取和频域特征计算的方式，进而完 成对团雾的稳定且准确的检测。

附图说明

图1是本发明实施例所述方法的流程图；

图2是本发明实施例中待检测的团雾图；

图3是本发明实施例中团雾检测结果图。

具体实施方式

如图1-3所示，本发明实施例公开了一种基于傅里叶变换自适应深度学习算 法的高速公路团雾检测方法，具体步骤如下：

步骤1：建立高速团雾数据集。首先收集100个5分钟时长的不同区域的高 速团雾和晴朗的视频，对收集到的团雾和晴朗天气的图像进行逐一标注；然后设 定时间间隔为10秒，采取抽帧的方式对视频图像标注；最后将标注好的图像打 乱，按照比例7:3划分训练和测试集。

步骤2：建立卷积神经网络模型。使用以PyTorch框架为基础的YOLOv3模型 进行训练，其主干网络为DarkNet53。YOLOv3使用多个卷积层和残差层，可以实 现输入的团雾图像进行多层特征提取，充分的特征提取可以提高模型的分类性 能。表1为主干网络的具体参数设置。

表1主干网络的具体参数设置

步骤3：模型训练及训练权重的保存。图像输入时尺寸较大，首先将图像从 中点所在的水平线和垂直线方向将其分为4块，由于输入的图像尺寸为1920× 1080，因此就可以得到960×540大小的4张小图，然后将每一张固定到512× 512并输入模型，输入的图像通过进行5次下采样进行特征提取。训练时使用在 ImageNet上的预训练权重进行续训练。通过使用0.001的学习率、batchsize为 16的1080ti服务器上进行50次迭代训练，最终将训练好的权重文件保存下来。

步骤4：加载训练权重和待检测视频进行团雾预测。读取视频时，将预测视 频中的图像进行抽帧读取，抽取的时间间隔为10秒，预测结果以概率的形式输 出。

步骤5：FFT变换。读取视频，对输入的图像进行灰度化处理，将视频中的 RGB彩色帧转为单通道的灰度图像，灰度化时采用平均R、G、B值的方式，在 得到图像的宽w、高h后，进行两层循环，得到图像上每个坐标点的R、G、B 通道值，然后求平均再返回到对应的坐标点上。然后将灰度图像进行FFT变换， 该步是将时域空间的图像转换到频域空间，其本质是图像的灰度分布函数变换为 图像的频率分布函数。其变换公式为：

其中，u和v是频域中频率变量，x和y是空间域中图像的变量，F(u,v)的值 表示团雾的能量大小，f(x,y)表示时域空间的连续值，M和N为图像的宽和高。 式(1)的具体计算过程如下：

然后按照式(2)中下标的奇偶性把A(x)分成两部分：

然后式(3)中的两部分再进行拆分：

式(4)可以简化为：

A(x)＝A₁(x²)+xA₂(x²) (5)

式(5)中变量x²可以视为x，进行逐层递归，进而实现快速求解。

步骤6：FFT逆变换。FFT逆变换是将图像从频率域转换回到空间域，即将图 像的频率分布函数变回为灰度分布函数。变换之前需要零频率分量中心化并置 零，可以将步骤5得到的变换频域图中零频率分量移至中心。零频率分量F(0,0) 可以表示为：

FFT逆变换公式可以表示为：

式(6)中，u和v是频域中频率变量，x和y是空间域中图像的变量。最终计 算FFT逆变换后图像量值的平均值Ml。

步骤7：将预测视频中的图像抽帧读取，抽取的帧与步骤4相同。读取到所 取帧图像后首先进行分块处理，将输入图像分为4×4，然后计算每一块的均值a_i和方差c_i，最后计算整张图像的均值之和Ms，方差之和Ds。每帧图像的均值之 和可以表示为：

X为该步骤中的分块的块数。每帧图像的方差之和可以表示为：

步骤8：将步骤7得到的均值之和Ms和方差之和Ds对步骤6得到的FFT逆 变换得到的值进行一化，得到归一化的结果Mg，其中归一化的公式为：

将Mg与步骤4中深度学习模型得到的团雾概率Pd值求均值Md，均值Md计算公 式为：

得到本发明算法对团雾的计算结果后，与设定的阈值T进行比较，最终得出 是否有团雾的结论。由于天空和车道内的团雾会有所有所不同，因此T的设定是 由步骤7中每一块的均值决定的，首先将16块的均值按递增的顺序进行排序， 然后对前8块与后8块的均值求和Md，再求比值。对其方差也做相同的处理， 算得其比值，将均值之比与方差之比的乘积作为阈值T，可以得到较好的团雾检 测结果。其前8块的均值之和Mf为：

其中，m∈{1,2，…，8}。后8块的均值之和Mh为：

其中，n∈{9,10，…，16}。前8块的方差之和为：

其中，x∈{1,2，…，8}。后8块的方差之和为：

其中，y∈{9,10，…，16}。最终T值的取值为：

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明 的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。

Claims (1)

1.一种基于傅里叶变换自适应深度学习算法的高速公路团雾检测方法，其特征在于，所述方法包括以下步骤：

1)建立高速团雾数据集：收集多个一定分钟时长的不同区域的高速团雾和晴朗的视频，对收集到的团雾和晴朗天气的图像进行逐一标注，设定时间间隔，采取抽帧的方式对视频图像进行标注，将标注好的图像打乱，按照设定比例划分训练集和测试集；

2)建立卷积神经网络模型：使用以PyTorch框架为基础的YOLOv3模型进行训练，其主干网络为DarkNet53；

3)模型训练及训练权重的保存：对图像进行分块，固定到输入尺寸并输入模型，输入的图像通过进行多次下采样进行特征提取，最后生成是否有雾的判断模型，训练时使用在ImageNet上预训练的权重进行续训练，通过设置学习率、batchsize和迭代次数实现模型训练，最终将训练好的权重文件保存下来；

4)加载训练权重和待检测视频进行团雾预测：读取视频时，将预测视频中的图像进行抽帧读取，预测结果以概率的形式输出；

5)FFT变换：读取视频，对输入的图像进行灰度化处理，将视频中的RGB彩色帧转为单通道的灰度图像，灰度化时采用平均R、G、B值的方式，在得到图像的宽w、高h后，进行两层循环，得到图像上每个坐标点的R、G、B通道值，然后求平均再返回到对应的坐标点上，将灰度图像进行FFT变换，该步是将时域空间的图像转换到频域空间，其本质是图像的灰度分布函数变换为图像的频率分布函数，其变换公式为：

其中，u和v是频域中频率变量，x和y是空间域中图像的变量，F(u,v)的值表示团雾的能量大小，f(x,y)表示时域空间的连续值，M和N为图像的宽和高；

6)FFT逆变换：FFT逆变换是将图像从频率域转换回到空间域，即将图像的频率分布函数变回为灰度分布函数，变换之前需要零频率分量中心化并置零，可以将步骤5)得到的频域图中零频率分量移至中心，零频率分量F(0,0)可以表示为：

FFT逆变换公式可以表示为：

式(6)中，u和v是频域中频率变量，x和y是空间域中图像的变量，最终计算FFT逆变换后图像量值的平均值Ml；

7)将预测视频中的图像抽帧读取，抽取的帧与步骤4)相同：读取到所取帧图像后首先进行分块处理，然后计算每一块的均值a_i和方差c_i，最后计算整张图像的均值之和Ms，方差之和Ds，每帧图像的均值之和可以表示为：

其中，X为该步骤中的分块的块数，每帧图像的方差之和可以表示为：

8)将步骤7)得到的均值之和Ms和方差之和Ds对步骤6)得到的FFT逆变换得到的值进行一化，得到归一化的结果Mg，其中归一化的公式为：

将Mg与步骤4)中深度学习模型得到的团雾概率Pd值求均值Md，均值Md计算公式为：

得到对团雾的计算结果后，与设定的阈值T进行比较，最终得出是否有团雾的结论，由于天空和车道内的团雾会有所不同，因此T的设定是由步骤7)中每一块的均值决定的，首先将X块的均值按递增的顺序进行排序，然后对前X/2块与后X/2块的均值求和Md，再求比值，对其方差也做相同的处理，算得其比值，将均值之比与方差之比的乘积作为阈值T，可以得到较好的团雾检测结果，其前X/2块的均值之和Mf为：

其中，m∈{1,2，…，X/2}，后X/2块的均值之和Mh为：

其中，n∈{X/2+1,X/2+2，…，X}，前X/2块的方差之和为：

其中，x∈{1,2，…，X/2}，后X/2块的方差之和为：

其中，y∈{X/2+1,X/2+2，…，X}，最终T值的取值为：

Images