CN117011756A - 一种基于迁移学习方法的视频雨量反演方法 - Google Patents

Abstract

一种基于迁移学习方法的雨量反演算法，包括步骤数据集准备、数据集分类、数据集预处理、构建以灰度变化和饱和度为特征的多元高斯混合模型，进一步对ROI区域内的候选雨滴进行筛选；上步骤筛选后得到的雨滴，依据雨滴谱定义，采用Gamma分布模型，反演得到降雨量；本发明由于采用上述技术方案，具有以下优点：能够在不借助其它专业监测降雨量设备的基础上，有效利用交通摄像头拍摄得到的视频反演得到降雨量，在复杂环境中的抗干扰性能更强，降低了晴朗环境误判下雨的概率，更具有现实意义和应用价值。

Description

一种基于迁移学习方法的视频雨量反演方法

技术领域

本发明设计人工智能领域和和信息技术计算机图像学下的图像成像原理和图像特征提取以及融合领域，尤其是一种基于迁移学习方法的视频雨量反演方法。

背景技术

气象观测信息对社会的生产、生活有重要的影响，气象监测是智慧城市建设的重要组成部分，是开展天气预警预报、气候预测预估及气象服务、科学研究的基础，是推动气象科学发展的动力。

目前国内降水测量的常规业务仪器主要有雨量筒、翻斗雨量计、称重式雨量计，只能测量雨量和雨强，并且对降水类型和降水性质也要依靠人工判断，无法实现自动识别，不具备对降水微观特征的测量能力；而基于振动法、光学法、摄像法的降水测量技术，存在低估小雨滴的数目、环境噪声影响粒子数精度、无法测量雨滴形状和速度、固态降水粒子测量精度差等问题；另一方面现有的基于CCD照相法的雨滴检测技术主要是利用高速成像获取降水粒子的形状，无法测量速度，而且存在景深效应，采集较大粒子的概率偏低。

目前，市场上基于视频图像识别气象信息产品，大都需要采用额外的照相单元与设定标志物协助，存在适用性较差，难以应用于现有的社会监控视频网络等问题。

因此需要一种深度学习方法来降低晴朗天气误检测问题以及获得高时空分辨率的降雨数据，提高场景的利用率。

发明内容

为了克服上述监测仪器成本较高、需要人力投入、受地形影响、在晴朗天气下误检测等问题。本发明设计了一种基于迁移学习方法的视频雨量反演方法。在无需专业降雨量检测设备的基础上，实现了降雨量的监测。具体的说，本发明使用迁移学习模型筛选分出晴朗和有雨的视频图像，使用语义分割和基于时间滤波的背景差分方法选取合适的ROI区域，然后采用高斯混合模型筛选雨滴；最后基于雨滴谱定义反演降雨量。

本发明解决其技术问题所采用的技术方案是：

基于迁移学习方法的视频雨量反演方法主要由数据集准备、数据集分类、数据预处理、雨滴筛选、雨量反演五个部分组成。数据集准备是进行后续算法设计和测试前的首要步骤，是整个算法过程的关键；数据集分类是采用迁移学习降雨分类模型判别分类晴朗和降雨两种情况；数据预处理是使用语义分割和基于时间滤波的背景差分方法选取合适的ROI区域，去除造成干扰的环境提高算法的准确度；然后采用多元高斯混合模型筛选雨滴；最后基于雨滴谱定义反演降雨量。

一种基于迁移学习方法的视频雨量反演方法，包括如下步骤：

步骤1、数据集准备：从高速公路和城区的视频监控站点采集得到大量不同时段下的视频数据。根据视频采集的时间和位置将数据和气象监测的降雨信息进行匹配。删除部分损坏视频图像和问题视频，构建视频图像数据集；

步骤2、数据集分类：现有的雨滴检测算法存在过度分离雨条纹的现象，且不适用于晴朗天气的视频图像，对后续的雨量反演存在较大干扰。因此首先通过迁移学习降雨分类模型将数据集分类为降雨和晴朗两类数据集，从而有效提高雨量估算的精确度；

步骤3、数据预处理：对步骤2中得到的降雨图像数据集，采用语义分割和基于时间滤波的背景差分方法选取合适的ROI区域，去除造成干扰的环境提高算法的准确度；

步骤4、雨滴筛选：研究发现雨滴真实的雨滴在HSV颜色模型中的饱和度值相对偏低基于这一特征，构建以灰度变化和饱和度为特征的多元高斯混合模型，进一步对ROI区域内的候选雨滴进行筛选。

步骤5、雨量反演：基于步骤4筛选后得到的雨滴，依据雨滴谱定义，采用Gamma分布模型，反演得到降雨量。

附图说明

图1为本方案的基于极限学习机(ELM)的全连接层结构

图2为本方案的包含inception v3和全连接层的迁移学习整体网络架构

具体实施方式

为了使本发明的目的、技术方案和有点更加清楚明白，以下结合具体实施和附图，对本发明做进一步补充说明。

步骤1、数据集准备：每隔一定时间采集高速公路和城区的视频监控站点的图像数据和气象观测站的气象数据。根据视频监控站点和气象观测站点的时间和空间信息，使用计算机进行数据清洗，得到上午8点到下午5点之间的视频图像数据。对筛选后的数据，进行人工复查，删除采集失败、大面积异物遮挡的数据。最后，对重复多次出现的同一场景的视频图像，进行随机删除，使得不同场景不同降雨量的数据分布均衡。至此，完成数据集的准备。

步骤2、数据集分类：由于雨滴检测算法不适用于晴朗天气的视频图像，于是通过迁移学习降雨分类模型将数据集分类为降雨和晴朗两类数据集，有效提高雨量估算的精确度。首先将在ImageNet上训练好的Inception v3模型参数迁移到晴雨分类任务中，提取视频图像特征，得到2048维的特征向量。然后把特征图输入全连接网络，训练网络参数对这些特征向量进行二分类(晴朗图片和有雨图片)，全连接网络采用超限学习机实现，网络结构如图1所示。包含inception v3和全连接层的迁移学习整体网络架构如图2所示。左侧为在ImageNet数据集上训练好的深度卷积Inception v3模型卷积和池化部分,具有提取图像特征的能力。保持其结构和参数不变用于提取步骤1所得图像特征，用Inception v3模型提取的步骤1所得图像特征微调全连接网络，进行晴雨分类。

步骤3、数据预处理：对步骤2中得到的降雨图像数据集，采用HRFormer网络进行语义分割，提取图像中树木建筑等区域作为雨量计算的候选区域，以减少车辆等运动物体带来的干扰。进一步降低非雨滴的噪声影响，再通过形状等特征检测得到非雨滴运动区域，将两区域差集运算得到雨滴的候选区域ROI，避免过大的灰色天空还有无关区域对雨滴识别的干扰。

步骤4、雨滴筛选：研究发现雨滴三原色像素的变化值近似相等，而非雨滴的运动像素变化存在明显差异，同时利用像素差异特性，采用聚类方法检测雨滴，雨滴像素变化特性的数学描述为：

Δr≈Δg≈Δb≈c

式中，Δr，Δg，Δb为雨滴三原色在相邻两帧的像素变化，c为常数。HSV颜色模型中的饱和度S的计算公式如下：

可以得出真实的雨滴饱和度值相对偏低的结论。基于这一特征，构建以灰度变化和饱和度为特征的多元高斯混合模型，进一步对ROI区域内的候选雨滴进行筛选。

步骤5、雨量反演：利用像平面上雨滴长度l，相机焦平面位置z，焦距f和曝光时间T计算雨滴直径d^[10]：

依据气象学的雨滴谱定义，统计雨滴直径d落在[d-0.5,d+0.5]区间的雨滴个数，从而获得雨滴谱N(d)。

采用Gamma分布模型，其数学描述为：

N(d)＝N₀d^μe^(-ωd)

式中，N₀为雨滴谱截距参数，N(d)为单位体积中，粒径大小在以d为中心，间隔为单位直径尺度范围内的雨滴个数；

式中，μ为雨滴谱的形状参数，ω为影响雨滴谱斜率的参数，Γ(·)为伽玛函数。最后根据此式子反演得到降雨量。

本发明由于采用上述技术方案，具有以下优点：能够在不借助其它专业监测降雨量设备的基础上，有效利用交通摄像头拍摄得到的视频反演得到降雨量，在复杂环境中的抗干扰性能更强，降低了晴朗环境误判下雨的概率，更具有现实意义和应用价值。

Claims (6)

1.一种基于迁移学习方法的视频雨量反演算法，所述方法包括以下步骤：

步骤1、数据集准备：从高速公路和城区的视频监控站点采集得到大量不同时段下的视频数据。根据视频采集的时间和位置将数据和气象监测的降雨信息进行匹配。删除部分损坏视频图像和问题视频，构建视频图像数据集；

步骤2、数据集分类：通过迁移学习降雨分类模型将数据集分类为降雨和晴朗两类数据集，从而有效提高雨量估算的精确度；

步骤3、数据预处理：对步骤2中得到的降雨图像数据集，采用语义分割和基于时间滤波的背景差分方法选取合适的ROI区域，去除造成干扰的环境提高算法的准确度；

步骤4、雨滴筛选：雨滴真实的雨滴在HSV颜色模型中的饱和度值相对偏低基于这一特征，构建以灰度变化和饱和度为特征的多元高斯混合模型，进一步对ROI区域内的候选雨滴进行筛选。

步骤5、雨量反演：基于步骤4筛选后得到的雨滴，依据雨滴谱定义，采用Gamma分布模型，反演得到降雨量。

2.如权利要求1所述的基于迁移学习方法的视频雨量反演算法，所述步骤1中，其特征在于，匹配视频采集的时间和位置将数据和气象监测的降雨信息。对筛选后的数据，进行人工复查，删除采集失败、大面积异物遮挡的数据。最后，对重复多次出现的同一场景的视频图像，进行随机删除，使得不同场景不同降雨量的数据分布均衡。

3.如权利要求1和2所述的基于迁移学习方法的视频雨量反演算法，其特征在于，所述步骤2中，通过迁移学习降雨分类模型将数据集分类为降雨和晴朗两类数据集，有效提高雨量估算的精确度。首先将在ImageNet上训练好的Inception v3模型参数迁移到晴雨分类任务中，提取视频图像特征，得到2048维的特征向量。然后把特征图输入超限学习机(ELM)全连接网络，训练网络参数对这些特征向量进行二分类(晴朗图片和有雨图片)。

4.如权利要求1所述的基于迁移学习方法的视频雨量反演算法，其特征在于，所述步骤3中，采用HRFormer网络对步骤1得到的有雨图片进行语义分割，再通过形状等特征检测得到非雨滴运动区域，将两区域差集运算得到雨滴的候选区域ROI，避免过大的灰色天空还有无关区域对雨滴识别的干扰。

5.如权利要求1所述的基于迁移学习方法的视频雨量反演算法，其特征在于，所述步骤4中，研究发现雨滴三原色像素的变化值近似相等，而非雨滴的运动像素变化存在明显差异，同时利用像素差异特性，采用聚类方法检测雨滴，雨滴像素变化特性的数学描述为：

Δr≈Δg≈Δb≈c

式中，Δr，Δg，Δb为雨滴三原色在相邻两帧的像素变化，c为常数。HSV颜色模型中的饱和度S的计算公式如下：

可以得出真实的雨滴饱和度值相对偏低的结论。基于这一特征，构建以灰度变化和饱和度为特征的多元高斯混合模型，进一步对ROI区域内的候选雨滴进行筛选。

6.如权利要求1所述的基于迁移学习方法的视频雨量反演算法，其特征在于，所述步骤5中，利用像平面上雨滴长度l，相机焦平面位置z，焦距f和曝光时间T计算雨滴直径d^[10]：

依据气象学的雨滴谱定义，统计雨滴直径d落在[d-0.5,d+0.5]区间的雨滴个数，从而获得雨滴谱N(d)。

采用Gamma分布模型，其数学描述为：

N(d)＝N₀d^μe^(-ωd)

式中，N₀为雨滴谱截距参数，N(d)为单位体积中，粒径大小在以d为中心，间隔为单位直径尺度范围内的雨滴个数；

式中，μ为雨滴谱的形状参数，ω为影响雨滴谱斜率的参数，Γ(·)为伽玛函数。最后根据此式子反演得到降雨量。