CN117011756A - 一种基于迁移学习方法的视频雨量反演方法 - Google Patents
一种基于迁移学习方法的视频雨量反演方法 Download PDFInfo
- Publication number
- CN117011756A CN117011756A CN202310724633.6A CN202310724633A CN117011756A CN 117011756 A CN117011756 A CN 117011756A CN 202310724633 A CN202310724633 A CN 202310724633A CN 117011756 A CN117011756 A CN 117011756A
- Authority
- CN
- China
- Prior art keywords
- rainfall
- video
- raindrops
- raindrop
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013508 migration Methods 0.000 title claims description 7
- 230000005012 migration Effects 0.000 title claims description 7
- 238000001228 spectrum Methods 0.000 claims abstract description 15
- 238000012544 monitoring process Methods 0.000 claims abstract description 14
- 238000013526 transfer learning Methods 0.000 claims abstract description 13
- 230000008859 change Effects 0.000 claims abstract description 11
- 238000012216 screening Methods 0.000 claims abstract description 8
- 238000009826 distribution Methods 0.000 claims abstract description 7
- 239000000203 mixture Substances 0.000 claims abstract description 7
- 238000002360 preparation method Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 239000002245 particle Substances 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 claims description 4
- 238000011160 research Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 abstract description 2
- 238000001556 precipitation Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Environmental & Geological Engineering (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种基于迁移学习方法的雨量反演算法,包括步骤数据集准备、数据集分类、数据集预处理、构建以灰度变化和饱和度为特征的多元高斯混合模型,进一步对ROI区域内的候选雨滴进行筛选;上步骤筛选后得到的雨滴,依据雨滴谱定义,采用Gamma分布模型,反演得到降雨量;本发明由于采用上述技术方案,具有以下优点:能够在不借助其它专业监测降雨量设备的基础上,有效利用交通摄像头拍摄得到的视频反演得到降雨量,在复杂环境中的抗干扰性能更强,降低了晴朗环境误判下雨的概率,更具有现实意义和应用价值。
Description
技术领域
本发明设计人工智能领域和和信息技术计算机图像学下的图像成像原理和图像特征提取以及融合领域,尤其是一种基于迁移学习方法的视频雨量反演方法。
背景技术
气象观测信息对社会的生产、生活有重要的影响,气象监测是智慧城市建设的重要组成部分,是开展天气预警预报、气候预测预估及气象服务、科学研究的基础,是推动气象科学发展的动力。
目前国内降水测量的常规业务仪器主要有雨量筒、翻斗雨量计、称重式雨量计,只能测量雨量和雨强,并且对降水类型和降水性质也要依靠人工判断,无法实现自动识别,不具备对降水微观特征的测量能力;而基于振动法、光学法、摄像法的降水测量技术,存在低估小雨滴的数目、环境噪声影响粒子数精度、无法测量雨滴形状和速度、固态降水粒子测量精度差等问题;另一方面现有的基于CCD照相法的雨滴检测技术主要是利用高速成像获取降水粒子的形状,无法测量速度,而且存在景深效应,采集较大粒子的概率偏低。
目前,市场上基于视频图像识别气象信息产品,大都需要采用额外的照相单元与设定标志物协助,存在适用性较差,难以应用于现有的社会监控视频网络等问题。
因此需要一种深度学习方法来降低晴朗天气误检测问题以及获得高时空分辨率的降雨数据,提高场景的利用率。
发明内容
为了克服上述监测仪器成本较高、需要人力投入、受地形影响、在晴朗天气下误检测等问题。本发明设计了一种基于迁移学习方法的视频雨量反演方法。在无需专业降雨量检测设备的基础上,实现了降雨量的监测。具体的说,本发明使用迁移学习模型筛选分出晴朗和有雨的视频图像,使用语义分割和基于时间滤波的背景差分方法选取合适的ROI区域,然后采用高斯混合模型筛选雨滴;最后基于雨滴谱定义反演降雨量。
本发明解决其技术问题所采用的技术方案是:
基于迁移学习方法的视频雨量反演方法主要由数据集准备、数据集分类、数据预处理、雨滴筛选、雨量反演五个部分组成。数据集准备是进行后续算法设计和测试前的首要步骤,是整个算法过程的关键;数据集分类是采用迁移学习降雨分类模型判别分类晴朗和降雨两种情况;数据预处理是使用语义分割和基于时间滤波的背景差分方法选取合适的ROI区域,去除造成干扰的环境提高算法的准确度;然后采用多元高斯混合模型筛选雨滴;最后基于雨滴谱定义反演降雨量。
一种基于迁移学习方法的视频雨量反演方法,包括如下步骤:
步骤1、数据集准备:从高速公路和城区的视频监控站点采集得到大量不同时段下的视频数据。根据视频采集的时间和位置将数据和气象监测的降雨信息进行匹配。删除部分损坏视频图像和问题视频,构建视频图像数据集;
步骤2、数据集分类:现有的雨滴检测算法存在过度分离雨条纹的现象,且不适用于晴朗天气的视频图像,对后续的雨量反演存在较大干扰。因此首先通过迁移学习降雨分类模型将数据集分类为降雨和晴朗两类数据集,从而有效提高雨量估算的精确度;
步骤3、数据预处理:对步骤2中得到的降雨图像数据集,采用语义分割和基于时间滤波的背景差分方法选取合适的ROI区域,去除造成干扰的环境提高算法的准确度;
步骤4、雨滴筛选:研究发现雨滴真实的雨滴在HSV颜色模型中的饱和度值相对偏低基于这一特征,构建以灰度变化和饱和度为特征的多元高斯混合模型,进一步对ROI区域内的候选雨滴进行筛选。
步骤5、雨量反演:基于步骤4筛选后得到的雨滴,依据雨滴谱定义,采用Gamma分布模型,反演得到降雨量。
附图说明
图1为本方案的基于极限学习机(ELM)的全连接层结构
图2为本方案的包含inception v3和全连接层的迁移学习整体网络架构
具体实施方式
为了使本发明的目的、技术方案和有点更加清楚明白,以下结合具体实施和附图,对本发明做进一步补充说明。
步骤1、数据集准备:每隔一定时间采集高速公路和城区的视频监控站点的图像数据和气象观测站的气象数据。根据视频监控站点和气象观测站点的时间和空间信息,使用计算机进行数据清洗,得到上午8点到下午5点之间的视频图像数据。对筛选后的数据,进行人工复查,删除采集失败、大面积异物遮挡的数据。最后,对重复多次出现的同一场景的视频图像,进行随机删除,使得不同场景不同降雨量的数据分布均衡。至此,完成数据集的准备。
步骤2、数据集分类:由于雨滴检测算法不适用于晴朗天气的视频图像,于是通过迁移学习降雨分类模型将数据集分类为降雨和晴朗两类数据集,有效提高雨量估算的精确度。首先将在ImageNet上训练好的Inception v3模型参数迁移到晴雨分类任务中,提取视频图像特征,得到2048维的特征向量。然后把特征图输入全连接网络,训练网络参数对这些特征向量进行二分类(晴朗图片和有雨图片),全连接网络采用超限学习机实现,网络结构如图1所示。包含inception v3和全连接层的迁移学习整体网络架构如图2所示。左侧为在ImageNet数据集上训练好的深度卷积Inception v3模型卷积和池化部分,具有提取图像特征的能力。保持其结构和参数不变用于提取步骤1所得图像特征,用Inception v3模型提取的步骤1所得图像特征微调全连接网络,进行晴雨分类。
步骤3、数据预处理:对步骤2中得到的降雨图像数据集,采用HRFormer网络进行语义分割,提取图像中树木建筑等区域作为雨量计算的候选区域,以减少车辆等运动物体带来的干扰。进一步降低非雨滴的噪声影响,再通过形状等特征检测得到非雨滴运动区域,将两区域差集运算得到雨滴的候选区域ROI,避免过大的灰色天空还有无关区域对雨滴识别的干扰。
步骤4、雨滴筛选:研究发现雨滴三原色像素的变化值近似相等,而非雨滴的运动像素变化存在明显差异,同时利用像素差异特性,采用聚类方法检测雨滴,雨滴像素变化特性的数学描述为:
Δr≈Δg≈Δb≈c
式中,Δr,Δg,Δb为雨滴三原色在相邻两帧的像素变化,c为常数。HSV颜色模型中的饱和度S的计算公式如下:
可以得出真实的雨滴饱和度值相对偏低的结论。基于这一特征,构建以灰度变化和饱和度为特征的多元高斯混合模型,进一步对ROI区域内的候选雨滴进行筛选。
步骤5、雨量反演:利用像平面上雨滴长度l,相机焦平面位置z,焦距f和曝光时间T计算雨滴直径d[10]:
依据气象学的雨滴谱定义,统计雨滴直径d落在[d-0.5,d+0.5]区间的雨滴个数,从而获得雨滴谱N(d)。
采用Gamma分布模型,其数学描述为:
N(d)=N0dμe(-ωd)
式中,N0为雨滴谱截距参数,N(d)为单位体积中,粒径大小在以d为中心,间隔为单位直径尺度范围内的雨滴个数;
式中,μ为雨滴谱的形状参数,ω为影响雨滴谱斜率的参数,Γ(·)为伽玛函数。最后根据此式子反演得到降雨量。
本发明由于采用上述技术方案,具有以下优点:能够在不借助其它专业监测降雨量设备的基础上,有效利用交通摄像头拍摄得到的视频反演得到降雨量,在复杂环境中的抗干扰性能更强,降低了晴朗环境误判下雨的概率,更具有现实意义和应用价值。
Claims (6)
1.一种基于迁移学习方法的视频雨量反演算法,所述方法包括以下步骤:
步骤1、数据集准备:从高速公路和城区的视频监控站点采集得到大量不同时段下的视频数据。根据视频采集的时间和位置将数据和气象监测的降雨信息进行匹配。删除部分损坏视频图像和问题视频,构建视频图像数据集;
步骤2、数据集分类:通过迁移学习降雨分类模型将数据集分类为降雨和晴朗两类数据集,从而有效提高雨量估算的精确度;
步骤3、数据预处理:对步骤2中得到的降雨图像数据集,采用语义分割和基于时间滤波的背景差分方法选取合适的ROI区域,去除造成干扰的环境提高算法的准确度;
步骤4、雨滴筛选:雨滴真实的雨滴在HSV颜色模型中的饱和度值相对偏低基于这一特征,构建以灰度变化和饱和度为特征的多元高斯混合模型,进一步对ROI区域内的候选雨滴进行筛选。
步骤5、雨量反演:基于步骤4筛选后得到的雨滴,依据雨滴谱定义,采用Gamma分布模型,反演得到降雨量。
2.如权利要求1所述的基于迁移学习方法的视频雨量反演算法,所述步骤1中,其特征在于,匹配视频采集的时间和位置将数据和气象监测的降雨信息。对筛选后的数据,进行人工复查,删除采集失败、大面积异物遮挡的数据。最后,对重复多次出现的同一场景的视频图像,进行随机删除,使得不同场景不同降雨量的数据分布均衡。
3.如权利要求1和2所述的基于迁移学习方法的视频雨量反演算法,其特征在于,所述步骤2中,通过迁移学习降雨分类模型将数据集分类为降雨和晴朗两类数据集,有效提高雨量估算的精确度。首先将在ImageNet上训练好的Inception v3模型参数迁移到晴雨分类任务中,提取视频图像特征,得到2048维的特征向量。然后把特征图输入超限学习机(ELM)全连接网络,训练网络参数对这些特征向量进行二分类(晴朗图片和有雨图片)。
4.如权利要求1所述的基于迁移学习方法的视频雨量反演算法,其特征在于,所述步骤3中,采用HRFormer网络对步骤1得到的有雨图片进行语义分割,再通过形状等特征检测得到非雨滴运动区域,将两区域差集运算得到雨滴的候选区域ROI,避免过大的灰色天空还有无关区域对雨滴识别的干扰。
5.如权利要求1所述的基于迁移学习方法的视频雨量反演算法,其特征在于,所述步骤4中,研究发现雨滴三原色像素的变化值近似相等,而非雨滴的运动像素变化存在明显差异,同时利用像素差异特性,采用聚类方法检测雨滴,雨滴像素变化特性的数学描述为:
Δr≈Δg≈Δb≈c
式中,Δr,Δg,Δb为雨滴三原色在相邻两帧的像素变化,c为常数。HSV颜色模型中的饱和度S的计算公式如下:
可以得出真实的雨滴饱和度值相对偏低的结论。基于这一特征,构建以灰度变化和饱和度为特征的多元高斯混合模型,进一步对ROI区域内的候选雨滴进行筛选。
6.如权利要求1所述的基于迁移学习方法的视频雨量反演算法,其特征在于,所述步骤5中,利用像平面上雨滴长度l,相机焦平面位置z,焦距f和曝光时间T计算雨滴直径d[10]:
依据气象学的雨滴谱定义,统计雨滴直径d落在[d-0.5,d+0.5]区间的雨滴个数,从而获得雨滴谱N(d)。
采用Gamma分布模型,其数学描述为:
N(d)=N0dμe(-ωd)
式中,N0为雨滴谱截距参数,N(d)为单位体积中,粒径大小在以d为中心,间隔为单位直径尺度范围内的雨滴个数;
式中,μ为雨滴谱的形状参数,ω为影响雨滴谱斜率的参数,Γ(·)为伽玛函数。最后根据此式子反演得到降雨量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310724633.6A CN117011756A (zh) | 2023-06-19 | 2023-06-19 | 一种基于迁移学习方法的视频雨量反演方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310724633.6A CN117011756A (zh) | 2023-06-19 | 2023-06-19 | 一种基于迁移学习方法的视频雨量反演方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117011756A true CN117011756A (zh) | 2023-11-07 |
Family
ID=88570000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310724633.6A Pending CN117011756A (zh) | 2023-06-19 | 2023-06-19 | 一种基于迁移学习方法的视频雨量反演方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117011756A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117953445A (zh) * | 2024-03-26 | 2024-04-30 | 南京大学 | 基于交通监控相机雨天道路能见度测定方法、系统及介质 |
-
2023
- 2023-06-19 CN CN202310724633.6A patent/CN117011756A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117953445A (zh) * | 2024-03-26 | 2024-04-30 | 南京大学 | 基于交通监控相机雨天道路能见度测定方法、系统及介质 |
CN117953445B (zh) * | 2024-03-26 | 2024-05-28 | 南京大学 | 基于交通监控相机雨天道路能见度测定方法、系统及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263717B (zh) | 一种融入街景影像的土地利用类别确定方法 | |
CN110009010B (zh) | 基于兴趣区域重检测的宽幅光学遥感目标检测方法 | |
CN110660222B (zh) | 一种智能环保道路黑烟车辆电子抓拍系统 | |
CN112016436A (zh) | 一种基于深度学习的遥感影像变化检测方法 | |
CN114241511B (zh) | 一种弱监督行人检测方法、系统、介质、设备及处理终端 | |
CN109635726B (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
CN106709903A (zh) | 基于图像质量的pm2.5浓度预测方法 | |
CN109829426B (zh) | 基于高分遥感影像的铁路建设临时建筑监测方法及系统 | |
CN113111727A (zh) | 一种基于特征对齐的遥感场景下旋转目标检测方法 | |
CN117011756A (zh) | 一种基于迁移学习方法的视频雨量反演方法 | |
CN111291818B (zh) | 一种面向云掩膜的非均匀类别的样本均衡化方法 | |
CN113469097B (zh) | 一种基于ssd网络的水面漂浮物多相机实时检测方法 | |
CN116205879A (zh) | 一种基于无人机图像及深度学习的小麦倒伏面积估算方法 | |
CN109215059B (zh) | 一种航拍视频中运动车辆跟踪的局部数据关联方法 | |
Zhao et al. | Image dehazing based on haze degree classification | |
CN110765900B (zh) | 一种基于dssd的自动检测违章建筑方法及系统 | |
CN111539356A (zh) | 一种基于线阵图像的路面缝隙精准高效检测方法 | |
CN117011759A (zh) | 钻爆法隧道掌子面围岩多元地质信息解析方法及系统 | |
CN111428752A (zh) | 一种基于红外图像的能见度检测方法 | |
CN116452872A (zh) | 一种基于改进的Deeplabv3+的森林场景树种分类方法 | |
CN116223502A (zh) | 一种粗骨料含泥量智能检测装置及检测方法 | |
CN115527118A (zh) | 一种融合注意力机制的遥感图像目标检测方法 | |
CN113963230A (zh) | 一种基于深度学习的车位检测方法 | |
CN114821370A (zh) | 基于无人机影像与U-Net的单木树冠检测与分割方法 | |
CN112036246B (zh) | 遥感影像分类模型的构建方法,遥感影像分类方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |