CN114463678A - 一种利用摄像头视频图像的降雨类型识别方法 - Google Patents
一种利用摄像头视频图像的降雨类型识别方法 Download PDFInfo
- Publication number
- CN114463678A CN114463678A CN202210066929.9A CN202210066929A CN114463678A CN 114463678 A CN114463678 A CN 114463678A CN 202210066929 A CN202210066929 A CN 202210066929A CN 114463678 A CN114463678 A CN 114463678A
- Authority
- CN
- China
- Prior art keywords
- rainfall
- camera
- image
- data
- shot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013145 classification model Methods 0.000 claims abstract description 18
- 238000007635 classification algorithm Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000013526 transfer learning Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开了一种利用摄像头视频图像的降雨类型识别方法，包括对若干组摄像头拍摄的视频图像提取关键帧，对步骤S1中摄像头视频图像中的关键帧图像进行数据处理，构成训练集，采用深度学习分类算法建立降雨分类模型，通过降雨分类模型，识别不同的降雨类型。通过道路上随处可见的摄像头拍摄的图像进行图像处理的基础上，解决了传统方式分类不及时，识别位置不具体的缺陷。而利用深度学习能够将多个低层特征组合形成更复杂的高层特征表示，以实现对图像更好的分类。
Description
技术领域
本发明属于地面气象探测领域，特别涉及一种利用摄像头视频图像的降雨类型识别方法。
背景技术
降雨是生态循环中分工中重要的一环，对农业、交通、出行活动等都存在重要的影响。不同降雨类型下，雨滴的形态与尺度各不相同，对土壤、大气、无线通信造成的影响也各不相同，因此区分降雨类型存在重要意义。目前，降雨类型型识别主要根据降雨强度变化规律、天气雷达体扫数据、双偏振多普勒雷达偏振参量以及雨滴谱仪的DSD数据。根据降雨强度变化规律和天气雷达体扫数据方法较为简单，但没有充分分考虑降雨粒子的微物理特征；双偏振多普勒雷达虽然分辨率较高，但误差较大，且易受干扰；雨滴谱测得的DSD可直接反应降雨粒子的微物理特征，但空间代表性差。
近年来，计算机视觉作为近年来的研究热门，随着深度学习研究不断深入，利用深度学习模型是解决多分类问题的新途径。利用图像分类方式能够克服图像表面的语义特征提取问题，但往往需要对一定数据集进行类别标注。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种利用摄像头视频图像的降雨类型识别方法，提实现了对降雨类型类型的自动识别。
技术方案：为实现上述目的，本发明的技术方案如下：
一种利用摄像头视频图像的降雨类型识别方法，包括以下步骤：
S1：对若干组摄像头拍摄的视频图像提取关键帧；
S2：对步骤S1中摄像头视频图像中的关键帧图像进行数据处理；
S3：构成训练集；
S4：采用深度学习分类算法建立降雨分类模型，通过降雨分类模型，识别不同的降雨类型。
进一步的，对摄像头视频进行关键帧提取时，对于摄像头拍摄的视频利用镜头分割技术分割成一系列镜头，提取每个镜头的第一帧、中间帧以及最后一帧作为镜头关键帧。
进一步的，步骤S1中在提取关键帧之前还包括对摄像头执行步骤S1.1到S1.3：
S1.1、摄像头稳定性测试：对摄像头恒定检测区域R、G、B的值采用固定时间间隔方式进行统计，取若干组数据，然后利用均方差来分析数据分散程度，选取稳定性较高的摄像头；
S1.2、摄像头几何畸变校正：利用精准的几何参数对摄像头拍摄原图像的几何参数进行校正，为之后的图像处理提供无畸变的图像；
S1.3、摄像头均匀性检测及校正：通过对摄像头拍摄原图像的灰板图像切分，并求取每个小的灰板图像的灰度值，根据得到的灰度值判断摄像头均匀性以及是否需要校正。
进一步的，步骤S2中的图像数据处理包括对图像执行步骤S2.1到S2.2：
S2.1、利用BM3D算法进行图像去噪，提高图像质量以及方便目标特征信息；
S2.2、围绕应用场景对数据进行标注，提高数据的质量和精度，形成规范化数据。
进一步的，步骤S3中包括对数据执行步骤S3.1到S3.2：
S3.1、对不同降雨类型的历史图像进行少量定义唯一标签；
S3.2、利用CycleGAN算法对数据集进行扩充，构成训练集。
进一步的，所述降雨类型至少包括对流雨、地形雨、锋面雨。
进一步的，所述降雨分类模型采用基于组套索结构及迁移学习的多任务学习降雨类型分类算法。
进一步的，降雨分类模型的确定：
S4.1、利用DenseNet与迁移学习建立降雨类型多任务分类模型；
S4.2、代入训练集数据，并对模型进行交叉验证；
S4.3、通过调参、调整模型网络结构的方式，不断优化调整，获得符合预期准确率的分类算法模型。
有益效果：与现有技术相比，本发明具有以下优势：通过道路上随处可见的摄像头拍摄的图像进行图像处理的基础上，对图像表面的语义特征分析并建模，然后根据提取到的特征选择二分类器或分类器，获得最终的结果。解决了传统方式分类不及时，识别位置不具体的缺陷。而利用深度学习能够将多个低层特征组合形成更复杂的高层特征表示，以实现对图像更好的分类。
附图说明
附图1是本发明所述一种利用摄像头视频图像的降雨类型识别方法的工作流程图；
附图2是本发明所述一种利用摄像头视频图像的降雨类型识别方法的训练集构建图；
附图3是本发明所述一种利用摄像头视频图像的降雨类型识别方法的分类算法模型图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如附图1至附图3所示，一种利用摄像头视频图像的降雨类型识别方法，本发明利用道路上随处可见的摄像头拍摄的图像作为输入，通过深度学习分类算法建立降雨类别分类模型，包括以下步骤：
S1：对若干组摄像头拍摄的视频图像提取关键帧；
S2：对步骤S1中摄像头视频图像中的关键帧图像进行数据处理；
S3：构成训练集；
S4：采用深度学习分类算法建立降雨分类模型，通过降雨分类模型，识别不同的降雨类型。
对摄像头视频进行关键帧提取时，对于摄像头拍摄的视频利用镜头分割技术分割成一系列镜头，提取每个镜头的第一帧、中间帧以及最后一帧作为镜头关键帧。
步骤S1中在提取关键帧之前还包括对摄像头执行步骤S1.1到S1.3：
S1.1、摄像头稳定性测试：对摄像头恒定检测区域R、G、B的值采用固定时间间隔方式进行统计，取若干组数据，然后利用均方差来分析数据分散程度，选取稳定性较高的摄像头；
S1.2、摄像头几何畸变校正：利用精准的几何参数对摄像头拍摄原图像的几何参数进行校正，为之后的图像处理提供无畸变的图像；
S1.3、摄像头均匀性检测及校正：通过对摄像头拍摄原图像的灰板图像切分，并求取每个小的灰板图像的灰度值，根据得到的灰度值判断摄像头均匀性以及是否需要校正。
步骤S2中的图像数据处理包括对图像执行步骤S2.1到S2.2：
S2.1、利用BM3D算法进行图像去噪，提高图像质量以及方便目标特征信息；
S2.2、围绕应用场景对数据进行标注，提高数据的质量和精度，形成规范化数据。
所述降雨类型至少包括对流雨、地形雨、锋面雨。对下雨时道路摄像头拍摄图像进行人为标注(定义1代表对流雨、2代表地形雨、3代表锋面雨、4代表其他降雨类型)；对标注好的图像进行大小尺寸等数据预处理。
步骤S3中包括对数据执行步骤S3.1到S3.2：
S3.1、对不同降雨类型的历史图像进行少量定义唯一标签；
S3.2、利用CycleGAN算法对数据集进行扩充，构成训练集。
所述降雨分类模型采用基于组套索结构及迁移学习的多任务学习降雨类型分类算法。降雨分类模型的确定：
(1)利用DenseNet与迁移学习建立降雨类型多任务分类模型；
(2)代入训练集数据，并对模型进行交叉验证；
(3)通过调参、调整模型网络结构等方式，不断优化调整，获得符合预期准确率的分类算法模型。
实际应用中，将摄像头拍摄图像作为输入，模型自动输出1、2、3、4，分别代表对流雨、地形雨、锋面雨以及其他降雨类型。
本发明提出了一种利用摄像头视频图像的降雨类型识别方法，该方法对摄像头进行测试校正，截取摄像头视频图像中的关键帧；对关键帧采用BM3D算法进行图像去噪，并对应用场景进行图像标注；通过现有的图像数据进行降雨类型标注，通过CycleGAN 算法对数据集进行扩充，构成训练集；利用深度学习算法建立降雨类型识别算法，实现对降雨类型的自动识别。本发明充分利用不同降雨类型下的雨滴物理特征信息，提高了降雨类型识别的准确性。同时与微波链路、气象雷达等设备数据融合，能够进一步提高降雨类型识别的效果。可广泛应用于流域监测、山洪灾害预警等领域。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种利用摄像头视频图像的降雨类型识别方法，其特征在于：包括以下步骤：
S1：对若干组摄像头拍摄的视频图像提取关键帧；
S2：对步骤S1中摄像头视频图像中的关键帧图像进行数据处理；
S3：构成训练集；
S4：采用深度学习分类算法建立降雨分类模型，通过降雨分类模型，识别不同的降雨类型。
2.根据权利要求1所述的一种利用摄像头视频图像的降雨类型识别方法，其特征在于：对摄像头视频进行关键帧提取时，对于摄像头拍摄的视频利用镜头分割技术分割成一系列镜头，提取每个镜头的第一帧、中间帧以及最后一帧作为镜头关键帧。
3.根据权利要求1所述的一种利用摄像头视频图像的降雨类型识别方法，其特征在于：步骤S1中在提取关键帧之前还包括对摄像头执行步骤S1.1到S1.3：
S1.1、摄像头稳定性测试：对摄像头恒定检测区域R、G、B的值采用固定时间间隔方式进行统计，取若干组数据，然后利用均方差来分析数据分散程度，选取稳定性较高的摄像头；
S1.2、摄像头几何畸变校正：利用精准的几何参数对摄像头拍摄原图像的几何参数进行校正，为之后的图像处理提供无畸变的图像；
S1.3、摄像头均匀性检测及校正：通过对摄像头拍摄原图像的灰板图像切分，并求取每个小的灰板图像的灰度值，根据得到的灰度值判断摄像头均匀性以及是否需要校正。
4.根据权利要求1所述的一种利用摄像头视频图像的降雨类型识别方法，其特征在于：步骤S2中的图像数据处理包括对图像执行步骤S2.1到S2.2：
S2.1、利用BM3D算法进行图像去噪，提高图像质量以及方便目标特征信息；
S2.2、围绕应用场景对数据进行标注，提高数据的质量和精度，形成规范化数据。
5.根据权利要求1所述的一种利用摄像头视频图像的降雨类型识别方法，其特征在于：步骤S3中包括对数据执行步骤S3.1到S3.2：
S3.1、对不同降雨类型的历史图像进行少量定义唯一标签；
S3.2、利用CycleGAN算法对数据集进行扩充，构成训练集。
6.根据权利要求1所述的一种利用摄像头视频图像的降雨类型识别方法，其特征在于：所述降雨类型至少包括对流雨、地形雨、锋面雨。
7.根据权利要求1所述的一种利用摄像头视频图像的降雨类型识别方法，其特征在于：所述降雨分类模型采用基于组套索结构及迁移学习的多任务学习降雨类型分类算法。
8.根据权利要求7所述的一种利用摄像头视频图像的降雨类型识别方法，其特征在于：所述降雨分类模型的确定：
S4.1、利用DenseNet与迁移学习建立降雨类型多任务分类模型；
S4.2、代入训练集数据，并对模型进行交叉验证；
S4.3、通过调参、调整模型网络结构的方式，不断优化调整，获得符合预期准确率的分类算法模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210066929.9A CN114463678A (zh) | 2022-01-20 | 2022-01-20 | 一种利用摄像头视频图像的降雨类型识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210066929.9A CN114463678A (zh) | 2022-01-20 | 2022-01-20 | 一种利用摄像头视频图像的降雨类型识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114463678A true CN114463678A (zh) | 2022-05-10 |
Family
ID=81408851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210066929.9A Pending CN114463678A (zh) | 2022-01-20 | 2022-01-20 | 一种利用摄像头视频图像的降雨类型识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114463678A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115731493A (zh) * | 2022-11-15 | 2023-03-03 | 中国气象局广州热带海洋气象研究所（广东省气象科学研究所） | 基于视频图像识别的降水微物理特征参量提取与分析方法 |
-
2022
- 2022-01-20 CN CN202210066929.9A patent/CN114463678A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115731493A (zh) * | 2022-11-15 | 2023-03-03 | 中国气象局广州热带海洋气象研究所（广东省气象科学研究所） | 基于视频图像识别的降水微物理特征参量提取与分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
| CN108388927B (zh) | 基于深度卷积孪生网络的小样本极化sar地物分类方法 | |
| CN110070008B (zh) | 一种采用无人机图像的桥梁病害识别方法 | |
| CN113160192B (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
| CN110263717B (zh) | 一种融入街景影像的土地利用类别确定方法 | |
| CN108596055B (zh) | 一种复杂背景下高分辨遥感图像的机场目标检测方法 | |
| CN108765404A (zh) | 一种基于深度学习图像分类的道路破损检测方法及装置 | |
| CN114998852A (zh) | 一种基于深度学习的公路路面病害智能检测方法 | |
| CN110414738B (zh) | 一种农作物产量预测方法及系统 | |
| CN105279772B (zh) | 一种红外序列图像的可跟踪性判别方法 | |
| CN108921120B (zh) | 一种适应广泛零售场景下的香烟识别方法 | |
| CN114973002A (zh) | 一种基于改进的YOLOv5的麦穗检测方法 | |
| CN109063660B (zh) | 一种基于多光谱卫星影像的作物识别方法 | |
| CN109684986B (zh) | 一种基于车辆检测跟踪的车辆分析方法及系统 | |
| CN113435407B (zh) | 一种输电系统的小目标识别方法及装置 | |
| CN113111722A (zh) | 基于改进Mask R-CNN的自动驾驶目标识别方法 | |
| CN111291818B (zh) | 一种面向云掩膜的非均匀类别的样本均衡化方法 | |
| CN114463678A (zh) | 一种利用摄像头视频图像的降雨类型识别方法 | |
| CN114332534A (zh) | 一种高光谱图像小样本分类方法 | |
| CN110826364B (zh) | 一种库位识别方法及装置 | |
| CN111414855B (zh) | 基于端到端回归模型的电线杆标牌目标检测及识别方法 | |
| CN113673618A (zh) | 一种融合注意力模型的烟虫目标检测方法 | |
| CN110765900B (zh) | 一种基于dssd的自动检测违章建筑方法及系统 | |
| CN113033386A (zh) | 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统 | |
| CN106169086B (zh) | 导航数据辅助下的高分辨率光学影像损毁道路提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |