CN110633626A - 一种针对雨天图片的卷积神经网络降雨强度在线量化方法 - Google Patents

一种针对雨天图片的卷积神经网络降雨强度在线量化方法 Download PDF

Info

Publication number
CN110633626A
CN110633626A CN201910702482.8A CN201910702482A CN110633626A CN 110633626 A CN110633626 A CN 110633626A CN 201910702482 A CN201910702482 A CN 201910702482A CN 110633626 A CN110633626 A CN 110633626A
Authority
CN
China
Prior art keywords
rainfall
neural network
picture
convolutional neural
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910702482.8A
Other languages
English (en)
Inventor
郑飞飞
尹航
陶若凌
申永刚
张清周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910702482.8A priority Critical patent/CN110633626A/zh
Publication of CN110633626A publication Critical patent/CN110633626A/zh
Priority to PCT/CN2020/072281 priority patent/WO2021017445A1/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种针对雨天图片的卷积神经网络降雨强度在线量化方法，包括以下步骤：(1)通过图像处理软件合成降雨图片，得到合成数据集；(2)搭建并修改卷积神经网络的结构(CNN)，使用步骤(1)中的合成数据集对卷积神经网络进行预训练；(3)采集实际降雨图片，得到真实数据集；(4)使用步骤(3)中的真实数据集对预训练的模型进行微调(fine‑tune)，得到训练好的模型；(5)将步骤(4)中训练好的模型用于实时降雨强度在线量化。本发明方法对于真实降雨图片和合成降雨图片的降雨强度的在线量化均具有较好的效果和较低的误差。

Description

一种针对雨天图片的卷积神经网络降雨强度在线量化方法
技术领域
本发明属于市政工程雨水实时测量领域，尤其涉及一种针对雨天图片的卷积神经网络降雨强度在线量化方法。
背景技术
目前，我国城市内涝频发，造成了巨大的经济财产损失甚至是人员伤亡。暴雨具有明显的空间不均匀性，造成城市各地区间受灾程度的差异性十分明显。准确获得各地区的实时降雨级别，对于城市内涝的监测防控以及应急响应具有基础性意义。目前的天气预报无法反应降雨的空间不均匀性，同时准确性也不够，无法达到实时调度的需求。而现有的雨强测量工具如雨量计等，虽能较为准确地测量雨强，但有着价格昂贵，难以实时传输数据，无法反映降雨的空间不均匀性等问题。
卷积神经网络具有稀疏连接，权值共享等特点，可以有效降低神经网络模型的参数量；但是卷积神经网络的训练仍然需要大量的数据，而真实降雨图片以及真实的瞬时降雨强度的获取比较困难，难以大规模获取真实降雨图片。而现有的公开数据集又罕有相似的数据集。这极大地阻碍了卷积神经网络在雨天图片降雨强度在线量化上的应用。
发明内容
针对现有技术存在的问题，本发明提供了一种针对雨天图片的卷积神经网络降雨强度在线量化方法。
为了实现上述目的，本发明采用以下技术方案：
一种针对雨天图片的卷积神经网络降雨强度在线量化方法，包括以下步骤：
(1)通过图像处理软件合成降雨图片，得到合成数据集；
(2)搭建并修改卷积神经网络的结构(CNN)，使用步骤(1)中的合成数据集对卷积神经网络进行预训练；
(3)采集实际降雨图片，得到真实数据集；
(4)使用步骤(3)中的真实数据集对预训练的模型进行微调(fine-tune)，得到训练好的模型；
(5)将步骤(4)中训练好的模型用于实时降雨强度在线量化。
进一步地，步骤(1)中，通过图像处理软件对原图分别添加不同的降雨强度，得到合成降雨图片。
进一步地，步骤(1)中，选用的图像处理软件为Photoshop，对原图添加不同数目和大小的雨痕，以模拟不同降雨强度下的降雨图片。因为降雨强度仅与雨痕数目及大小这两个参数相关，故在合成降雨图片过程中，根据这两个参数的值确定合成图片的降雨强度；其他参数，比如雨痕角度，分布，对比度等参数则随机设定，以增强模型的鲁棒性。
进一步地，图片处理软件参数的选定，以Photoshop为例，包括：雨痕密度，相对大小，分布，角度等参数，相对大小指的是：雨层(噪音层)相对于底图的大小，角度指的是：雨痕与水平线所夹锐角；其中，降雨强度大小只与雨滴数目以及大小有关，反映在Photoshop的参数上，即为雨痕密度与相对大小；设雨痕密度为x，相对大小为y，降雨强度为D，假设降雨强度与雨痕密度、相对大小之间的关系为：
D＝kxy2
其中，k为常数，这里k取为1，通过上述公式将降雨强度进行量化，得到的降雨强度数值作为合成降雨图片的降雨强度标签。该假设关系只用来对合成降雨图片的降雨强度数值进行量化；该式为假设的雨痕密度x，相对大小y与降雨强度D之间的映射关系，降雨强度D为一个数值，仅用作合成降雨图片的标签，无量纲。而在之后会使用真实数据集进行微调，降雨图片特征与降雨强度之间的映射会重构；所以该式是否能真实反映降雨强度与雨痕密度和相对大小的关系对最终的降雨强度预测结果影响不大，该式只用于模型的预训练过程，训练卷积神经网络对于降雨图片特征的提取能力。
在一些优选的方式中，合成数据集包括六类合成降雨图片，六类合成降雨图片分别为小雨、中雨、大雨、暴雨、大暴雨、特大暴雨的合成降雨图片；随机在合成数据集中抽取80％作为训练集，10％作为验证集，10％作为测试集；在一些优选的方式中，训练集中每类降雨图片的数量近似相等，验证集中每类降雨图片的数量近似相等，测试集中每类降雨图片的数量也近似相等。
进一步地，步骤(2)的具体过程为：在得到合成数据集之后，利用卷积神经网络在合成数据集上预训练模型，包括卷积神经网络模型的搭建和修改，将卷积神经网络由分类模型改为回归模型，以便对降雨强度值进行量化，得到降雨强度的估计值。在一些优选的方式中，卷积神经网络对于图片的量化可以分为两个部分，特征提取和线性回归；特征提取部分通过经过多次卷积(Convolution)和降采样(Subsampling)操作，可高效地提取图片的特征，提取得到的图片特征存储在特征图(feature map)中；线性回归则是将特征图展开为全连接(fully connected)网络，进而估算出降雨强度值；使用卷积神经网络在已合成的较大规模的数据集上进行预训练。
进一步地，步骤(2)中，使用卷积神经网络，如ResNet50网络，该卷积神经网络层数为50，在卷积网络之后添加了线性回归层，以便输出具体的降雨强度值；将该网络在合成数据集上进行预训练，使用平均绝对百分误差(MAPE)来评价预测的准确性，如下式：
Figure BDA0002151224820000031
式中yi为测试集中第i张照片的标签，此处的标签就是降雨强度的数值；
Figure BDA0002151224820000032
为测试集中第i张照片的预测值，n为测试集中的合成降雨图片的个数。
进一步地，步骤(3)的具体过程为：采集实际降雨图片包括建立图像采集网络，采集不同地点在不同降雨工况下的图片，同时使用雨量计记录瞬时降雨强度数据作为标签，此处的降雨强度单位为mm/h。具体地，24小时降水总量为0.1-9.9mm时，降雨强度等级为小雨；24小时降水总量为10.0-24.9mm时，降雨强度等级为中雨；24小时降水总量为25.0-49.9mm时，降雨强度等级为大雨；24小时降水总量为50.0-99.9mm时，降雨强度等级为暴雨；24小时降水总量为100.0-249.9mm时，降雨强度等级为大暴雨；24小时降水总量大于250.0mm时，降雨强度等级为特大暴雨。
建立图像采集网络指的是，在不同地区分别布置雨量计，并在每个地区选用不同地点的监控摄像头用于采集真实降雨图片；将雨量计布置在无遮挡的地方即可，最好布置在楼顶。
进一步地，步骤(4)的具体过程为：使用真实数据集对预训练模型进行微调包括将特征提取部分的各卷积以及池化层的参数固定，只训练线性回归部分的全连接层的参数，使用步骤(3)中采集的真实数据集进行训练。
进一步地，步骤(5)的具体过程为：将步骤(4)中训练好的模型加载，并对实时采集的真实降雨图片进行实时在线量化。
本发明的有益效果是：
(1)本发明的降雨强度在线量化方法应用于雨天图片上，可以定量估计局部地区的降雨强度；本发明改变了在降雨强度信息获取方面需要依靠天气预报的方式；卷积神经网络对于图像的特征提取性能十分优异，可以提取出图片中的雨量信息并且能有效过滤背景的影响。
(2)本发明采用图像处理软件可以快速合成大量的图片，可以将卷积神经网络训练到一个相当优异的程度；使用真实数据对卷积神经网络进行微调，能够更好地对真实雨天图片进行在线量化。未来随着真实降雨图片数据量的不断累积，可以直接在真实数据集上进行训练，对于真实降雨图片的降雨强度估计的准确度可能会有进一步的提升；训练好的模型在实际使用中运算速度会非常快速，可以直接用于实时采集的雨天图片的在线量化。
(3)本发明方法对于真实降雨图片和合成降雨图片的降雨强度的在线量化均具有较好的效果和较低的误差。
附图说明
图1是针对雨天图片的卷积神经网络降雨强度分类方法的流程图。
图2是本发明中的原图以及合成图片。
图3是本发明实施例1中的典型卷积神经网络分类模型。
图4是本发明实施例1中的ResNet50网络的卷积模块示例。
图5是本发明中真实降雨图片采集设备。
图6是本发明中的所采集到的真实降雨图片。
图7是实施例2中针对雨天图片的卷积神经网络降雨强度在线量化方法流程图。
图8是实施例2中的典型卷积神经网络回归模型示例。
图9是实施例2中的具体的验证结果。
具体实施方式
以下结合附图，对本发明进行详细说明，应当指出的是，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
本发明通过卷积神经网络提取雨天图片特征，并分两步完成卷积神经网络的训练，即分别在合成数据集和真实数据集训练，能有效提取图片中的雨量信息，同时能忽略背景，明暗，雨痕角度，分布等干扰因素，有较高的分类准确度。
具体地，一种针对雨天图片的卷积神经网络降雨强度分类方法，如图1所示，包括以下步骤：
(1)通过图像处理软件合成降雨图片，得到合成数据集；
(2)搭建卷积神经网络(CNN)，使用步骤(1)中的合成数据集对卷积神经网络进行预训练；
(3)采集实际降雨图片，得到真实数据集；
(4)使用步骤(3)中的真实数据集对预训练的模型进行微调(fine-tune)，得到训练好的模型；
(5)将步骤(4)中的训练好的模型用于实时降雨强度分类。
在一些优选的方式中，步骤(1)具体的过程为：通过图像处理软件对原图分别添加六种不同的降雨强度，得到合成降雨图片；
在一些优选的方式中，步骤(1)中，选用合适的图像处理软件，合适的图像处理软件指的是能处理图层的软件，具体指的是可以向原图中添加雨层；比如，Photoshop，PhotoPos Pro，GIMP，Hornil StylePix，Krita等能处理图层的软件，在本实施例中，选用的软件是Photoshop，对原图添加不同数目和大小的雨痕，以模拟不同降雨强度下的降雨图片；降雨强度是指在某一历时内的平均降落量，它可以用单位时间内的降雨深度表示，反映在图像上，图片的曝光时间一定(1/200s左右)，降雨强度只与图片中的雨痕密度以及大小有关。
因为降雨强度仅与雨痕数目及大小这两个参数相关，故在合成降雨图片过程中，改变这两个参数的数值，就可以合成不同降雨强度等级的降雨图片；降雨强度等级包括小雨、中雨、大雨、暴雨、大暴雨、特大暴雨，因此，需要合成小雨、中雨、大雨、暴雨、大暴雨、特大暴雨六类降雨图片，在一些优选的方式中，合成同一类降雨图片时，雨痕数目及大小这两个参数数值为固定的数值，这样合成较为方便；合成不同类降雨图片时，雨痕数目及大小这两个参数会变化，其他参数，比如雨痕角度，分布，对比度等参数则随机设定，以增强模型的鲁棒性。在另一些优选的方式中，合成同一类降雨图片时，雨痕数目及大小这两个参数数值在一定范围内变化；其他参数，比如雨痕角度，分布，对比度等参数则随机设定。
具体地，图像处理软件参数的选定，以Photoshop(PS)为例，包括：雨痕密度，相对大小，分布，角度，对比度等参数，相对大小指的是：雨层(噪音层)相对于底图的大小，角度指的是：雨痕与水平线所夹锐角；对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量，差异范围越大代表对比度越大，差异范围越小代表对比度越小；但是，降雨强度大小只与雨滴数目以及大小有关，反映在Photoshop的参数上，即为雨痕密度与相对大小。以图2为例，图2(a)为原图，图2(b)为合成的降雨图片，雨痕密度选定为18，相对大小为400％，其他参数可随机选择，图2(b)中参数选择分布为高斯分布，角度为雨痕与水平线所夹锐角65度。本实施例中，小雨、中雨、大雨、暴雨、大暴雨、特大暴雨六类合成降雨图片中，每类合成了100000张，共600000张合成降雨图片，随机抽取80％作为训练集，10％作为验证集，10％作为测试集，三者之和就是合成数据集；本实施例中，雨痕密度与相对大小这两个参数数值的选定是根据合成图片的效果大概选定的，比如，降雨强度为小雨时，雨痕密度(在PS中的名称为噪音比例)设定为20，相对大小设定为200％；降雨强度为中雨时，雨痕密度设定为25，相对大小设定为220％；降雨强度为大雨时，雨痕密度设定为30，相对大小设定为240％；降雨强度为暴雨时，雨痕密度设定为35，相对大小设定为260％；降雨强度为大暴雨时，雨痕密度设定为40，相对大小设定为280％；降雨强度为特大暴雨时，雨痕密度设定为45，相对大小设定为300％。
在一些优选的方式中，训练集中每类降雨图片的数量近似相等，验证集中每类降雨图片的数量近似相等，测试集中每类降雨图片的数量也近似相等。
在一些优选的方式中，步骤(2)的具体过程为：在得到合成数据集之后，利用卷积神经网络在合成数据集上预训练模型，包括卷积神经网络模型的搭建，各超参数的选择，如卷积神经网络层数，卷积神经网络结构等的选择；使用卷积神经网络在已合成的数据集上进行预训练。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，搭建卷积神经网络就是设计卷积神经网络的结构，本实施例中，直接使用现有的卷积神经网络模型。一个典型的卷积神经网络如图3所示，卷积神经网络对于图片的分类可以分为两个部分：特征提取和分类识别；特征提取部分通过经过多次卷积(Convolution)和降采样(Subsampling)操作，可高效地提取图片的特征，提取得到的图片特征存储在特征图(feature map)中；分类识别则是将特征图展开为全连接(fully connected)网络，进而计算出属于每一类的概率，概率最高的那一项即为预测的分类；此处，计算公式是Softmax函数，公式为
Figure BDA0002151224820000071
其中，j＝1,…,K，k＝1,…,K，σ(z)j表示第j类的相对概率，zj表示第j类的概率权重(zj可以为负数，所以取e为底数，以计算相对概率，使得所有类的相对概率大于0，且和为1)，k表示所分的类的总个数。
本实施例中使用ResNet50网络，卷积神经网络层数为50层，其网络架构参数如表1所示，该卷积神经网络使用了五种不同的卷积神经网络模块，各模块之间使用短路连接，以模块conv2_v为例，图4为模块conv2_v的具体结构。将该网络在合成数据集上进行预训练，测试集中各类降雨图片均为10000张，分类准确率为98.63％。
表1ResNet50架构参数
在一些优选的方式中，步骤(3)的具体过程为：采集实际降雨图片包括建立图像采集网络，采集不同地点在不同降雨工况下的降雨图片，并在不同地区分别布置雨量计，采集降雨量；根据雨量计数据将采集到的图片进行分类，作为标签；标签种类分别为小雨、中雨、大雨、暴雨、大暴雨、特大暴雨。建立图像采集网络指的是，在不同地区分别布置雨量计，并在每个地区选用不同地点的监控摄像头用于采集真实降雨图片；在一些优选的方式中，将雨量计布置在无遮挡的地方即可，最好布置在楼顶。
本实施例中，在浙江大学紫金港校区，玉泉校区，华家池校区，之江校区，西溪校区，海宁校区六个校区各布置了一个雨量计，与浙江大学安保处合作，在每个校区选用四个不同地点的监控摄像头用于采集真实降雨图片，图5为真实降雨图片采集设备的图片，其中图5(a)为本实施例中所使用的布置在浙江大学玉泉校区的雨量计图片，图5(b)为本实施例中所使用的浙江大学紫金港校区某一处的监控设备的图片。根据雨量计数据对所采集真实降雨图片进行分类，作为标签。表2为具体的降雨强度等级划分标准。
表2降雨强度等级划分标准
降雨强度等级 24小时降水总量(mm)
小雨 0.1-9.9
中雨 10.0-24.9
大雨 25.0-49.9
暴雨 50.0-99.9
大暴雨 100.0-249.9
特大暴雨 ≥250.0
在本实施例中，从2016年1月1日至2018年12月31日，共采集了132场降雨事件，3168张真实降雨图片，其中80％作为训练集，10％作为验证集，10％作为测试集。真实降雨图片示例如图6所示，图6中的降雨强度等级为中雨。
在一些优选的方式中，步骤(4)的具体过程为：使用真实数据集对步骤(2)中的预训练模型进行微调包括将特征提取部分的各卷积以及池化层的参数固定，只训练分类识别部分的全连接层的参数，使用步骤(3)中采集的真实数据集进行训练。如果真实图片的数量足够多时可直接在真实数据集上进行训练以进一步提高模型的分类精度。本实施例中，在得到真实数据集之后，将卷积神经网络在真实降雨图片集上进行微调之后，测试集的分类准确率为83.28％。
在一些优选的方式中，步骤(5)的具体过程为：将步骤(4)中训练好的模型加载，并对实时采集的真实降雨图片进行实时在线分类。
在一些优选的方式中，在模型训练好后，将模型应用于城市实时控制系统(或者城市大脑等)；城市中的监控摄像头连接到城市实时控制系统；当降雨发生时，监控摄像头在城市的不同地点实时采集图片数据，然后将图片数据转换为电信号，经过A/D转换器转换成数字图像信号，再经数字信号处理芯片(DSP)加工处理，并把处理后的信号传输到至城市实时控制系统，城市实时控制系统接收图片信号并将其转换成适于模型接收的图片形式，然后将图片输入训练好的模型中，此模型对图片进行降雨强度分类，得到实时降雨强度的分类结果，以便在暴雨发生时，进行实时调度，减小城市内涝造成的损失。
本实施例中，使用2019年1月1日至2019年4月30日之间的10次降雨事件作为实际应用验证，地点均为浙江大学紫金港校区，地点一至地点四为浙江大学紫金港校区的四个不同的拍摄地点，共40张真实降雨图片，天气情况以雨量计数据为准，分类结果的准确率为85.0％，表3为具体的验证结果。
表3 10次降雨事件的实时验证结果
Figure BDA0002151224820000101
由表3可知，本发明方法能够准确地对真实降雨图片进行分类，而且误差率较低。
实施例2
如图7所示，本发明提供的针对雨天图片的卷积神经网络降雨强度在线量化方法，包括以下步骤：
(1)通过图像处理软件合成降雨图片，得到合成数据集；
(2)搭建并修改卷积神经网络的结构(CNN)，使用步骤(1)中的合成数据集对卷积神经网络进行预训练；
(3)采集实际降雨图片，得到真实数据集；
(4)使用步骤(3)中的真实数据集对预训练的模型进行微调(fine-tune)，得到训练好的模型；
(5)将步骤(4)中训练好的模型用于实时降雨强度在线量化。
在一些优选的方式中，步骤(1)具体的过程为：通过图像处理软件对原图分别添加不同的降雨强度，得到合成降雨图片；
在一些优选的方式中，步骤(1)中，选用合适的图像处理软件，合适的图像处理软件指的是能处理图层的软件，具体指的是可以向原图中添加雨层；比如，Photoshop，PhotoPos Pro，GIMP，Hornil StylePix，Krita等能处理图层的软件，在本实施例中，选用的软件是Photoshop，对原图添加不同数目和大小的雨痕，以模拟不同降雨强度下的降雨图片；降雨强度是指在某一历时内的平均降落量，它可以用单位时间内的降雨深度表示，反映在图像上，图片的曝光时间一定(1/200s左右)，降雨强度只与图片中的雨痕密度以及大小有关。
因为降雨强度仅与雨痕数目及大小这两个参数相关，故在合成降雨图片过程中，根据这两个参数的值确定合成图片的降雨强度；其他参数，比如雨痕角度，分布，对比度等参数则随机设定，以增强模型的鲁棒性。
具体地，图片处理软件参数的选定，以Photoshop为例，包括：雨痕密度，相对大小，分布，角度，对比度等参数，相对大小指的是：雨层(噪音层)相对于底图的大小，角度指的是：雨痕与水平线所夹锐角；对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量，差异范围越大代表对比度越大，差异范围越小代表对比度越小；其中，降雨强度大小只与雨滴数目以及大小有关，反映在Photoshop的参数上，即为雨痕密度与相对大小；设雨痕密度为x，相对大小为y，降雨强度为D，假设降雨强度与雨痕密度、相对大小之间的关系为
D＝kxy2
其中k为常数，这里取为1；该假设关系只用来对合成降雨图片的降雨强度数值进行量化，得到的降雨强度数值作为合成降雨图片的降雨强度标签；该式为假设的雨痕密度x，相对大小y与降雨强度D之间的映射关系，降雨强度D为一个数值，仅用作合成降雨图片的标签，无量纲。而在之后会使用真实数据集进行微调，降雨图片特征与降雨强度之间的映射会重构；所以该式是否能真实反映降雨强度与雨滴数目和相对大小的关系对最终的降雨强度预测结果影响不大，该式只用于模型的预训练过程，训练卷积神经网络对于降雨图片特征的提取能力。
在一些优选的方式中，合成数据集包括六类合成降雨图片，六类合成降雨图片分别为小雨、中雨、大雨、暴雨、大暴雨、特大暴雨的合成降雨图片；随机在合成数据集中抽取80％作为训练集，10％作为验证集，10％作为测试集；
在一些优选的方式中，训练集中每类降雨图片的数量近似相等，验证集中每类降雨图片的数量近似相等，测试集中每类降雨图片的数量也近似相等。
以图2为例，图2(a)为原图，图2(b)为合成的降雨图片，雨痕密度选定为18，相对大小为400％，则合成降雨图片的降雨强度数值为288。其他参数可随机选择，图2(b)中参数选择分布为高斯分布，角度为雨痕与水平线所夹锐角65度。本实施例中，共合成了100000张不同降雨强度的图片，随机抽取80％作为训练集，10％作为验证集，10％作为测试集，三者之和就是合成数据集。
在一些优选的方式中，步骤(2)的具体过程为：在得到合成数据集之后，利用卷积神经网络在合成数据集上预训练模型，包括卷积神经网络模型的搭建和修改，各超参数的选择；各超参数的选择，如卷积神经网络层数，卷积神经网络结构等的选择；卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，搭建卷积神经网络就是设计卷积神经网络的结构，本实施例中，直接使用现有的卷积神经网络模型；将卷积神经网络由分类模型改为回归模型，以便对降雨强度值进行量化，得到降雨强度的估计值；具体地，选用线性回归模型，可以得到降雨强度的具体估计值。修改后的模型结构示例如图8所示，卷积神经网络对于图片的量化可以分为两个部分，特征提取和线性回归；特征提取部分通过经过多次卷积(Convolution)和降采样(Subsampling)操作，可高效地提取图片的特征，提取得到的图片特征存储在特征图(feature map)中；线性回归则是将特征图展开为全连接(fullyconnected)网络，进而估算出降雨强度值，线性回归公式：
Figure BDA0002151224820000131
其中，
Figure BDA0002151224820000132
为估算的降雨强度值，W为最后一层全连接的参数，X为输入变量，即倒数第二层的计算结果，b为可以学习的参数，T代表矩阵的转置，W与X均为矩阵。
使用卷积神经网络在已合成的较大规模的数据集上进行预训练。本实施例中使用ResNet50网络，该卷积神经网络层数为50，在卷积神经网络之后添加了线性回归层，以便输出具体的降雨强度值；将该网络在合成数据集上进行预训练，测试集中降雨图片为10000张，使用平均绝对百分误差(MAPE)来评价预测的准确性，如下式：
Figure BDA0002151224820000133
式中yi为测试集中第i张照片的标签，此处的标签就是降雨强度的数值；
Figure BDA0002151224820000134
为测试集中第i张照片的预测值，n为测试集中的合成降雨图片的个数；本实施例中，合成数据测试集的预测平均绝对百分误差为4.91％。
在一些优选的方式中，步骤(3)的具体过程为：采集实际降雨图片包括建立图像采集网络，采集不同地点在不同降雨工况下的图片，同时使用雨量计记录瞬时降雨强度数据作为标签，此处的降雨强度单位为mm/h。具体地，24小时降水总量为0.1-9.9mm时，降雨强度等级为小雨；24小时降水总量为10.0-24.9mm时，降雨强度等级为中雨；24小时降水总量为25.0-49.9mm时，降雨强度等级为大雨；24小时降水总量为50.0-99.9mm时，降雨强度等级为暴雨；24小时降水总量为100.0-249.9mm时，降雨强度等级为大暴雨；24小时降水总量大于250.0mm时，降雨强度等级为特大暴雨。建立图像采集网络指的是，在不同地区分别布置雨量计，并在每个地区选用不同地点的监控摄像头用于采集真实降雨图片；将雨量计布置在无遮挡的地方即可，最好布置在楼顶。
本实施例中，在浙江大学紫金港校区，玉泉校区，华家池校区，之江校区，西溪校区，海宁校区等六个校区各布置了一个雨量计；与浙江大学安保处合作，在每个校区选用四个不同地点的监控摄像头用于采集真实降雨图片。图5为真实降雨图片采集设备的图片，其中，图5(a)为本实施例中所使用的布置在浙江大学玉泉校区的雨量计图片，图5(b)为本实施例中所使用的浙江大学紫金港校区地点一处的监控设备的图片。所采集的真实降雨图片，使用雨量计记录瞬时降雨强度作为标签，此处的降雨强度单位为mm/h。
在本实施例中，从2016年1月1日至2018年12月31日，共采集了132场降雨事件，3168张真实降雨图片，其中80％作为训练集，10％作为验证集，10％作为测试集。真实降雨图片示例如图6所示。
在一些优选的方式中，步骤(4)的具体过程为：使用真实数据集对预训练模型进行微调包括将特征提取部分的各卷积以及池化层的参数固定，只训练全连接层的参数，使用步骤(3)中采集的真实数据集进行训练。待真实图片规模足够大时可直接在真实数据集上进行训练以进一步提高模型的分类精度。
本实施例中，在得到真实数据集之后，将卷积神经网络在真实降雨图片集上进行微调之后，真实数据测试集的平均绝对百分误差为15.63％。
在一些优选的方式中，步骤(5)的具体过程为：将步骤(4)中训练好的模型加载，并对实时采集的真实降雨图片进行实时在线量化。
在一些优选的方式中，在模型训练好后，将模型应用于城市实时控制系统(或者城市大脑等)；城市中的监控摄像头连接到城市实时控制系统；当降雨发生时，监控摄像头在城市的不同地点实时采集图片数据，然后将图片数据转换为电信号，经过A/D转换器转换成数字图像信号，再经数字信号处理芯片(DSP)加工处理，并把处理后的信号传输到至城市实时控制系统，城市实时控制系统接收图片数据信号并将其转换成适于模型接收的图片形式，然后将图片输入训练好的模型中，此模型对图片的降雨强度进行量化估计，得到实时降雨强度的预测数值，以便在暴雨发生时，进行实时调度，减小城市内涝造成的损失。
本实施例中，使用2019年1月1日至2019年4月30日之间的10次降雨事件作为实际应用验证，地点均为浙江大学紫金港校区，地点一至地点四为浙江大学紫金港校区的四个不同的拍摄地点，共40张真实降雨图片，使用雨量计记录瞬时降雨强度，最终得到平均绝对百分误差为14.67％，具体的验证结果如图9所示。由图9可知，本发明方法能够准确地对真实降雨图片进行量化预测，误差率较低。
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

Claims (8)

1.一种针对雨天图片的卷积神经网络降雨强度在线量化方法，其特征在于，包括以下步骤：
(1)通过图像处理软件合成降雨图片，得到合成数据集；
(2)搭建并修改卷积神经网络的结构(CNN)，使用步骤(1)中的合成数据集对卷积神经网络进行预训练；
(3)采集实际降雨图片，得到真实数据集；
(4)使用步骤(3)中的真实数据集对预训练的模型进行微调(fine-tune)，得到训练好的模型；
(5)将步骤(4)中训练好的模型用于实时降雨强度在线量化。
2.如权利要求1所述的针对雨天图片的卷积神经网络降雨强度在线量化方法，其特征在于，步骤(1)中，通过图像处理软件对原图分别添加不同的降雨强度，得到合成降雨图片。
3.如权利要求1所述的针对雨天图片的卷积神经网络降雨强度在线量化方法，其特征在于，步骤(1)中，选用合适的图像处理软件，如Photoshop，对原图添加不同数目和大小的雨痕，以模拟不同降雨强度下的降雨图片。
4.如权利要求1所述的针对雨天图片的卷积神经网络降雨强度在线量化方法，其特征在于，步骤(2)中，将卷积神经网络由分类模型修改为线性回归模型，对降雨强度值进行量化，得到降雨强度的估计值。
5.如权利要求1所述的针对雨天图片的卷积神经网络降雨强度在线量化方法，其特征在于，步骤(2)中，使用卷积神经网络，如ResNet50网络，在卷积网络之后添加线性回归层，将该网络在合成数据集上进行预训练。
6.如权利要求1所述的针对雨天图片的卷积神经网络降雨强度在线量化方法，其特征在于，步骤(3)的具体过程为：采集实际降雨图片包括建立图像采集网络，采集不同地点在不同降雨工况下的图片，同时使用雨量计记录瞬时降雨强度数据，作为标签。
7.如权利要求1所述的针对雨天图片的卷积神经网络降雨强度在线量化方法，其特征在于，步骤(4)的具体过程为：使用真实数据集对预训练模型进行微调包括将特征提取部分的各卷积以及池化层的参数固定，只训练线性回归部分的全连接层的参数，使用步骤(3)中采集的真实数据集进行训练。
8.如权利要求1所述的针对雨天图片的卷积神经网络降雨强度在线量化方法，其特征在于，步骤(5)的具体过程为：将步骤(4)中训练好的模型加载，并对实时采集的真实降雨图片进行实时在线量化。
CN201910702482.8A 2019-07-31 2019-07-31 一种针对雨天图片的卷积神经网络降雨强度在线量化方法 Withdrawn CN110633626A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910702482.8A CN110633626A (zh) 2019-07-31 2019-07-31 一种针对雨天图片的卷积神经网络降雨强度在线量化方法
PCT/CN2020/072281 WO2021017445A1 (zh) 2019-07-31 2020-01-15 一种针对雨天图片的卷积神经网络降雨强度分类方法及量化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910702482.8A CN110633626A (zh) 2019-07-31 2019-07-31 一种针对雨天图片的卷积神经网络降雨强度在线量化方法

Publications (1)

Publication Number Publication Date
CN110633626A true CN110633626A (zh) 2019-12-31

Family

ID=68970035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910702482.8A Withdrawn CN110633626A (zh) 2019-07-31 2019-07-31 一种针对雨天图片的卷积神经网络降雨强度在线量化方法

Country Status (1)

Country Link
CN (1) CN110633626A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914933A (zh) * 2020-07-31 2020-11-10 中国民用航空华东地区空中交通管理局 降雪检测方法、装置、计算机设备和可读存储介质
WO2021017445A1 (zh) * 2019-07-31 2021-02-04 浙江大学 一种针对雨天图片的卷积神经网络降雨强度分类方法及量化方法
CN117008219A (zh) * 2023-10-07 2023-11-07 武汉大水云科技有限公司 一种基于人工智能降雨测量方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709936A (zh) * 2016-12-14 2017-05-24 北京工业大学 一种基于卷积神经网络的单目标跟踪方法
CN107609601A (zh) * 2017-09-28 2018-01-19 北京计算机技术及应用研究所 一种基于多层卷积神经网络的舰船目标识别方法
CN107703564A (zh) * 2017-10-13 2018-02-16 中国科学院深圳先进技术研究院 一种降雨预测方法、系统及电子设备
US20180089763A1 (en) * 2016-09-23 2018-03-29 Aon Benfield Inc. Platform, Systems, and Methods for Identifying Property Characteristics and Property Feature Maintenance Through Aerial Imagery Analysis
CN107909556A (zh) * 2017-11-27 2018-04-13 天津大学 基于卷积神经网络的视频图像去雨方法
JP2019094640A (ja) * 2017-11-20 2019-06-20 日本無線株式会社 水位予測方法、水位予測プログラム及び水位予測装置
CN110009580A (zh) * 2019-03-18 2019-07-12 华东师范大学 基于图片块雨滴密集度的单张图片双向去雨方法
CN110049216A (zh) * 2019-04-18 2019-07-23 安徽易睿众联科技有限公司 一种可实时识别降水类型的网络摄像机

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089763A1 (en) * 2016-09-23 2018-03-29 Aon Benfield Inc. Platform, Systems, and Methods for Identifying Property Characteristics and Property Feature Maintenance Through Aerial Imagery Analysis
CN106709936A (zh) * 2016-12-14 2017-05-24 北京工业大学 一种基于卷积神经网络的单目标跟踪方法
CN107609601A (zh) * 2017-09-28 2018-01-19 北京计算机技术及应用研究所 一种基于多层卷积神经网络的舰船目标识别方法
CN107703564A (zh) * 2017-10-13 2018-02-16 中国科学院深圳先进技术研究院 一种降雨预测方法、系统及电子设备
JP2019094640A (ja) * 2017-11-20 2019-06-20 日本無線株式会社 水位予測方法、水位予測プログラム及び水位予測装置
CN107909556A (zh) * 2017-11-27 2018-04-13 天津大学 基于卷积神经网络的视频图像去雨方法
CN110009580A (zh) * 2019-03-18 2019-07-12 华东师范大学 基于图片块雨滴密集度的单张图片双向去雨方法
CN110049216A (zh) * 2019-04-18 2019-07-23 安徽易睿众联科技有限公司 一种可实时识别降水类型的网络摄像机

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017445A1 (zh) * 2019-07-31 2021-02-04 浙江大学 一种针对雨天图片的卷积神经网络降雨强度分类方法及量化方法
CN111914933A (zh) * 2020-07-31 2020-11-10 中国民用航空华东地区空中交通管理局 降雪检测方法、装置、计算机设备和可读存储介质
CN117008219A (zh) * 2023-10-07 2023-11-07 武汉大水云科技有限公司 一种基于人工智能降雨测量方法、装置、设备及存储介质
CN117008219B (zh) * 2023-10-07 2024-01-16 武汉大水云科技有限公司 一种基于人工智能降雨测量方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110610190A (zh) 一种针对雨天图片的卷积神经网络降雨强度分类方法
CN110633626A (zh) 一种针对雨天图片的卷积神经网络降雨强度在线量化方法
CN111983732B (zh) 一种基于深度学习的降水强度估计方法
CN112749654A (zh) 一种用于视频大雾监测的深度神经网络模型构建方法、系统及装置
CN111462218A (zh) 一种基于深度学习技术的城市内涝积水面积监测方法
CN112287018A (zh) 一种台风灾害下10kV杆塔受损风险评估方法及系统
CN115690632A (zh) 一种内陆河流水体的水环境监测方法
WO2021017445A1 (zh) 一种针对雨天图片的卷积神经网络降雨强度分类方法及量化方法
Yan et al. Glacier classification from Sentinel-2 imagery using spatial-spectral attention convolutional model
CN115691049A (zh) 一种基于深度学习的对流初生预警方法
CN114399193A (zh) 一种基于深度时序点过程和lstm的缺资料地区径流事件检测方法
CN116385911A (zh) 一种用于无人机巡检绝缘子的轻量型目标检测方法
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
CN113936248B (zh) 一种基于图像识别的海滩人员危险性预警方法
CN110633674B (zh) 一种基于遥感影像与降雨监测数据的雨水去向不确定性分析方法及系统
CN115830302A (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN115909041A (zh) 基于深度学习的水下结构表观病害识别方法及系统
CN116051465A (zh) 基于神经网络模型的紧固件腐蚀图像自动分级方法
CN115239689A (zh) 一种路面信息的检测、计算方法、检测系统、设备及计算机可读存储介质
CN111929680B (zh) 一种基于sar图像的洪水淹没程度快速评价方法
CN114266980A (zh) 一种城市井盖破损检测方法及系统
CN112819817A (zh) 基于图计算的河流流速估计方法
Zheng et al. Toward Improved Real‐Time Rainfall Intensity Estimation Using Video Surveillance Cameras
CN117849907B (zh) 基于多源数据的气象灾害靶向预警方法及系统
CN116680518B (zh) 用于地表水环境的时空态势分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20191231

WW01 Invention patent application withdrawn after publication