CN112883969B - 一种基于卷积神经网络的降雨强度检测方法 - Google Patents

一种基于卷积神经网络的降雨强度检测方法 Download PDF

Info

Publication number
CN112883969B
CN112883969B CN202110223872.4A CN202110223872A CN112883969B CN 112883969 B CN112883969 B CN 112883969B CN 202110223872 A CN202110223872 A CN 202110223872A CN 112883969 B CN112883969 B CN 112883969B
Authority
CN
China
Prior art keywords
network model
neural network
layer
image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110223872.4A
Other languages
English (en)
Other versions
CN112883969A (zh
Inventor
张振
王杰
沈淏旸
黄启略
魏饶
陈林
刘志杰
莫岱辉
蒋芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202110223872.4A priority Critical patent/CN112883969B/zh
Publication of CN112883969A publication Critical patent/CN112883969A/zh
Application granted granted Critical
Publication of CN112883969B publication Critical patent/CN112883969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/14—Rainfall or precipitation gauges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Hydrology & Water Resources (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的降雨强度检测方法，属于计算机视觉技术领域，本发明利用不同降雨条件下水面雨生表面波纹理特征的差异性，通过对连续两帧图像进行残差处理提取波纹纹理特征，进而使用全卷积神经网络进行有监督的深度学习，实现无雨、小雨、中雨、大雨四个等级的瞬时降雨强度定性检测。本发明选取不同天气、光照和水流条件下实际水面的监控图像构建神经网络训练数据集，对复杂光照条件具有较强的鲁棒性，可实现全天候实时在线监测。本发明在保障准确获取降雨强度信息的同时有效地减少了布设传统降雨强度检测仪器所需的成本。

Description

一种基于卷积神经网络的降雨强度检测方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于卷积神经网络的降雨强度检测方法。
背景技术
降雨是指气体遇冷结成水汽并以各种方式降落到陆地、海洋的一种天气现象。降雨的时空分布异常现象是诱发各种自然灾害的重要因素，因此对降雨强度的实时监测对防范洪水、泥石流等重大灾害具有重要的指导意义。同时降雨也是农业生产等经济活动中不可获取的一部分，因此对降雨强度的实时监测也具有重要的经济意义。
传统的降雨强度监测设备如雨量计、翻斗雨量筒等等具有实时性弱、自动化程度较低、可靠性不足等等缺点。自上世纪六十年代开始，国外就已经开展了降雨强度监测的自动化研究。现在已经发展出了多种基于光学的半自动化降雨强度监测仪器，如红外雨滴谱仪、天气现象仪等。
国内主流的降雨强度监测方式仍然是传统的雨量计式，近年来，我国也出现了一些基于光学原理的半自动化降雨监测仪器，如脉冲照明光学雨量测量方法与雨量计(公开号：CN102436015B)，通过光照脉冲和定时摄像方式计算降雨粒子像素移动距离从而计算降雨粒子末速度。然而该方法存在量程范围较小，对光照不均匀导致的降雨粒子不清晰等问题鲁棒性较差。此外，也有如一种可视化雨量监测装置及方法(公开号：CN110196458A)这样的设备，但只是简单的将传统的雨量计设备和摄像头组网连接，自动化水平较低且设备可靠性不高。
近年来，基于计算机视觉技术的图像处理技术取得了较大的进步。在传统的决策树、支持向量机、专家系统等等之后，卷积神经网络技术(CNN)的提出将计算机视觉技术推向了新的高度。卷积神经网络技术具有很强的可拓展性，在近几年中对卷积神经网络模型的不断优化改进中涌现了多种多样深度、卷积函数、网络结构、优化方法等等方面不同且性能各有优劣的网络模型，并在实际应用中取得了优于传统方法的较好结果。而基于计算机视觉技术的对降雨强度的预测技术尽管在理论上是完全可行的，但在应用过程中也出现了一系列的难题。
已有的基于空间降雨图像的降雨强度识别方式面临着对光照条件较为敏感的问题，降雨粒子在空间中的分布速度、粒子大小、光照条件等种种条件的变化使得摄像设备难以准确、全面地捕捉降雨粒子信息。
不同于常规图像处理只能提取浅层次的视觉特征，卷积神经网络可以提取更高层次的视觉特征，在提取图像特征并且进行分类的任务中取得极具优势的效果，并显现出高效的学习性能和良好的应用效果。研究基于卷积神经网络的降雨强度检测方法，有望克服野外复杂环境下降雨粒子图像信息获取的难点，解决观测实时性、准确性等问题。
发明内容
发明目的：本发明旨在提供一种基于卷积神经网络的降雨强度检测方法，保障准确获取降雨强度信息。
技术方案：为了实现上述目的，本发明是通过如下的技术方案来实现：
一种基于卷积神经网络的降雨强度检测方法，包括如下步骤：
S1：系统设置；
S2：采集图像对；
S3：对S2中所获取的图像对进行残差二值化处理；
S4：网络模型构建：包括数据集构建、网络模型设计和网络模型训练；
S5：降雨强度预测。
进一步地，所述的步骤S1中，采用智能终端设备通过以太网接口连接摄像机，用于摄像机控制及视频图像采集、处理和传输；在所述的摄像机镜头前加装0°通光方向的线偏振滤镜，并以接近于气-水界面布儒斯特角(36.9°)的俯仰角拍摄水面。
进一步地，所述的步骤S2中，所述的智能终端设备控制摄像机以时间间隔t连续拍摄两帧原始大小的彩图，从中选取出ROI按照如下公式(I)转换成灰度图
GRAY＝(R×W1+G×W2+B×W3) (I)
其中，R、G、B分别代表图像存储红绿蓝三通道的像素值，W1，W2，W3为灰度化权重参数，取值范围为0到1，W1，W2，W3之和为1。
进一步地，所述的步骤S3中，智能终端设备首先对两帧ROI的灰度图逐像素做灰度差分运算并取绝对值，得到一幅灰度残差图，然后采用Canny算子对灰度残差图进行边缘检测，得到表征水面纹理特征的边缘二值图。
进一步地，所述的步骤S4具体包括如下步骤：
S4.1：数据集构建：首先智能终端设备按步骤S2-S3采集并生成不同气象、水流和光照条件下的ROI边缘二值图，并将其和对应的时间戳通过以太网发送至用于网络模型训练的工作站；然后在工作站上依据气象局提供或现场雨量计实测的降雨量数据，采用图像分类标注工具对二值图进行降雨强度的分类标注；
S4.2：网络模型设计：为实现输入的ROI边缘二值图到降雨强度4分类结果的推理，设计具有如附图2结构的卷积神经网络模型。
其中“卷积层”代表卷积操作层，括号内部分为该层卷积核参数即宽度×长度×通道数，各卷积层后都连接着一个“ReLU”激活函数层，“池化层”代表最大值池化层，池化层的池化核大小为(2,2)，步长为2；全连接层用于将输入特征映射至样本标记空间；
设计的卷积神经网络通过分层计算特征图最终得到图像分类结果，卷积层通过卷积核在本层特征图上的卷积计算得到下一层的特征图，卷积核M可以包含若干个学习的权重参数，公式(II)给出了第m层的卷积特征图的计算公式：
Figure BDA0002956057620000031
其中，f(·)选用的激活函数，Mx和My分别表示卷积核M的长度和宽度，wjk表示卷积核M的权重值，
Figure BDA0002956057620000032
表示二维卷积运算，tm-1表示第m层的卷积特征图的输入，也是第m-1层的输出，bm表示第m层的滤波器的偏量，j，k为相应的像素x，y坐标；
激活函数选用的是“ReLU”，公式(III)给出了其函数运算公式：
f(x)＝max(0,x) (III)
全连接层全连接层操作可以由卷积核长Mx和宽My分别为卷积层13层输出的特征图像的长和宽，通道数为C的全局卷积操作实现。
最后使用softmax分类器做逐像素预测，softmax分类器会对每一个像素进行分类，判断每个像素所属类别之后计算损失函数，通过反向传播算法一层层的更新网络中的参数；softmax分类器对各个输入分类器的概率值做指数计算，经归一化后，最大值所代表的类别即为分类结果；
损失函数为交叉熵损失函数，计算损失函数的具体过程为将softmax分类器的输出向量和标注的样本数据的标签值做交叉熵处理，公式(IV)给出了交叉熵的计算公式：
Figure BDA0002956057620000041
其中，y′i指标注的标签值当中的第i个样本的真值，yi指softmax分类器的输出向量[Y1,Y2,Y3...]的第i个样本预测数据，n为训练样本数量。
S4.3：网络模型训练：在工作站上采用步骤S4.1构建的训练集对网络模型进行训练，训练算法为梯度下降算法，通过结合测试集准确率调整神经网络结构和参数的方式获取效果较好的实时分类模型；最后保存训练完成的网络模型用于预测。
进一步地，所述的步骤S4.1中的标注方法为：24小时降雨量在0.1mm及以下标注为无雨，标签值为0；0.1mm到10mm标注为小雨，标签值为1；10mm到25mm标注为中雨，标签值为2；25mm及以上标注为大雨，标签值为3；最后将所有二值图的样本集按照8:2的比例划分为训练集和测试集，用于后续的网络模型训练及测试。
进一步地，将所述的步骤S2中通过处理得到的训练集样本输入至步骤S3中设计的卷积神经网络中进行训练，生成训练完毕的神经网络模型；在步骤S3训练后得到的的神经网络模型基础上，利用将之前步骤S2中所获得的测试集图像输入模型进行预测的方式进行测试，检测该神经网络对降雨大小情况识别的有效性与准确性；重复多次训练及测试后，保存在测试集上分类精度最高的神经网络模型用以实际应用；将训练得到的网络模型部署在智能终端设备上。
进一步地，所述的步骤S5具体为：智能终端设备通过步骤S2和步骤S3在线采集并处理获得的边缘二值图输入至部署其上的网络模型中，经模型推理得到瞬时降雨强度分类预测结果如附图3所示；按指定时间间隔进行多次预测并对得到的结果求均值，可得到时均降雨强度预测值，智能终端设备将预测结果及对应的瞬时时间戳或起止时间戳发送至指定服务器。
有益效果：与现有技术相比，本发明具有如下的有益效果：
(1)本发明采用摄像机拍摄水面背景下的雨生表面波，相比现有方法在大气背景下检测识别降雨，在光学成像上显著增强了降雨特征，尤其对于降雨颗粒能见度低的小雨条件具有更高的检测准确度；
(2)本发明基于降雨在水面形成表面波的动态特性，对连续两帧灰度图像对进行逐像素作差并取绝对值得到的残差图像，并利用Canny算子进行二值化处理，实现对图像中水面背景等与检测无关干扰因素的抑制，提高抗噪性；
(3)本发明利用卷积神经网络能够自动提取高层次视觉特征的优势，以端到端的方式自动实现水面降雨图像的特征提取和分类，相比仅能提取浅层次视觉特征传统常规图像处理方法，不仅简化了用户实现过程，而且对复杂天气、光照和水流条件具有较强的鲁棒性；
综上所述，本发明能够实现无雨、小雨、中雨、大雨四个等级的瞬时降雨强度定性检测，可在保障准确获取降雨强度信息的同时有效减少布设传统降雨检测仪器所需的成本，且结果直观易验证，实用性强。
附图说明
图1为本发明的方法流程示意图；
图2为卷积神经网络模型结构图；
图3为瞬时降雨强度分类预测结果图。
具体实施例方式
下面结合附图和具体实施方式来详细说明本发明。
一种基于卷积神经网络的降雨强度检测方法，包括如下步骤：
S1：系统设置；
S2：采集图像对；
S3：根据S2中所获得的图像进行深层卷积神经网络搭建；
S4：网络模型构建：包括数据集构建、网络模型设计和网络模型训练；
S5：降雨强度预测。
步骤S1中，采用智能终端设备通过以太网接口连接摄像机，用于摄像机控制及视频图像采集、处理和传输；在所述的摄像机镜头前加装0°通光方向的线偏振滤镜，并以接近于气-水界面布儒斯特角(36.9°)的俯仰角拍摄水面。
步骤S2中，所述的智能终端设备控制摄像机以时间间隔t连续拍摄两帧原始大小的彩图，从中选取出ROI按照如下公式(I)转换成灰度图
GRAY＝(R×W1+G×W2+B×W3) (I)
其中，R、G、B分别代表图像存储红绿蓝三通道的像素值，W1，W2，W3为灰度化权重参数，取值范围为0到1，W1，W2，W3之和为1。
步骤S3中，智能终端设备首先对两帧ROI的灰度图逐像素做灰度差分运算并取绝对值，得到一幅灰度残差图，然后采用Canny算子对灰度残差图进行边缘检测，得到表征水面纹理特征的边缘二值图。
所述的步骤S4具体包括如下步骤：
S4.1：数据集构建：首先智能终端设备按步骤S2-S3采集并生成不同气象、水流和光照条件下的ROI边缘二值图，并将其和对应的时间戳通过以太网发送至用于网络模型训练的工作站；然后在工作站上依据气象局提供或现场雨量计实测的降雨量数据，采用图像分类标注工具对二值图进行降雨强度的分类标注，
S4.2：网络模型设计：为实现输入的ROI边缘二值图到降雨强度4分类结果的推理，设计具有如图2所示结构的卷积神经网络模型：
卷积层1(3×3×64)→卷积层2(3×3×64)→池化层1→卷积层3(3×3×128)→卷积层4(3×3×128)→池化层2→卷积层5(3×3×256)→卷积层6(3×3×256)→卷积层7(1×1×256)→池化层3→卷积层8(3×3×512)→卷积层9(3×3×512)→卷积层10(1×1×512)→池化层4→卷积层11(3×3×512)→卷积层12(3×3×512)→卷积层13(1×1×512)→池化层5→全连接层1(4096)→全连接层2(4096)→全连接层3(4)→softmax
其中“卷积层”代表卷积层，括号内部分为该层卷积核参数即宽度×长度×通道数，各卷积层后都连接着一个“ReLU”激活函数层，为了公式的简洁该层并未给出；“池化层”代表最大值池化层，池化层的大小为(2,2)，步长为2；全连接层代表全连接层，用于将输入特征映射至样本标记空间；
设计的卷积神经网络通过分层计算特征图最终得到图像分类结果，卷积层通过卷积核在本层特征图上的卷积计算得到下一层的特征图，卷积核M可以包含若干个学习的权重参数，公式(II)给出了第m层的卷积特征图的计算公式：
Figure BDA0002956057620000061
其中，f(·)选用的激活函数，Mx和My分别表示卷积核M的长度和宽度，wjk表示卷积核M的权重值，
Figure BDA0002956057620000071
表示二维卷积运算，tm-1表示第m层的卷积特征图的输入，也是第m-1层的输出，bm表示第m层的滤波器的偏量；
激活函数选用的是“ReLU”，公式(III)给出了其函数运算公式：
f(x)＝max(0,x) (III)
全连接层全连接层操作可以由卷积核长Mx和宽My分别为卷积层13层输出的特征图像的长和宽，通道数为C的全局卷积操作实现。
最后使用softmax分类器做逐像素预测，softmax分类器会对每一个像素进行分类，判断每个像素所属类别之后计算损失函数，通过反向传播算法一层层的更新网络中的参数；
“softmax分类器”，是指一种常用的有监督多分类模型，对各个输入分类器的概率值做指数计算，经归一化后，最大值所代表的类别即为分类结果；
损失函数为交叉熵损失函数，计算损失函数的具体过程为将softmax分类器的输出向量和标注的样本数据的标签值做交叉熵处理，公式(IV)给出了交叉熵的计算公式：
Figure BDA0002956057620000072
其中，y′i指标注的标签值当中的第i个元素的真值，yi指softmax层的输出向量[Y1,Y2,Y3...]的第i个向量数据。
S4.3：网络模型训练：在工作站上采用步骤S4.1构建的训练集对网络模型进行训练，训练算法为梯度下降算法，通过结合测试集准确率调整神经网络结构和参数的方式获取效果较好的实时分类模型；最后保存训练完成的网络模型用于预测。
步骤S4.1中的标注方法为：24小时降雨量在0.1mm及以下标注为无雨，标签值为0；0.1mm到10mm标注为小雨，标签值为1；10mm到25mm标注为中雨，标签值为2；25mm及以上标注为大雨，标签值为3；最后将所有二值图的样本集按照8:2的比例划分为训练集和测试集，用于后续的网络模型训练及测试。
步骤S2中通过处理得到的训练集样本输入至步骤S3中设计的卷积神经网络中进行训练，生成训练完毕的神经网络模型；在步骤S3训练后得到的的神经网络模型基础上，利用将之前步骤S2中所获得的测试集图像输入模型进行预测的方式进行测试，检测该神经网络对降雨大小情况识别的有效性与准确性；重复多次训练及测试后，保存在测试集上分类精度最高的神经网络模型用以实际应用；将训练得到的网络模型部署在智能终端设备上。
步骤S5具体为：智能终端设备通过步骤S2和步骤S3在线采集并处理获得的边缘二值图输入至部署其上的网络模型中，经模型推理得到瞬时降雨强度分类预测结果(0～3)；按指定时间间隔进行多次预测并对得到的结果求均值，可得到时均降雨强度预测值，智能终端设备将预测结果及对应的瞬时时间戳或起止时间戳发送至指定服务器。
实施例
如图1所示，一种基于卷积神经网络的降雨强度检测方法，包括如下步骤：
S1：系统设置：选取水深10cm以上的不流动水体作为监测点；在摄像机镜头前加装0°通光方向的线偏振滤镜，并以接近于气-水界面布儒斯特角(36.9°)的俯仰角拍摄水面，用于增强雨生表面波的镜面反射强度；为获得清晰的雨生表面波纹理图像，摄像机图像分辨率和镜头焦距的组合应满足水面探测区域(ROI)图像的物理分辨率小于5mm/pixel，ROI图像的大小为256×256pixel；采用一台低功耗的智能终端设备通过以太网接口连接摄像机，用于摄像机控制及视频图像采集、处理和传输。
S2：采集图像对：智能终端设备控制摄像机以时间间隔t连续拍摄两帧原始大小的彩图，从中选取出ROI并按照如下公式(I)转换成灰度图；
S3：根据S2中所获得的图像进行深层卷积神经网络搭建。
GRAY＝(R×W1+G×W2+B×W3) (I)
S3：纹理特征提取：智能终端设备首先对两帧ROI的灰度图逐像素做灰度差分运算并取绝对值，得到一幅灰度残差图，然后采用Canny算子对灰度残差图进行边缘检测，得到一幅表征水面纹理特征的边缘二值图；
S4：网络模型构建：包括数据集构建、网络模型设计和网络模型训练三个步骤：
S4.1：数据集构建：首先智能终端设备按步骤S2-S3采集并生成不同气象、水流和光照条件下的ROI边缘二值图，并将其和对应的时间戳通过以太网发送至用于网络模型训练的工作站；然后在工作站上依据气象局提供或现场雨量计实测的降雨量数据，采用图像分类标注工具对二值图进行降雨强度的分类标注，标注方法为：24小时降雨量在0.1mm及以下标注为无雨，标签值为0；0.1mm到10mm标注为小雨，标签值为1；10mm到25mm标注为中雨，标签值为2；25mm及以上标注为大雨，标签值为3；最后将所有二值图的样本集按照8:2的比例划分为训练集和测试集，用于后续的网络模型训练及测试。
S4.2：网络模型设计：为实现输入的ROI边缘二值图到降雨强度4分类结果的推理，设计具有如附图2结构的卷积神经网络模型：
其中“卷积层”代表卷积层，括号内部分为该层卷积核参数即宽度×长度×通道数，各卷积层后都连接着一个“ReLU”激活函数层，为了公式的简洁该层并未给出；“池化层”代表最大值池化层，池化层的大小为(2,2)，步长为2；全连接层代表全连接层，用于将输入特征映射至样本标记空间；
设计的卷积神经网络通过分层计算特征图最终得到图像分类结果，卷积层通过卷积核在本层特征图上的卷积计算得到下一层的特征图，卷积核M可以包含若干个学习的权重参数，公式(II)给出了第m层的卷积特征图的计算公式：
Figure BDA0002956057620000091
其中，f(·)选用的激活函数，Mx和My分别表示卷积核M的长度和宽度，wjk表示卷积核M的权重值，
Figure BDA0002956057620000092
表示二维卷积运算，tm-1表示第m层的卷积特征图的输入，也是第m-1层的输出，bm表示第m层的滤波器的偏量；
激活函数选用的是“ReLU”，公式(III)给出了其函数运算公式：
f(x)＝max(0,x) (III)
全连接层全连接层操作可以由卷积核长Mx和宽My分别为卷积层13层输出的特征图像的长和宽，通道数为C的全局卷积操作实现。
最后使用softmax分类器做逐像素预测，softmax分类器会对每一个像素进行分类，判断每个像素所属类别之后计算损失函数，通过反向传播算法一层层的更新网络中的参数；
“softmax分类器”，是指一种常用的有监督多分类模型，对各个输入分类器的概率值做指数计算，经归一化后，最大值所代表的类别即为分类结果；
损失函数为交叉熵损失函数，计算损失函数的具体过程为将softmax分类器的输出向量和标注的样本数据的标签值做交叉熵处理，公式(IV)给出了交叉熵的计算公式：
Figure BDA0002956057620000101
其中，y′i指标注的标签值当中的第i个元素的真值，yi指softmax层的输出向量[Y1,Y2,Y3...]的第i个向量数据。
S4.3：网络模型训练：在工作站上采用步骤S4.1构建的训练集对网络模型进行训练，训练算法为梯度下降算法，通过结合测试集准确率调整神经网络结构和参数的方式获取效果较好的实时分类模型；最后保存训练完成的网络模型用于预测；
将S2步骤中通过处理得到的训练集样本输入至步骤S3中设计的卷积神经网络中进行训练，生成训练完毕的神经网络模型。
在S3训练后得到的的神经网络模型基础上，利用将之前步骤S2中所获得的测试集图像输入模型进行预测的方式进行测试，检测该神经网络对降雨大小情况识别的有效性与准确性。
重复多次训练及测试后，保存在测试集上分类精度最高的神经网络模型用以实际应用。
将训练得到的网络模型部署在智能终端设备上。
S5：降雨强度预测：如图3所示，智能终端设备通过步骤S2-S3在线采集并处理获得的边缘二值图输入至部署其上的网络模型中，经模型推理得到瞬时降雨强度分类预测结果(0～3)；按指定时间间隔进行多次预测并对得到的结果求均值，可得到时均降雨强度预测值，智能终端设备将预测结果及对应的瞬时时间戳或起止时间戳发送至指定服务器。

Claims (6)

1.一种基于卷积神经网络的降雨强度检测方法，其特征在于，包括如下步骤：
S1：智能终端设备系统设置，采用智能终端设备通过以太网接口连接摄像机，用于摄像机控制及视频图像采集、处理和传输；在所述的摄像机的镜头前加装0°通光方向的线偏振滤镜；
S2：采集图像对；
S3：对S2中所获取的图像对进行残差二值化处理，智能终端设备首先对两帧ROI的灰度图逐像素做灰度差分运算并取绝对值，得到一幅灰度残差图，然后采用Canny算子对灰度残差图进行边缘检测，得到表征水面纹理特征的边缘二值图；
S4：网络模型构建：包括数据集构建、网络模型设计和网络模型训练，包括如下步骤：S4.1：数据集构建：首先智能终端设备按步骤S2-S3采集并生成不同气象、水流和光照条件下的ROI边缘二值图，并将其和对应的时间戳通过以太网发送至用于网络模型训练的工作站；然后在工作站上依据气象局提供或现场雨量计实测的降雨量数据，采用图像分类标注工具对二值图进行降雨强度的分类标注；
S4.2：网络模型设计：为实现输入的ROI边缘二值图到降雨强度4分类结果的推理，设计卷积神经网络模型；
设计的卷积神经网络通过分层计算特征图最终得到图像分类结果，卷积层通过卷积核在本层特征图上的卷积计算得到下一层的特征图，卷积核M包含若干个学习的权重参数，公式(II)给出了第m层的卷积特征图的计算公式：
Figure FDA0003728203420000011
其中，f(·)选用的激活函数，Mx和My分别表示卷积核M的长度和宽度，wjk表示卷积核M的权重值，
Figure FDA0003728203420000012
表示二维卷积运算，tm-1表示第m层的卷积特征图的输入，也是第m-1层的输出，bm表示第m层的滤波器的偏量，j，k为相应的像素x，y坐标；
激活函数选用的是“ReLU”，公式(III)给出了其函数运算公式：
f(x)＝max(0,x) (III)
全连接层全连接层操作由卷积核长Mx和宽My分别为卷积层13层输出的特征图像的长和宽，通道数为C的全局卷积操作实现；
最后使用softmax分类器做逐像素预测，对各个输入分类器的概率值做指数计算，经归一化后，最大值所代表的类别即为分类结果；
损失函数为交叉熵损失函数，计算损失函数的具体过程为将softmax分类器的输出向量和标注的样本数据的标签值做交叉熵处理，公式(IV)给出了交叉熵的计算公式：
Figure FDA0003728203420000021
其中，y′i指标注的标签值当中的第i个样本的真值，yi指softmax分类器的输出向量[Y1,Y2,Y3…]的第i个样本预测数据，n为训练样本数量；
S5：降雨强度预测。
2.根据权利要求1所述的一种基于卷积神经网络的降雨强度检测方法，其特征在于，所述的步骤S2中，所述的智能终端设备控制摄像机以时间间隔t连续拍摄两帧原始大小的彩图，从中选取出ROI按照如下公式(I)转换成灰度图
GRAY＝(R×W1+G×W2+B×W3) (I)
其中，R、G、B分别代表图像存储红绿蓝三通道的像素值，W1，W2，W3为灰度化权重参数，取值范围为0到1，W1，W2，W3之和为1。
3.根据权利要求1所述的一种基于卷积神经网络的降雨强度检测方法，其特征在于，所述的步骤S4还包括步骤：
S4.3：网络模型训练：在工作站上采用步骤S4.1构建的训练集对网络模型进行训练，训练算法为梯度下降算法，通过结合测试集准确率调整神经网络结构和参数的方式获取实时分类模型；最后保存训练完成的网络模型用于预测。
4.根据权利要求3所述的一种基于卷积神经网络的降雨强度检测方法，其特征在于，所述的步骤S4.1中的标注方法为：24小时降雨量在0.1mm及以下标注为无雨，标签值为0；0.1mm到10mm标注为小雨，标签值为1；10mm到25mm标注为中雨，标签值为2；25mm及以上标注为大雨，标签值为3；最后将所有二值图的样本集按照8:2的比例划分为训练集和测试集，用于后续的网络模型训练及测试。
5.根据权利要求1所述的一种基于卷积神经网络的降雨强度检测方法，其特征在于，将所述的步骤S2中通过处理得到的训练集样本输入至步骤S3中设计的卷积神经网络中进行训练，生成训练完毕的神经网络模型；在步骤S3训练后得到的的神经网络模型基础上，利用将之前步骤S2中所获得的测试集图像输入模型进行预测的方式进行测试，重复多次训练及测试后，保存在测试集上分类精度最高的神经网络模型用以实际应用；将训练得到的网络模型部署在智能终端设备上。
6.根据权利要求1所述的一种基于卷积神经网络的降雨强度检测方法，其特征在于，所述的步骤S5具体为：智能终端设备通过步骤S2和步骤S3在线采集并处理获得的边缘二值图输入至部署其上的网络模型中，经模型推理得到瞬时降雨强度分类预测结果；按指定时间间隔进行多次预测并对得到的结果求均值，得到时均降雨强度预测值，智能终端设备将预测结果及对应的瞬时时间戳或起止时间戳发送至指定服务器。
CN202110223872.4A 2021-03-01 2021-03-01 一种基于卷积神经网络的降雨强度检测方法 Active CN112883969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110223872.4A CN112883969B (zh) 2021-03-01 2021-03-01 一种基于卷积神经网络的降雨强度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110223872.4A CN112883969B (zh) 2021-03-01 2021-03-01 一种基于卷积神经网络的降雨强度检测方法

Publications (2)

Publication Number Publication Date
CN112883969A CN112883969A (zh) 2021-06-01
CN112883969B true CN112883969B (zh) 2022-08-26

Family

ID=76054974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110223872.4A Active CN112883969B (zh) 2021-03-01 2021-03-01 一种基于卷积神经网络的降雨强度检测方法

Country Status (1)

Country Link
CN (1) CN112883969B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549914B (zh) * 2022-04-24 2022-07-12 中国民航大学 一种飞机大面积结冰检测方法及检测系统
CN117574787B (zh) * 2024-01-17 2024-04-30 深圳市郑中设计股份有限公司 一种室内设计用室内采光率模拟系统、方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722982A (zh) * 2012-03-30 2012-10-10 上海市金山区青少年活动中心 基于背景与帧间差分算法的车流及其运动状态检测方法
CN107341179A (zh) * 2017-05-26 2017-11-10 深圳奥比中光科技有限公司 标准运动数据库的生成方法、装置及存储装置
CN110008831A (zh) * 2019-02-23 2019-07-12 晋能大土河热电有限公司 一种基于计算机视觉分析的智能化监控融合系统
CN110610190A (zh) * 2019-07-31 2019-12-24 浙江大学 一种针对雨天图片的卷积神经网络降雨强度分类方法
CN111598098A (zh) * 2020-05-09 2020-08-28 河海大学 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法
CN111932519A (zh) * 2020-08-12 2020-11-13 上海眼控科技股份有限公司 天气预测方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722982A (zh) * 2012-03-30 2012-10-10 上海市金山区青少年活动中心 基于背景与帧间差分算法的车流及其运动状态检测方法
CN107341179A (zh) * 2017-05-26 2017-11-10 深圳奥比中光科技有限公司 标准运动数据库的生成方法、装置及存储装置
CN110008831A (zh) * 2019-02-23 2019-07-12 晋能大土河热电有限公司 一种基于计算机视觉分析的智能化监控融合系统
CN110610190A (zh) * 2019-07-31 2019-12-24 浙江大学 一种针对雨天图片的卷积神经网络降雨强度分类方法
CN111598098A (zh) * 2020-05-09 2020-08-28 河海大学 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法
CN111932519A (zh) * 2020-08-12 2020-11-13 上海眼控科技股份有限公司 天气预测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112883969A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN113392775B (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN111983732B (zh) 一种基于深度学习的降水强度估计方法
CN111598098B (zh) 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN112883969B (zh) 一种基于卷积神经网络的降雨强度检测方法
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
US20220128358A1 (en) Smart Sensor Based System and Method for Automatic Measurement of Water Level and Water Flow Velocity and Prediction
CN112258490A (zh) 基于光学和红外图像融合的低发射率涂层智能探损方法
CN110766333B (zh) 一种天气现象信息智能处理方法及系统
CN112749654A (zh) 一种用于视频大雾监测的深度神经网络模型构建方法、系统及装置
CN115131325A (zh) 一种基于图像识别分析的断路器故障运维监测方法及系统
CN115497015A (zh) 一种基于卷积神经网络的河流漂浮污染物识别方法
CN115908354A (zh) 一种基于双尺度策略和改进的yolov5网络的光伏面板缺陷检测方法
CN113628164A (zh) 一种基于深度学习与web端定位的路面裂缝检测方法
CN113313107A (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
CN115311623A (zh) 一种基于红外热成像的设备漏油检测方法及系统
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
CN117011759A (zh) 钻爆法隧道掌子面围岩多元地质信息解析方法及系统
CN111539356A (zh) 一种基于线阵图像的路面缝隙精准高效检测方法
CN116543300A (zh) 一种基于语义分割的云-气溶胶层次分类方法
CN113343942B (zh) 一种遥感图像缺陷检测方法
CN115423725B (zh) 一种遥感影像修复方法及装置
CN116052141B (zh) 作物生育期的识别方法、装置、设备及介质
CN116665016B (zh) 一种基于改进YOLOv5的单帧红外弱小目标检测方法
CN113257000B (zh) 一种道路黑冰智能化检测预警系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant