CN113469278B - 一种基于深度卷积神经网络的强天气目标识别方法 - Google Patents

一种基于深度卷积神经网络的强天气目标识别方法 Download PDF

Info

Publication number
CN113469278B
CN113469278B CN202110829014.4A CN202110829014A CN113469278B CN 113469278 B CN113469278 B CN 113469278B CN 202110829014 A CN202110829014 A CN 202110829014A CN 113469278 B CN113469278 B CN 113469278B
Authority
CN
China
Prior art keywords
model
detection
training
images
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110829014.4A
Other languages
English (en)
Other versions
CN113469278A (zh
Inventor
秦运龙
张冰松
许玮
王迎迎
陈良华
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Meteorological Information And Technology Support Center
China Yangtze Power Co Ltd
Original Assignee
Hubei Meteorological Information And Technology Support Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Meteorological Information And Technology Support Center filed Critical Hubei Meteorological Information And Technology Support Center
Priority to CN202110829014.4A priority Critical patent/CN113469278B/zh
Publication of CN113469278A publication Critical patent/CN113469278A/zh
Application granted granted Critical
Publication of CN113469278B publication Critical patent/CN113469278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度卷积神经网络的强天气目标识别方法，包括以下步骤：数据集收集；数据集构建；模型构建；模型训练与验证；模型测试。本发明的一种基于深度卷积神经网络的强天气目标识别方法设计合理，能够有效检测出图像、视频中强天气个体目标(龙卷、冰雹、雷电)，并框选出目标位置和置信度，对于图像中发生强天气现象的检测准确率更是高达96％以上，漏检率为0，能够对实况图像中强天气现象做出及时有效的告警，为第一时间决策服务提供有力的实况警报信息，减少天气灾害的损失。

Description

一种基于深度卷积神经网络的强天气目标识别方法
技术领域
本发明属于气象监测领域，特别涉及一种基于深度卷积神经网络的强天气目标识别方法。
背景技术
目前的预报手段和天气雷达监测对小范围强天气均存在虚报和漏报率高，且无法精确定时定位，不能足够有效的获取这些突发性强、空间尺度小、时间持续短的强天气现象的发生，在现象发生很长一段时间后才能获取信息并做出相应的决策和救援，使得灾害损失在没有干预的情况下持续扩大。因此能够第一时间识别到强天气过程的发生并作出及时告警，可为决策服务提供最及时的可靠信息，第一时间为灾害发生进行人工干预，极大的减少人员伤亡和财产损失。
目前国内进行的一些基于神经网络的天气现象识别研究分为两种，第一种是基于卫星云图和实况图片的纹理特征提取，通过聚类算法进行分类研究，只需要判断样本数据的类别，例如云的种类，天气现象类别判断(晴天、雨天、阴天、雪天)，这些分类无法判断图片中具体单体事件的发生，而且依赖的样本数据环境相对单一简单；第二种是基于雷达拼图的强天气现象识别，这种识别也是基于提取雷达图中强回波的特征和路径进行神经网络学习，判断某个大的区域内可能发生大风和强降水，这种方法局限于雷达回波信息，且回波受到多种因素干扰，也存在较高的虚警率和漏报率，为此，本发明提出一种基于深度卷积神经网络的强天气目标识别方法。
发明内容
为了解决现有技术存在的问题，本发明提供了一种基于深度卷积神经网络的强天气目标识别方法，本发明的基于深度卷积神经网络的强天气目标识别方法能够有效检测出图像、视频中强天气个体目标(龙卷、冰雹、雷电)，并框选出目标位置和置信度，对于图像中发生强天气现象的检测准确率更是高达96％以上，漏检率为0，能够对实况图像中强天气现象做出及时有效的告警，为第一时间决策服务提供有力的实况警报信息，减少天气灾害的损失。
为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于深度卷积神经网络的强天气目标识别方法，具体步骤如下：
步骤一：数据集收集：强天气现象图像和视频在业务中主要来源于国家气象站摄像头，由于龙卷、冰雹等强天气现象出现频率和范围小，没有足够的观测样本，因此模型训练所用龙卷和冰雹图像均通过互联网收集获得，其样本大小、角度、清晰度存在较大差异，一定程度影响模型训练结果，但同时也使得模型训练结果具有更多样化的适应性，共计龙卷风图像500张，冰雹图像500张，雷电图像1000张进行模型学习训练；
步骤二：数据集构建：在模型训练前通过lableimg工具对所有数据集图像中强天气目标对象进行人工框选标注，其中龙卷风目标个体明确，标注简单；闪电个体分支较多，存在一定标注歧义；冰雹个体存在冰雹数量多、相互覆盖、融化、破损等众多因素影响，存在标注目标个体差异大的问题，但不影响图像整体目标个体存在性问题的标注；
训练过程中所有数据集图像按9:1的比例随机划分为train、test图像数据集分别用来模型训练和模型测试。另外在train数据集中随机划分60％数据集val用来在训练中进行模型验证，模型验证不影响模型训练结果；
步骤三：模型构建；YOLOv5模型结构主要包括输入端、Backbone、Neck、Prediction四部分组成，如下：
①：输入端：输入端主要包括图像大小插值、Mosaic数据增强、自适应锚框计算三个操作，图像大小插值：为保证模型训练的一致性，在模型训练前将所有图像插值为相同大小，Mosaic数据增强：对图像进行随机缩放、随机裁剪、随机排布的方式进行拼接，对于小目标的检测效果较好，自适应锚框计算：设置初始长宽的锚框，进行网络训练迭代训练，反复更新；
②：Backbone:该部分主要由Focus+CSPdarknet+SPP结构实现，其中Focus结构中比较关键的是切片操作，采用切片操作，先将2M*2M*3大小的图像变成M*M*12的特征图，再经过一次80个卷积核的卷积操作，最终变成M*M*34的特征图，CSPdarknet解决了卷积神经网络框架Backbone中网络优化的梯度信息重复问题，将梯度的变化从头到尾地集成到特征图中，因此减少了模型的参数量和FLOPS数值，SPP层即空间金字塔池化，可以增大感受野，有助于解决anchor和feature map的对齐问题；
③：Neck：该部分由FPN+PAN结构实现，其中FPN是自顶向下的，将高层的特征信息通过上采样的方式进行传递融合，得到进行预测的特征图,而PAN则自底向上传达强定位特征，两种结构组合可以提升了大物体的检测效果；
④：Prediction：YOLOv5预测中主要损失bounding box采用GIOU_Loss函数，Objectness目标检测采用BECLogits损失函数，Classification分类采用了交叉熵损失函数(BCEclsloss)衡量损失；
YOLOv5模型训练效果的评价指标主要包括模型检测损失值和模型检测PR曲线相关指标，具体如下：
YOLOv5总的损失包括检测框bounding box的损失、Objectness目标检测损失以及Classification分类损失三部分组成，三个损失值越小则模型训练结果越优，其中bounding box采用了GIoU Loss作为损失函数，作为距离的一种度量，对尺度不敏感；Objectness采用BECLogits损失函数，Classification采用了交叉熵损失函数(BCEclsloss)；
①损失指标：
GIoU损失函数：
Figure GDA0003538272430000041
其中A为检测框，B为标记框，C为同时包括A和B的最小封闭框；
多分类情况下交叉熵损失函数：
Figure GDA0003538272430000051
其中M为类别数量；yic表示图像样本i的预测类别和真实类别相同就是1，否则是0；pic表示图像样本i属于类别c的预测概率；
②PR曲线相关指标：
Intersection-over-Union交并比(记为IoU)：为系统预测出来的区域与原来图片中标记的区域的重合程度，用来作为判断检测结果是否正确的阈值，大于IoU值则说明检测正确；
Precision精度(记为P)：分类器认为是正类并且确实是正类的部分占所有分类器认为是正类的比；
Recall召回率(记为R)：分类器认为是正类并且确实是正类的部分占所有确实是正类的比例：
Figure GDA0003538272430000052
显然P值和R值越高检测效果越好，但单独以P值或R值定义模型检测性能存在片面性，P值和R值之间存在一定的矛盾关系，因此采用以precision和recall作为纵、横轴坐标的二维PR曲线来显示出模型在Precision与Recall之间的权衡关系，在PR曲线中通常用Average Precision(AP)和mean Average Precision(mAP)值来衡量整个曲线的性能指标,mAP为所有类AP的平均值，mAP@.5则为IoU＝0.5时mAP的值，是模型总体性能的一个重要指标；
Figure GDA0003538272430000053
Figure GDA0003538272430000061
其中p代表Precision，r代表Recall，p是一个以r为参数的函数；N代表测试集中所有图片的个数，P(k)表示在能识别出k个图片的时候Precision的值，而Δr(k)则表示识别图片个数从k-1变化到k时Recall值的变化情况；
步骤四：模型训练与验证；为保证识别效果，采用YOLOv5x网络结构,具体步骤如下：
①：数据源接入，模型训练数据源为收集的train图像数据集；
②：模型训练：模型训练初始化权重参数文件为yolov5x.pt，网络结构参数文件为yolov5x.yaml训练，IoU参数设置为0.5，迭代训练200次；
③：训练输出：输出训练后的强天气识别模型权重文件weather.pt；
④：验证：采用训练所得的weather.pt权重文件和网络结构参数文件yolov5x.yaml进行目标检测验证，验证输入的数据集为收集的val图像数据集，并输出相关性能验证结果。
步骤五：模型测试；模型训练结束后输出weather.pt权重文件，以weather.pt和yolov5x.yaml作为主要参数文件对test数据集和50张无强天气目标图像进行测试目标检测。
①：数据源接入，数据源可以是图像、视频文件或者是视频流，这里以test数据集和50张无强天气目标图像进行测试；
②：目标检测：目标检测中采用训练所得的weather.pt权重文件作为参数进行检测，根据业务需要和模型验证的性能结果设置置信度阈值confidence1，为保证高的检出率和低的漏检率，confidence1设置较小；
③：输出检测结果文件,检测结果包括带检测框的图像或视频，检测到目标的个数和种类、目标在图像中的位置；
④：告警：当检测目标数大于1时,说明存在强天气现象，进行告警处理，在进行告警处理时根据检测的类别分别设置龙卷、冰雹、雷电置信度二次阈值，当所有检测目标的置信度低于二次阈值时进行人工判断，若有一个目标的置信度高于二次阈值则直接发出对应强天气现象的告警；
作为本发明的一种优选实施方式，所述步骤五的②中置信度阈值confidence1的范围为0-1。
作为本发明的一种优选实施方式，所述步骤一中，雷电图像从深圳大学可视计算研究中心下载。
作为本发明的一种优选实施方式，所述步骤三的①中所有图像插值均为640*640。
作为本发明的一种优选实施方式，所述步骤三中，IoU值则默认取0.5。
本发明的有益效果为：
1、本发明的一种基于深度卷积神经网络的强天气目标识别方法能够有效检测出图像、视频中强天气个体目标(龙卷、冰雹、雷电)，并框选出目标位置和置信度，对于图像中发生强天气现象的检测准确率更是高达96％以上，漏检率为0，能够对实况图像中强天气现象做出及时有效的告警，为第一时间决策服务提供有力的实况警报信息，减少天气灾害的损失。
2、本发明的一种基于深度卷积神经网络的强天气目标识别方法能够融入全国气象部门天擎系统对国家气象观测站视频流数据进行强天气检测，未来随着5G甚至6G的快速发展，区域气象站设置摄像头获取实况视频流和图像数据将成为可能，获取强天气样本数将进一步增加，模型可进一步得到优化，同时也可实现区域气象站强天气识别的全覆盖。
附图说明
图1为一种基于深度卷积神经网络的强天气目标识别方法的流程图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
请参阅图1，本发明提供一种技术方案：一种基于深度卷积神经网络的强天气目标识别方法，具体步骤如下：
步骤一：数据集收集：强天气现象图像和视频在业务中主要来源于国家气象站摄像头，由于龙卷、冰雹等强天气现象出现频率和范围小，没有足够的观测样本，因此模型训练所用龙卷和冰雹图像均通过互联网收集获得，其样本大小、角度、清晰度存在较大差异，一定程度影响模型训练结果，但同时也使得模型训练结果具有更多样化的适应性，共计龙卷风图像500张，冰雹图像500张，雷电图像1000张进行模型学习训练；
步骤二：数据集构建：在模型训练前通过lableimg工具对所有数据集图像中强天气目标对象进行人工框选标注，其中龙卷风目标个体明确，标注简单；闪电个体分支较多，存在一定标注歧义；冰雹个体存在冰雹数量多、相互覆盖、融化、破损等众多因素影响，存在标注目标个体差异大的问题，但不影响图像整体目标个体存在性问题的标注；
训练过程中所有数据集图像按9:1的比例随机划分为train、test图像数据集分别用来模型训练和模型测试。另外在train数据集中随机划分60％数据集val用来在训练中进行模型验证，模型验证不影响模型训练结果；
步骤三：模型构建；YOLOv5模型结构主要包括输入端、Backbone、Neck、Prediction四部分组成，如下：
①：输入端：输入端主要包括图像大小插值、Mosaic数据增强、自适应锚框计算三个操作，图像大小插值：为保证模型训练的一致性，在模型训练前将所有图像插值为相同大小，Mosaic数据增强：对图像进行随机缩放、随机裁剪、随机排布的方式进行拼接，对于小目标的检测效果较好，自适应锚框计算：设置初始长宽的锚框，进行网络训练迭代训练，反复更新；
②：Backbone:该部分主要由Focus+CSPdarknet+SPP结构实现，其中Focus结构中比较关键的是切片操作，采用切片操作，先将2M*2M*3大小的图像变成M*M*12的特征图，再经过一次80个卷积核的卷积操作，最终变成M*M*34的特征图，CSPdarknet解决了卷积神经网络框架Backbone中网络优化的梯度信息重复问题，将梯度的变化从头到尾地集成到特征图中，因此减少了模型的参数量和FLOPS数值，SPP层即空间金字塔池化，可以增大感受野，有助于解决anchor和feature map的对齐问题；
③：Neck：该部分由FPN+PAN结构实现，其中FPN是自顶向下的，将高层的特征信息通过上采样的方式进行传递融合，得到进行预测的特征图,而PAN则自底向上传达强定位特征，两种结构组合可以提升了大物体的检测效果；
④：Prediction：YOLOv5预测中主要损失bounding box采用GIOU_Loss函数，Objectness目标检测采用BECLogits损失函数，Classification分类采用了交叉熵损失函数(BCEclsloss)衡量损失；
YOLOv5模型训练效果的评价指标主要包括模型检测损失值和模型检测PR曲线相关指标，具体如下：
YOLOv5总的损失包括检测框bounding box的损失、Objectness目标检测损失以及Classification分类损失三部分组成，三个损失值越小则模型训练结果越优，其中bounding box采用了GIoU Loss作为损失函数，作为距离的一种度量，对尺度不敏感；Objectness采用BECLogits损失函数，Classification采用了交叉熵损失函数(BCEclsloss)；
①损失指标：
GIoU损失函数：
Figure GDA0003538272430000101
其中A为检测框，B为标记框，C为同时包括A和B的最小封闭框；
多分类情况下交叉熵损失函数：
Figure GDA0003538272430000111
其中M为类别数量；yic表示图像样本i的预测类别和真实类别相同就是1，否则是0；pic表示图像样本i属于类别c的预测概率；
②PR曲线相关指标：
Intersection-over-Union交并比(记为IoU)：为系统预测出来的区域与原来图片中标记的区域的重合程度，用来作为判断检测结果是否正确的阈值，大于IoU值则说明检测正确；
Precision精度(记为P)：分类器认为是正类并且确实是正类的部分占所有分类器认为是正类的比；
Recall召回率(记为R)：分类器认为是正类并且确实是正类的部分占所有确实是正类的比例：
Figure GDA0003538272430000112
显然P值和R值越高检测效果越好，但单独以P值或R值定义模型检测性能存在片面性，P值和R值之间存在一定的矛盾关系，因此采用以precision和recall作为纵、横轴坐标的二维PR曲线来显示出模型在Precision与Recall之间的权衡关系，在PR曲线中通常用Average Precision(AP)和mean Average Precision(mAP)值来衡量整个曲线的性能指标,mAP为所有类AP的平均值，mAP@.5则为IoU＝0.5时mAP的值，是模型总体性能的一个重要指标；
Figure GDA0003538272430000121
Figure GDA0003538272430000122
其中p代表Precision，r代表Recall，p是一个以r为参数的函数；N代表测试集中所有图片的个数，P(k)表示在能识别出k个图片的时候Precision的值，而Δr(k)则表示识别图片个数从k-1变化到k时Recall值的变化情况；
步骤四：模型训练与验证；为保证识别效果，采用YOLOv5x网络结构,具体步骤如下：
①：数据源接入，模型训练数据源为收集的train图像数据集；
②：模型训练：模型训练初始化权重参数文件为yolov5x.pt，网络结构参数文件为yolov5x.yaml训练，IoU参数设置为0.5，迭代训练200次；
③：训练输出：输出训练后的强天气识别模型权重文件weather.pt；
④：验证：采用训练所得的weather.pt权重文件和网络结构参数文件yolov5x.yaml进行目标检测验证，验证输入的数据集为收集的val图像数据集，并输出相关性能验证结果。
步骤五：模型测试；模型训练结束后输出weather.pt权重文件，以weather.pt和yolov5x.yaml作为主要参数文件对test数据集和50张无强天气目标图像进行测试目标检测。
①：数据源接入，数据源可以是图像、视频文件或者是视频流，这里以test数据集和50张无强天气目标图像进行测试；
②：目标检测：目标检测中采用训练所得的weather.pt权重文件作为参数进行检测，根据业务需要和模型验证的性能结果设置置信度阈值confidence1，为保证高的检出率和低的漏检率，confidence1设置较小；
③：输出检测结果文件,检测结果包括带检测框的图像或视频，检测到目标的个数和种类、目标在图像中的位置；
④：告警：当检测目标数大于1时,说明存在强天气现象，进行告警处理，在进行告警处理时根据检测的类别分别设置龙卷、冰雹、雷电置信度二次阈值，当所有检测目标的置信度低于二次阈值时进行人工判断，若有一个目标的置信度高于二次阈值则直接发出对应强天气现象的告警；
作为本发明的一种优选实施方式，所述步骤五的②中置信度阈值confidence1的范围为0-1。
作为本发明的一种优选实施方式，所述步骤一中，雷电图像从深圳大学可视计算研究中心下载。
作为本发明的一种优选实施方式，所述步骤三的①中所有图像插值均为640*640。
作为本发明的一种优选实施方式，所述步骤三中，IoU值则默认取0.5。
作为本发明的一种优选实施方式，该基于深度卷积神经网络的强天气目标识别方法能够有效检测出图像、视频中强天气个体目标(龙卷、冰雹、雷电)，并框选出目标位置和置信度，对于图像中发生强天气现象的检测准确率更是高达96％以上，漏检率为0，能够对实况图像中强天气现象做出及时有效的告警，为第一时间决策服务提供有力的实况警报信息，减少天气灾害的损失，能够融入全国气象部门天擎系统对国家气象观测站视频流数据进行强天气检测，未来随着5G甚至6G的快速发展，区域气象站设置摄像头获取实况视频流和图像数据将成为可能，获取强天气样本数将进一步增加，模型可进一步得到优化，同时也可实现区域气象站强天气识别的全覆盖。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种基于深度卷积神经网络的强天气目标识别方法，其特征在于，具体步骤如下：
步骤一：数据集收集：模型训练所用龙卷和冰雹图像均通过互联网收集获得，其样本大小、角度、清晰度存在较大差异，一定程度影响模型训练结果，但同时也使得模型训练结果具有更多样化的适应性，共计龙卷风图像500张，冰雹图像500张，雷电图像1000张进行模型学习训练；
步骤二：数据集构建：在模型训练前通过lableimg工具对所有数据集图像中强天气目标对象进行人工框选标注；
训练过程中所有数据集图像按9:1的比例随机划分为train、test图像数据集分别用来模型训练和模型测试；另外在train数据集中随机划分60％数据集val用来在训练中进行模型验证，模型验证不影响模型训练结果；
步骤三：模型构建：YOLOv5模型结构主要包括输入端、Backbone、Neck、Prediction四部分组成，如下：
①：输入端：输入端主要包括图像大小插值、Mosaic数据增强、自适应锚框计算三个操作，图像大小插值：为保证模型训练的一致性，在模型训练前将所有图像插值为相同大小，Mosaic数据增强：对图像进行随机缩放、随机裁剪、随机排布的方式进行拼接，对于小目标的检测效果较好，自适应锚框计算：设置初始长宽的锚框，进行网络训练迭代训练，反复更新；
②：Backbone:该部分主要由Focus+CSPdarknet+SPP结构实现，其中Focus结构中比较关键的是切片操作，采用切片操作，先将2M*2M*3大小的图像变成M*M*12的特征图，再经过一次80个卷积核的卷积操作，最终变成M*M*34的特征图，CSPdarknet解决了卷积神经网络框架Backbone中网络优化的梯度信息重复问题，将梯度的变化从头到尾地集成到特征图中，因此减少了模型的参数量和FLOPS数值，SPP层即空间金字塔池化，可以增大感受野，有助于解决anchor和feature map的对齐问题；
③：Neck：该部分由FPN+PAN结构实现，其中FPN是自顶向下的，将高层的特征信息通过上采样的方式进行传递融合，得到进行预测的特征图,而PAN则自底向上传达强定位特征，两种结构组合可以提升了大物体的检测效果；
④：Prediction：YOLOv5预测中主要损失bounding box采用GIOU_Loss函数，Objectness目标检测采用BECLogits损失函数，Classification分类采用了交叉熵损失函数(BCEclsloss)衡量损失；
YOLOv5模型训练效果的评价指标主要包括模型检测损失值和模型检测PR曲线相关指标，具体如下：
YOLOv5总的损失包括检测框bounding box的损失、Objectness目标检测损失以及Classification分类损失三部分组成，三个损失值越小则模型训练结果越优，其中bounding box采用了GIoU Loss作为损失函数，作为距离的一种度量，对尺度不敏感；Objectness 采用BECLogits损失函数，Classification采用了交叉熵损失函数BCEclsloss；
①损失指标：
GIoU损失函数：
Figure FDA0003538272420000031
其中A为检测框，B为标记框，C为同时包括A和B的最小封闭框；
多分类情况下交叉熵损失函数：
Figure FDA0003538272420000032
其中M为类别数量；yic表示图像样本i的预测类别和真实类别相同就是1，否则是0；pic表示图像样本i属于类别c的预测概率；
②PR曲线相关指标：
Intersection-over-Union交并比，记为IoU：为系统预测出来的区域与原来图片中标记的区域的重合程度，用来作为判断检测结果是否正确的阈值，大于IoU值则说明检测正确；
Precision精度，记为P：分类器认为是正类并且确实是正类的部分占所有分类器认为是正类的比；
Recall召回率，记为R：分类器认为是正类并且确实是正类的部分占所有确实是正类的比例：
Figure FDA0003538272420000033
显然P值和R值越高检测效果越好，但单独以P值或R值定义模型检测性能存在片面性，P值和R值之间存在一定的矛盾关系，因此采用以precision和recall作为纵、横轴坐标的二维PR曲线来显示出模型在Precision与Recall之间的权衡关系，在PR曲线中通常用AveragePrecision记为AP和mean Average Precision记为mAP值来衡量整个曲线的性能指标,mAP为所有类AP的平均值，mAP@.5则为IoU＝0.5时mAP的值，是模型总体性能的一个重要指标；
Figure FDA0003538272420000041
Figure FDA0003538272420000042
其中p代表Precision，r代表Recall，p是一个以r为参数的函数；N代表测试集中所有图片的个数，P(k)表示在能识别出k个图片的时候Precision的值，而Δr(k)则表示识别图片个数从k-1变化到k时Recall值的变化情况；
步骤四：模型训练与验证；为保证识别效果，采用YOLOv5x网络结构,具体步骤如下：
①：数据源接入，模型训练数据源为收集的train图像数据集；
②：模型训练：模型训练初始化权重参数文件为yolov5x.pt，网络结构参数文件为yolov5x.yaml训练，IoU参数设置为0.5，迭代训练200次；
③：训练输出：输出训练后的强天气识别模型权重文件weather.pt；
④：验证：采用训练所得的weather.pt权重文件和网络结构参数文件yolov5x.yaml进行目标检测验证，验证输入的数据集为收集的val图像数据集，并输出相关性能验证结果；
步骤五：模型测试；模型训练结束后输出weather.pt权重文件，以weather.pt和yolov5x.yaml作为主要参数文件对test数据集和50张无强天气目标图像进行测试目标检测；
①：数据源接入，数据源可以是图像、视频文件或者是视频流，这里以test数据集和50张无强天气目标图像进行测试；
②：目标检测：目标检测中采用训练所得的weather.pt权重文件作为参数进行检测，根据业务需要和模型验证的性能结果设置置信度阈值confidence1，为保证高的检出率和低的漏检率，confidence1设置较小；
③：输出检测结果文件,检测结果包括带检测框的图像或视频，检测到目标的个数和种类、目标在图像中的位置；
④：告警：当检测目标数大于1时,说明存在强天气现象，进行告警处理，在进行告警处理时根据检测的类别分别设置龙卷、冰雹、雷电置信度二次阈值，当所有检测目标的置信度低于二次阈值时进行人工判断，若有一个目标的置信度高于二次阈值则直接发出对应强天气现象的告警。
2.根据权利要求1所述的一种基于深度卷积神经网络的强天气目标识别方法，其特征在于：所述步骤五的②中置信度阈值confidence1的范围为0-1。
3.根据权利要求1所述的一种基于深度卷积神经网络的强天气目标识别方法，其特征在于：所述步骤一中，雷电图像从深圳大学可视计算研究中心下载。
4.根据权利要求1所述的一种基于深度卷积神经网络的强天气目标识别方法，其特征在于：所述步骤三的①中所有图像插值均为640*640。
5.根据权利要求1所述的一种基于深度卷积神经网络的强天气目标识别方法，其特征在于：所述步骤三中，IoU值则默认取0.5。
CN202110829014.4A 2021-07-22 2021-07-22 一种基于深度卷积神经网络的强天气目标识别方法 Active CN113469278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110829014.4A CN113469278B (zh) 2021-07-22 2021-07-22 一种基于深度卷积神经网络的强天气目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110829014.4A CN113469278B (zh) 2021-07-22 2021-07-22 一种基于深度卷积神经网络的强天气目标识别方法

Publications (2)

Publication Number Publication Date
CN113469278A CN113469278A (zh) 2021-10-01
CN113469278B true CN113469278B (zh) 2022-05-20

Family

ID=77881782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110829014.4A Active CN113469278B (zh) 2021-07-22 2021-07-22 一种基于深度卷积神经网络的强天气目标识别方法

Country Status (1)

Country Link
CN (1) CN113469278B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114300099B (zh) * 2021-11-24 2022-07-05 大连工业大学 一种基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法
CN114120037B (zh) * 2021-11-25 2022-07-19 中国农业科学院农业信息研究所 一种基于改进yolov5模型的发芽马铃薯图像识别方法
CN114465925A (zh) * 2022-02-08 2022-05-10 北京知道未来信息技术有限公司 一种网络设施识别方法、装置、服务器及存储介质
CN115759416A (zh) * 2022-11-21 2023-03-07 四川省气象探测数据中心 一种网格实况产品的评估分析方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537368A (zh) * 2018-03-20 2018-09-14 国家气象中心 一种闪电预警方法、装置及系统
CN108802733A (zh) * 2018-06-15 2018-11-13 安徽诺安信息科技有限公司 一种基于气象雷达数据对冰雹探测的算法
CN110033132B (zh) * 2019-03-29 2021-06-11 中国人民解放军空军研究院战场环境研究所 基于深度目标检测和数值天气预报的热带气旋预报方法
CN112364686A (zh) * 2020-09-25 2021-02-12 江苏师范大学 基于深度学习的复杂天气道路场景识别系统的设计方法
CN112287899A (zh) * 2020-11-26 2021-01-29 山东捷讯通信技术有限公司 基于yolo v5的无人机航拍图像河流排污口检测方法及系统
CN112801169B (zh) * 2021-01-25 2024-02-06 中国人民解放军陆军工程大学 一种基于改进yolo算法的伪装目标检测方法、系统、装置及存储介质
CN113076842B (zh) * 2021-03-26 2023-04-28 烟台大学 一种用于提升极端天气与环境下交通标志识别精度的方法

Also Published As

Publication number Publication date
CN113469278A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN113469278B (zh) 一种基于深度卷积神经网络的强天气目标识别方法
Zhou et al. Forecasting different types of convective weather: A deep learning approach
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
Yang et al. An automated cirrus cloud detection method for a ground-based cloud image
CN110929607A (zh) 一种城市建筑物施工进度的遥感识别方法和系统
CN110675408A (zh) 基于深度学习的高分辨率影像建筑物提取方法及系统
CN112836713A (zh) 基于图像无锚框检测的中尺度对流系统识别与追踪方法
CN109241902A (zh) 一种基于多尺度特征融合的山体滑坡检测方法
CN112287983B (zh) 一种基于深度学习的遥感图像目标提取系统和方法
CN108254750B (zh) 一种基于雷达资料的下击暴流智能识别预警方法
CN115761513A (zh) 一种半监督深度学习的山区大型滑坡智能遥感识别方法
CN110516552B (zh) 一种基于时序曲线的多极化雷达图像分类方法及系统
CN115691049A (zh) 一种基于深度学习的对流初生预警方法
CN112347927A (zh) 基于卷积神经网络概率决策融合的高分影像建筑提取方法
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
Zhao et al. Image dehazing based on haze degree classification
CN114399734A (zh) 一种基于视觉信息的森林火灾预警方法
CN114463624A (zh) 一种应用于城市管理监督的违章建筑物检测方法及装置
CN114386654A (zh) 一种多尺度数值天气预报模式融合的天气预报方法及装置
Yang et al. Flood Detection Based on Unmanned Aerial Vehicle System and Deep Learning
Dong et al. Pixel-level intelligent segmentation and measurement method for pavement multiple damages based on mobile deep learning
CN116543308A (zh) 一种基于多模型融合的滑坡检测预警模型及预警方法
CN116704366A (zh) 基于transformer深度学习模型的暴雨落区识别预警方法和装置
CN115546658B (zh) 一种数据集质量提升与改进cnn相结合的夜间云检测方法
CN107886049B (zh) 一种基于摄像探头的能见度识别预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231027

Address after: 430000 No. 3, Donghu East Road, Guanshan street, Hongshan District, Wuhan City, Hubei Province

Patentee after: HUBEI METEOROLOGICAL INFORMATION AND TECHNOLOGY SUPPORT CENTER

Patentee after: CHINA YANGTZE POWER Co.,Ltd.

Address before: 430000 No. 3, Donghu East Road, Guanshan street, Hongshan District, Wuhan City, Hubei Province

Patentee before: HUBEI METEOROLOGICAL INFORMATION AND TECHNOLOGY SUPPORT CENTER

TR01 Transfer of patent right