CN109325960B - 一种红外云图气旋分析方法及分析系统 - Google Patents

一种红外云图气旋分析方法及分析系统 Download PDF

Info

Publication number
CN109325960B
CN109325960B CN201811381701.9A CN201811381701A CN109325960B CN 109325960 B CN109325960 B CN 109325960B CN 201811381701 A CN201811381701 A CN 201811381701A CN 109325960 B CN109325960 B CN 109325960B
Authority
CN
China
Prior art keywords
cyclone
cloud
network
adopting
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811381701.9A
Other languages
English (en)
Other versions
CN109325960A (zh
Inventor
刘青山
张芮
杭仁龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201811381701.9A priority Critical patent/CN109325960B/zh
Publication of CN109325960A publication Critical patent/CN109325960A/zh
Application granted granted Critical
Publication of CN109325960B publication Critical patent/CN109325960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种红外云图气旋分析方法，包括(1)基于卷积神经网络的SSD框架构建气旋系统检测网络，采用该网络从云图数据集中的每张云图中自动识别和定位气旋；(2)采用OTSU阈值分割算法对所述气旋进行阈值分割，并对所述阈值分割结果进行面积滤波，得到所述气旋的初始轮廓；(3)以所述气旋的初始轮廓作为输入，采用Chan‑Vese模型得到所述气旋的气旋边界；(4)利用所述SURF算法提取所述气旋边界的气旋特征点；(5)采用FLANN匹配器通过欧氏距离计算相邻时刻气旋各个特征点的匹配率，从而实现气旋的追踪。本发明借鉴MobileNet网络，结合SSD检测框架构建气旋检测网络对云图进行识别，识别准确率高，并且更简单。

Description

一种红外云图气旋分析方法及分析系统
技术领域
本发明涉及图像分析方法及系统，具体涉及一种红外云图气旋分析方法及分析系统。
背景技术
大部分天气过程都是由不同类型的气旋发展引起的，因此气旋系统的准确识别对于天气预报、防灾减灾等具有重要意义，近年来，随着卫星传感器时空分辨率的不断提高，卫星影像逐渐成为检测气旋系统发生、发展的重要手段。目前，卫星云图的识别与分析仍以人工目视解译为主，不仅需要花费大量的人力和物力，还容易受主观因素的影响。
利用卫星资料自动识别热带气旋已经取得了一些成果，包括阈值法、多谱阈值法、数学形态学法、聚类法、神经网络和小波分析法等。但热带气旋在不同发展阶段形状和纹理都有很大程度的变化，使得这些气旋检测方法不具有普适性，不同云形的热带气旋需要用不同的方法进行识别，大大增加了操作和识别的复杂度。对于温带气旋的自动追踪研究，现有的方法大多通过识别平均海平面气压场的最小值或涡度场的极值确定气旋中心，并追踪其发展过程。这种方法易受时间分辨率的影响，难以及时更新气旋发展情况以及无法确定气旋发生的范围大小和纹理特征，也就无从更为精细地判断气旋的发展阶段。而卫星云图的时间分辨率可以达到分钟级，有利于准确监测气旋的发展情况，但目前利用卫星资料自动识别温带气旋还不是很成熟。
传统的识别方法都是基于人工设计特征，例如综合形状特征和范围大小，同时满足两方面要求，进而确定气旋；或是构造旋转系数对纹理方向特征进行描述，并结合气旋面积和亮温特性来识别气旋，但这些方法难以适应气旋在不同发展阶段巨大的形状和纹理变化。
发明内容
发明目的：为了克服现有技术的不足，本发明提供一种红外云图气旋分析方法，该方法可以解决通过人工设计特征，过程复杂并且识别准确率低的问题，本发明还提供一种红外云图气旋分析系统。
技术方案：一方面，本发明所述的红外云图气旋分析方法，包括以下步骤：
(1)基于卷积神经网络的SSD框架构建气旋系统检测网络，采用该网络从云图数据集中的每张云图中自动识别和定位气旋；
(2)采用OTSU阈值分割算法对所述气旋进行阈值分割，并对所述阈值分割结果进行面积滤波，得到所述气旋的初始轮廓；
(3)以所述气旋的初始轮廓作为输入，采用Chan-Vese模型得到所述气旋的气旋边界；
(4)利用所述SURF算法提取所述气旋边界的气旋特征点；
(5)采用FLANN匹配器通过欧氏距离计算相邻时刻气旋各个特征点的匹配率，从而实现气旋的追踪。
优选的，该方法还包括：
搭建红外云图图像数据集，并对每张图像进行标注，所述标注类型包括平行急流云系、初生期、发展成熟期、消散期、热带气旋以及台风。
优选的，所述步骤(1)中，所述气旋系统检测网络包括以下步骤：
(11)对云图进行预处理；
(12)构建云图特征提取网络，保留MobileNet网络的卷积层和最大池化层，去除全连接层和Softmax分类层，所述MobileNet包括13组卷积层，1层全连接层，1层最大池化层，13组卷积层对应记为：
{Conv1_1,Conv1_2,Conv2_1,Conv2_2,......,Conv13_1,Conv13_2}；
(13)在所述云图特征提取网络后添加4组卷积层，所述4组卷积层分别记为：
{Conv14_1,Conv14_2,Conv15_1,Conv15_2,Conv16_1,Conv16_2,Conv17_1,Conv17_2}；
(14)抽取所述MobileNet网络中的第Conv11_2层卷积层和第Conv13_2卷积层的特征图以及所述{Conv14_2,Conv15_2,Conv16_2,Conv17_2}的特征图用来检测。
优选的，所述步骤(5)还包括，得到各个特征点的匹配率后，设定阈值，将所述匹配率大于所述设定阈值的点对删除，避免错误匹配。
优选的，所述阈值设定为0.7。
另一方面，本发明还提供红外云图气旋分析方法实现的分析系统，包括：
气旋识别模块，用于采用卷积神经网络的SSD框架，构建气旋系统检测网络，并从云图数据集中的每张云图中自动识别和定位气旋；
轮廓构建模块，用于采用OTSU阈值分割算法对所述气旋进行阈值分割，并对所述阈值分割结果进行面积滤波，得到所述气旋的初始轮廓；
边界界定模块，用于以所述气旋的初始轮廓作为输入，采用Chan-Vese模型得到所述气旋的气旋边界；
特征点提取模块，用于利用所述SURF算法提取所述气旋边界的气旋特征点；
气旋追踪模块，用于采用FLANN匹配器通过欧氏距离计算相邻时刻气旋各个特征点的匹配率，从而实现气旋的追踪。
优选的，还包括图像数据集搭建模块，用于搭建红外云图图像数据集，并对每张图像进行标注，所述标注类型包括平行急流云系、初生期、发展成熟期、消散期、热带气旋以及台风。
优选的，所述气旋识别模块包括以下单元：
对云图进行预处理的云图预处理单元；
网络构建单元，用于构建云图特征提取网络，保留MobileNet网络的卷积层和最大池化层，去除全连接层和Softmax分类层，所述MobileNet包括13组卷积层，1层全连接层，1层最大池化层，13组卷积层对应记为：
{Conv1_1,Conv1_2,Conv2_1,Conv2_2,......,Conv13_1,Conv13_2}；
检测网络构造单元，用于实现气旋的分类检测，所述检测网络构造单元为在所述云图特征提取网络后添加4组卷积层，4组卷积层分别记为：
{Conv14_1,Conv14_2,Conv15_1,Conv15_2,Conv16_1,Conv16_2,Conv17_1,Conv17_2}；
并抽取所述MobileNet网络中的第Conv11_2层卷积层和第Conv13_2卷积层的特征图以及所述{Conv14_2,Conv15_2,Conv16_2,Conv17_2}的特征图用来检测。
优选的，所述气旋追踪模块包括阈值判断单元，所述阈值判断单元用于得到各个特征点的匹配率后，进行设定阈值，将所述匹配率大于所述设定阈值的点对删除，避免错误匹配。
优选的，所述阈值设定为0.7。
有益效果：本发明与现有技术相比，其显著优点是：1、本发明借鉴MobileNet网络，结合SSD检测框架构建气旋检测网络对云图进行识别，识别准确率高，并且更简单；2、该发明将SURF算法和FLANN算法结合起来进行连续时刻的气旋匹配和追踪，不仅能够反映气旋局部特征，对不同时序的气旋也有较好的匹配效果；3、该发明采用OTSU分割算法对检测到的气旋进行阈值分割后，采用活动轮廓模型(Chan-Vese)对分割结果进行选择，气旋边界识别更加精确。
附图说明
图1是本发明所述的分析方法的流程图；
图2是本发明所述的检测分类网络的结构示意图；
图3a为标注了台风和温带气旋的云图示意图，图3b为标注了初生阶段的云图示意图，图3c为标注了温带气旋和消散期的云图示意图；
图4a为位于太平洋上的气旋系统检测结果示意图，图4b为位于北半球的四个气旋系统检测结果示意图；
图5a为2016年9月23日11时的台风检测结果示意图，图5b为2016年9月25日10时的台风检测结果示意图，图5c为2016年9月28日01时的台风检测结果示意图；
图6a为2016年4月16日05:00-05:30时的检测结果示意图，图6b为2016年4月16日11:00-11:30时的检测结果示意图，图6c和图6d分别为经过12小时气旋的检测结果示意图；
图7为本发明所述的分析方法每隔两小时的温带气旋的跟踪路径示意图；
图8为本发明所述的分析系统流程图。
具体实施方式
不同类型气旋不同发展阶段形状纹理有明显差异，因此一般的统计、聚类和形态学分析方法难以完整检测气旋的整个发展过程。本发明利用深度卷积神经网络能自动学习图像数据特征的特点，采用多任务学习机制，同时实现不同类型气旋的自动识别，也提高了识别准确率。
本发明所述的分析方法的流程如图1所示，具体包括以下步骤：
步骤1、利用深度卷积网络，从每张云图中自动识别和定位气旋；
与传统方法相比，卷积神经网络(CNNs)能够提取更为充分的语义信息，因而被广泛地应用于计算机视觉的各个领域，包括物体检测。基于CNNs的物体检测方法可以分为面向候选区域的目标检测器和单次检测器两种。前者将检测问题划分成两个阶段，首先产生候选区域(Region Proposals)，然后对候选区域进行分类和位置精修，如R-CNN、Fast R-CNN和Faster R-CNN等；后者则不需要生成候选区域，而是直接给出物体的类别概率和位置坐标值，典型的算法如SSD和YOLO。
单步多框目标检测器(Single Shot multibox Detector，SSD)是目标检测领域主流的检测框架之一，与YOLO相同，该算法同样将目标检测问题转换成回归问题进行求解；同时，借鉴Faster R-CNN的候选区域(anchor)机制，提出具有类似功能的prior box，实现了准确率与速度并存的效果。本发明在SSD框架的基础上，构造了气旋系统检测网络，主要包括三个部分：输入云图预处理、云图特征提取网络和检测分类网络
云图预处理部分，由于SSD网络的输入为一张固定大小的图片，云图原始分辨率为2280×2280，因此在不影响精度前提下，为保证训练速度，本发明将云图变换到600×600分辨率后作为输入，并将一些有严重变形或是有部分缺失的云图剔除。
云图特征提取网络借鉴了轻量级的网络MobileNet，该网络将标准卷积分解成一个深度卷积和一个点卷积，即1×1卷积核。深度卷积将卷积核应用到每个通道，而1×1卷积用来组合通道卷积的输出，从而减少计算量和模型规模，以适应高分辨云图的自动检测。MobileNet除了最后的全连接层，其他所有层后面都跟了隐藏层的标准化处理(batchnorm)和ReLU激活函数，最终输入到softmax进行分类。该网络结构共28层，包括二十六个卷积层、一个最大池化层和一个全连接层，最后外加一个softmax分类层。由于只将MobileNet作为特征提取的骨干网络，因此只保留了卷积层和最大池化层，去除了全连接层和softmax分类层；26层卷积层分为13组，每组卷积层包括一个深度卷积和一个点卷积，标记为{Conv1,Conv2,......,Conv13}，其中Conv1又包括Conv1_1,Conv1_2，Conv2包括Conv2_1,Conv2_2，依次类推，Conv13包括Conv13_1,Conv13_2，根据这个顺序分别对应第1层，第2层，第3层，依次类推，第26层。
为实现气旋检测，形成检测分类网络，在云图特征提取网络的第26层后添加了4组卷积层，分别记为{Conv14,Conv15,Conv16,Conv17}，其中，
Conv14又包括Conv14_1,Conv14_2，
Conv15包括：Conv15_1,Conv15_2，
Conv16包括Conv16_1,Conv16_2，
Conv17包括Conv17_1,Conv17_2，以此顺序分别对应第1层，第2层，依次类推，第8层。输入图像经过卷积后形成的特征图大小不同，然后在不同大小的特征图上同时分类预测。
其结构如图2所示，抽取6层的特征值用来检测，分别为抽取MobileNet网络中的Conv11_2,Conv13_2以及8层中的Conv14_2,Conv15_2,Conv16_2,Conv17_2，4层中的特征图来检测。此处需要解释的是将卷积层的普通3×3卷积核分解为深度卷积和点卷积，后添加的4组卷积层中，仿照MobileNet，每组第一层采用1×1卷积，第二层采用深度卷积结合点卷积。为了适应不同范围大小的气旋系统，检测网络在不同特征尺度上利用3×3卷积核和6种不同大小锚框对候选气旋区域进行类别概率预测和位置回归。
在训练阶段，本发明将标注云图送入气旋检测网络微调数据集上训练好的模型，可以看作是对气旋图像特征提取的过程，再将提取到的特征向量送入上述检测分类网络训练一个新的气旋分类器。将上述输出结果送入后续特征卷积层学习候选区域特征以实现气旋分类定位。模型训练完成后使用新的云图测试模型，得到每个类别的准确率。
步骤2、结合活动轮廓模型ACM和OTSU大津分割算法对检测到的气旋进行轮廓提取：气旋边界识别至关重要，不仅可以精确定位天气系统，得到其范围大小，还有利于分析气旋发展情况以实时监测可能产生灾害的地区。本发明在检测结果的基础上，利用OTSU阈值分割算法和活动轮廓模型提取气旋的边界。
为了解决这个问题，本发明利用OTSU分割算法对检测到的气旋进行阈值分割，以得到初始轮廓，并进行面积滤波，滤除灰度值较大的孤立云系，从而大大减少迭代次数。当气旋系统内部存在灰度小值区时，可能造成多处空洞，需要对OTSU分割结果先进行形态学上的处理，达到空洞填充的目的。
OTSU算法又被称为最大类间差法，或大津算法。该算法计算简单，且不受图像亮度和对比度影响。OTSU算法的基本思想是按单一阈值将图像分为背景和目标，并计算两区域的方差，使得两区域方差差值最大的灰度值就是所要求的最佳分割阈值。
假设待分割的气旋图像总像素为M，灰度范围为[m,n]，Mi表示灰度值为i的像素个数，则根据灰度阈值k划分的气旋内外区域类间方差为
Figure GDA0003054054070000061
其中，μ为气旋图像总均值，μ0为背景区域均值，μ1为气旋区域均值。当σ(k)取最大时，k即为OTSU算法的最佳阈值。
求解能量泛函需要给定初始解T0，因此活动轮廓模型的分割结果依赖于初始曲线的选择，而云图存在灰度不均匀、弱边界等问题，本发明进行面积滤波去除孤立云系，从而得到合理的初始化曲线。
经过OTSU分割后可以得到一幅二值图像，白色部分即为气旋系统的主体，将该二值图像作为Chan-Vese模型的初始化曲线，Chan-Vese模型是T.F.Chan和L.Vese提出的一种简化Mumford-Shah模型，它的能量泛函选取为以下形式，T是需要求得的气旋边界曲线：
Figure GDA0003054054070000071
其中，A+，A-分别表示气旋边界T内部和外部区域，I是原始气旋图像。通过计算可以知道，对于T的任一位置，使能量函数取极小值的最优常数为：
Figure GDA0003054054070000072
Figure GDA0003054054070000073
其中，c1,c2分别是气旋内部和外部的亮度均值，Chan-Vese模型要求解的气旋边界T恰好是使分割后两区域内亮度方差最小的曲线。
步骤3、采用SURF算法提取步骤2得到的轮廓内的特征点，并计算相邻时刻气旋各特征点的匹配率以达到追踪气旋的效果：经过上述两个步骤可以得到某一时刻云图的气旋检测和轮廓识别结果，再利用SURF算法提取区域内气旋特征点并匹配。
云团是流体，而非刚体，其演变过程存在生长、消亡和形变的问题，从而造成它的描述参数发生变化。但对于小范围的云来说，相邻时刻该像素点的局部特征演变具有连续性。SURF提取的特征点多为局部极值点，且根据周围小邻域生成了64维描述算子，能够较好地反映像素的局部特征，如云图的纹理和梯度大小和方向等信息。因此SURF算法对于匹配追踪气旋具有一定可行性。
SURF算法检测特征点主要包括两个部分，即特征点检测定位和生成特征点描述算子。特征点检测是Hessian矩阵在不同尺度下完成的，并将检测到的特征点与周围的3×3×3尺度空间其他26个点进行比较确定极值点，再通过插值得到最终特征点所在的位置和尺度值。而特征点描述算子则以特征点为中心，6倍尺度为半径的圆形区域内计算各点的哈尔小波响应，归一化后形成64维SURF描述算子。
通过SURF算法可以得到大量气旋特征点，且每个特征点都由64维描述算子组成，因此如何实现最近邻快速搜索至关重要，本发明利用FLANN来完成高维空间数据的快速匹配。该算法基于K均值树或KD-TREE搜索实现，核心是通过欧式距离寻找与实例点最邻近的点，欧式距离定义为：
Figure GDA0003054054070000081
其中，Xi、Yi分别为相邻两时刻SURF检测到的气旋特征64维描述算子。
本发明基于Python3.6和OpenCV3.4.1开发平台，利用FlannBasedMatcher接口实现匹配。使用FLANN匹配需要定义两个参数，即确定匹配算法和递归遍历的次数，本次实验选择了KD-TREE搜索方法，指定待处理核密度树的数量为10，一般取1-16为宜；递归遍历次数选定100次，次数越多结果越准确，相应耗时也会增多。
利用FLANN得到匹配点对之后，为了保证匹配的准确度，需要设置一个阈值将匹配点距离较大的点对删除，经过多次试验，在本发明实验中阈值取0.7，可以避免90％以上的错误匹配。
为了便于理解本发明技术方案，下面给出三组模拟实验。
实验1将本发明所提供的技术方案应用在FY-2G卫星的全球圆盘标称数据，数据格式为HDF，研究主要利用2017年第一通道红外云图，该通道波长10.3微米到11.3微米，分辨率为5km。训练云图采用原始分辨率，图片分辨率为2288×2288，以保证精确度。本实施例的分类过程具体细节：
(1)数据集和实验参数设置：
此次训练过程把检测目标分为温带气旋和热带气旋两种特征较为典型的系统，其中又将温带气旋按照发展阶段细分为平行急流云系(parallelJet)、初生期(exCycloneInitial)、发展成熟期(exCycloneDeMa)和消散期(exCycloneDissipative)四个阶段。而把热带气旋(troCyclone)中强度最高影响最大的台风(typhoon)另外做出分类，至此将气旋系统分成了6类，最终标注的云图数量是7051张，具体每个类别样本数如表1，六类别共计12485个样本。
表1气旋数据集
Figure GDA0003054054070000091
经过人工标注的云图如图3a、3b和3c所示。方框A代表台风，方框B代表温带气旋发展或成熟期，方框C代表消散期，方框D代表是初生阶段。
训练测试过程中将上述样本按照7：3分成了训练集和测试集。即人工标注的图像集70％用来微调SSD生成检测模型，并在30％测试集中评估模型。
对于模型的超参数设置，迭代次数为200 000，初始学习率设置为0.006，之后采用指数衰减函数控制学习率大小，衰减步数为5000，衰减因子0.95，即每迭代5000次学习率减小为上一次的0.95，momentum参数设为0.9，batch size根据GPU选择适合的大小，本发明设置为8。
(2)气旋识别结果：
多目标检测常用的评价指标有精确率(Precision)、召回率(Recall)、平均正确率(Average Precision)和mean Average Precision等。
精确率用公式表示为：
Figure GDA0003054054070000092
召回率公式表示为：
Figure GDA0003054054070000093
其中，tp表示正样本被正确识别为正样本，fp表示负样本被错误识别为正样本，fn表示正样本被识别为负样本。由此可知，精确率就是在识别出来的气旋中，tp所占的比率，召回率就是测试集中所有正样本被识别为正样本的比例。
平均正确率公式表示为：
Figure GDA0003054054070000101
其中，P代表精确率，r代表召回率。
mAP就是多个气旋类别AP的平均值。相比Precision和Recall，AP和mAP能够更直接反映一个分类器的性能，因此本发明采用AP和mAP作为气旋分类模型的评价指数。训练好的模型在测试集上的结果如表2所示：
表2各类别的AP和mAP
Figure GDA0003054054070000102
从表2可以看出，在本发明测试集中，台风的准确率最高，达到96.7％，而初生期检测率最低，只有72.8％。一方面是台风的形状特征是最明显的，少数样本也能得到较高的准确度，而初生期左边界没有表现出螺旋云系特征；另一方面准确率也受到标注样本的影响，初生期的样本较少导致网络特征提取不充分。
图4a和4b是模型的部分检测结果，可以看到模型较为完整地检测出云图中的气旋系统，有利于分析云图大尺度天气运动。图4a中检测到了两个气旋系统。方框E为温带气旋，方框F是位于太平洋上的气旋系统，可以看到模型给出了热带气旋和台风两种结果，原因分析如下，该气旋云系结构松散，眼区也不那么清晰，表明强度不是很大，兼具训练样本中台风和热带气旋的特征，因此模型计算出了两种分类的概率，图4b检测到了北半球四个气旋系统GHIJ，其中HIJ三个温带气旋距离较近，表明模型受周围系统影响较小，可以很好地识别出云图中的气旋。
耿晓庆等基于FY-2E卫星IR1云图利用改进矢量矩方法并结合气旋面积和亮温特性对热带气旋进行自动识别，其实验数据选择了2012年台风海葵，分成三个阶段共计312个样本，本发明则标注了2017年热带气旋(其中30％用来测试)。因为所用云图均为FY-2卫星且通道和分辨率相同，具有可比性。
表3不同方法识别结果比较
Figure GDA0003054054070000111
结果如表3所示，可以看出本发明用的检测方法识别率更高，云图存在多个气旋识别结果也不会受到影响。
实验2将本发明所提供的技术方案应用在一次台风过程中，选取的实验数据为FY-2G卫星IR1波段2016年17号台风“鲇鱼”。该台风于2016年9月23日08时在西北太平洋生成，25日08时加强为台风，27日加强为超强台风级，强度减弱，28日04：30时在沿海登陆，到28日08时云图上的热带气旋已经不是很明显。因此测试云图时间范围选择从9月23日08时开始到28日08时结束，最后共计120个时刻样本。
将120个样本输入训练好的SSD模型，一共检测到109个时刻的热带气旋，此次台风过程识别率为90.8％。如图5a-5c所示，具体检测结果为，图5a方框为9月23日11时检测到热带气旋生成，图5b方框为9月25日10时检测识别为台风，图5c方框为9月28日01时检测到最后一次热带气旋。
实验3将本发明所提供的技术方案应用在一次发生在江淮地区的温带气旋，选取的实验数据为FY-2G卫星IR1波段2016年4月16日江淮气旋。该次过程是4月影响江苏气旋发展最为强盛的一个。“20160416”江淮气旋过程入海前给江苏淮河以南地区带来区域性雷暴天气；入海阶段造成江苏淮河以南地区系统性的大风天气。
本实施例的气旋分析过程具体如下：
1、根据天气实况选择测试云图，输入卷积网络，得到气旋检测结果
检测云图选择了从2016年4月16日00时到4月17日23：30时的第一通道红外云图，共计48张，输入训练好的网络模型。其中气旋检测模型检测到37个时刻的江淮气旋，在该次气旋过程中，模型准确率77.1％。从4月16日04时开始，一直检测到4月17日14时，可以发现主要是气旋发生初期和消散期没有识别出来，这与模型在测试集上的结果是一致的。
2、提取检测到的气旋进行轮廓识别
轮廓提取结合了OTSU阈值分割算法和活动轮廓模型。因为活动轮廓模型的分割结果依赖于初始曲线的选择，而云图存在灰度不均匀、弱边界等问题，且难以得到初始化曲线。因此先对检测到的气旋阈值分割，确定大致轮廓，并进行面积滤波，这样也可以大大减少迭代次数。
假设检测到的气旋图像总像素为M，灰度范围为[m,n]，Mi表示灰度值为i的像素个数，则根据灰度阈值k划分的类间方差为
Figure GDA0003054054070000121
上式中，μ为气旋图像总均值，μ0为背景区域均值，μ1为气旋区域均值。当σ(k)取最大时，k即为OTSU算法的最佳阈值。
经过OTSU分割后可以得到一幅二值图像，白色部分即为气旋系统的主体，将该二值图像作为Chan-Vese模型的初始化曲线，并根据如下能量泛函求取气旋边界T：
Figure GDA0003054054070000122
其中，A+，A-分别表示曲线T内部和外部区域，I是原始图像。通过计算可以知道，对于T的任一个位置，使能量函数取极小值的最优常数为：
Figure GDA0003054054070000123
Figure GDA0003054054070000124
c1,c2分别是曲线内部和外部的亮度均值，Chan-Vese模型要求解的T恰好是使分割后两区域内亮度方差最小的曲线，此曲线也是气旋分割的最终轮廓。
3、逐帧匹配气旋系统
经过上述两个步骤可以得到某一时刻云图的气旋检测和轮廓识别结果，再利用SURF算法提取区域内气旋特征点，为每个特征点生成64维的特征向量，再利用FLANN匹配器通过欧式距离寻找与实例点最邻近的点，得到匹配之后，为了保证匹配的准确度，需要设置一个阈值将匹配点距离较大的点对删除，在本实验中阈值取0.7，将超过0.7对应的匹配点对删除，可以避免90％以上的错误匹配。
经过上述三个步骤的气旋追踪结果如图6a-6d所示。图6a，4月16日05:00-05:30时，检测到的系统冷输送带形成，头部螺旋云系明显，表明气旋趋于成熟。图6b，6小时之后，即11:00-11:30时，模型依然可以检测到相关气旋过程，可以看到冷锋云带由西南逐渐向东南方向移动。12个小时之后，如图6c-6d所示，气旋停止发展进入消散期。图7给出了4月16日04时-17日13时位置匹配跟踪结果，每隔2h气旋的跟踪路径，其中圆圈的位置代表每个时刻识别出的气旋轮廓的质心，数字表示跟踪的顺序。从本次气旋检测追踪结果来看，模型完全识别出发展成熟阶段的江淮气旋，对于一些云系比较松散，结构不完整的消散期或是初生期，检测率要低于成熟阶段，因此训练时要多加入初生和消散期的样本。另外相邻时刻气旋局部灰度特征具有连续性，SURF提取的特征点能够较好代表局部特征，因此通过特征点匹配可以追踪匹配相邻时刻的天气过程，从而得到整个气旋的运动轨迹，也能为天气预报和后续天气系统分析，比如预报气旋发展方向和强度，提供一定帮助。
另一方面，本发明还提供红外云图气旋分析方法实现的分析系统，包括：
图像数据集搭建模块，用于搭建红外云图图像数据集，并对每张图像进行标注，所述标注类型包括平行急流云系、初生期、发展成熟期、消散期、热带气旋以及台风。
气旋识别模块，用于采用卷积神经网络的SSD框架，构建气旋系统检测网络，并从云图数据集中的每张云图中自动识别和定位气旋；
轮廓构建模块，用于采用OTSU阈值分割算法对所述气旋进行阈值分割，并对所述阈值分割结果进行面积滤波，得到所述气旋的初始轮廓；
边界界定模块，用于以所述气旋的初始轮廓作为输入，采用Chan-Vese模型得到所述气旋的气旋边界；
特征点提取模块，用于利用所述SURF算法提取所述气旋边界的气旋特征点；
气旋追踪模块，用于采用FLANN匹配器通过欧氏距离计算相邻时刻气旋各个特征点的匹配率，从而实现气旋的追踪。
优选的，所述气旋识别模块包括以下单元：
对云图进行预处理的云图预处理单元；
网络构建单元，用于构建云图特征提取网络，保留MobileNet网络的卷积层和最大池化层，去除全连接层和Softmax分类层，所述MobileNet包括13组卷积层，1层全连接层，1层最大池化层，所述每组卷积层包括1个深度卷积层和1个点卷积层，13组卷积层对应记为：
{Conv1_1,Conv1_2,Conv2_1,Conv2_2,......,Conv13_1,Conv13_2}；
检测网络构造单元，用于实现气旋的分类检测，所述检测网络构造单元为在所述云图特征提取网络后添加4组卷积层，分别记为：
{Conv14_1,Conv14_2,Conv15_1,Conv15_2,Conv16_1,Conv16_2,Conv17_1,Conv17_2}；并抽取所述MobileNet网络中的第Conv11_2层卷积层和第Conv13_2卷积层的特征图及所述{Conv14_2,Conv15_2,Conv16_2,Conv17_2}的特征图用来检测回归。
优选的，所述气旋追踪模块还包括，得到各个特征点的匹配率后，设定阈值，将所述匹配率大于所述设定阈值的点对删除，避免错误匹配。所述阈值设定为0.7。
本发明所述的分析系统是基于上述气旋分析方法实现，具体技术跟分析方法相似，本发明在此不再赘述。以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种红外云图气旋分析方法，其特征在于，包括以下步骤：
(1)基于卷积神经网络的SSD框架构建气旋系统检测网络，采用该网络从云图数据集中的每张云图中自动识别和定位气旋；
(2)采用OTSU阈值分割算法对所述气旋进行阈值分割，并对阈值分割结果进行面积滤波，得到所述气旋的初始轮廓；
(3)以所述气旋的初始轮廓作为输入，采用Chan-Vese模型得到所述气旋的气旋边界；
(4)利用SURF算法提取所述气旋边界内的气旋特征点；
(5)采用FLANN匹配器通过欧氏距离计算相邻时刻气旋各个特征点的匹配率，从而实现气旋的追踪；
步骤(1)中，所述气旋系统检测网络的构建过程包括以下步骤：
(1.1)对云图进行预处理；
(1.2)构建云图特征提取网络，保留MobileNet网络的卷积层和最大池化层，去除全连接层和Softmax分类层，所述MobileNet网络包括13组卷积层即26层卷积层，1层全连接层，1层最大池化层，13组卷积层对应记为：
{Conv1_1,Conv1_2,Conv2_1,Conv2_2,......,Conv13_1,Conv13_2}；
(1.3)在所述云图特征提取网络后添加4组卷积层，即8层卷积层，记为：
{Conv14_1,Conv14_2,Conv15_1,Conv15_2,Conv16_1,Conv16_2,Conv17_1,Conv17_2}；
(1.4)抽取所述MobileNet网络中的Conv11_2卷积层和Conv13_2卷积层的特征图以及{Conv14_2,Conv15_2,Conv16_2,Conv17_2}的特征图用来检测。
2.根据权利要求1所述的红外云图气旋分析方法，其特征在于，该方法还包括：
搭建红外云图图像数据集，并对每张图像进行标注，标注类型包括平行急流云系、初生期、发展成熟期、消散期、热带气旋以及台风。
3.根据权利要求1所述的红外云图气旋分析方法，其特征在于，步骤(5)还包括，得到各个特征点的匹配率后，设定阈值，将所述匹配率大于所述阈值的点对删除，避免错误匹配。
4.根据权利要求3所述的红外云图气旋分析方法，其特征在于，所述阈值设定为0.7。
5.一种红外云图气旋分析系统，其特征在于，包括：
气旋识别模块，用于基于卷积神经网络的SSD框架构建气旋系统检测网络，采用该网络从云图数据集中的每张云图中自动识别和定位气旋；
轮廓构建模块，用于采用OTSU阈值分割算法对所述气旋进行阈值分割，并对阈值分割结果进行面积滤波，得到所述气旋的初始轮廓；
边界界定模块，用于以所述气旋的初始轮廓作为输入，采用Chan-Vese模型得到所述气旋的气旋边界；
特征点提取模块，用于利用SURF算法提取所述气旋边界内的气旋特征点；
气旋追踪模块，用于采用FLANN匹配器通过欧氏距离计算相邻时刻气旋各个特征点的匹配率，从而实现气旋的追踪；
所述气旋识别模块包括以下单元：
对云图进行预处理的云图预处理单元；
网络构建单元，用于构建云图特征提取网络，保留MobileNet网络的卷积层和最大池化层，去除全连接层和Softmax分类层，所述MobileNet网络包括13组卷积层，1层全连接层，1层最大池化层，13组卷积层对应记为：
{Conv1_1,Conv1_2,Conv2_1,Conv2_2,......,Conv13_1,Conv13_2}；
检测网络构造单元，用于实现气旋的分类检测，所述检测网络构造单元在所述云图特征提取网络后添加4组卷积层，即8层卷积层，记为：{Conv14_1,Conv14_2,Conv15_1,Conv15_2,Conv16_1,Conv16_2,Conv17_1,Conv17_2}；
并抽取所述MobileNet网络中的Conv11_2卷积层和Conv13_2卷积层的特征图以及{Conv14_2,Conv15_2,Conv16_2,Conv17_2}的特征图用来检测。
6.根据权利要求5所述的红外云图气旋分析系统，其特征在于，还包括图像数据集搭建模块，用于搭建红外云图图像数据集，并对每张图像进行标注，标注类型包括平行急流云系、初生期、发展成熟期、消散期、热带气旋以及台风。
7.根据权利要求5所述的红外云图气旋分析系统，其特征在于，所述气旋追踪模块包括阈值判断单元，所述阈值判断单元用于得到各个特征点的匹配率后，设定阈值，将所述匹配率大于所述阈值的点对删除，避免错误匹配。
8.根据权利要求7所述的红外云图气旋分析系统，其特征在于，所述阈值设定为0.7。
CN201811381701.9A 2018-11-20 2018-11-20 一种红外云图气旋分析方法及分析系统 Active CN109325960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811381701.9A CN109325960B (zh) 2018-11-20 2018-11-20 一种红外云图气旋分析方法及分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811381701.9A CN109325960B (zh) 2018-11-20 2018-11-20 一种红外云图气旋分析方法及分析系统

Publications (2)

Publication Number Publication Date
CN109325960A CN109325960A (zh) 2019-02-12
CN109325960B true CN109325960B (zh) 2021-07-09

Family

ID=65258252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811381701.9A Active CN109325960B (zh) 2018-11-20 2018-11-20 一种红外云图气旋分析方法及分析系统

Country Status (1)

Country Link
CN (1) CN109325960B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188661B (zh) * 2019-05-27 2021-07-20 广州极飞科技股份有限公司 边界识别方法及装置
CN110414420B (zh) * 2019-07-25 2021-08-06 中国人民解放军国防科技大学 一种基于静止卫星红外云图的中尺度对流系统识别与追踪方法
CN110487294A (zh) * 2019-08-29 2019-11-22 绍兴文理学院 基于天气云图的智能路径规划系统及方法
JP6756889B1 (ja) * 2019-09-30 2020-09-16 東日本旅客鉄道株式会社 渦検出装置、渦検出方法、プログラム及び学習済モデル
CN110751209B (zh) * 2019-10-18 2022-12-13 北京邮电大学 一种融合深度图像分类和检索的智能台风定强方法
CN111339858B (zh) * 2020-02-17 2022-07-29 电子科技大学 一种基于神经网络的油气管道标志物识别方法
CN111427100B (zh) * 2020-03-30 2021-09-03 广州数鹏通科技有限公司 一种台风中心定位方法、装置及台风路径生成方法
CN111695473B (zh) * 2020-06-03 2023-12-19 中国人民解放军国防科技大学 基于长短时记忆网络模型的热带气旋强度客观监测方法
CN112215268A (zh) * 2020-09-27 2021-01-12 浙江工业大学 一种灾害天气卫星云图分类方法和装置
CN112507793B (zh) * 2020-11-05 2023-08-08 上海电力大学 一种超短期光伏功率预测方法
CN112509285B (zh) * 2020-11-14 2021-07-09 韩瑞 基于卷积神经网络cnn的全球台风报文收集方法及收集系统
CN112270381B (zh) * 2020-11-16 2022-06-03 电子科技大学 基于深度学习的人流量检测方法
CN112949633B (zh) * 2021-03-05 2022-10-21 中国科学院光电技术研究所 一种基于改进YOLOv3的红外目标检测方法
CN115082439B (zh) * 2022-07-22 2022-11-29 浙江大学 融合卫星云图时空信息的热带气旋定强方法、介质及设备
CN116010812B (zh) * 2022-12-13 2023-11-21 南京信息工程大学 一种基于传统方法与深度学习的北极气旋识别方法、存储介质及装置
CN117036983B (zh) * 2023-10-08 2024-01-30 中国海洋大学 一种基于物理增强深度学习的台风中心定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1922508A (zh) * 2004-02-26 2007-02-28 瑞士再保险公司 用于热带气旋的位置相关的自动概率预报的方法和系统
CN107230197A (zh) * 2017-05-27 2017-10-03 浙江师范大学 基于卫星云图和rvm的热带气旋客观定强方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1922508A (zh) * 2004-02-26 2007-02-28 瑞士再保险公司 用于热带气旋的位置相关的自动概率预报的方法和系统
CN107230197A (zh) * 2017-05-27 2017-10-03 浙江师范大学 基于卫星云图和rvm的热带气旋客观定强方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Tropical Cyclone Intensity Estimation Using a Deep Convolutional Neural Network;Ritesh Pradhan等;《IEEE Transactions on Image Processing》;20180228;第692-702页 *
基于极限学习机的地基可见光云图的云分类;李林等;《大气科学学报》;20151031;第678-685页 *
热带气旋卫星遥感客观定位方法研究进展;杨何群等;《热带海洋学报》;20120430;第15-27页 *

Also Published As

Publication number Publication date
CN109325960A (zh) 2019-02-12

Similar Documents

Publication Publication Date Title
CN109325960B (zh) 一种红外云图气旋分析方法及分析系统
CN107609525B (zh) 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN110070074B (zh) 一种构建行人检测模型的方法
CN113344849B (zh) 一种基于YOLOv5的微乳头检测系统
CN108921083B (zh) 基于深度学习目标检测的非法流动摊贩识别方法
CN109740460B (zh) 基于深度残差密集网络的光学遥感图像舰船检测方法
CN110889324A (zh) 一种基于yolo v3面向末端制导的热红外图像目标识别方法
CN110135296A (zh) 基于卷积神经网络的机场跑道fod检测方法
CN111582111B (zh) 一种基于语义分割的细胞各成分分割方法
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN109410238B (zh) 一种基于PointNet++网络的枸杞识别计数方法
US20100092075A1 (en) Method of directed pattern enhancement for flexible recognition
CN112836713A (zh) 基于图像无锚框检测的中尺度对流系统识别与追踪方法
CN105139015A (zh) 一种遥感图像水体提取方法
CN111680706A (zh) 一种基于编码和解码结构的双通道输出轮廓检测方法
CN103778435A (zh) 一种基于视频的行人快速检测方法
CN109766823A (zh) 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN110969121A (zh) 一种基于深度学习的高分辨率雷达目标识别算法
CN115953666B (zh) 一种基于改进Mask-RCNN的变电站现场进度识别方法
CN114359702A (zh) 一种基于Transformer的宅基地遥感图像违建识别方法及系统
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN116469020A (zh) 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法
CN116416503A (zh) 一种基于多模态融合的小样本目标检测方法、系统及介质
CN113496221B (zh) 基于深度双边滤波的点监督遥感图像语义分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 210044 No. 219 Ningliu Road, Jiangbei New District, Nanjing City, Jiangsu Province

Applicant after: Nanjing University of Information Science and Technology

Address before: 210000 Yuting Square, 59 Wangqiao Road, Liuhe District, Nanjing City, Jiangsu Province

Applicant before: Nanjing University of Information Science and Technology

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant