CN108445464B - 基于机器学习的卫星雷达反演融合方法 - Google Patents

基于机器学习的卫星雷达反演融合方法 Download PDF

Info

Publication number
CN108445464B
CN108445464B CN201810199839.0A CN201810199839A CN108445464B CN 108445464 B CN108445464 B CN 108445464B CN 201810199839 A CN201810199839 A CN 201810199839A CN 108445464 B CN108445464 B CN 108445464B
Authority
CN
China
Prior art keywords
data
radar
satellite
grid
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810199839.0A
Other languages
English (en)
Other versions
CN108445464A (zh
Inventor
万秉成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Enruite Industrial Co Ltd
Original Assignee
Nanjing Enruite Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Enruite Industrial Co Ltd filed Critical Nanjing Enruite Industrial Co Ltd
Priority to CN201810199839.0A priority Critical patent/CN108445464B/zh
Publication of CN108445464A publication Critical patent/CN108445464A/zh
Application granted granted Critical
Publication of CN108445464B publication Critical patent/CN108445464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于机器学习的卫星雷达反演融合方法包括训练阶段和反演阶段；训练阶段包括卫星资料及处理：将葵花8号静止卫星的B08、B10、B13、B15共4个波段的圆盘投影数据进行投影换算并插值到0.02°×0.02°的空间网格点上；闪电资料及处理；雷达资料及雷达数据组网；土地使用类型资料及处理；模型训练。反演阶段包括：数据预处理：对实时观测得到的葵花8号静止卫星资料、闪电资料做和训练阶段相同的处理，土地使用类型资料使用训练阶段处理后的资料；雷达资料组网：将实时观测的雷达基数据资料按照训练阶段的组网步骤进行组网，计算组合发射率；雷达回波反演；卫星雷达数据融合。

Description

基于机器学习的卫星雷达反演融合方法
技术领域
本发明涉及一种雷达回波的反演和融合算法，尤其涉及一种基于机器学习的卫星雷达反演融合方法。
背景技术
现有雷达观测范围有限，在雷达部署比较稀疏的西部地区，雷达组网直接存在很大的间隙。同时雷达在海上的观测范围有限，只能覆盖近海地区。为了弥补雷达组网间隙以及海上观测不足，而发展出来了一套基于卫星观测数据反演雷达组合反射率算法。目前这方面技术使用并不广泛，现有的算法可以大致分为两类：基于反向传播(BP)神经网络的机器学习算法和基于反演降水的雷达回波反演算法。然而这两种算法均有一定的局限性。
基于反向传播(BP)神经网络的机器学习算法以对应坐标的卫星和雷达组合反射率数据为样本，进行模型训练。反向传播(BP)神经网络是目前应用最广泛、成效显著、算法较成熟的一种。BP神经网络通过使用预测因子(卫星亮温数据)和预测对象(雷达组合反射率) 以前的历史资料，求解预测因子与预测对象之间的关系，从而构建预报模型。BP神经网络的输入层接收来自外界的输入信息，并传递给中间层各神经元；中间层负责信息变换；最后传递到输出层向外界输出信息处理结果；当实际输出与期望输出不符时，进入误差的反向传播阶段，修正各层权值，逐层反传，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。神经网络是非线性系统，具有自学习、容错性强等特点，适用于具有多因素性、不确定性、随机性特点的研究对象；然而该方法存在一些不足之处，首先该方法首先通过坐标换算，将卫星数据和雷达格点数据进行点对点的一一对应。然而实际上雷达观测可能会存在位置偏移，卫星数据进行投影转换时同样可能出现位置上的误差，可能会造成格点数据不能完全对应上，造成结果存在误差；其次由于该方法只是进行点对点的对应，不能够将对流云团看作一个整体；最后由于卫星观测的穿透能力有限，对深厚的对流云团容易出现探测能力不足，导致对强对流的雷达回波反演偏弱。
基于反演降水的雷达回波反演算法通过降水作为中间变量。首先根据卫星观测反演降水强度，然后根据降水强度和雷达回波直接的Z-I关系，计算伪雷达回波强度。使用卫星反演降水主要有可见光/红外(VIS/IR)降水反演法、被动微波(PMW)降水反演法。其中可见光/ 红外降水反演法主要使用静止卫星数据，计算降水指数GPI。该方法原理简单但结果误差较大，且可见光在夜晚无数据。而微波辐射计目前仅安装在极轨卫星上，极轨卫星的重复周期通常要1天，无法得到高时间分辨率的降水数据。并且该方法引入了降水强度作为中间变量，分别建立卫星观测和降水以及雷达回波和降水之间的关系式，增加了不确定性因素，导致结果准确度下降。
另外，以上两种算法均没有将陆地和海洋分开进行考虑，陆地和海洋上的气溶胶浓度以及水汽含量存在显著的差别，陆地和海上的云滴的浓度和直径均存在明显的差异，需要将其分开考虑。此外，上述的两张算法均将反演后的雷达回波作为单独的产品，没有结合雷达回波观测资料将反演后的雷达回波和实时观测的雷达回波进行数据融合。
发明内容
针对现有的雷达回波反演技术的缺点和不足，本发明基于静止卫星不同通道数据和闪电资料以及土地利用类型资料，使用卷积神经网络进行训练，并将使用卫星反演的雷达回波资料和观测的雷达组网资料进行融合，生成一套卫星、雷达融合组网组合反射率产品。
为了不引入降水强度作为中间变量，这里使用神经网络直接建立卫星不同通道数据和雷达回波数据之间的关系。由于卫星的可见光通道在夜晚无法获取数据，因此在进行通道选取时不考虑可见光通道，而是选取可见光和红外通道。
针对现有的神经网络训练模型中卫星和雷达数据可能不是准确的一一对应这个问题，我们扩大了输入样本的范围，不在使用点对点一一对应的方式进行训练。使用雷达回波对应点周围10km×10km内的所有卫星观测数据作为样本输入模型，使得训练出来的模型对坐标换算具有较高的容错性。
针对现有的模型没有将对流云团看作一个整体这个问题，我们使用卷积神经网络，将对应点周围的卫星数据一起作为训练。使用卷积神经网络可以综合考虑云系的大小、纹理、梯度变化等信息，使用机器自主学习，以提高训练的准确性。
针对目前卫星观测穿透能力有限，对深厚对流云团探测能力不足的问题，我们在输入数据中增加了闪电强度数据。闪电通常发生在对流最为旺盛、云团最为深厚的地方，将闪电资料融合进去后可以更好的捕捉强对流，并对回波强度做一定的修正，缓解强雷达回波反演偏弱的问题。
针对目前的计算方法没有将陆地和海洋区分开来这个问题，我们在输入数据中增加了土地利用类型数据，用以区分陆地、海洋以及不同的土地使用类型。城市、森林、沙漠等不同的下垫面上空的气溶胶粒子浓度、大小均有不同的特征，将不同的土地利用类型区分开来计算更加科学，有助于提高模型的准确率。
最后，使用边界模糊融合的方法，以雷达组网数据为基准，根据某格点附近10km×10km 范围内雷达回波无缺测样本点数目所占的比重作为权重系数，将雷达组网数据和卫星反演的雷达回波数据进行加权平均。该做法在无缺测地区雷达数据权重为1，使用观测数据作为输出，在无雷达观测地区使用卫星数据作为补充，在两者交界处将两者进行加权平均，得到一套完整的雷达组网产品。
不同于现有的BP神经网络算法，本发明引入了卷积核，使用卷积神经网络进行模型训练。首先将葵花8号静止卫星卫星的圆盘投影数据、雷达基数据、地面观测的闪电数据以及MODIS 的土地使用类型数据插值统一到统一的经纬度网格点上；然后使用卷积神经网络，将卫星数据、闪电数据和土地使用类型数据作为输入，雷达组合反射率数据作为输出，训练神经网络；最后将实时观测的数据输入训练出的神经网络模型，得到反演的雷达回波，并使用边缘模糊融合的方式将观测的雷达组合反射率和反演的雷达组合反射率进行融合。
为了解决以上问题，本发明采用了如下技术方案：一种基于机器学习的卫星雷达反演融合方法，其特征在于,包括训练阶段和反演阶段；
训练阶段：
1)卫星资料及处理
将葵花8号静止卫星的B08、B10、B13、B15共4个波段的圆盘投影数据进行投影换算并插值到0.02°×0.02°的空间网格点上；
2)闪电资料及处理
将空间区域按照插值后的卫星资料的0.02°×0.02°网格进行划分，分别统计每个网格点中对应时间发生的闪电次数；
3)雷达资料及雷达数据组网
将所有雷达基数据进行空间笛卡尔坐标转换，并使用空间8点插值法将其插值到统一的网格点上；对重叠区域，使用其雷达回波最大值，并计算组网后的雷达组合反射率；
4)土地使用类型资料及处理
将MODIS的土地使用类型数据进行投影换算，并按照统一的空间网格进行划分，使用该网格中格中比重最大的土地使用类型作为该网格的土地使用类型；
5)所述的模型训练
使用Tensorflow构建卷积神经网络，进行模型训练，得到训练后的神经网络模型；
反演阶段：
1)数据预处理
对实时观测得到的葵花8号静止卫星资料、闪电资料做和训练阶段相同的处理，土地使用类型资料使用训练阶段处理后的资料；
2)雷达资料组网
将实时观测的雷达基数据资料按照训练阶段的组网步骤进行组网，计算组合发射率；
3)雷达回波反演
将处理后的葵花8号卫星资料、闪电资料和土地使用类型资料输入训练好的神经网络模型，得到反演后的雷达组合反射率；土地使用类型数据直接使用训练时所用的数据作为输入；对雷达基数据使用相同的方式进行插值组网；将卫星资料、闪电资料、土地使用类型资料输入到训练好的神经网络中，得到反演后的雷达回波资料；
4)卫星雷达数据融合
将雷达组网组合反射率和反演后的雷达组合发射率进行边缘模糊融合，生成反演融合雷达组合发射率产品。
所述的卫星资料：葵花8号静止卫星共有16个通道，水平空间分辨率从500米到2公里不等，时间分辨率为10分钟，其中可见光中的红光水平分辨率为500米，蓝光和绿光以及近红外通道水平分辨率为1公里，其余通道水平分辨率均为2公里；考虑到夜晚可见光通道无观测数据，雷达回波主要由空气中的云滴雨滴造成，经过筛选，选取B08、B10、B13、B15 共4个通道的数据进行训练；其中B08和B10为水汽通道，B13和B15为红外通道，其水平分辨率均为2公里；数据投影方式为圆盘投影。
所述的雷达资料：雷达基数据存放的为雷达的体扫资料，包含9个仰角；包含雷达反射率、径向数据和谱宽数据。
所述的土地使用类型资料：使用ADTD闪电定位系统观测到的闪电资料，包括闪电发生的时间、经度、纬度、强度、陡度、电荷和能量信息。
所述的卫星资料处理：对葵花8号静止卫星所提供的圆盘投影数据进行解码，并插值到等间距的经纬度格点上；圆盘投影描述的是从虚拟卫星到理想地球的视图；这里，虚拟卫星处于静止轨道，位于赤道平面上，经度确定；卫星与地球中心的距离是42164公里；理想化的地球是一个完美的椭圆体，赤道半径为6378.1690公里，极半径为6356.5838公里；
根据某像素点在以卫星为圆点的坐标系中的位置，以及地球的赤道半径和极半径，使用圆盘投影对卫星资料进行投影转换，推算出该像素点的经纬度坐标，进而推算出圆盘图中各像素点的经纬度信息；葵花8号卫星在远红外波段的空间分辨率为2km，在得到圆盘图的经纬度信息后，将B08、B10、B13和B15共4个波段的亮温数据使用空间线性插值法插值到0.02°×0.02°的等经纬度间距网格点上；同时计算B08和B10以及B13和B15之间的亮温差，用于模型训练。
所述的雷达数据组网:为了综合应用雷达资料，需对雷达资料进行拼图组网，并插值到和卫星资料相同的等经纬度间距网格点上；技术路线和方法包括：雷达数据转换三维格点化处理，将质量控制后的体扫数据的反射率因子数据转化为单站的三维格点数据，最后进行多部雷达拼图处理，得到反射率因子区域三维格点数据；
3-1)笛卡尔坐标转换
雷达基数据是以雷达为中心的极坐标存储的，即通过径向距离、方位角和仰角三个要素来识别其空间几何位置；基于基数据的格点化拼图首先将极坐标中的多普勒雷达资料按照一定的技术插值到笛卡尔坐标系的网格点上，然后才能进行拼图计算；由于雷达回波在大气中存在折射，因此在转化过程中使用考虑了大气折射的效地球半径的球坐标系；其具体计算过程如下：
设三维网格中任意网格单元的坐标为(αg,βg,hg)，其中αg为纬度，βg为经度， hg为高度；雷达天线所在点的坐标为(αr,βr,hr)，其中αr为纬度，βr为经度，hr为高度；使用雷达波束传播和大圆几何学理论可以确定网格单元相对于雷达点的极坐标位置 (r,a,e)，其中为r斜距，a为方位角，e为仰角，由球面三角公式可以得出：
sina＝cos(αg)sin(βg-βr)/sin(s/R)
其中R为地球半径，s为大圆距离，其表达式为：
s ＝Rcos-1(sin(αr)sin(αg)+cos(αr)cos(αg)cos( -βr))
设C＝sina,则有：
Figure GDA0003164138280000051
仰角e的表达式为：
Figure GDA0003164138280000061
其中Rm为等效地球半径，
Figure GDA0003164138280000062
斜距r的表达式为：
r＝sin(s/Rm)(Rm+hg-hr)/cos(e)
3-2)雷达数据格点化插值
雷达体扫模式造成雷达观测资料的空间分辨率不均匀，投影到笛卡儿坐标系中的网格上需要做插值处理；这里使用8点插值法EPI对雷达体扫后的数据进行插值处理；该方法综合了垂直线性内插法NVI和水平线性内插法HVI；分别选取空间格点的仰角、方位角和距离三个维度上的最近点，提取包含了该点的四棱台中8个顶点的雷达回波，对三个维度分别使用线性插值，得到空间网格点的雷达回波强度；
3-3)重叠区域拼图处理
对于多部雷达探测重叠区域的处理，基于雷达图像产品的平面拼图采用简单最大值法；最近邻居法虽然考虑波束随距离增加而拓展的问题，但会在等距离圈连线上出现不连续现象；平均值法将平滑强回波，出现强回波被消弱的现象；由于日常业务应用中更为关注的是强回波造成的影响，所以常常选择最大值法，尤其是组合反射率导出产品的拼图；通过这几步可以得到和卫星网格点一一对应的组网雷达回波数据，用于模型训练和效果检验。
所述的闪电资料处理：按照卫星和雷达数据插值后的统一格点分布，根据ADTD资料中闪电的发生时间、经度、纬度资料，统计每个格点内每个时间段内发生的闪电次数；得到格点化的闪电分布时间序列数据。
所述的土地使用类型资料处理：将MODIS数据进行投影转换，得到包含有经纬度信息的土地使用类型数据；按照卫星和雷达数据插值后的统一格点分布，分布统计每个格点内不同土地使用类型所占的比重，选取所占比重最大的类型作为该格点的类型；当格点类型相同，选取类型中数值较小的类型作为该格点土地使用类型。
所述的模型训练：相比传统的统计技术手段来说，神经网络具有很多的优越性。其主要特点是可以将输入数据通过任意程度的非线性映射到输入数据，具有很强的学习能力和拟合高度非线性函数的能力。
这里将4个通道的卫星数据、发生闪电次数资料、土地使用类型资料作为输入，组网后的组合雷达发射率数据作为输出；使用Tensorflow构建一个包含一个输入层、一个卷积层、一个隐藏层和一个输出层的卷积神经网络模型；输入层共有8个节点，分别对应着B08、B10、 B08-B10、B13、B15、B13-B15、闪电发生次数、土地使用类型这8个变量；在模型训练前将其均一化到[-1,1]区间内；卷积层使用的卷积窗大小为5×5×8，卷积窗种类为12，将每个5 ×5×8的格点卷积成一个1×12的矩阵；隐藏层包含的节点数为20，使用的激活函数为ReLU，输出乘节点数为1，使用的激活函数为Softmax；使用梯度下降算法，以0.01的学习速率进行学习；由于雷达回波的数据分布并不是很均匀，弱回波所占比重非常大，正常训练会导致训练结果雷达回波偏弱，因此在进行训练时采用分段随机抽取的方式；将雷达回波的样本进行分段统计，对每一个区间随机抽取相同数目的样本，进行训练。
所述的卫星雷达数据融合：以观测数据作为基准，判断每个网格点周围10km内雷达回波数据是否缺测；统计10km内有雷达观测的格点所占的比重，并以此为权重，将卫星反演的雷达反射率和雷达回波进行加权平均，得出卫星雷达融合后的组合反射率数据；该数据在有雷达观测的格点使用雷达观测值，在雷达盲区使用卫星数据作为替补，在两者交界处融合了两者的结果，在保证准确的情况下获得了较为平滑的雷达组合发射率数据。
本发明相对于最接近的现有技术而言，有以下有益效果：本发明提供了一套完整的卫星、闪电反演雷达组合发射率算法，并将反演后的雷达组合发射率和实时观测的雷达组合发射率数据进行边缘模糊融合，生成一套完整的雷达组合发射率产品。该方法可以得到空间分辨率为2km，时间分辨率为10分钟，且覆盖全国的雷达组合发射率产品。填补了西部地区雷达组网的空隙和海上雷达无法观测的地区。
由于没有使用可见光通道资料，因而该方法在夜晚同样可以适用。由于使用了卷积神经网络，将格点附近一定范围内的格点作为输入进行模型训练，因此该产品对卫星数据投影转换的空间位置误差容错性较大，模型可以综合考虑云团的大小、纹理等信息，提高了模型的准确率。
在模型训练过程中使用了分段随机抽样的方法，因而有效的减小了过拟合的发生。
在输入数据中增加了闪电资料，有效弥补了强回波反演能力不足。
将土地使用类型加入到输入数据中去，将陆地和海洋部分分开加以考虑，增加了模型的合理性，提高了模型的准确率。
使用了边缘模糊融合方法，使得观测和卫星的融合产品在保证有雷达覆盖地区使用雷达观测资料的前提下，边缘尽量平滑，数据无明显边界线。
附图说明
图1为本发明基于机器学习的卫星雷达反演融合方法的流程图。
具体实施方式
下面结合附图1对本发明作具体说明。
基于2016年10月江苏省13座S波段雷达资料和对应时间段闪电资料以及葵花8号静止卫星资料和MODIS土地使用类型资料，使用Tensorflow卷积神经网络进行模型训练。首先将葵花8号静止卫星的圆盘投影数据、雷达基数据、地面观测的闪电数据以及MODIS的土地使用类型数据插值统一到统一的经纬度网格点上；然后使用卷积神经网络，将卫星数据、闪电数据和土地使用类型数据作为输入，雷达组合反射率数据作为输出，训练神经网络；最后将实时观测的数据输入训练出的神经网络模型，得到反演的雷达回波，并使用边缘模糊融合的方式将观测的雷达组合反射率和反演的雷达组合反射率进行融合。
1、数据处理
·卫星资料处理
对葵花8号静止卫星所提供的圆盘投影数据进行解码，并插值到等间距的经纬度格点上。圆盘投影描述的是从虚拟卫星到理想地球的视图。这里，虚拟卫星处于静止轨道，位于赤道平面上，经度确定。卫星与地球中心的距离是42164公里。理想化的地球是一个完美的椭圆体，赤道半径为6378.1690公里，极半径为6356.5838公里。
根据某像素点在以卫星为圆点的坐标系中的位置，以及地球的赤道半径和极半径，使用圆盘投影对卫星资料进行投影转换，推算出该像素点的经纬度坐标，进而推算出圆盘图中各像素点的经纬度信息。葵花8号卫星在远红外波段的空间分辨率为2km，在得到圆盘图的经纬度信息后，将B08、B10、B13和B15共4个波段的亮温数据使用空间线性插值法插值到 0.02°×0.02°的等经纬度间距网格点上。这里选取的网格点经度范围为：112°E-124°E，纬度范围为：28°N-38°N。同时计算B08和B10以及B13和B15之间的亮温差，用于模型训练。
·雷达数据组网
为了综合应用雷达资料，需对雷达资料进行拼图组网，并插值到和卫星资料相同的等经纬度间距网格点上。使用江苏省13座雷达基数据。主要技术路线和方法包括：雷达数据转换三维格点化处理，将质量控制后的体扫数据的反射率因子数据转化为单站的三维格点数据，最后进行多部雷达拼图处理，得到反射率因子区域三维格点数据。
Figure GDA0003164138280000081
笛卡尔坐标转换
雷达基数据是以雷达为中心的极坐标存储的，即通过径向距离、方位角和仰角三个要素来识别其空间几何位置。基于基数据的格点化拼图首先将极坐标中的多普勒雷达资料按照一定的技术插值到笛卡尔坐标系的网格点上，然后才能进行拼图计算。由于雷达回波在大气中存在折射，因此在转化过程中使用考虑了大气折射的效地球半径的球坐标系。其具体计算过程如下：
设三维网格中任意网格单元的坐标为(αg,βg,hg)，其中αg为纬度，βg为经度， hg为高度。雷达天线所在点的坐标为(αr,βr,hr)，其中αr为纬度，βr为经度，hr为高度。使用雷达波束传播和大圆几何学理论可以确定网格单元相对于雷达点的极坐标位置 (r,a,e)，其中为r斜距，a为方位角，e为仰角，由球面三角公式可以得出：
sina＝cos(αg)sin(βg-βr)/sin(s/R)
其中R为地球半径，s为大圆距离，其表达式为：
s ＝Rcos-1(sin(αr)sin(αg)+cos(αr)cos(αg)cos( -βr))
设C＝sina,则有：
Figure GDA0003164138280000091
仰角e的表达式为：
Figure GDA0003164138280000092
其中Rm为等效地球半径，
Figure GDA0003164138280000093
斜距r的表达式为：
r＝sin(s/Rm)(Rm+hg-hr)/cos(e)
Figure GDA0003164138280000101
雷达数据格点化插值
雷达体扫模式造成雷达观测资料的空间分辨率不均匀，投影到笛卡儿坐标系中的网格上需要做插值处理。这里使用8点插值法(EPI)对雷达体扫后的数据进行插值处理。该方法综合了垂直线性内插法(NVI)和水平线性内插法(HVI)。分别选取空间格点的仰角、方位角和距离三个维度上的最近点，提取包含了该点的四棱台中8个顶点的雷达回波，对三个维度分别使用线性插值，得到空间网格点的雷达回波强度。
Figure GDA0003164138280000102
重叠区域拼图处理
对于多部雷达探测重叠区域的处理，基于雷达图像产品的平面拼图采用简单最大值法。最近邻居法虽然考虑波束随距离增加而拓展等问题，但会在等距离圈连线上出现不连续现象；平均值法将平滑强回波，出现强回波被消弱的现象；由于日常业务应用中更为关注的是强回波造成的影响，所以常常选择最大值法，尤其是组合反射率等导出产品的拼图。通过这几步可以得到和卫星网格点一一对应的组网雷达回波数据，用于模型训练和效果检验。
·闪电资料处理
按照卫星和雷达数据插值后的统一格点分布，根据ADTD资料中闪电的发生时间、经度、纬度资料，统计每个格点内每个时间段内发生的闪电次数。得到格点化的闪电分布时间序列数据。
·土地使用类型资料处理
将MODIS数据进行投影转换，得到包含有经纬度信息的土地使用类型数据。按照卫星和雷达数据插值后的统一格点分布，分布统计每个格点内不同土地使用类型所占的比重，选取所占比重最大的类型作为该格点的类型。如格点类型相同，选取类型中数值较小的类型作为该格点土地使用类型。
2、模型训练
相比传统的统计技术手段来说，神经网络具有很多的优越性。其主要特点是可以将输入数据通过任意程度的非线性映射到输入数据，具有很强的学习能力和拟合高度非线性函数的能力。
这里将4个通道的卫星数据、发生闪电次数资料、土地使用类型资料作为输入，组网后的组合雷达发射率数据作为输出。使用Tensorflow构建一个包含一个输入层、一个卷积层、一个隐藏层和一个输出层的卷积神经网络模型。输入层共有8个节点，分别对应着B08、B10、 B08-B10、B13、B15、B13-B15、闪电发生次数、土地使用类型这8个变量。在模型训练前将其均一化到[-1,1]区间内；卷积层使用的卷积窗大小为5×5×8，卷积窗种类为12，将每个5 ×5×8的格点卷积成一个1×12的矩阵；隐藏层包含的节点数为20，使用的激活函数为ReLU，输出乘节点数为1，使用的激活函数为Softmax。使用梯度下降算法，以0.01的学习速率进行学习。由于雷达回波的数据分布并不是很均匀，弱回波所占比重非常大，正常训练会导致训练结果雷达回波偏弱，因此在进行训练时采用分段随机抽取的方式。将雷达回波的样本进行分段统计，对每一个区间随机抽取相同数目的样本，进行训练。
经过200次迭代训练后模型的误差趋于平缓，约为0.06，转换为雷达回波强度，平均误差约为5dbz。
3、雷达回波反演
将实时观测的卫星资料、闪电资料以模型训练时相同的处理方式，得到格点化的卫星和闪电资料。土地使用类型数据直接使用训练时所用的数据作为输入。对雷达基数据使用相同的方式进行插值组网。将卫星资料、闪电资料、土地使用类型资料输入到训练好的神经网络中，得到反演后的雷达回波资料。
4、卫星雷达数据融合
对机器学习反演出来的数据和观测的雷达数据进行融合。以观测数据作为基准，判断每个网格点周围10km内雷达回波数据是否缺测。统计10km内有雷达观测的格点所占的比重，并以此为权重，将卫星反演的雷达反射率和雷达回波进行加权平均，得出卫星雷达融合后的组合反射率数据。该数据在有雷达观测的格点使用雷达观测值，在雷达盲区使用卫星数据作为替补，在两者交界处融合了两者的结果，在保证准确的情况下获得了较为平滑的雷达组合发射率数据。
以上所述仅为本发明的优选实施例而已，并不限制于本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种基于机器学习的卫星雷达反演融合方法，其特征在于,包括训练阶段和反演阶段；
训练阶段：
1)卫星资料及处理
将葵花8号静止卫星的B08、B10、B13、B15共4个波段的圆盘投影数据进行投影换算并插值到0.02°×0.02°的空间网格点上；
2)闪电资料及处理
将空间区域按照插值后的卫星资料的0.02°×0.02°网格进行划分，分别统计每个网格点中对应时间发生的闪电次数；
3)雷达资料及雷达数据组网
将所有雷达基数据进行空间笛卡尔坐标转换，并使用空间8点插值法将其插值到统一的网格点上；对重叠区域，使用其雷达回波最大值，并计算组网后的雷达组合反射率；
4)土地使用类型资料及处理
将MODIS的土地使用类型数据进行投影换算，并按照统一的空间网格进行划分，使用该网格中格中比重最大的土地使用类型作为该网格的土地使用类型；
5)模型训练
使用Tensorflow构建卷积神经网络，进行模型训练，得到训练后的神经网络模型；
反演阶段：
1)数据预处理
对实时观测得到的葵花8号静止卫星资料、闪电资料做和训练阶段相同的处理，土地使用类型资料使用训练阶段处理后的资料；
2)雷达资料组网
将实时观测的雷达基数据资料按照训练阶段的组网步骤进行组网，计算组合发射率；
3)雷达回波反演
将处理后的葵花8号卫星资料、闪电资料和土地使用类型资料输入训练好的神经网络模型，得到反演后的雷达组合反射率；土地使用类型数据直接使用训练时所用的数据作为输入；对雷达基数据使用相同的方式进行插值组网；将卫星资料、闪电资料、土地使用类型资料输入到训练好的神经网络中，得到反演后的雷达回波资料；
4)卫星雷达数据融合
将雷达组网组合反射率和反演后的雷达组合发射率进行边缘模糊融合，生成反演融合雷达组合发射率产品。
2.根据权利要求1所述的基于机器学习的卫星雷达反演融合方法，其特征在于,所述的卫星资料：葵花8号静止卫星共有16个通道，水平空间分辨率从500米到2公里不等，时间分辨率为10分钟，其中可见光中的红光水平分辨率为500米，蓝光和绿光以及近红外通道水平分辨率为1公里，其余通道水平分辨率均为2公里；考虑到夜晚可见光通道无观测数据，雷达回波由空气中的云滴雨滴造成，经过筛选，选取B08、B10、B13、B15共4个通道的数据进行训练；其中B08和B10为水汽通道，B13和B15为红外通道，其水平分辨率均为2公里；数据投影方式为圆盘投影。
3.根据权利要求1所述的基于机器学习的卫星雷达反演融合方法，其特征在于,所述的雷达资料：雷达基数据存放的为雷达的体扫资料，包含9个仰角；包含雷达反射率、径向数据和谱宽数据。
4.根据权利要求1所述的基于机器学习的卫星雷达反演融合方法，其特征在于,所述的土地使用类型资料：使用ADTD闪电定位系统观测到的闪电资料，包括闪电发生的时间、经度、纬度、强度、陡度、电荷和能量信息。
5.根据权利要求1所述的基于机器学习的卫星雷达反演融合方法，其特征在于,所述的卫星资料处理：对葵花8号静止卫星所提供的圆盘投影数据进行解码，并插值到等间距的经纬度格点上；圆盘投影描述的是从虚拟卫星到理想地球的视图；这里，虚拟卫星处于静止轨道，位于赤道平面上，经度确定；卫星与地球中心的距离是42164公里；理想化的地球是一个完美的椭圆体，赤道半径为6378.1690公里，极半径为6356.5838公里；
根据某像素点在以卫星为圆点的坐标系中的位置，以及地球的赤道半径和极半径，使用圆盘投影对卫星资料进行投影转换，推算出该像素点的经纬度坐标，进而推算出圆盘图中各像素点的经纬度信息；葵花8号卫星在远红外波段的空间分辨率为2km，在得到圆盘图的经纬度信息后，将B08、B10、B13和B15共4个波段的亮温数据使用空间线性插值法插值到0.02°×0.02°的等经纬度间距网格点上；同时计算B08和B10以及B13和B15之间的亮温差，用于模型训练。
6.根据权利要求1所述的基于机器学习的卫星雷达反演融合方法，其特征在于,所述的雷达数据组网:为了综合应用雷达资料，需对雷达资料进行拼图组网，并插值到和卫星资料相同的等经纬度间距网格点上；技术路线和方法包括：雷达数据转换三维格点化处理，将质量控制后的体扫数据的反射率因子数据转化为单站的三维格点数据，最后进行多部雷达拼图处理，得到反射率因子区域三维格点数据；
3-1)笛卡尔坐标转换
雷达基数据是以雷达为中心的极坐标存储的，即通过径向距离、方位角和仰角三个要素来识别其空间几何位置；基于基数据的格点化拼图首先将极坐标中的多普勒雷达资料按照一定的技术插值到笛卡尔坐标系的网格点上，然后才能进行拼图计算；由于雷达回波在大气中存在折射，因此在转化过程中使用考虑了大气折射的效地球半径的球坐标系；其具体计算过程如下：
设三维网格中任意网格单元的坐标为(αg，βg，hg)，其中αg为纬度，βg为经度，hg为高度；雷达天线所在点的坐标为(αr，βr，hr)，其中αr为纬度，βr为经度，hr为高度；使用雷达波束传播和大圆几何学理论可以确定网格单元相对于雷达点的极坐标位置(r，a，e)，其中为r斜距，a为方位角，e为仰角，由球面三角公式可以得出：
sina＝cos(αg)sin(βg-βr)/sin(s/R)
其中R为地球半径，s为大圆距离，其表达式为：
Figure FDA0003164138270000034
设C＝sina，则有：
Figure FDA0003164138270000031
仰角e的表达式为：
Figure FDA0003164138270000032
其中Rm为等效地球半径，
Figure FDA0003164138270000033
斜距r的表达式为：
r＝sin(s/Rm)(Rm+hg-hr)/cos(e)
3-2)雷达数据格点化插值
雷达体扫模式造成雷达观测资料的空间分辨率不均匀，投影到笛卡儿坐标系中的网格上需要做插值处理；这里使用8点插值法EPI对雷达体扫后的数据进行插值处理；该方法综合了垂直线性内插法NVI和水平线性内插法HVI；分别选取空间格点的仰角、方位角和距离三个维度上的最近点，提取包含了该点的四棱台中8个顶点的雷达回波，对三个维度分别使用线性插值，得到空间网格点的雷达回波强度；
3-3)重叠区域拼图处理
对于多部雷达探测重叠区域的处理，基于雷达图像产品的平面拼图采用简单最大值法；得到和卫星网格点一一对应的组网雷达回波数据，用于模型训练和效果检验。
7.根据权利要求1所述的基于机器学习的卫星雷达反演融合方法，其特征在于,所述的闪电资料处理：按照卫星和雷达数据插值后的统一格点分布，根据ADTD资料中闪电的发生时间、经度、纬度资料，统计每个格点内每个时间段内发生的闪电次数；得到格点化的闪电分布时间序列数据。
8.根据权利要求1所述的基于机器学习的卫星雷达反演融合方法，其特征在于,所述的土地使用类型资料处理：将MODIS数据进行投影转换，得到包含有经纬度信息的土地使用类型数据；按照卫星和雷达数据插值后的统一格点分布，分布统计每个格点内不同土地使用类型所占的比重，选取所占比重最大的类型作为该格点的类型；当格点类型相同，选取类型中数值较小的类型作为该格点土地使用类型。
9.根据权利要求1所述的基于机器学习的卫星雷达反演融合方法，其特征在于,所述的模型训练：这里将4个通道的卫星数据、发生闪电次数资料、土地使用类型资料作为输入，组网后的组合雷达发射率数据作为输出；使用Tensorflow构建一个包含一个输入层、一个卷积层、一个隐藏层和一个输出层的卷积神经网络模型；输入层共有8个节点，分别对应着B08、B10、B08-B10、B13、B15、B13-B15、闪电发生次数、土地使用类型这8个变量；在模型训练前将其均一化到[-1,1]区间内；卷积层使用的卷积窗大小为5×5×8，卷积窗种类为12，将每个5×5×8的格点卷积成一个1×12的矩阵；隐藏层包含的节点数为20，使用的激活函数为ReLU，输出乘节点数为1，使用的激活函数为Softmax；使用梯度下降算法，以0.01的学习速率进行学习；由于雷达回波的数据分布并不是很均匀，弱回波所占比重非常大，正常训练会导致训练结果雷达回波偏弱，因此在进行训练时采用分段随机抽取的方式；将雷达回波的样本进行分段统计，对每一个区间随机抽取相同数目的样本，进行训练。
10.根据权利要求1所述的基于机器学习的卫星雷达反演融合方法，其特征在于,所述的卫星雷达数据融合：以观测数据作为基准，判断每个网格点周围10km内雷达回波数据是否缺测；统计10km内有雷达观测的格点所占的比重，并以此为权重，将卫星反演的雷达反射率和雷达回波进行加权平均，得出卫星雷达融合后的组合反射率数据；该数据在有雷达观测的格点使用雷达观测值，在雷达盲区使用卫星数据作为替补，在两者交界处融合了两者的结果，在保证准确的情况下获得了较为平滑的雷达组合发射率数据。
CN201810199839.0A 2018-03-12 2018-03-12 基于机器学习的卫星雷达反演融合方法 Active CN108445464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810199839.0A CN108445464B (zh) 2018-03-12 2018-03-12 基于机器学习的卫星雷达反演融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810199839.0A CN108445464B (zh) 2018-03-12 2018-03-12 基于机器学习的卫星雷达反演融合方法

Publications (2)

Publication Number Publication Date
CN108445464A CN108445464A (zh) 2018-08-24
CN108445464B true CN108445464B (zh) 2021-09-10

Family

ID=63194001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810199839.0A Active CN108445464B (zh) 2018-03-12 2018-03-12 基于机器学习的卫星雷达反演融合方法

Country Status (1)

Country Link
CN (1) CN108445464B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299163B (zh) * 2018-11-26 2020-07-24 武汉大学 一种基于卷积神经网络的降水数据的插值方法及装置
CN110221360A (zh) * 2019-07-25 2019-09-10 广东电网有限责任公司 一种电力线路雷暴预警方法及系统
CN110942111B (zh) * 2019-12-31 2022-11-29 北京弘象科技有限公司 一种识别强对流云团的方法及装置
CN111366930A (zh) * 2020-03-09 2020-07-03 上海眼控科技股份有限公司 一种云顶高度验证方法、装置、计算机设备和存储介质
CN111474529B (zh) * 2020-06-10 2023-07-07 浙江省气象台 卫星反演雷达回波的方法、反演雷达回波系统及导航雷达
CN113376711B (zh) * 2020-08-19 2022-11-04 兰州大学 基于卷积神经网络的闪电频数预报方法
CN112198483A (zh) * 2020-09-28 2021-01-08 上海眼控科技股份有限公司 卫星反演雷达的数据处理方法、装置、设备及存储介质
CN112487718B (zh) * 2020-11-27 2024-04-16 江苏省气象服务中心 一种基于深度学习的卫星图像反演雷达组合反射率方法
CN112580779A (zh) * 2020-12-11 2021-03-30 上海眼控科技股份有限公司 一种雷达数据生成方法、装置、设备及存储介质
CN113325423A (zh) * 2021-05-07 2021-08-31 国网河南省电力公司电力科学研究院 一种多普勒气象雷达数据采集及三维拼图方法
CN113324923B (zh) * 2021-06-07 2023-07-07 郑州大学 一种结合时空融合与深度学习的遥感水质反演方法
CN113534158B (zh) * 2021-06-10 2024-06-11 国家卫星气象中心(国家空间天气监测预警中心) 基于深度学习的静止轨道气象卫星雷达反射率因子反演方法
CN113655295B (zh) * 2021-10-21 2022-01-04 南京信息工程大学 一种基于雷达探测数据的闪电强度识别方法
CN114492159A (zh) * 2021-12-22 2022-05-13 北京玖天气象科技有限公司 一种基于葵花静止卫星的降水反演方法及系统
CN114460555B (zh) * 2022-04-08 2022-08-23 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种雷达回波外推方法、装置及存储介质
CN115144835B (zh) * 2022-09-02 2023-01-03 南京信大气象科学技术研究院有限公司 一种基于神经网络的卫星反演天气雷达反射率的方法
CN115542431B (zh) * 2022-11-25 2023-03-10 成都远望探测技术有限公司 一种基于地基云雷达和卫星数据的对流初生监测方法
CN116562418A (zh) * 2023-03-20 2023-08-08 武汉大学 一种基于气溶胶信息和深度学习的实时预测闪电方法
CN116047631B (zh) * 2023-03-31 2023-06-20 中科星图维天信(北京)科技有限公司 降水预报方法、装置、电子设备及存储介质
CN117609932B (zh) * 2023-09-22 2024-05-24 宁波市气象网络与装备保障中心 一种海面能见度多源数据融合方法
CN116990772B (zh) * 2023-09-26 2024-01-02 北京大学 基于多尺度卷积网络的探地雷达双参数实时反演方法
CN117371316B (zh) * 2023-10-09 2024-08-09 北京大学重庆大数据研究院 基于深度学习的静止卫星太阳短波辐射反演方法及可读存储介质
CN117473877B (zh) * 2023-12-27 2024-03-22 青岛市生态与农业气象中心(青岛市气候变化中心) 一种基于静止卫星数据的闪电三维辐射源位置反演方法
CN117933095B (zh) * 2024-03-20 2024-06-18 南京信息工程大学 一种基于机器学习的地表发射率实时反演及同化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6741203B1 (en) * 2002-10-28 2004-05-25 Rockwell Collins Adaptive radar thresholds system and method
CN101793972A (zh) * 2010-03-25 2010-08-04 强祖基 强地震短临预测卫星热红外亮温异常技术
CN102681033A (zh) * 2012-04-27 2012-09-19 哈尔滨工程大学 一种基于x波段航海雷达的海面风场测量方法
CN105866751A (zh) * 2016-03-22 2016-08-17 中国科学院大气物理研究所 X波段固态双极化天气雷达的金属球定标方法
CN107238826A (zh) * 2017-06-09 2017-10-10 杨波 利用双偏振多普勒天气雷达回波反演雷暴电荷分布的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6741203B1 (en) * 2002-10-28 2004-05-25 Rockwell Collins Adaptive radar thresholds system and method
CN101793972A (zh) * 2010-03-25 2010-08-04 强祖基 强地震短临预测卫星热红外亮温异常技术
CN102681033A (zh) * 2012-04-27 2012-09-19 哈尔滨工程大学 一种基于x波段航海雷达的海面风场测量方法
CN105866751A (zh) * 2016-03-22 2016-08-17 中国科学院大气物理研究所 X波段固态双极化天气雷达的金属球定标方法
CN107238826A (zh) * 2017-06-09 2017-10-10 杨波 利用双偏振多普勒天气雷达回波反演雷暴电荷分布的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Stray light performance comparison between Himawari-8 AHI and GOES-16 ABI;Xi Shao et al.;《2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS)》;20170728;全文 *
基于卫星红外遥感的云顶高度反演算法综述;樊宏杰 等;《北京大学学报(自然科学版)》;20170731;第53卷(第4期);全文 *

Also Published As

Publication number Publication date
CN108445464A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
CN108445464B (zh) 基于机器学习的卫星雷达反演融合方法
Hilburn et al. Development and interpretation of a neural-network-based synthetic radar reflectivity estimator using GOES-R satellite observations
CN108761484A (zh) 一种基于多源卫星遥感数据的海雾监测方法
CN109814175B (zh) 一种基于卫星的强对流监测方法及其应用
CN106054194B (zh) 一种星载雷达和地基雷达反射率因子数据三维融合方法
Fujii et al. An overview of developments and applications of oceanographic radar networks in Asia and Oceania countries
CN115267941B (zh) 一种高解析度真彩可见光模型生成、反演方法及其系统
US20140362088A1 (en) Graphical display of radar and radar-like meteorological data
CN105652255B (zh) 雷达组网系统的空间配准方法
CN110221360A (zh) 一种电力线路雷暴预警方法及系统
CN113744249B (zh) 一种海洋生态环境损害调查方法
CN105334498A (zh) 一种适用于多平台雷达的地物回波快速生成算法
CN116192251A (zh) 一种基于天空红外遥感图像确定星地激光链路通信可用度的方法
CN112526636B (zh) 基于单站多星与多站组网的近地面二维降雨场重构方法及系统
CN112668615B (zh) 一种基于深度跨尺度外推融合的卫星云图预测方法
CN117148360B (zh) 雷电临近预报方法、装置、电子设备及计算机存储介质
CN112285709B (zh) 基于深度学习的大气臭氧遥感激光雷达数据融合方法
CN115236615A (zh) 基于t矩阵法的机载极化气象雷达降水粒子回波仿真方法
CN115691049A (zh) 一种基于深度学习的对流初生预警方法
Kim et al. mmWave path loss modeling for urban scenarios based on 3D-convolutional neural networks
CN115144835B (zh) 一种基于神经网络的卫星反演天气雷达反射率的方法
CN112115405B (zh) 基于图像识别的日间海雾雾区反演方法
WOO et al. Development of Satellite Reflectivity Retrieval Technique for Tropical Cyclone Rainfall Nowcasting
Takahashi et al. The vortex structure and near‐surface winds of Typhoon Faxai (2019) during landfall. Part I: Observational analysis
CN109298424A (zh) 一种基于雷达拼图的杆塔电力线路天气监测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant