发明内容
本发明的目的是提供一种航空气象四维数据集的构建方法及系统,本发明通过对多源异构数据提供统一尺度的编码和存储规范,针对气象资料进行预处理,基于统计学和气象要素特异性特征进行文件级和要素级的质量控制、快速融合和智能同化,同时还通过构建时空四维数据模型实现了准确有效地进行时空数据存储、时段检索、空间检索、数据挖掘、数据压缩与数据存储等功能。
本发明改进了现有技术中,不能对航空气象数据进行准确的时空四维数据模型的构建以及不具备对相关地民航气象资料进行完整的数据检索、数据挖掘等功能的问题,本发明通过对多源异构数据提供统一尺度的编码和存储规范,实现了数据分类,针对气象资料进行预处理,保证气象资料的质量控制,实现快速融合和智能同化,通过构建时空四维数据模型,可以进行时空数据存储、时段检索、空间检索、数据挖掘、数据压缩与数据存储的一体化等功能,提高了对数据提取的效率。
本发明改进了现有技术中,不能提供时空分辨率下的四维数据矩阵结构的问题,本发明通过针对四维矩阵结构的构成,包括时间、高度层、维度、经度,对部分数据如雷达、风速、风向在时间上分为不同的数据文件,每个文件包含三个维度的数据,整体上构成四维数据,另外部分数据直接为四维矩阵结构如温度、湿度等,有效地提高了针对航空气象数据的快速构建与处理。
为了实现上述目的,本发明提供了如下的技术方案:
一种航空气象四维数据集的构建方法,包括:
步骤S1:获取多源异构数据,并将所述多源异构数据分类为栅格类数据、单点类数据和文件类数据,其中,所述文件类数据包括AMDAR资料、METAR资料、常规地面资料、探空资料、自观数据、雷达资料和卫星资料;
步骤S2:根据预设参考系划分并确定若干个时空标准网格;
步骤S3:将所述文件类数据进行数据分解,并得到解析数据;
步骤S4:基于不同所述解析数据的特点、数据大小和聚合方式,统一所述时空标准网格的数据的空间分辨率、投影坐标系、时间分辨率和区域范围,并确定唯一网格平面;
步骤S5:使用数据插值算法确定所述时空标准网格的网格点上的标准值,根据历史值和观测值对比可靠性确定标准值置信区间;
步骤S6:以统一接口对外提供所述标准值置信区间和相关数据。
在本申请的一些实施例中,所述将所述文件类数据进行数据分解,并得到解析数据,包括:
将所述AMDAR资料、所述METAR资料、所述常规地面资料、所述探空资料、所述自观数据、所述雷达资料和所述卫星资料进行数据分解;
分解所述常规地面资料和所述探空资料并得到近地层、850、700、500、200百帕的温度、温度露点差、位势高度、风速风向;
分解所述AMDAR资料并得到风切变、低温层、大气稳定度、锋面、低空急流、风向、降水;
分解所述METAR资料并得到能见度、温度、露点温度;
分解所述自观数据并得到跑道视程、跑道风向、修正海压、背景亮度;
分解所述雷达资料并得到反射率、径向速度和谱宽;
分解所述卫星资料并得到各个频段的辐射图。
在本申请的一些实施例中,所述使用数据插值算法确定所述时空标准网格的网格点上的标准值,包括:
所述数据插值算法采用反距离加权平均算法,将需要进行插值的待插值点为中心,取相邻区域范围内的所有点对所述待插值点进行插值,并确定所述时空标准网格的网格点上的标准值,具体公式如下:
其中,Wtotal为权重,Sxi为距离,Dxi为选取的数据点,D为所述标准值。
在本申请的一些实施例中,根据历史值和观测值对比可靠性确定标准值置信区间,包括:
根据所述数据插值算法得到的数据的分布规律对插值结果进行统计,按照95%的置信度划分置信区间;
根据贝塞尔曲线对所述历史值和所述观测值进行检测,判断所述历史值和所述观测值的变化趋势,以确定所述标准值置信区间。
在本申请的一些实施例中,所述预设参考系包括经纬度、气压层和时间。
为了实现上述目的,本发明还相应地提供了一种航空气象四维数据集的构建系统,包括:
数据处理模块,所述获取模块用于获取多源异构数据,并将所述多源异构数据分类为栅格类数据、单点类数据和文件类数据,其中,所述文件类数据包括AMDAR资料、METAR资料、常规地面资料、探空资料、自观数据、雷达资料和卫星资料;
网格划分模块,所述网格划分模块用于根据预设参考系划分并确定若干个时空标准网格;
数据分解模块,所述数据分解模块用于将所述文件类数据进行数据分解,并得到解析数据;
网格确定模块,所述网格确定模块用于基于不同所述解析数据的特点、数据大小和聚合方式,统一所述时空标准网格的数据的空间分辨率、投影坐标系、时间分辨率和区域范围,并确定唯一网格平面;
数据计算模块,所述数据计算模块用于使用数据插值算法确定所述时空标准网格的网格点上的标准值,根据历史值和观测值对比可靠性确定标准值置信区间;
数据展示模块,所述数据展示模块用于以统一接口对外提供所述标准值置信区间和相关数据。
在本申请的一些实施例中,所述数据分解模块还用于将所述AMDAR资料、所述METAR资料、所述常规地面资料、所述探空资料、所述自观数据、所述雷达资料和所述卫星资料进行数据分解;
分解所述常规地面资料和所述探空资料并得到近地层、850、700、500、200百帕的温度、温度露点差、位势高度、风速风向;
分解所述AMDAR资料并得到风切变、低温层、大气稳定度、锋面、低空急流、风向、降水;
分解所述METAR资料并得到能见度、温度、露点温度;
分解所述自观数据并得到跑道视程、跑道风向、修正海压、背景亮度;
分解所述雷达资料并得到反射率、径向速度和谱宽;
分解所述卫星资料并得到各个频段的辐射图。
在本申请的一些实施例中,所述数据计算模块还用于采用反距离加权平均算法,将需要进行插值的待插值点为中心,取相邻区域范围内的所有点对所述待插值点进行插值,并确定所述时空标准网格的网格点上的标准值,具体公式如下:
其中,Wtotal为权重,Sxi为距离,Dxi为选取的数据点,D为所述标准值。
在本申请的一些实施例中,所述数据计算模块还用于根据所述数据插值算法得到的数据的分布规律对插值结果进行统计,按照95%的置信度划分置信区间;
所述数据计算模块还用于根据贝塞尔曲线对所述历史值和所述观测值进行检测,判断所述历史值和所述观测值的变化趋势,以确定所述标准值置信区间。
在本申请的一些实施例中,在所述网格划分模块中,所述预设参考系包括经纬度、气压层和时间。
本发明提供的一种航空气象四维数据集的构建方法及系统,与现有技术相比,其有益效果在于:
本发明通过对多源异构数据提供统一尺度的编码和存储规范,针对航空气象数据资料进行预处理,基于统计学和气象要素特异性特征进行文件级和要素级的质量控制,实现了快速融合和智能同化。本发明构建的时空四维数据模型具备时空数据存储、时段检索、空间检索、数据挖掘、数据压缩与数据存储一体化的功能,为实况数据和预报数据的格点数据提供时空分辨率下的四维数据矩阵结构,其中,四维数据矩阵结构包括时间、高度层、维度和经度,同时对相关气象数据存储,还使用智能网格技术,将数据分解后,基于不同数据的特点、数据大小和数据聚合方式,统一网格数据的空间分辨率、投影坐标系、时间分辨率和区域范围确定唯一网格平面。本发明针对航空气象四维数据集具有快速构建、智能处理以及高效提取等特点。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
在本申请的描述中,需要理解的是,术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内侧的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
现有技术中,并不能对航空气象数据进行准确的时空四维数据模型的构建,不具备对相关地民航气象资料进行完整的数据检索、数据挖掘等功能,因此,本发明提供了一种航空气象四维数据集的构建方法及系统,通过对多源异构数据提供统一尺度的编码和存储规范,针对气象资料进行预处理,基于统计学和气象要素特异性特征进行文件级和要素级的质量控制、快速融合和智能同化,同时还通过构建时空四维数据模型实现了准确有效地进行时空数据存储、时段检索、空间检索、数据挖掘、数据压缩与数据存储等功能。
参阅图1所示,本发明公开实施例提供了一种航空气象四维数据集的构建方法,包括:
步骤S1:获取多源异构数据,并将多源异构数据分类为栅格类数据、单点类数据和文件类数据,其中,文件类数据包括AMDAR资料、METAR资料、常规地面资料、探空资料、自观数据、雷达资料和卫星资料;
步骤S2:根据预设参考系划分并确定若干个时空标准网格;
步骤S3:将文件类数据进行数据分解,并得到解析数据;
步骤S4:基于不同解析数据的特点、数据大小和聚合方式,统一时空标准网格的数据的空间分辨率、投影坐标系、时间分辨率和区域范围,并确定唯一网格平面;
步骤S5:使用数据插值算法确定时空标准网格的网格点上的标准值,根据历史值和观测值对比可靠性确定标准值置信区间;
步骤S6:以统一接口对外提供标准值置信区间和相关数据。
可以理解的是,本申请中的栅格类数据包括数值预报产品数据:GPH 位势高度、TEM 温度/地面温度/2米温度、假相当位温、最高温度/2米最高温度、最低温度/2米最低温度、露点温度/2米露点温度、温度露点差、潜热通量/地表潜热通量、温度平流、比湿/2米比湿、相对湿度/2米相对湿度、总降水量、非对流降水、对流降水、雪深、云水混合比、冰水混合比、雨水混合比、雪水混合比、降雪量、霰、总柱状比湿(整层水汽含量)、总柱状云水、总柱状云冰、水汽通量、水汽通量散度、抬升凝结高度、最大相对湿度/2米最大相 对湿度、最小相对湿度/2米最小相对湿度、东西风风速/10米东西风 风速/10米东西风最大风 速、南北风风速/10米南北风风速/10米南北风最大风速、垂直速度/最大垂直速度、相对涡度、相对散度、涡度平流、东西风应力、南北风应力、气压/地面气压、海平面气压、位势高度/地形高度、边界层高度、总云量、低云量、中云量、高云量、云量、气块抬升指数、K指数、强天气胁迫指数、对流有效位能、对流抑制能量、沙氏指数、雷达组合反射率、反照率;单点类数据包括高空气象资料:气压、位势高度、风向、风速、温度/气温、露点温度、温度露点差以及航空器数据:型号、高度、航速、经度、维度、方向。本领域技术人员应该理解的是,上述数据中,由于分类后的数据样本是不相同的,因此构建网格时所需要的构建方式也是不同的,因此,在本申请中不同的数据样本对应有不同的预设构建规则,再结合经纬度、气压层和时间来构建不同的网格,针对具体的实际应用场景中,获取不同的数据进行构建,因此,本申请针对具体的构建数据不做具体限定。
还可以理解的是,数据聚合是对每个数据来源都有一个基于预设的计算权重矩阵,按照预设计算权重矩阵进行加权聚合。与数据融合结果相比,单个数据源的时间分辨率、空间分辨率不一样、投影坐标系可能有区别,区域较小,本发明通过对应的规则,如插值、线性变换、投影转换、坐标转换,将单个数据源的数据对应到整体的融合结果中。例如雷达数据观测的极坐标数据,按空间分辨率分辨进行反距离加权平均插值,在转换成经纬度网格数据,然后按照时间分辨率对齐,整合到整体的三维网格上,例如航空器数据按照时间分辨率对其进行插值,按照相邻多个时间点的位置和状态信息,估算在时间分辨率对齐情况下该航空器的位置和状态。因此,针对具体的数据都需要有具体的计算方式,在此,本申请并不做具体的限定。
在本申请的一种具体实施例中,将文件类数据进行数据分解,并得到解析数据,包括:
将AMDAR资料、METAR资料、常规地面资料、探空资料、自观数据、雷达资料和卫星资料进行数据分解;
分解常规地面资料和探空资料并得到近地层、850、700、500、200百帕的温度、温度露点差、位势高度、风速风向;
分解AMDAR资料并得到风切变、低温层、大气稳定度、锋面、低空急流、风向、降水;
分解METAR资料并得到能见度、温度、露点温度;
分解自观数据并得到跑道视程、跑道风向、修正海压、背景亮度;
分解雷达资料并得到反射率、径向速度和谱宽;
分解卫星资料并得到各个频段的辐射图。
在本申请的一种具体实施例中,自观数据为机场跑道自观数据,包括跑道视程、跑道风向、修正海压、背景亮度。
在本申请的一种具体实施例中,使用数据插值算法确定时空标准网格的网格点上的标准值,包括:
数据插值算法采用反距离加权平均算法,将需要进行插值的待插值点为中心,取相邻区域范围内的所有点对待插值点进行插值,并确定时空标准网格的网格点上的标准值,具体公式如下:
其中,Wtotal为权重,Sxi为距离,Dxi为选取的数据点,D为标准值。
在本申请的一种具体实施例中,根据历史值和观测值对比可靠性确定标准值置信区间,包括:
根据数据插值算法得到的数据的分布规律对插值结果进行统计,按照95%的置信度划分置信区间;
根据贝塞尔曲线对历史值和观测值进行检测,判断历史值和观测值的变化趋势,以确定标准值置信区间。
可以理解的是,大部分的数据,历史值和观测值在相近的历史时间内应该是呈现一种平滑的变化趋势,如温度观测时,假定观测时间为1小时,其变化不应该是波动很大的,这种变化规律可以通过是否符合贝塞尔曲线变化来检测。
在本申请的一种具体实施例中,预设参考系包括经纬度、气压层和时间。
基于相同的技术构思,参阅图2所示,本发明还相应地提供了一种航空气象四维数据集的构建系统,包括:
数据处理模块,获取模块用于获取多源异构数据,并将多源异构数据分类为栅格类数据、单点类数据和文件类数据,其中,文件类数据包括AMDAR资料、METAR资料、常规地面资料、探空资料、自观数据、雷达资料和卫星资料;
网格划分模块,网格划分模块用于根据预设参考系划分并确定若干个时空标准网格;
数据分解模块,数据分解模块用于将文件类数据进行数据分解,并得到解析数据;
网格确定模块,网格确定模块用于基于不同解析数据的特点、数据大小和聚合方式,统一时空标准网格的数据的空间分辨率、投影坐标系、时间分辨率和区域范围,并确定唯一网格平面;
数据计算模块,数据计算模块用于使用数据插值算法确定时空标准网格的网格点上的标准值,根据历史值和观测值对比可靠性确定标准值置信区间;
数据展示模块,数据展示模块用于以统一接口对外提供标准值置信区间和相关数据。
可以理解的是,本申请中的栅格类数据包括数值预报产品数据:GPH 位势高度、TEM 温度/地面温度/2米温度、假相当位温、最高温度/2米最高温度、最低温度/2米最低温度、露点温度/2米露点温度、温度露点差、潜热通量/地表潜热通量、温度平流、比湿/2米比湿、相对湿度/2米相对湿度、总降水量、非对流降水、对流降水、雪深、云水混合比、冰水混合比、雨水混合比、雪水混合比、降雪量、霰、总柱状比湿(整层水汽含量)、总柱状云水、总柱状云冰、水汽通量、水汽通量散度、抬升凝结高度、最大相对湿度/2米最大相 对湿度、最小相对湿度/2米最小相对湿度、东西风风速/10米东西风 风速/10米东西风最大风 速、南北风风速/10米南北风风速/10米南北风最大风速、垂直速度/最大垂直速度、相对涡度、相对散度、涡度平流、东西风应力、南北风应力、气压/地面气压、海平面气压、位势高度/地形高度、边界层高度、总云量、低云量、中云量、高云量、云量、气块抬升指数、K指数、强天气胁迫指数、对流有效位能、对流抑制能量、沙氏指数、雷达组合反射率、反照率;单点类数据包括高空气象资料:气压、位势高度、风向、风速、温度/气温、露点温度、温度露点差以及航空器数据:型号、高度、航速、经度、维度、方向。本领域技术人员应该理解的是,上述数据中,由于分类后的数据样本是不相同的,因此构建网格时所需要的构建方式也是不同的,因此,在本申请中不同的数据样本对应有不同的预设构建规则,再结合经纬度、气压层和时间来构建不同的网格,针对具体的实际应用场景中,获取不同的数据进行构建,因此,本申请针对具体的构建数据不做具体限定。
还可以理解的是,数据聚合是对每个数据来源都有一个基于预设的计算权重矩阵,按照预设计算权重矩阵进行加权聚合。与数据融合结果相比,单个数据源的时间分辨率、空间分辨率不一样、投影坐标系可能有区别,区域较小,本发明通过对应的规则,如插值、线性变换、投影转换、坐标转换,将单个数据源的数据对应到整体的融合结果中。例如雷达数据观测的极坐标数据,按空间分辨率分辨进行反距离加权平均插值,在转换成经纬度网格数据,然后按照时间分辨率对齐,整合到整体的三维网格上,例如航空器数据按照时间分辨率对其进行插值,按照相邻多个时间点的位置和状态信息,估算在时间分辨率对齐情况下该航空器的位置和状态。因此,针对具体的数据都需要有具体的计算方式,在此,本申请并不做具体的限定。
在本申请的一种具体实施例中,数据分解模块还用于将AMDAR资料、METAR资料、常规地面资料、探空资料、自观数据、雷达资料和卫星资料进行数据分解;
分解常规地面资料和探空资料并得到近地层、850、700、500、200百帕的温度、温度露点差、位势高度、风速风向;
分解AMDAR资料并得到风切变、低温层、大气稳定度、锋面、低空急流、风向、降水;
分解METAR资料并得到能见度、温度、露点温度;
分解自观数据并得到跑道视程、跑道风向、修正海压、背景亮度;
分解雷达资料并得到反射率、径向速度和谱宽;
分解卫星资料并得到各个频段的辐射图。
在本申请的一种具体实施例中,自观数据为机场跑道自观数据,包括跑道视程、跑道风向、修正海压、背景亮度。
在本申请的一种具体实施例中,数据计算模块还用于采用反距离加权平均算法,将需要进行插值的待插值点为中心,取相邻区域范围内的所有点对待插值点进行插值,并确定时空标准网格的网格点上的标准值,具体公式如下:
其中,Wtotal为权重,Sxi为距离,Dxi为选取的数据点,D为标准值。
在本申请的一种具体实施例中,数据计算模块还用于根据数据插值算法得到的数据的分布规律对插值结果进行统计,按照95%的置信度划分置信区间;
数据计算模块还用于根据贝塞尔曲线对历史值和观测值进行检测,判断历史值和观测值的变化趋势,以确定标准值置信区间。
可以理解的是,大部分的数据,历史值和观测值在相近的历史时间内应该是呈现一种平滑的变化趋势,如温度观测时,假定观测时间为1小时,其变化不应该是波动很大的,这种变化规律可以通过是否符合贝塞尔曲线变化来检测。
在本申请的一种具体实施例中,在网格划分模块中,预设参考系包括经纬度、气压层和时间。
根据本发明的第一构思,本发明通过对多源异构数据提供统一尺度的编码和存储规范,实现了数据分类,针对气象资料进行预处理,保证气象资料的质量控制,实现快速融合和智能同化,通过构建时空四维数据模型,可以进行时空数据存储、时段检索、空间检索、数据挖掘、数据压缩与数据存储的一体化等功能,提高了对数据提取的效率。
根据本发明的第二构思,本发明通过针对四维矩阵结构的构成,包括时间、高度层、维度、经度,对部分数据如雷达、风速、风向在时间上分为不同的数据文件,每个文件包含三个维度的数据,整体上构成四维数据,另外部分数据直接为四维矩阵结构如温度、湿度等,有效地提高了针对航空气象数据的快速构建与处理。
综上所述,本发明通过对多源异构数据提供统一尺度的编码和存储规范,针对航空气象数据资料进行预处理,基于统计学和气象要素特异性特征进行文件级和要素级的质量控制,实现了快速融合和智能同化。本发明构建的时空四维数据模型具备时空数据存储、时段检索、空间检索、数据挖掘、数据压缩与数据存储一体化的功能,为实况数据和预报数据的格点数据提供时空分辨率下的四维数据矩阵结构,其中,四维数据矩阵结构包括时间、高度层、维度和经度,同时对相关气象数据存储,还使用智能网格技术,将数据分解后,基于不同数据的特点、数据大小和数据聚合方式,统一网格数据的空间分辨率、投影坐标系、时间分辨率和区域范围确定唯一网格平面。本发明针对航空气象四维数据集具有快速构建、智能处理以及高效提取等特点。
以上所述仅为本发明的一个实施例子,但不能以此限制本发明的范围,凡依据本发明所做的结构上的变化,只要不失本发明的要义所在,都应视为落入本发明保护范围之内受到制约。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的系统,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。