CN106874602A - 气象数据处理方法和装置 - Google Patents
气象数据处理方法和装置 Download PDFInfo
- Publication number
- CN106874602A CN106874602A CN201710090607.7A CN201710090607A CN106874602A CN 106874602 A CN106874602 A CN 106874602A CN 201710090607 A CN201710090607 A CN 201710090607A CN 106874602 A CN106874602 A CN 106874602A
- Authority
- CN
- China
- Prior art keywords
- mesoscale
- time series
- border
- meteorological data
- minute yardstick
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
- G16Z99/00—Subject matter not provided for in other main groups of this subclass
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种气象数据处理方法和装置。其中,该方法包括:获取中尺度时间序列气象数据,根据中尺度时间序列气象数据的格点分布确定与目标区域对应的微尺度水平模拟区域并使微尺度水平模拟区域的边界之上或边界的预设范围内存在中尺度时间序列气象数据,将位于边界之上或边界的预设范围内的中尺度时间序列气象数据进行转换并按预设顺序组成向量集合,生成初始中心点,基于初始中心点使用聚类算法将向量集合进行分组处理并使得到的多个向量组的有效性指标满足预设条件,确定进行分组处理之后得到的每个向量组的中心点。本发明解决了相关技术中直接运用大量中尺度气象数据执行微尺度数据模拟运算量过大的技术问题。
Description
技术领域
本发明涉及气象数据处理领域,具体而言,涉及一种气象数据处理方法和装置。
背景技术
近年来国内国外采用基于CFD(Computational Fluid Dynamics,计算流体动力学)数值模拟技术(或称为微尺度数值模拟技术)进行风资源的评估取得了一定发展,由于基于CFD技术的风资源评估技术精度较高,因而其应用范围逐渐扩大。但是到目前为止,这种技术存在如下缺陷:1、边界条件按照定常、表面均匀的假定设定,不能适用于复杂地形;2、计算所用到的关键参量,例如,大气边界层参量等,都是主观设定的,没有实测数据基础。以上缺陷均影响了CFD的计算精度,特别是在复杂地形条件下的计算结果的精度。近年来由于天气预报技术和计算机技术的发展,计算机的运算能力大幅度提高,中尺度天气预报模式得到迅速发展与广泛应用。中尺度天气预报模式是以观测数据和背景场预测数据或再分析数据为基础,通过同化和数值模拟生成规则格点数据的模式,所以具有观测数据的基础。用中尺度数值模拟的数据结果来构建微尺度数值模拟的边界条件,可以使得微尺度数值模拟边界条件具有实测数据基础,因而是国际国内研究人员研究的课题。但是,由于中尺度数值模拟输出的时间序列数据(通常不少于1年)数据量过于庞大,超出目前一般的计算机的运算能力,因此直接采用中尺度数值模拟的输出数据作为微尺度的边界条件(也即直接耦合方式)还不具有实用性。因此,如何根据大量的中尺度时间序列气象数据执行微尺度数值模拟、成为必须要解决的问题。
针对相关技术中直接运用大量中尺度气象数据执行微尺度数据模拟运算量过大的技术问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种气象数据处理方法和装置,以至少解决相关技术中直接运用大量中尺度气象数据执行微尺度数据模拟运算量过大的技术问题。
根据本发明实施例的一个方面,提供了一种气象数据处理方法,该方法包括:获取中尺度时间序列气象数据,其中,中尺度时间序列气象数据是对背景场数据和实测数据执行同化和中尺度数值模拟之后得到的数据;根据中尺度时间序列气象数据的格点分布确定与目标区域对应的微尺度水平模拟区域并使微尺度水平模拟区域的边界之上或边界的预设范围内存在中尺度时间序列气象数据;将位于边界之上或边界的预设范围内的中尺度时间序列气象数据进行转换并按预设顺序组成向量集合;生成初始中心点;基于初始中心点使用聚类算法将向量集合进行分组处理并使得到的多个向量组的有效性指标满足预设条件;确定进行分组处理之后得到的每个向量组的中心点,其中,中心点用于产生微尺度数值模拟边界条件的向量。
进一步地,根据中尺度时间序列气象数据的格点分布确定与目标区域对应的微尺度水平模拟区域包括:在中尺度时间序列气象数据的格点分布的地域上确定至少覆盖目标区域的区域为微尺度水平模拟区域,其中,微尺度水平模拟区域为需要进行微尺度数值模拟的区域在水平面投影的矩形区域,微尺度水平模拟区域的边界在预设地理坐标系统中满足预设位置条件,且在微尺度水平模拟区域的边界之上或边界的预设范围内存在中尺度时间序列气象数据。
进一步地,将位于边界之上或边界的预设范围内的中尺度时间序列气象数据进行转换并按预设顺序组成向量集合包括:将每个时点对应的在边界之上或边界的预设范围内的中尺度时间序列气象数据转换为一个向量,以得到向量集合。
进一步地,生成初始中心点为在不同的大气稳定度、不同的日间时段以及不同的季节的中尺度时间序列气象数据中随机产生。
进一步地,中心点的分量属性与对应的一个向量组中每个向量的分量属性相同,其中,聚类算法用于提高中心点与对应的一个向量组中每个向量的相似度。
进一步地,基于初始中心点使用聚类算法将向量集合进行分组处理并使得到的多个向量组的有效性指标满足预设条件包括:根据聚类算法的分组结果计算有效性指标;判断聚类算法的分组结果的有效性指标是否满足预设条件,其中,有效性指标至少包括以下之一:每个向量组的相似度均值、每个向量组的相似度均方根偏差、任意两个向量组的中心点之间的相似度。
进一步地,在判断聚类算法的分组结果的有效性指标是否满足预设条件之后,该方法还包括:如果判断出聚类算法的分组结果的有效性指标不满足预设条件,则对多个向量组中不满足预设条件的向量组进行合并或拆分以重新分组,并根据重新分组后的分组结果重新生成中心点;将重新生成的中心点作为初始中心点并使用聚类算法将向量集合进行分组处理直至分组结果的有效性指标满足预设条件。
进一步地,相似度为由两个向量对应分量之间的正比例关系确定的标量。
根据本发明实施例的另一方面,还提供了一种气象数据处理装置,该装置包括:获取单元,用于获取中尺度时间序列气象数据,其中,中尺度时间序列气象数据是对背景场数据和实测数据执行同化和中尺度数值模拟之后得到的数据;第一确定单元,用于根据中尺度时间序列气象数据的格点分布确定与目标区域对应的微尺度水平模拟区域并使微尺度水平模拟区域的边界之上或边界的预设范围内存在中尺度时间序列气象数据;转换单元,用于将位于边界之上或边界的预设范围内的中尺度时间序列气象数据进行转换并按预设顺序组成向量集合;生成单元,用于生成初始中心点;分组单元,用于基于初始中心点使用聚类算法将向量集合进行分组处理并使得到的多个向量组的有效性指标满足预设条件;第二确定单元,用于确定进行分组处理之后得到的每个向量组的中心点,其中,中心点用于产生微尺度数值模拟边界条件的向量。
进一步地,第一确定单元包括:确定模块,用于在中尺度时间序列气象数据的格点分布的地域上确定至少覆盖目标区域的区域为微尺度水平模拟区域,其中,微尺度水平模拟区域为需要进行微尺度数值模拟的区域在水平面投影的矩形区域,微尺度水平模拟区域的边界在预设地理坐标系统中满足预设位置条件,且在微尺度水平模拟区域的边界之上或边界的预设范围内存在中尺度时间序列气象数据。
在本发明实施例中,通过获取中尺度时间序列气象数据,其中,中尺度时间序列气象数据是对背景场数据和实测数据执行同化和中尺度数值模拟之后得到的数据;根据中尺度时间序列气象数据的格点分布确定与目标区域对应的微尺度水平模拟区域并使微尺度水平模拟区域的边界之上或边界的预设范围内存在中尺度时间序列气象数据;将位于边界之上或边界的预设范围内的中尺度时间序列气象数据进行转换并按预设顺序组成向量集合;生成初始中心点;基于初始中心点使用聚类算法将向量集合进行分组处理并使得到的多个向量组的有效性指标满足预设条件;确定进行分组处理之后得到的每个向量组的中心点,其中,中心点用于产生微尺度数值模拟边界条件的向量,解决了相关技术中直接运用大量中尺度气象数据执行微尺度数据模拟运算量过大的技术问题,进而实现了能够根据中尺度气象数据执行微尺度数值模拟的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的气象数据处理方法的流程图;
图2是根据本发明实施例的另一种可选的气象数据处理方法的流程图;
图3是根据本发明实施例的一种可选的预设区域的示意图;
图4是根据本发明实施例的一种可选的气象数据处理装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
术语解释:
中尺度时间序列气象数据,即采用同化技术将时间序列背景场数据和测量数据转换为数值分析数据,然后通过中尺度数值模拟技术对上述分析数据进行降尺度处理,实现时间分辨率和空间分辨率的提高,这样得到的规则格点气象数据为中尺度时间序列气象数据。
目标区域,是指风资源评估的目标区域,即要运用基于CFD数值模拟的风资源评估技术进行数值模拟的区域。
微尺度水平模拟区域,是指将要进行的微尺度数值模拟的区域在水平面投影的矩形区域,微尺度水平模拟区域的边界线尽可能与经线或纬线平行,且在边界线上或附近存在中尺度气象数据水平格点。
位置,指由经纬度或其它地理坐标系统确定的一组格点的水平地理标识。
向量,是指由同一时点的所有在微尺度水平模拟区域边界上或附近的中尺度时间序列气象数据经数据转换和有序组合形成的向量。
中心点,所谓某向量组的中心点,是指所构造的一个向量,它与本组所有向量都有很高的相似度。
聚类,是指将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。
WRF,是指一种中尺度天气预报模式(Whether Research and Forecasting)。
根据本申请实施例,提供了一种气象数据处理方法。
图1是根据本发明实施例的一种可选的气象数据处理方法的流程图,如图1所示,该方法包括如下步骤:
步骤S101,获取中尺度时间序列气象数据。其中,中尺度时间序列气象数据是对背景场数据和实测数据执行同化和中尺度数值模拟之后得到的数据。可选地,可以获取预设时间段内的中尺度时间序列气象数据,预设时间段可以是一个完整年。
步骤S102,根据中尺度时间序列气象数据的格点分布确定与目标区域对应的微尺度水平模拟区域并使微尺度水平模拟区域的边界之上或边界的预设范围内存在中尺度时间序列气象数据。
步骤S103,将位于边界之上或边界的预设范围内的中尺度时间序列气象数据进行转换并按预设顺序组成向量集合。其中,对中尺度时间序列气象数据进行数据转换可以生成对分析边界的流场状况更直接、更有价值的数据,然后将水平模拟区域边界上或附近的中尺度时间序列气象数据进行数据转换并按照格点、层级、数据项的顺序组合成向量集合,即中尺度时间系列数据向量的集合,下文中简称为向量集合。
步骤S104,生成初始中心点。其中,初始中心点可以在不同的大气稳定度、不同的日间时段以及不同的季节的中尺度时间序列气象数据中随机产生。
步骤S105,基于初始中心点使用聚类算法将向量集合进行分组处理并使得到的多个向量组的有效性指标满足预设条件。其中,有效性指标是用于评价聚类效果的指标。
步骤S106,确定进行分组处理之后得到的每个向量组的中心点,其中,中心点用于产生微尺度数值模拟边界条件的向量。其中,在进行分组之后,可以计算分组结果的有效性指标是否达到标准,或者说,是否满足预设条件,如果满足预设条件,则输出所有的向量分组和所有中心点,并结束聚类,否则,对分组结果进行调整优化之后重新进行聚类。
该实施例通过对背景场数据和实测数据进行同化和中尺度数值模拟而获取中尺度时间序列气象数据后,基于中尺度时间序列气象数据的格点分布确定与目标区域对应的微尺度水平模拟区域,建立聚类方法将中尺度时间序列气象数据向量聚类(分组),使多个向量组的有效性指标满足预设条件。基于这些向量生成与组内所有数据高度相似的向量,用于为目标区域进行微尺度计算流体动力学(CFD)数值模拟生成所需的边界条件,从而避免将所有中尺度时间序列气象数据直接用于产生微尺度数值模拟边界条件而造成的目前运算条件所不能承受的开销,解决了相关技术中直接运用大量中尺度气象数据执行微尺度数据模拟运算量过大的技术问题,进而实现了能够根据中尺度气象数据执行微尺度数值模拟的技术效果。
可选地,根据中尺度时间序列气象数据的格点分布确定与目标区域对应的微尺度水平模拟区域包括:在中尺度时间序列气象数据的格点分布的地域上确定至少覆盖目标区域的区域为微尺度水平模拟区域,其中,微尺度水平模拟区域为需要进行微尺度数值模拟的区域在水平面投影的矩形区域,微尺度水平模拟区域的边界在预设地理坐标系统中满足预设位置条件,且在微尺度水平模拟区域的边界之上或边界的预设范围内存在中尺度时间序列气象数据,可选地,预设地理坐标系统可以是经纬度地理坐标系统,也可以是其它地理坐标系统,微尺度水平模拟区域的边界在预设地理坐标系统中满足预设位置条件可以设置为使微尺度水平模拟区域的边界在经纬度地理坐标系统中与经线或纬线尽可能的平行,也即,使边界与经线或纬线的夹角在预设角度之内。
可选地,将位于边界之上或边界的预设范围内的中尺度时间序列气象数据进行转换并按预设顺序组成向量集合包括:将每个时点对应的在边界之上或边界的预设范围内的中尺度时间序列气象数据转换为一个向量,以得到向量集合,可选地,在边界的预设范围内为在边界的附近。
可选地,将位于边界之上或边界的预设范围内的中尺度时间序列气象数据进行转换并按预设顺序组成向量集合包括:将每个时点对应的在边界之上或边界的预设范围内的中尺度时间序列气象数据转换为一个向量,以得到向量集合。
可选地,生成初始中心点为在不同的大气稳定度、不同的日间时段以及不同的季节的中尺度时间序列气象数据中随机产生。
可选地,中心点的分量属性与对应的一个向量组中每个向量的分量属性相同,其中,聚类算法用于提高中心点与对应的一个向量组中每个向量的相似度,并且,聚类算法的分组结果需要使多个向量组的有效性指标满足预设条件。
可选地,基于初始中心点使用聚类算法将向量集合进行分组处理并使得到的多个向量组的有效性指标满足预设条件包括:根据聚类算法的分组结果计算有效性指标;判断聚类算法的分组结果的有效性指标是否满足预设条件,其中,有效性指标至少包括以下之一:每个向量组的相似度均值、每个向量组的相似度均方根偏差、任意两个向量组的中心点之间的相似度。
可选地,在判断聚类算法的分组结果的有效性指标是否满足预设条件之后,该方法还包括:如果判断出聚类算法的分组结果的有效性指标不满足预设条件,则对多个向量组中不满足预设条件的向量组进行合并或拆分以重新分组,并根据重新分组后的分组结果重新生成中心点;将重新生成的中心点作为初始中心点并使用聚类算法将向量集合进行分组处理直至分组结果的有效性指标满足预设条件。
可选地,相似度为由两个向量对应分量之间的正比例关系确定的标量。
下面结合一个应用场景对上述实施例的一种具体实施方式进行描述,如图2所示,该实施例包括如下步骤:
步骤一,获取中尺度时间序列气象数据:
可选地,可以获取一个完整年的中尺度时间序列气象数据,这些数据可以以netCDF文件的形式存储。在netCDF文件中,每组格点数据包含但不限于如下数据项(以下命名与WRF模式中的netCDF文件一致),如下是数据项的英文名和对应的中文解释:
Time:日期与时间;
bottom_top:层级序号;
south_north:格点的南北序号;
west_east:格点的东西序号;
U:东西方向的风速分量;
V:南北方向的风速分量;
W:垂直方向的风速分量;
XLAT:纬度;
XLONG:经度;
PH:扰动位势;
PHB:基态位势;
HGT:地面高度;
T:扰动位温;
P:扰动气压;
PB:基态气压;
QVAPOR:水汽混合比;
TH2:地面2米高度位温。
步骤二,确定微尺度水平模拟区域:
基于中尺度时间序列气象数据的格点分布确定与目标区域对应的微尺度水平模拟区域,使水平模拟区域边界上或边界附近存在中尺度时间序列气象数据,具体方法可以是:
(1)在分布有中尺度时间序列气象数据的格点的地域上选定一个水平矩形区域,该水平矩形区域覆盖要进行风资源评估的区域(即目标区域)。
(2)该微尺度水平模拟区域左右两条边上的中尺度时间序列气象数据的东西序号相等。
(3)该微尺度水平模拟区域上下两条边上的中尺度时间序列气象数据的南北序号相等。
(4)将西南和东北格点的经纬度坐标值转换为TUM坐标值,两点坐标值分别为(x1,y1)和(x3,y3),则(x1,y1),(x1,y3),(x3,y3),(x3,y1)四个顶点连接而成的矩形为微尺度水平模拟区域。
如图3所示,目标区域是不规则区域,微尺度水平模拟区域是虚线框内的区域,每个空心的○和实心的●均表示一个格点,一个格点也即一个地理位置,一个格点上有一个时间序列的中尺度气象数据,每个中尺度气象数据为一个时刻的气象数据,实心的●表示微尺度水平模拟区域内所包含的格点。
步骤三,数据转换并生成中尺度时间序列向量:
将微尺度水平模拟区域边界上或边界附近的中尺度气象数据按照格点、层级、数据项的顺序组合成向量集合。在该实施例的应用场景中,每个中尺度气象数据可以按照下面的顺序构成向量:
(1)通过转换数据转换得到如下格点参量:时间t,根据格点序号i和j确定的向量序号q,层级k,风速分量u,v,w,气压p,位势温度θ,距地面高度h,其中,t为日期时间,i为格点的南北方向序号,j为格点的东西方向序号,k为格点的垂直方向序号,u为南北方向水平风速分量,v为东西方向水平风速分量,w为垂直方向风速分量,p为气压,θ为位温,h为距地面高度。
转换公式如下(等式右侧的参数名称为WRF模式输出的netCDF文件中的参数名称):
t=time;
i=south_north-(min(south_north)),其中min(south_north)是模拟区域中格点的south_north最小的一个值,1≤i≤I;
j=west_east-(min(west_east)),其中min(west_east)是模拟区域中格点的west_east最小的一个值,1≤j≤J;
k=bottom_top,1≤k≤K;
u=U,v=V,w=W;
p=PB+P;
θ=T+TH2;
h=PHB+PH-HGT(此处用位势高度代替几何高度)
每个中尺度时间序列格点上包含以下数据:组号、时间(t),格点序号(i,j),层级(k),风速分量(u,v,w),气压(p),位势温度(θ),距地面高度(h),其中,组号将在下面采用聚类算法进行分组时用到。
(2)生成中尺度时间序列向量。具体方法可以是:
选择步骤2中由方法(1)、(2)、(3)确定的矩形区域边界上的格点,显然这些格点也在微尺度水平模拟区域边界上或附近。然后将i,j2维格点序号转换为1维序号i,i按照边界上的格点反时针排列。
将每个时间点的各点数据:组号、时间(t),格点序号(i,j),层级(k),风速分量(u,v,w),气压(p),位势温度(θ),距地面高度(h),排列为一个向量,排列顺序为:格点序号(先东西后南北)、层级、数据项,这样全部向量数与时点数一样多。
步骤四,生成初始中心点:
在不同的大气稳定度、不同的日间时段以及不同的季节的中尺度时间序列气象数据中随机产生初始中心点。具体方法可以是:
第一步,根据实际的运算能力和精度要求设定初始中心点的个数k(偶数);第二步,将获取的中尺度时间序列向量的时间段均等划分为k/2个时间区间;第三步,在每个时间区间内随机选出两个时点,其中一个时点t_1的时间区间在某天的白天,即6:00≤t_1<18:00(当地时间),另一个时点t_2的时间区间在某天的晚上,即18:00≤t_2<24:00或0:00≤t_2<6:00(当地时间),其中t_1和t_2为中尺度时间序列向量时间间隔的整倍数;第四步,在所有中尺度时间序列向量中将时点为t_1和t_2的向量选出,这k个向量就是中心点。
步骤五,聚类方法,包括用所定义的相似度来判断是否具有相似性的方法、定义中心点的方法、建立聚类有效性指标的方法、在聚类迭代过程中不断调整中心点和分组的方法、为提高性能增加分组和产生新的中心点的方法等不断调整优化的方法。具体方法可以是:
(1)首先,定义两个向量之间的相似度:
相似度是一种标量,可选地,对于两个向量,两个向量的对应维度的正比例关系越相近,两个向量对应的维度的相似度就越高,两个向量的相似度越高,或称为越相似,反之越低。例如,设两个向量与则与之间的相似度:
如果需要对目标区域内的风资源进行评估,则参与相似度计算的向量分量只有风速风量。
(2)其次,定义每组向量分组的中心点:
设一组向量其中1≤j≤m,m为本组向量的个数,则本组向量的中心点为
步骤六,有效性指标达到标准:
该实施例中设置分类结果所需要满足的预设条件为有效性指标达到标准,有效性指标包括:
1)有效性指标1:每个向量种类中所有向量与中心点的相似度的平均值;
2)有效性指标2:每个向量种类中所有向量与中心点的相似度的均方根误差;
3)有效性指标3:各中心点任意两个向量的相似度。
预设条件可以设置为:有效性指标的阈值A、B和C,当有效性指标1大于A,有效性指标2小于B,有效性指标3小于C时,视为有效性指标达到预设阈值。
步骤七,优化聚类结果:
首先设置迭代次数预定值,然后开始迭代:
第一步,通过聚类算法进行分组,依次计算所有中尺度时间序列向量与各个中心点的相似度,并将每个中尺度时间序列向量归到与其相似度最高的中心点所代表的向量组中;
第二步,对每个向量组按照中心点定义计算其新的中心点,并计算各组的有效性指标;
其中,如果有效性指标达到标准设置聚类成功标志并结束聚类,否则,如果迭代次数小于预定值,则返回第一步,否则设置聚类不成功标志并结束聚类。
为提高性能增加分组和产生新的中心点以进行调整优化的方法为:如果聚类不成功,根据如下三种原因进行调整优化:
如果某组的有效性指标1和/或有效性指标2达不到预设标准,则将此组的中心点删除并生成两个新的初始中心点;如果是有效性指标3达不到预设标准则将相关两组的中心点按照对应分量取平均值的方法合并为一个向量作为初始中心点重新聚类。
步骤八,输出所有中心点和中尺度时间序列向量组:
在有效性指标达到预设标准或者优化聚类结果的优化次数达到预设值之后,输出聚类结果,其中,每个分组的中心点可以用于产生微尺度水平模拟区域执行微尺度数值模拟的边界条件。
需要说明的是,在附图的流程图虽然示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例,提供了一种气象数据处理装置。
图4是根据本发明实施例的一种可选的气象数据处理装置的示意图,如图4所示,该装置包括获取单元10,第一确定单元20,转换单元30,生成单元40,分组单元50和第二确定单元60。
获取单元用于获取中尺度时间序列气象数据,其中,中尺度时间序列气象数据是对背景场数据和实测数据执行同化和中尺度数值模拟之后得到的数据;第一确定单元用于根据中尺度时间序列气象数据的格点分布确定与目标区域对应的微尺度水平模拟区域并使微尺度水平模拟区域的边界之上或边界的预设范围内存在中尺度时间序列气象数据;转换单元用于将位于边界之上或边界的预设范围内的中尺度时间序列气象数据进行转换并按预设顺序组成向量集合;生成单元用于生成初始中心点;分组单元用于基于初始中心点使用聚类算法将向量集合进行分组处理并使得到的多个向量组的有效性指标满足预设指标;第二确定单元用于确定进行分组处理之后得到的每个向量组的中心点,其中,中心点用于产生微尺度数值模拟边界条件的向量。
该实施例解决了相关技术中直接运用大量中尺度气象数据执行微尺度数据模拟运算量过大的技术问题,进而实现了能够根据中尺度气象数据执行微尺度数值模拟的技术效果。
可选地,第一确定单元包括:确定模块,用于在中尺度时间序列气象数据的格点分布的地域上确定至少覆盖目标区域的区域为微尺度水平模拟区域,其中,微尺度水平模拟区域为需要进行微尺度数值模拟的区域在水平面投影的矩形区域,微尺度水平模拟区域的边界在预设地理坐标系统中满足预设位置条件,且在微尺度水平模拟区域的边界之上或边界的预设范围内存在中尺度时间序列气象数据。
可选地,生成单元用于在不同的大气稳定度、不同的日间时段以及不同的季节的中尺度时间序列气象数据中随机产生。
可选地,中心点的分量属性与对应的一个向量组中每个向量的分量属性相同。分组单元还用于通过聚类算法提高中心点与对应的一个向量组中每个向量的相似度。
可选地,分组单元还用于根据聚类算法的分组结果计算有效性指标;判断聚类算法的分组结果的有效性指标是否满足预设条件,其中,有效性指标至少包括以下之一:每个向量组的相似度均值、每个向量组的相似度均方根偏差、任意两个向量组的中心点之间的相似度。
可选地,该装置还包括:重新分组单元,用于在判断聚类算法的分组结果的有效性指标是否满足预设条件之后,如果判断出聚类算法的分组结果的有效性指标不满足预设条件,则对至少一个向量组中不满足预设条件的向量组进行合并或拆分以重新分组,并根据重新分组后的分组结果重新生成中心点;其中,分组单元还用于将重新生成的中心点作为初始中心点并使用聚类算法将向量集合进行分组处理直至分组结果的有效性指标满足预设条件。
可选地,相似度为由两个向量对应分量之间的正比例关系确定的标量。
上述的装置可以包括处理器和存储器,上述单元均可以作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
上述本申请实施例的顺序不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。
其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种气象数据处理方法,其特征在于,包括:
获取中尺度时间序列气象数据,其中,所述中尺度时间序列气象数据是对背景场数据和实测数据执行同化和中尺度数值模拟之后得到的数据;
根据所述中尺度时间序列气象数据的格点分布确定与目标区域对应的微尺度水平模拟区域并使所述微尺度水平模拟区域的边界之上或所述边界的预设范围内存在所述中尺度时间序列气象数据;
将位于所述边界之上或所述边界的预设范围内的中尺度时间序列气象数据进行转换并按预设顺序组成向量集合;
生成初始中心点;
基于所述初始中心点使用聚类算法将所述向量集合进行分组处理并使得到的多个向量组的有效性指标满足预设条件;
确定进行所述分组处理之后得到的每个向量组的中心点,其中,所述中心点用于产生微尺度数值模拟边界条件的向量。
2.根据权利要求1所述的方法,其特征在于,根据所述中尺度时间序列气象数据的格点分布确定与目标区域对应的微尺度水平模拟区域包括:
在所述中尺度时间序列气象数据的格点分布的地域上确定至少覆盖所述目标区域的区域为所述微尺度水平模拟区域,其中,所述微尺度水平模拟区域为需要进行微尺度数值模拟的区域在水平面投影的矩形区域,所述微尺度水平模拟区域的边界在预设地理坐标系统中满足预设位置条件,且在所述微尺度水平模拟区域的边界之上或所述边界的预设范围内存在所述中尺度时间序列气象数据。
3.根据权利要求1所述的方法,其特征在于,将位于所述边界之上或所述边界的预设范围内的中尺度时间序列气象数据进行转换并按预设顺序组成向量集合包括:
将每个时点对应的在所述边界之上或所述边界的预设范围内的中尺度时间序列气象数据转换为一个向量,以得到所述向量集合。
4.根据权利要求1所述的方法,其特征在于,生成初始中心点为在不同的大气稳定度、不同的日间时段以及不同的季节的中尺度时间序列气象数据中随机产生。
5.根据权利要求1所述的方法,其特征在于,所述中心点的分量属性与对应的一个向量组中每个向量的分量属性相同,其中,所述聚类算法用于提高所述中心点与对应的一个向量组中每个向量的相似度。
6.根据权利要求1所述的方法,其特征在于,基于所述初始中心点使用聚类算法将所述向量集合进行分组处理并使得到的多个向量组的有效性指标满足预设条件包括:
根据所述聚类算法的分组结果计算有效性指标;
判断所述聚类算法的分组结果的有效性指标是否满足所述预设条件,其中,所述有效性指标至少包括以下之一:每个向量组的相似度均值、每个向量组的相似度均方根偏差、任意两个向量组的中心点之间的相似度。
7.根据权利要求6所述的方法,其特征在于,在判断所述聚类算法的分组结果的有效性指标是否满足所述预设条件之后,所述方法还包括:
如果判断出所述聚类算法的分组结果的有效性指标不满足所述预设条件,则对所述多个向量组中不满足所述预设条件的向量组进行合并或拆分以重新分组,并根据重新分组后的分组结果重新生成中心点;
将重新生成的中心点作为初始中心点并使用所述聚类算法将所述向量集合进行分组处理直至所述分组结果的有效性指标满足所述预设条件。
8.根据权利要求5至7中任一项所述的方法,其特征在于,所述相似度为由两个向量对应分量之间的正比例关系确定的标量。
9.一种气象数据处理装置,其特征在于,包括:
获取单元,用于获取中尺度时间序列气象数据,其中,所述中尺度时间序列气象数据是对背景场数据和实测数据执行同化和中尺度数值模拟之后得到的数据;
第一确定单元,用于根据所述中尺度时间序列气象数据的格点分布确定与目标区域对应的微尺度水平模拟区域并使所述微尺度水平模拟区域的边界之上或所述边界的预设范围内存在所述中尺度时间序列气象数据;
转换单元,用于将位于所述边界之上或所述边界的预设范围内的中尺度时间序列气象数据进行转换并按预设顺序组成向量集合;
生成单元,用于生成初始中心点;
分组单元,用于基于所述初始中心点使用聚类算法将所述向量集合进行分组处理并使得到的多个向量组的有效性指标满足预设条件;
第二确定单元,用于确定进行所述分组处理之后得到的每个向量组的中心点,其中,所述中心点用于产生微尺度数值模拟边界条件的向量。
10.根据权利要求9所述的装置,其特征在于,所述第一确定单元包括:
确定模块,用于在所述中尺度时间序列气象数据的格点分布的地域上确定至少覆盖所述目标区域的区域为所述微尺度水平模拟区域,其中,所述微尺度水平模拟区域为需要进行微尺度数值模拟的区域在水平面投影的矩形区域,所述微尺度水平模拟区域的边界在预设地理坐标系统中满足预设位置条件,且在所述微尺度水平模拟区域的边界之上或所述边界的预设范围内存在所述中尺度时间序列气象数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710090607.7A CN106874602B (zh) | 2017-02-20 | 2017-02-20 | 气象数据处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710090607.7A CN106874602B (zh) | 2017-02-20 | 2017-02-20 | 气象数据处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106874602A true CN106874602A (zh) | 2017-06-20 |
CN106874602B CN106874602B (zh) | 2022-11-15 |
Family
ID=59166524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710090607.7A Active CN106874602B (zh) | 2017-02-20 | 2017-02-20 | 气象数据处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106874602B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109191333A (zh) * | 2018-10-08 | 2019-01-11 | 杭州异客科技有限公司 | 基于气象信息大数据的旅游推荐系统和方法 |
CN109961207A (zh) * | 2017-12-26 | 2019-07-02 | 北京金风科创风电设备有限公司 | 确定风资源的方法和装置 |
CN110389947A (zh) * | 2019-07-22 | 2019-10-29 | 中国气象局气象探测中心 | 一种黑名单生成方法、装置、设备及介质 |
CN112149365A (zh) * | 2020-09-29 | 2020-12-29 | 华能新能源股份有限公司 | 一种微尺度风模型系统及方法 |
CN116631530A (zh) * | 2023-05-29 | 2023-08-22 | 智感技术(天津)有限公司 | 污染物扩散风险识别方法、装置及设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130117608A1 (en) * | 2011-11-07 | 2013-05-09 | Us Govt As Represented By Secretary Of The Army | Method and system for determining accuracy of a weather prediction model |
CN104008284A (zh) * | 2014-05-20 | 2014-08-27 | 国家电网公司 | 测风塔在数值天气预报中的校正方法 |
US20150302117A1 (en) * | 2012-11-09 | 2015-10-22 | Korea Institute Of Energy Research | Numerical simulation system and numerical simulation method for atmospheric flow by computational fluid dynamics |
CN105224714A (zh) * | 2015-08-31 | 2016-01-06 | 中国华能集团清洁能源技术研究院有限公司 | 气象数据的处理方法及装置 |
CN106250656A (zh) * | 2016-08-23 | 2016-12-21 | 中国华能集团清洁能源技术研究院有限公司 | 一种结合大数据的复杂地形风电场设计平台及方法 |
-
2017
- 2017-02-20 CN CN201710090607.7A patent/CN106874602B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130117608A1 (en) * | 2011-11-07 | 2013-05-09 | Us Govt As Represented By Secretary Of The Army | Method and system for determining accuracy of a weather prediction model |
US20150302117A1 (en) * | 2012-11-09 | 2015-10-22 | Korea Institute Of Energy Research | Numerical simulation system and numerical simulation method for atmospheric flow by computational fluid dynamics |
CN104008284A (zh) * | 2014-05-20 | 2014-08-27 | 国家电网公司 | 测风塔在数值天气预报中的校正方法 |
CN105224714A (zh) * | 2015-08-31 | 2016-01-06 | 中国华能集团清洁能源技术研究院有限公司 | 气象数据的处理方法及装置 |
CN106250656A (zh) * | 2016-08-23 | 2016-12-21 | 中国华能集团清洁能源技术研究院有限公司 | 一种结合大数据的复杂地形风电场设计平台及方法 |
Non-Patent Citations (2)
Title |
---|
JONG-JIN BAIK 等: "Urban Flow and Dispersion Simulation Using a CFD Model Coupled to a Mesoscale Model", 《2009 AMERICAN METEOROLOGICAL SOCIETY》 * |
庄文兵 等: "基于中尺度和微尺度的复杂地形大风预报方法研究", 《气象科技进展》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109961207A (zh) * | 2017-12-26 | 2019-07-02 | 北京金风科创风电设备有限公司 | 确定风资源的方法和装置 |
WO2019128018A1 (zh) * | 2017-12-26 | 2019-07-04 | 北京金风科创风电设备有限公司 | 确定风资源的方法和装置 |
CN109191333A (zh) * | 2018-10-08 | 2019-01-11 | 杭州异客科技有限公司 | 基于气象信息大数据的旅游推荐系统和方法 |
CN110389947A (zh) * | 2019-07-22 | 2019-10-29 | 中国气象局气象探测中心 | 一种黑名单生成方法、装置、设备及介质 |
CN112149365A (zh) * | 2020-09-29 | 2020-12-29 | 华能新能源股份有限公司 | 一种微尺度风模型系统及方法 |
CN112149365B (zh) * | 2020-09-29 | 2023-06-30 | 华能新能源股份有限公司 | 一种微尺度风模型系统及方法 |
CN116631530A (zh) * | 2023-05-29 | 2023-08-22 | 智感技术(天津)有限公司 | 污染物扩散风险识别方法、装置及设备 |
CN116631530B (zh) * | 2023-05-29 | 2024-02-13 | 智感技术(天津)有限公司 | 污染物扩散风险识别方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN106874602B (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Meili et al. | Vegetation cover and plant-trait effects on outdoor thermal comfort in a tropical city | |
CN106874602A (zh) | 气象数据处理方法和装置 | |
Oñate-Valdivieso et al. | Application of GIS and remote sensing techniques in generation of land use scenarios for hydrological modeling | |
WO2023179167A1 (zh) | 一种基于AquaCrop模型与SVR的作物灌溉需水量预测方法 | |
CN105224714B (zh) | 气象数据的处理方法及装置 | |
KR101675778B1 (ko) | 화산재해 대응 의사결정 지원 시스템 | |
CN115329691B (zh) | 一种基于cfd与gis的超大城市风环境模拟方法 | |
CN108416392A (zh) | 基于som神经网络的建筑物聚类方法 | |
Kazor et al. | Assessing the performance of model-based clustering methods in multivariate time series with application to identifying regional wind regimes | |
CN114357879A (zh) | 一种未来土地利用模拟方法、装置、存储介质及终端设备 | |
CN110956412A (zh) | 基于实景模型的洪灾动态评估方法、装置、介质和设备 | |
CN102855661A (zh) | 基于空间相似性的大规模森林场景快速生成方法 | |
CN111784831A (zh) | 一种基于倾斜摄影的城区河道洪水三维淹没分析方法 | |
CN112585505A (zh) | 确定用于农学决策支持的位置特定的天气信息 | |
CN113095619A (zh) | 基于气候和土壤模拟植被生产力空间格局的方法及系统 | |
Gauch et al. | Data-driven vs. physically-based streamflow prediction models | |
Yin et al. | Statistical downscaling of regional daily precipitation over southeast Australia based on self-organizing maps | |
CN109033181B (zh) | 一种复杂地形地区风场地理数值模拟方法 | |
Yue et al. | Simulation and prediction of land use change in Dongguan of China based on ANN cellular automata-Markov chain model | |
CN116341841A (zh) | 径流预报误差校正方法、装置、设备、介质和程序产品 | |
KR20170062298A (ko) | 풍속 내삽에 적용하기 위해 개선된 mk-prism 방법 | |
WO2019128018A1 (zh) | 确定风资源的方法和装置 | |
CN115034159A (zh) | 一种海上风电场的功率预测方法、装置、存储介质及系统 | |
Gartsman et al. | Analysis of the structure of river systems and the prospects for modeling hydrological processes | |
CN108985493A (zh) | 一种基于自适应可变滤镜的地类变化预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |