CN110457530B - 一种气象自动站数据快速插值填色方法 - Google Patents
一种气象自动站数据快速插值填色方法 Download PDFInfo
- Publication number
- CN110457530B CN110457530B CN201910664710.7A CN201910664710A CN110457530B CN 110457530 B CN110457530 B CN 110457530B CN 201910664710 A CN201910664710 A CN 201910664710A CN 110457530 B CN110457530 B CN 110457530B
- Authority
- CN
- China
- Prior art keywords
- data
- interpolation
- hash
- area
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
Abstract
本发明提供一种气象自动站数据快速插值填色方法,包括以下步骤,站点数据空间形式分析、空间数据序列索引、矩阵运算、待插值点的权重计算、对插值结论填色生成图片、进行中调整,该技术方案的气象自动站数据快速插值填色方法的处理方法高效,估值准确、快速计算和填色的插值方法能够有效提高数据分析效率,在同样硬件配置、同样数据源与图形化标准的前提下,相对于传统方法来说,初时次插值速度提高约30%、后续时次插值速度提高约10倍。
Description
技术领域
本发明涉及气象监测和三维数字化技术领域,尤其涉及一种气象自动站数据快速插值填色方法。
背景技术
气象自动站数据等空间散列点数据,受到实际地理环境因素显示,无法进行均匀分布的数据监测采集。要进行空间数据分析,需要对散列的气象自动站点数据进行空间插值。由于气象自动站数据分析的时效性高,一般要求10秒钟内得出实时分析结论;数据量大,一般有几百到上千个站点,空间范围数千平方公里,数据图形的二维网格点达到数百万个。因此,估值准确、快速计算和填色的插值方法能够有效提高数据分析效率。
发明内容
本发明的目的就在于提供一种估值准确、快速计算和填色的插值方法能够有效提高数据分析效率的气象自动站数据快速插值填色方法。
本发明解决其技术问题所采用的技术方案是:
一种气象自动站数据快速插值填色方法,其特征在于,包括以下步骤:
S1、站点数据空间形式分析:加入分析模型哈希表,哈希表存储相同区域范围的站点位置的关联性,初次存储之后,从哈希表匹配并构建空间形式分析结论;
S2、空间数据序列索引:将散列分布在不同地理位置的数据抽象为二维网格,判断散列点距离关系,遍历网格点周围范围内的对格点,通过命中位置的方式,快速筛选距离范围内的所有散列点,同时设置经验命中范围值,通过上次命中范围半径,估算本次命中范围圈的半径;
S3、矩阵运算:对整个待插值区域划分成3*3或更多片区,快速计算出各片区中不影响其它片区计算的散列点和影响其它片区计算的散列点,计算每个片区内的散列点和影响到该片区的其它散列点,汇总所有片区的分析结论,对插值片区的边界进行拟合,使相邻的两个片区的边界数据无缝对接,边界数据拟合使用;
S4、待插值点的权重计算:进行总区域面积与分区域面积插值填色出图共同存在的业务需求,对相同数据,进行第一个批次的权重插值,后续批次反复利用第一个批次权重插值结论,保存区域插值结论,根据散列点的标识、区域范围组成识别字符串,对字符串加密压缩,并作为唯一标识;
S5、对插值结论填色生成图片:插值数据在进行填色使用线性渐变的插值方式,创建数值与线性颜色值的自增长表,每当有新的数值出现,增加该表长度,如果有相同值则无需计算直接使用;
S6、进行中调整:连续地对同一区域固定位置的散列点,不同时次的数据进行连续分析,将首次计算出的与数值无关的空间分析结论存储到矩阵中,并保留矩阵相除的计算过程,将空间散列点位置抽象到二维数组的位置,以二维数组的索引,快速查找各散列点对应的矩阵,当某个时次的数据出现站点缺失,快速从二维数据中索引对应矩阵。
本发明的有益效果是:
该技术方案的气象自动站数据快速插值填色方法的处理方法高效,估值准确、快速计算和填色的插值方法能够有效提高数据分析效率,在同样硬件配置、同样数据源与图形化标准的前提下,相对于传统方法来说,初时次插值速度提高约30%、后续时次插值速度提高约10倍。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明快速插值填色方法的步骤2的一种实施例示意图;
图2是本实用快速插值填色方法的步骤3的一种实施例示意图;
图3是本实用快速插值填色方法的步骤4的一种实施例示意图;
图4是本实用快速插值填色方法的步骤5的一种实施例示意图。
具体实施方式
下面具体实施例对本发明作进一步说明,以使本领域技术人员可以更好的理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
一种气象自动站数据快速插值填色方法,影响空间散列点数据的插值分析的主要过程包括、空间数据序列索引、矩阵运算、待插值点的权重计算、图形化过程中的图例读取与填色渲染。本方法主要针对以上过程提出高效的处理方法,经测试,在同样硬件配置、同样数据源与图形化标准的前提下、比传统方法初时次插值速度提高30%左右、后续时次插值速度提高10倍左右。
在读站点数据进行空间形式分析步骤,加入分析模型哈希表,该哈希表可以存储相同区域范围的站点位置关联性,在初次存储之后,每次只需从哈希表匹配并构建空间形式分析结论即可快速使用。
在进行空间数据序列索引之前,先将数据抽象为二维网格,在判断散列点距离关系时,不再遍历所有散列点,而是遍历网格点周围范围内对格点,通过命中位置的方式,快速筛选距离范围内的所有散列点。同时设置经验命中范围值,即通过上次命中范围半径,估算本次命中范围圈的半径。如图1所示,二维网格被分成了多个片区,图中是其中的两个相邻片区,红色点为待判断周围受影响距离范围内的点。蓝色点为该片区内与其它片区有相互影响的点。
在插值计算的矩阵运算环节,为了减少矩阵运算的次数,采用总体粗网格、分区细网格的方法,即先对整个待插值区域划分成3*3或更多片区,然后快速计算出各片区中不影响其它片区计算的散列点和影响其它片区计算的散列点。分别计算每个片区内的散列点和影响到该片区的其它散列点。最终汇总所有片区的分析结论。在进行汇总多个片区插值结论的时候,需要对插值片区的边界进行拟合,使两个片区的边界数据无缝对接。边界数据的拟合使用。如图2所示,图中A区和B区,分别为一个片区。在完成分片区的矩阵预算后得出如下数据结论,可以发现,A区的a格点与B区的b格点数值不同,需要进行拟合,此时需要选出a格点与和b格点周围的格点,进行赋权插值,权限大小根据距离a格点和b格点的距离决定。将得出的插值结论,重新赋值给a格点和b格点。
区域插值结论的保存与再利用,传统的插值方法在将插值点的权重计算与插值作为一个模块顺序完成,每次对数据进行插值分析都要执行权重计算和数据插值。在实际数据处理业务环境中,需要处理数万数据批次,而权重计算至于数据的地理位置有关,与数据的数值无关,可以对相同数据,只做个批次的权重插值。后续批次能够反复利用第一个批次权重插值结论。对区域插值结论的保存能有效节省整体插值填色出图的效率。为区分不同的区域插值结论便于存储,根据散列点的标识、区域范围组成识别字符串,然后用MAD5编码对字符串加密压缩,并以此作为唯一标识,即方便存储,又能快速检索。如图3所示,图中可以看出优化流水后的插值比传统插值方法快(N-1)*T,N为数据批次,T为每批次权重计算耗费的时间。该方法在大次的数据插值应用上,优化效果明显。
对插值结论填色生成图片,如图4所示,插值数据在进行填色时使用线性渐变的插值方式,为提高进行线性渐变插值速度。创建数值与线性颜色值的自增长表,每当有新的数值出现,即计算出对应的颜色值,并增加该表长度。如果有相同值则无需计算直接使用。
提高后续插值的效率,在实际业务使用中,需要连续的对同一区域固定位置对散列点,不同时次的数据进行连续分析。这就为与数值无关对空间分析结论提供可重复使用的可能,但不同时次的数据,可能存储散列点缺失的情况,又不能完全固定的重复使用与数值无关的空间分析结论。使用动态微调矩阵可以满足以上需求。所谓动态微调矩阵就是先将首次计算出的与数值无关的空间分析结论存储到矩阵中,并保留矩阵相除的计算过程,将空间散列点位置抽象到二维数组的位置,以二维数组的索引,快速查找各散列点对应的矩阵。当某个时次的数据出现站点缺失、可以快速从二维数据中索引对应矩阵,只对与缺失散列点关联的矩阵进行重新计算,避免重复计算。
本方法可以使用当前大部分主流PC实现。以气象自动站点的数据插值分析为例,需要的实现环境包括:
1、区域内气象自动站点的坐标位置;
2、气象自动站点设备的监测数据采集与标准化;
3、用于图形化展示的地理信息地图,最终的插值、图形化渲染产品将基于地图展示;
4、计算机系统,该方法可以充分利用计算机的多线程性能,4核以上CPU能更快速的实现插值渲染。操作系统可使用Windows或Linux操作系统,需要具有相应的软件运行环境,该方法不限于编程语言,用C++、Java、Python等都可以实现;
5、该方法在实际运行过程中,7*24小时内将创建缓存文件记录可复用的中间过程数据,数据量由参与插值的散列点、区域空间范围、图形化渲染大小决定,以200各散列点、渲染目标100万格点为例,数据量为100MB。
本发明的上述实施例并不是对本发明保护范围的限定,本发明的实施方式不限于此,凡此种种根据本发明的上述内容,按照本领域的普通技术知识和惯用手段,在不脱离本发明上述基本技术思想前提下,对本发明上述结构做出的其它多种形式的修改、替换或变更,均应落在本发明的保护范围之内。
Claims (1)
1.一种气象自动站数据快速插值填色方法,其特征在于,包括以下步骤:
S1、站点数据空间形式分析:加入分析模型哈希表,哈希表存储相同区域范围的站点位置的关联性,初次存储之后,从哈希表匹配并构建空间形式分析结论;
S2、空间数据序列索引:将散列分布在不同地理位置的数据抽象为二维网格,判断散列点距离关系,遍历网格点周围范围内的对格点,通过命中位置的方式,快速筛选距离范围内的所有散列点,同时设置经验命中范围值,通过上次命中范围半径,估算本次命中范围圈的半径;
S3、矩阵运算:对整个待插值区域划分成3*3或更多片区,快速计算出各片区中不影响其它片区计算的散列点和影响其它片区计算的散列点,计算每个片区内的散列点和影响到该片区的其它散列点,汇总所有片区的分析结论,对插值片区的边界进行拟合,使相邻的两个片区的边界数据无缝对接,边界数据拟合使用;
S4、待插值点的权重计算:进行总区域面积与分区域面积插值填色出图共同存在的业务需求,对相同数据,进行第一个批次的权重插值,后续批次反复利用第一个批次权重插值结论,保存区域插值结论,根据散列点的标识、区域范围组成识别字符串,对字符串加密压缩,并作为唯一标识;
S5、对插值结论填色生成图片:插值数据在进行填色使用线性渐变的插值方式,创建数值与线性颜色值的自增长表,每当有新的数值出现,增加该表长度,如果有相同值则无需计算直接使用;
S6、进行中调整:连续地对同一区域固定位置的散列点,不同时次的数据进行连续分析,将首次计算出的与数值无关的空间分析结论存储到矩阵中,并保留矩阵相除的计算过程,将空间散列点位置抽象到二维数组的位置,以二维数组的索引,快速查找各散列点对应的矩阵,当某个时次的数据出现站点缺失,快速从二维数据中索引对应矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910664710.7A CN110457530B (zh) | 2019-07-23 | 2019-07-23 | 一种气象自动站数据快速插值填色方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910664710.7A CN110457530B (zh) | 2019-07-23 | 2019-07-23 | 一种气象自动站数据快速插值填色方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110457530A CN110457530A (zh) | 2019-11-15 |
CN110457530B true CN110457530B (zh) | 2022-02-22 |
Family
ID=68483077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910664710.7A Active CN110457530B (zh) | 2019-07-23 | 2019-07-23 | 一种气象自动站数据快速插值填色方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110457530B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3131559U (ja) * | 2007-01-30 | 2007-05-17 | 財団法人日本気象協会 | メッシュ気象情報作成装置 |
CN107340364A (zh) * | 2017-05-31 | 2017-11-10 | 北京市环境保护监测中心 | 基于海量大气污染浓度数据的污染空间分析方法及装置 |
CN107679167A (zh) * | 2017-09-29 | 2018-02-09 | 智慧天气风险管理(深圳)有限公司 | 基于格点化气象数据的气象风险评估方法及分析预警平台 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5003196B2 (ja) * | 2007-02-19 | 2012-08-15 | ソニー株式会社 | 画像処理装置および方法、並びに、プログラム |
EP2241983B1 (en) * | 2009-04-17 | 2012-12-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for searching objects in a database |
-
2019
- 2019-07-23 CN CN201910664710.7A patent/CN110457530B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3131559U (ja) * | 2007-01-30 | 2007-05-17 | 財団法人日本気象協会 | メッシュ気象情報作成装置 |
CN107340364A (zh) * | 2017-05-31 | 2017-11-10 | 北京市环境保护监测中心 | 基于海量大气污染浓度数据的污染空间分析方法及装置 |
CN107679167A (zh) * | 2017-09-29 | 2018-02-09 | 智慧天气风险管理(深圳)有限公司 | 基于格点化气象数据的气象风险评估方法及分析预警平台 |
Non-Patent Citations (1)
Title |
---|
一套格点化的中国区域逐日观测资料及与其它资料的对比;吴佳等;《地球物理学报》;20130430;第56卷(第4期);第1102-1111页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110457530A (zh) | 2019-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109165215B (zh) | 一种云环境下时空索引的构建方法、装置及电子设备 | |
CN106790468B (zh) | 一种分析用户WiFi活动轨迹规律的分布式实现方法 | |
US10817889B2 (en) | Geographic boundary determination service | |
CN106708989B (zh) | 基于空间时序数据流应用的Skyline查询方法 | |
CN106777093B (zh) | 基于空间时序数据流应用的Skyline查询系统 | |
Lin et al. | Range-based skyline queries in mobile environments | |
CN104331466B (zh) | 基于时空邻近搜索的移动轨迹序列模式快速挖掘方法 | |
CN112115198A (zh) | 一种城市遥感智能服务平台 | |
CN109741209B (zh) | 台风灾害下配电网多源数据融合方法、系统及存储介质 | |
WO2017206484A1 (zh) | 地理数据呈现方法及装置 | |
CN111666363B (zh) | 一种海量高分辨率影像数据切片及质量控制的方法及装置 | |
CN106332154A (zh) | 干扰源的定位方法及装置 | |
CN111090712A (zh) | 一种数据处理方法、装置、设备及计算机存储介质 | |
CN110765331A (zh) | 一种时空数据的检索方法及系统 | |
CN113297135A (zh) | 数据处理方法以及装置 | |
CN114003981A (zh) | 一种基于时空一体数字地球的电磁频谱可视化分析方法 | |
CN105740968A (zh) | 一种土地利用空间自动配置系统 | |
CN111460043A (zh) | 三维空间图像区块链存储方法及页面显示方法 | |
CN109145225B (zh) | 一种数据处理方法及装置 | |
CN110457530B (zh) | 一种气象自动站数据快速插值填色方法 | |
US10318558B2 (en) | Automating weather model configurations | |
Roick et al. | A technical framework for visualizing spatio-temporal quality metrics of volunteered geographic information | |
CN107276807B (zh) | 一种基于社区动态紧密度的层次化网络社区树剪枝方法 | |
CN112887910B (zh) | 异常覆盖区域的确定方法、装置和计算机可读存储介质 | |
CN111723462A (zh) | 一种用于对电力系统仿真计算数据的可视化方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |