CN116683915B - 气象数据压缩方法、系统及介质 - Google Patents
气象数据压缩方法、系统及介质 Download PDFInfo
- Publication number
- CN116683915B CN116683915B CN202310702431.1A CN202310702431A CN116683915B CN 116683915 B CN116683915 B CN 116683915B CN 202310702431 A CN202310702431 A CN 202310702431A CN 116683915 B CN116683915 B CN 116683915B
- Authority
- CN
- China
- Prior art keywords
- data
- grid
- meteorological
- resolution
- weather
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013144 data compression Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000001788 irregular Effects 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000000926 separation method Methods 0.000 claims abstract description 8
- 238000007906 compression Methods 0.000 claims description 28
- 230000006835 compression Effects 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 abstract description 20
- 238000013500 data storage Methods 0.000 abstract description 8
- 238000000605 extraction Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
- G06F16/1794—Details of file format conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了气象数据压缩方法、系统及介质，涉及气象数据处理技术领域。所述方法包括数据解码步骤和大数据压缩步骤，其通过基于尺度特征的气象数据压缩算法对原始气象要素数据进行尺度分离，获取不同尺度下的天气系统信息并进行关键信息提取，根据提取的关键信息进行处理以生成多组不规则网格气象要素数据集，再对多组不规则网格气象要素数据集进行数据融合，从而得到压缩后的不规则网格点数据集。本发明显著减少了气象数据预测需要存储、传输的总数据量，降低了数据存储空间，减少了数据传输时间，进一步使全球气象数值预报数据的远洋传输成为可能。
Description
技术领域
本发明涉及气象数据处理技术领域，尤其涉及一种气象数据压缩方法、系统及介质。
背景技术
由于海上大风、台风、海雾、雷电等灾害频发，给全球造成巨大损失， 海洋气象一直是联合国和世界气象组织的关注重点。随着现场观测、 卫星遥感、海洋气象模式、计算机和通信技术的快速发展，海洋气象取得了巨大进步，近海气象的观测、预报预警和服务能力显著增强。但与近海气象相比，远洋气象仍存在极大差距，主要原因如下：1）三维观测设备的欠缺、低覆盖率和质量控制缺失；2）受限于远洋通讯能力，传统的远洋气象服务基本上是通过国际海事卫星以语音和Email以及基于短波的数字化传真图等向公海发布气象信息来开展。近些年随着我国卫星通讯能力的不断提高，通过北斗和天通卫星以短报文或数据包传送实现远洋数据的传输也有一定进展。但不论何种途径，普遍存在图像分辨率低、接收时间长、字节数受限、发布频次低等特点，同时，为了满足传输带宽限制，能够展现区域或全球数值预报预测结果的传真图大小受到严格控制，这不可避免了舍去了很多重要的气象信息，尤其是对灾害性天气高度敏感的中小尺度气象系统信息，而这些信息往往对于航海安全往往起到重要的关键性作用。
随着全球气象数值预报技术的快速发展，准确描述大气状态的网格化预报数据时空分辨率越来越大，给数据的存储和传输带来了巨大的压力，比如由我国自主研发的CMA-GFS全球高分辨率数值预报模式数据空间分辨率已达0.125度（1.5G左右/单时次），区域数值预报数据更是高达百米级，这些数据除了可以准确刻画行星尺度、天气尺度系统之外，更能有效刻画比较难以捕捉和预测的中尺度和对流尺度（从公里级到百公里级）天气系统，但同时也造成了数值预报数据存储上的指数级增长，传统的气象数据存储传输处理方式已满足不了气象大数据的业务服务需求。实际使用中发现，这些大量存储的气象数据中存在有大量重复的、对于描述各种尺度天气系统无关紧要的冗余数据，冗余数据的存在不仅严重干扰了真实系统信息的表现和有效提炼，而且给通讯以及数据存储、传输和应用带来不便，特别是带宽极其受限的远洋数据的传输。因此，如何将海量数据信息进行有效压缩和存储成为当前的重要研究方向之一。
目前，针对气象数据的数据压缩算法可以分为两种类型：无损压缩和有损压缩。无损压缩可保留源数据中的全部信息，但是压缩比不高，一般为2:1到5:1，主要的无损压缩编码有预测编码、变换编码、矢量编码、算术编码等。有损压缩是指使用压缩后的数据进行重构后，得到的数据与源数据有所不同，但不会让人对源数据表达的信息造成误解，有损压缩可获得较高的压缩比。由于无损压缩压缩能力有限（通常只适应于数据量不太大或冗余数据占比比较小的气象数据），为了适应于具有大量数据的气象预报数据，现有技术也基于传统的无损压缩提出了各种改进方案，比如中国专利申请202111420160.8提出的基于视频压缩技术的气象预报数据压缩方法，包括步骤：S1、获取原始气象预报数据，提取出时间片及气象要素数据；S2、对气象预报数据进行预处理：将同一时间各个站点同一气象要素数据映射到区间[0～1023*n]，n为映射的通道数；S3、气象数据三维格点重构：将气象预报数据按三维格点数据进行存储，对应图片三个色彩通道数据格式形成气象数据图；S4、利用视频压缩工具对气象预报数据进行10bit位深、色度亮度比为4:4:4的无损压缩编码；S5、利用视频压缩工具对S4产生的编码文件进行气象数据解码，并进行气象预测数据逆变换。上述压缩方案是先将各个站点各个相同时间段的气象预报数据映射至10bit图像存储的范围，按时间维度将气象预报数据帧形成气象预报数据序列，然后利用视频压缩技术将气象预报数据帧序列进行编码压缩，其减少了气象预报数据的存储空间，压缩比可达到10:1。然而，上述方案的压缩能力仍然难以满足以海量预测数据为主的高分辨率气象数值预报模式数据的压缩需求。
另一方面，对于冗余度比较高的海量云数据，目前通常是采用误差可控的有损压缩算法，更为有效。然而，现有的有损压缩算法多用于数据图像处理、语音数据处理、电子信号传输等，对于以海量预测数据为主的高分辨率气象数值预报模式数据的压缩算法的研究较少。
综上所述，如何在不影响天气系统信息前提下，对淹没于大量冗余数据中的各种尺度天气系统数据进行提取，去除海量冗余数据，从而实现气象大数据压缩是当前亟需解决的技术问题。
发明内容
本发明的目的在于：克服现有技术的不足，提供一种气象数据压缩方法、系统及介质。本发明通过建立一种从海量高分辨率气象数值预报模式数据中提取不同尺度天气系统信息的大数据压缩算法，只保留对气象预测起到关键作用的关键数据，在不影响天气系统表达的情况下从气象数据中去除了大量冗余数据，从而能够显著减少了预测需要处理的总数据量，降低了数据存储空间，减少了数据传输时间。进一步，使全球气象数值预报数据的远洋传输成为可能。
为实现上述目标，本发明提供了如下技术方案：
一种气象数据压缩方法，包括如下步骤：
数据解码步骤：读取原始数据格式的高分辨率气象数据，基于预设的气象要素对前述高分辨率气象数据进行气象要素数据解码；
大数据压缩步骤：根据解码得到的原始气象要素数据，通过基于尺度特征的气象数据压缩算法对该原始气象要素数据进行处理以去除冗余数据，得到压缩后数据；
其中，所述基于尺度特征的气象数据压缩算法被配置为：对前述原始气象要素数据进行尺度分离，获取不同尺度下的天气系统信息并进行关键信息提取，根据提取的关键信息生成多组不规则网格气象要素数据集，一个尺度的天气系统对应一组不规则网格气象要素数据集，对多组不规则网格气象要素数据集进行数据融合，得到压缩后的不规则网格点数据集。
进一步，在大数据压缩步骤之后还包括压缩数据输出步骤，如下：
对前述得到的不规则网格点数据集进行数据格式转换以生成气象上通用的数据格式文件，将前述通用的数据格式文件发送至岸端用户。
进一步，所述通用的数据格式文件为NetCDF格式文件。
进一步，在大数据压缩步骤之后，还包括加密编码步骤，如下：
构建对称密码表，对前述得到的不规则网格点数据集进行无损压缩和编码，实现数据集重建，将重建后数据发送至船端通讯卫星。
进一步，所述原始数据格式的高分辨率气象数据为采用grib2标准数据格式的CMA-GFS全球高分辨率数值预报模式数据；
此时，数据解码处理包括如下步骤：
S110，获取CMA-GFS数据的时空分辨率信息，定义为分辨率变量fbl_in；
S120，获取CMA-GFS数据的水平网格点数信息，包括水平X方向的网格点总数num_lon和水平Y方向的网格点总数num_lat；
S130，根据步骤S110和S120计算出CMA-GFS数据的水平网格边界信息，并计算出所有网格点经纬度信息；
S140，通过上述网格点经纬度信息构建初始网格grid1；
S150，根据预设的气象要素，读取前述初始网格grid1中的所有网格点的气象要素值，并存储于网格数组im_data中。
进一步，当基于两个尺度对原始气象要素数据进行尺度分离时，基于尺度特征的气象数据压缩算法被配置为执行如下步骤：
S210，获取水平方向第一尺度SCALE1以上天气系统信息，生成第一数据集，包括步骤：
计算第一尺度SCALE1以上的网格点的坐标信息，根据预设的M值，取[SCALE1/(fbl_in*M)]附近合适的值interal1，使num_lon/interal1，num_lat/interal1均为正整数，所述M取与一个经纬度相当长度的整数，所述[SCALE1/(fbl_in*M)]表示对分数SCALE1/(fbl_in*M)取整；令分辨率fbl_in1=fbl_in*interal1，重复前述步骤S120和S130，得到分辨率fbl_in1=fbl_in*interal1时的网格点经纬度信息；所述分辨率fbl_in1小于初始网格grid1的分辨率；
记上述网格点经纬度信息为一层网格grid2，并与前述初始网格grid1形成二层嵌套网格；
分别对每个一层网格grid2内部所嵌的初始网格grid1的网格点气象要素值进行数值比对，获取每个一层网格grid2中网格点气象要素值的极值和与之对应的初始网格定位信息，得到一组不规则网格气象要素数据集，记为第一数据集；所述极值包括最大值max和最小值min；
S220，获取水平方向第二尺度SCALE2的天气系统信息，所述第二尺度SCALE2小于第一尺度SCALE1，生成第二数据集，包括步骤：
计算第二尺度SCALE2左右的网格点坐标信息，取[SCALE2/(fbl_in*M)]附近合适的值interal2，使num_lon/interal2，num_lat/interal2均为正整数，令分辨率fbl_in2=fbl_in*interal2，重复前述步骤S120和S130，得到分辨率fbl_in2=fbl_in*interal2时的网格点经纬度信息；所述分辨率fbl_in2小于初始网格grid1的分辨率并且大于一层网格grid2的分辨率fbl_in1；
记上述网格点经纬度信息为二层网格grid3，并与前述初始网格grid1和一层网格grid2形成三层嵌套网格；
分别对每个二层网格grid3内部所嵌的初始网格grid1的网格点气象要素值进行数值比对，获取每个二层网格grid3中的网格点气象要素值的极值，所述极值包括最大值max和最小值min；对于每个二层网格grid3，比对该网格的最大值max和最小值min，当该最大值max等于最小值min时，只保留该网格内部中心点位置的初始网格的网格点坐标和气象要素值，得到一组中间数据集；
对前述中间数据集，以任意网格点为节点，按照左上、上、右上、左、右、左下、下、右下八个方位构建八个子节点从而构造出二维水平结构的改进二维平面八叉树结构，基于前述改进二维平面八叉树结构进行莫顿编码，得到每个节点的八叉树编码；去除八叉树编码均为0的点位信息后，得到一组不规则网格气象要素数据集，记为第二数据集；
S230，对前述得到第一数据集和第二数据集进行数据融合，得到压缩后的一组不规则网格点数据集，即为压缩式后数据。
进一步，进行数据融合的方式为：把第一数据集和第二数据集中的网格点按照经纬度顺序存放，并对重叠的网格点数据进行数据去重。
进一步，所述气象要素包括海平面气压PRMSL、气温TMP、湿度RH中的一个或多个。
本发明还提供了一种气象数据压缩系统，所述系统包括：
数据解码装置：用于读取原始数据格式的高分辨率气象数据，基于预设的气象要素对前述高分辨率气象数据进行气象要素数据解码；
大数据压缩装置：用于根据解码得到的原始气象要素数据，通过基于尺度特征的气象数据压缩算法对该原始气象要素数据进行处理以去除冗余数据，得到压缩后数据；
其中，所述基于尺度特征的气象数据压缩算法被配置为：对前述原始气象要素数据进行尺度分离，获取不同尺度下的天气系统信息并进行关键信息提取，根据提取的关键信息生成多组不规则网格气象要素数据集，一个尺度的天气系统对应一组不规则网格气象要素数据集，对多组不规则网格气象要素数据集进行数据融合，得到压缩后的不规则网格点数据集。
本发明还提供了一种计算机可读存储介质，用于存储能够被处理单元执行的计算机程序，所述计算机程序被所述处理单元执行时实现如前所述的气象数据压缩方法。
本发明由于采用以上技术方案，与现有技术相比，作为举例，具有以下的优点和积极效果：通过建立一种从海量高分辨率气象数值预报模式数据中提取不同尺度天气系统信息的大数据压缩算法，只保留对气象预测起到关键作用的关键数据，在不影响天气系统表达的情况下从气象数据中去除了大量冗余数据，从而能够显著减少了预测需要处理的总数据量，降低了数据存储空间，减少了数据传输时间。进一步，使全球气象数值预报数据的远洋传输成为可能。
利用本发明提出的基于尺度特征的气象数据压缩算法进行点云数据抽吸，一方面，可以极大地减少数据存储和传输成本；另一方面，在远洋卫星通讯带宽受限、短报文字节数受限以及价格昂贵等情况下，可以实现远洋数值预报数据的有效传输。
附图说明
图1为现有技术中提供的基于八叉树编码的散乱点云数据压缩算法流程。
图2为本发明实施例提供的基于尺度特征的气象数据压缩方法的流程图。
图3为本发明实施例提供的利用改进八叉树编码的大数据压缩流程图。
图4为本发明提供实施例提供的改进后的三层嵌套网格的示意图。
图5为本发明提供实施例提供的改进后的二维平面八叉树布局示意图。
图6为本发明提供实施例提供的二维平面八叉树结构的morton编码示意图。
图7为图6中morton编码的二进制编码示例。
附图标记说明：
初始网格100，一层网络200，二层网格300。
实施方式
以下结合附图和具体实施例对本发明公开的气象数据压缩方法、系统及介质作进一步详细说明。需要说明的是，对于相关领域普通技术人员已知的技术（包括方法和装置）可能不作详细讨论，但在适当情况下，上述已知的技术被视为说明书的一部分。同时，示例性实施例的其它示例可以具有不同的值。本说明书附图中所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定发明可实施的限定条件。
在本申请实施例的描述中，“/”表示或的意思，“和/或”用于描述关联对象的关联关系，表示可以存在三种关系，比如，“甲和/或乙”表示：单独存在甲乙，单独存在乙，同时存在甲和乙这三种情况。在本申请实施例的描述中，“多个”是指两个及以上。
实施例
本发明提供的数据压缩方案，主要是基于尺度分离和尺度嵌套思想相结合来进行数据的去冗余去重，其在不影响天气系统信息前提下，能够有效提取淹没于大量冗余数据中的各种尺度天气系统，达到“海里捞针”效果；同时，由于大幅度降低了需要处理的数据总量，使得海洋气象数值预报数据的远洋数据传输成为可能，有效解决了当前海洋气象数据的远洋传输各种受限的问题。
同时，本发明提供的气象数据压缩算法还对八叉树编码进行了改进。八叉树编码是一种基于三维空间数据的编码方式，常用于解决海量点云数据存储、传输和应用带来的不便，原始的散乱点云数据经过多次编码和排序差分，去除冗余信息后以二进制文件形式写入存储器供系统使用。参见图1所示，示例了基于八叉树编码的散乱点云数据压缩方案的数据处理流程，通常分四步走：预处理和八叉树编码、差分编码、改进的游程编码、算术编码。八叉树编码是用莫顿码（即图1中的Morton码）来表示三维空间中有数据的叶子节点和根节点到叶子节点路径，其把每一个三维点当做一个体素；预处理是针对莫顿编码只适合正整数情况下对坐标向正整数的映射（即放大处理）。差分编码是一种预测编码，通过存储第一个节点数据以及临近点与前一个数据的相对位置来存储相对位置数据，从而去除信息冗余，减小存储空间的编码方式。改进的游程编码（或称行程编码）是对长度相同的莫顿码，通过去除连续的0，增加换行符“\n”的一种无损可逆编码处理方式。算术编码是将一整串数码映射为[0，1）子区间中的一个代表性小数，并以二进制编码输出。本发明针对八叉树编码进行了改进，将三维八叉树结构改进为二维水平结构的改进二维八叉树结构，并基于改进二维八叉树结构建立了新的基于相邻数据差值和相对位置标识的改进莫顿morton编码来进一步去除冗余数据。
具体的，参见图2所示，为本实施例提供的一种气象数据压缩方法，至少包括数据解码步骤和大数据压缩步骤。
S100，数据解码步骤：读取原始数据格式的高分辨率气象数据，基于预设的气象要素对前述高分辨率气象数据进行气象要素数据解码。
以中国气象局自主研发的CMA-GFS全球高分辨率数值预报模式数据为例，所述数据解码步骤主要是对原始grib2标准数据格式的CMA-GFS全球高分辨率数值预报模式数据进行气象要素数据解码，满足连续变量、标量两个条件的变量均可。
所述气象要素可以包括海平面气压PRMSL、气温TMP（如2米温度）、湿度RH中的一个或多个。
以CMA-GFS全球高分辨率数值预报模式海平面气压PRMSL要素为例，具体的数据解码处理步骤如下。
S110，获取CMA-GFS数据的时空分辨率信息，定义为分辨率变量fbl_in。
S120，获取CMA-GFS数据的水平网格点数信息，包括水平X方向的网格点总数num_lon和水平Y方向的网格点总数num_lat。
S130，根据步骤S110和S120计算出CMA-GFS数据的水平网格边界信息，并计算出所有网格点经纬度信息。
S140，通过上述网格点经纬度信息构建初始网格grid1。
S150，根据预设的气象要素，读取前述初始网格grid1中的所有网格点的海平面气压PRMSL值，并存储于网格数组im_data中。
S200，大数据压缩步骤：根据解码得到的原始气象要素数据，通过基于尺度特征的气象数据压缩算法对该原始气象要素数据进行处理以去除冗余数据，得到压缩后数据。
本实施例中，大数据压缩步骤主要是通过基于尺度特征的气象数据压缩算法对高分辨率的原始气象数据进行信息提取，去处冗余数据。具体的，所述基于尺度特征的气象数据压缩算法被配置为：对前述原始气象要素数据进行尺度分离，获取不同尺度下的天气系统信息并进行关键信息提取，根据提取的关键信息生成多组不规则网格气象要素数据集，一个尺度的天气系统对应一组不规则网格气象要素数据集，对多组不规则网格气象要素数据集进行数据融合，得到压缩后的不规则网格点数据集。
优选的，参见图3所示，选用两个尺度对原始气象要素数据进行尺度分离，此时，基于尺度特征的气象数据压缩算法被配置为执行如下步骤。
S210，获取水平方向第一尺度SCALE1以上天气系统信息，生成第一数据集。
S220，获取水平方向第二尺度SCALE2的天气系统信息，所述第二尺度SCALE2小于第一尺度SCALE1，生成第二数据集。
S230，对前述得到第一数据集和第二数据集进行数据融合，得到压缩后的一组不规则网格点数据集，即为压缩式后数据。
所述第一尺度SCALE1和第二尺度SCALE2可以由用户根据实际需要进行选择设置，对应的，可以设置尺度特征采集窗口以供用户设置所述第一尺度SCALE1和第二尺度SCALE2。
本实施例中，步骤S210具体可以包括如下步骤。
S211，计算第一尺度SCALE1以上的网格点的坐标信息，根据预设的M值，取[SCALE1/(fbl_in*M)]附近合适的值interal1，使num_lon/interal1，num_lat/interal1均为正整数，所述M取与一个经纬度相当长度的整数，所述[SCALE1/(fbl_in*M)]表示对分数SCALE1/(fbl_in*M)取整；令分辨率fbl_in1=fbl_in*interal1，重复前述步骤S120和S130，得到分辨率fbl_in1=fbl_in*interal1时的网格点经纬度信息；所述分辨率fbl_in1小于初始网格grid1的分辨率。
S212，记上述网格点经纬度信息为一层网格grid2，并与前述初始网格grid1形成二层嵌套网格。
S213，分别对每个一层网格grid2内部所嵌的初始网格grid1的网格点气象要素值进行数值比对，获取每个一层网格grid2中网格点气象要素值的极值和与之对应的初始网格定位信息，得到一组不规则网格气象要素数据集，记为第一数据集；所述极值包括最大值max和最小值min。
本实施例中，步骤S220具体可以包括如下步骤。
S221，计算第二尺度SCALE2左右的网格点坐标信息，取[SCALE2/(fbl_in*M)]附近合适的值interal2，使num_lon/interal2，num_lat/interal2均为正整数，令分辨率fbl_in2=fbl_in*interal2，重复前述步骤S120和S130，得到分辨率fbl_in2=fbl_in*interal2时的网格点经纬度信息；所述分辨率fbl_in2小于初始网格grid1的分辨率并且大于一层网格grid2的分辨率fbl_in1。
S222，记上述网格点经纬度信息为二层网格grid3，并与前述初始网格grid1和一层网格grid2形成三层嵌套网格。
S223，分别对每个二层网格grid3内部所嵌的初始网格grid1的网格点气象要素值进行数值比对，获取每个二层网格grid3中的网格点气象要素值的极值，所述极值包括最大值max和最小值min；对于每个二层网格grid3，比对该网格的最大值max和最小值min，当该最大值max等于最小值min时，只保留该网格内部中心点位置的初始网格的网格点坐标和气象要素值，得到一组中间数据集。
S224，对前述中间数据集，以任意网格点为节点，按照左上、上、右上、左、右、左下、下、右下八个方位构建八个子节点从而构造出二维水平结构的改进二维平面八叉树结构，基于前述改进二维平面八叉树结构进行莫顿编码，得到每个节点的八叉树编码；去除八叉树编码均为0的点位信息后，得到一组不规则网格气象要素数据集，记为第二数据集。
本实施例中，步骤S230中进行数据融合的方式优选为：把第一数据集和第二数据集中的网格点按照经纬度顺序存放，并对重叠的网格点数据进行数据去重。
下面以结合具体实施例详细描述上述数据压缩算法。令预设的M=100，SCALE1=500km， SCALE2=100km，气象要素为海平面气压PRMSL。
首先，获取水平方向SCALE=500km以上天气系统信息。
1）计算水平尺度SCALE=500km以上网格点坐标信息，取[SCALE/(fbl_in*100)]附近合适的值interal，使num_lon/interal，num_lat/interal均为正整数，获取分辨率fbl_in=fbl_in*interal，重复数据解码阶段的步骤S120和S130，得到fbl_in=fbl_in*interal分辨率网格点经纬度信息。
2）记上述网格点经纬度信息为一层网格grid2，并与grid1形成二层嵌套网格，参见图4所示，作为举例而非限制，示例了一个一层网格200中嵌套有81个初始网格100。
3）分别对每个一层网格grid2内部所嵌一层网格grid1的各网格点PRMSL值进行数值比对，获取每个一层网格grid2中网格点PRMSL值中的极值和与之对应的初始网格定位信息，所述极值包括最大值max和最小值min，得到一组不规则网格PRMSL数据集，记为第一数据集（即图3中的第一层数据集）。
然后，获取水平方向SCALE=100km天气系统信息。
4）计算水平尺度SCALE=100km左右网格点坐标信息，过程类似于前述步骤1），得到二层网格grid3，一个二层网格300内嵌套有9个初始网格100，一个一层网格200中嵌套有9个二层网格300，至此，grid1、grid2和grid3共同形成三层嵌套网格，参见图4所示。本实施例中，二层网格grid3的分辨率fbl_in2是小于初始网格grid1的分辨率（图4中示例的初始网格的分辨率是二层网格的9倍），同时二层网格grid3的分辨率fbl_in2是大于一层网格grid2的分辨率fbl_in1的（图4中示例的二层网格的分辨率是一层网格的9倍）。
5）分别对每个二层网格grid3内部所嵌的初始网格grid1的网格点PRMSL值进行数值比对，获取每个二层网格grid3中的网格点PRMSL值的极值，所述极值包括最大值max和最小值min。对于每个二层网格grid3，比对该网格的最大值max和最小值min，当该最大值max等于最小值min时，只保留该网格内部中心点位置的初始网格的网格点坐标和PRMSL值，得到一组中间数据集。
6）对前述中间数据集，以任意网格点为节点，按照左上、上、右上、左、右、左下、下、右下八个方位构建八个子节点，参见图5所示，构造出八叉树结构为二维水平结构的改进二维平面八叉树结构，进行莫顿morton编码，得到每个节点的八叉树编码；去除八叉树编码均为0的点位信息后，得到一组不规则网格PRMSL数据集，记为第二数据集。
参见图6所示，在使用改进二维平面八叉树结构进行莫顿编码时，对于任意节点，令其左上、上、右上、左、右、左下、下、右下八个方位分别依次为子节点1、子节点2、子节点3、子节点4、子节点5、子节点6、子节点7、子节点8，各子节点对应的编码依次为cd[1] 、cd[2]、cd[3] 、cd[4] 、cd[5] 、cd[6] 、cd[7] 、cd[8] 。
令该节点编码为CODE，有：
即，一个节点的编码等于其左上、上、右上、左、右、左下、下、右下八个方位的子节点的编码的依次排序。
参见图7所示，示例了某个节点1023的编码方案，此时，子节点1、子节点2、子节点3、子节点4、子节点5、子节点6、子节点7、子节点8对于的编码cd[1] 、cd[2] 、cd[3] 、cd[4]、cd[5] 、cd[6] 、cd[7] 、cd[8]依次为0、1、0、1、0、0、1、0，即可以得到该节点1023的编码CODE=01010010。
去除节点编码为00000000的点位信息后，就可以得到去冗余数据后的另一组不规则网格PRMSL数据集，即第二数据集。
本实施例的另一实施方式中，在步骤S200大数据压缩步骤之后，还包括S300压缩数据输出步骤，具体可以如下：对前述得到的不规则网格点数据集进行数据格式转换以生成气象上通用的数据格式文件，将前述通用的数据格式文件发送至岸端用户。
所述通用的数据格式文件，比如可以为NetCDF格式文件。
本实施例的另一实施方式中，在步骤S200大数据压缩步骤之后，还包括S400加密编码步骤，具体可以如下：构建对称密码表，对前述得到的不规则网格点数据集进行无损压缩和编码，实现数据集重建，将重建后数据发送至船端通讯卫星。
如此，通过加密编码对大数据压缩后的全球高分辨率数值预报模式数据进行进一步的数字化压缩，减少数据信息所占存储空间，使得利用远洋卫星通讯传输数字化气象模式数据成为可能。
本发明的另一实施例，还提供了一种气象数据压缩系统。
所述系统包括数据解码装置和大数据压缩装置。
所述数据解码装置：用于读取原始数据格式的高分辨率气象数据，基于预设的气象要素对前述高分辨率气象数据进行气象要素数据解码。
所述大数据压缩装置：用于根据解码得到的原始气象要素数据，通过基于尺度特征的气象数据压缩算法对该原始气象要素数据进行处理以去除冗余数据，得到压缩后数据。其中，所述基于尺度特征的气象数据压缩算法被配置为：对前述原始气象要素数据进行尺度分离，获取不同尺度下的天气系统信息并进行关键信息提取，根据提取的关键信息生成多组不规则网格气象要素数据集，一个尺度的天气系统对应一组不规则网格气象要素数据集，对多组不规则网格气象要素数据集进行数据融合，得到压缩后的不规则网格点数据集。
本实施例中，所述系统还可以包括压缩数据传输装置。
所述压缩数据传输装置被配置为：对前述得到的不规则网格点数据集进行数据格式转换以生成气象上通用的数据格式文件，将前述通用的数据格式文件发送至岸端用户。所述通用的数据格式文件为NetCDF格式文件。
所述系统还可以包括加密编码装置，所述加密编码装置被配置为：构建对称密码表，对前述得到的不规则网格点数据集进行无损压缩和编码，实现数据集重建，将重建后数据发送至船端通讯卫星。
其它技术特征参见在前实施例的描述，在此不再赘述。
本发明的另一实施例，还提供了一种计算机可读存储介质，用于存储能够被处理单元执行的计算机程序，所述计算机程序被所述处理单元执行时实现如前所述的气象数据压缩方法。
所述存储介质，可以包括U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
其它技术特征参见在前实施例的描述，在此不再赘述。
在上面的描述中，本发明的公开内容并不旨在将其自身限于这些方面。而是，在本公开内容的目标保护范围内，各组件可以以任意数目选择性地且操作性地进行合并。另外，像“包括”、“囊括”以及“具有”的术语应当默认被解释为包括性的或开放性的，而不是排他性的或封闭性，除非其被明确限定为相反的含义。所有技术、科技或其他方面的术语都符合本领域技术人员所理解的含义，除非其被限定为相反的含义。在词典里找到的公共术语应当在相关技术文档的背景下不被太理想化或太不实际地解释，除非本公开内容明确将其限定成那样。本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。
Claims (8)
1.一种气象数据压缩方法，其特征在于包括：
数据解码步骤：读取原始数据格式的高分辨率气象数据，基于预设的气象要素对前述高分辨率气象数据进行气象要素数据解码；所述气象要素包括海平面气压PRMSL、气温TMP、湿度RH中的一个或多个；所述原始数据格式的高分辨率气象数据为采用grib2标准数据格式的CMA-GFS全球高分辨率数值预报模式数据，此时，数据解码处理包括如下步骤：S110，获取CMA-GFS数据的时空分辨率信息，定义为分辨率变量fbl_in；S120，获取CMA-GFS数据的水平网格点数信息，包括水平X方向的网格点总数num_lon和水平Y方向的网格点总数num_lat；S130，根据步骤S110和S120计算出CMA-GFS数据的水平网格边界信息，并计算出所有网格点经纬度信息；S140，通过上述网格点经纬度信息构建初始网格grid1；S150，根据预设的气象要素，读取前述初始网格grid1中的所有网格点的气象要素值，并存储于网格数组im_data中；
大数据压缩步骤：根据解码得到的原始气象要素数据，通过基于尺度特征的气象数据压缩算法对该原始气象要素数据进行处理以去除冗余数据，得到压缩后数据；
其中，所述基于尺度特征的气象数据压缩算法被配置为：对前述原始气象要素数据进行尺度分离，获取不同尺度下的天气系统信息并进行关键信息提取，根据提取的关键信息生成多组不规则网格气象要素数据集，一个尺度的天气系统对应一组不规则网格气象要素数据集，对多组不规则网格气象要素数据集进行数据融合，得到压缩后的不规则网格点数据集。
2.根据权利要求1所述的方法，其特征在于，在大数据压缩步骤之后还包括压缩数据输出步骤，如下：
对前述得到的不规则网格点数据集进行数据格式转换以生成气象上通用的数据格式文件，将前述通用的数据格式文件发送至岸端用户。
3.根据权利要求2所述的方法，其特征在于，所述通用的数据格式文件为NetCDF格式文件。
4.根据权利要求1所述的方法，其特征在于，在大数据压缩步骤之后，还包括加密编码步骤，如下：
构建对称密码表，对前述得到的不规则网格点数据集进行无损压缩和编码，实现数据集重建，将重建后数据发送至船端通讯卫星。
5.根据权利要求1所述的方法，其特征在于：当基于两个尺度对原始气象要素数据进行尺度分离时，基于尺度特征的气象数据压缩算法被配置为执行如下步骤：
S210，获取水平方向第一尺度SCALE1以上天气系统信息，生成第一数据集，包括步骤：
计算第一尺度SCALE1以上的网格点的坐标信息，根据预设的M值，取[SCALE1/(fbl_in*M)]附近的值interal1，使num_lon/interal1，num_lat/interal1均为正整数，所述M取与一个经纬度相当长度的整数，所述[SCALE1/(fbl_in*M)]表示对分数SCALE1/(fbl_in*M)取整；令分辨率fbl_in1=fbl_in*interal1，重复前述步骤S120和S130，得到分辨率fbl_in1=fbl_in*interal1时的网格点经纬度信息；所述分辨率fbl_in1小于初始网格grid1的分辨率；
记上述网格点经纬度信息为一层网格grid2，并与前述初始网格grid1形成二层嵌套网格；
分别对每个一层网格grid2内部所嵌的初始网格grid1的网格点气象要素值进行数值比对，获取每个一层网格grid2中网格点气象要素值的极值和与之对应的初始网格定位信息，得到一组不规则网格气象要素数据集，记为第一数据集；所述极值包括最大值max和最小值min；
S220，获取水平方向第二尺度SCALE2的天气系统信息，所述第二尺度SCALE2小于第一尺度SCALE1，生成第二数据集，包括步骤：
计算第二尺度SCALE2左右的网格点坐标信息，取[SCALE2/(fbl_in*M)]附近的值interal2，使num_lon/interal2，num_lat/interal2均为正整数，令分辨率fbl_in2=fbl_in*interal2，重复前述步骤S120和S130，得到分辨率fbl_in2=fbl_in*interal2时的网格点经纬度信息；所述分辨率fbl_in2小于初始网格grid1的分辨率并且大于一层网格grid2的分辨率fbl_in1；
记上述网格点经纬度信息为二层网格grid3，并与前述初始网格grid1和一层网格grid2形成三层嵌套网格；
分别对每个二层网格grid3内部所嵌的初始网格grid1的网格点气象要素值进行数值比对，获取每个二层网格grid3中的网格点气象要素值的极值，所述极值包括最大值max和最小值min；对于每个二层网格grid3，比对该网格的最大值max和最小值min，当该最大值max等于最小值min时，只保留该网格内部中心点位置的初始网格的网格点坐标和气象要素值，得到一组中间数据集；
对前述中间数据集，以任意网格点为节点，按照左上、上、右上、左、右、左下、下、右下八个方位构建八个子节点从而构造出二维水平结构的改进二维平面八叉树结构，基于前述改进二维平面八叉树结构进行莫顿编码，得到每个节点的八叉树编码；去除八叉树编码均为0的点位信息后，得到一组不规则网格气象要素数据集，记为第二数据集；
S230，对前述得到第一数据集和第二数据集进行数据融合，得到压缩后的一组不规则网格点数据集，即为压缩式后数据。
6.根据权利要求5所述的方法，其特征在于，进行数据融合的方式为：把第一数据集和第二数据集中的网格点按照经纬度顺序存放，并对重叠的网格点数据进行数据去重。
7.一种气象数据压缩系统，其特征在于包括：
数据解码装置：用于读取原始数据格式的高分辨率气象数据，基于预设的气象要素对前述高分辨率气象数据进行气象要素数据解码；其中，所述气象要素包括海平面气压PRMSL、气温TMP、湿度RH中的一个或多个；所述原始数据格式的高分辨率气象数据为采用grib2标准数据格式的CMA-GFS全球高分辨率数值预报模式数据，此时，数据解码处理包括如下步骤：S110，获取CMA-GFS数据的时空分辨率信息，定义为分辨率变量fbl_in；S120，获取CMA-GFS数据的水平网格点数信息，包括水平X方向的网格点总数num_lon和水平Y方向的网格点总数num_lat；S130，根据步骤S110和S120计算出CMA-GFS数据的水平网格边界信息，并计算出所有网格点经纬度信息；S140，通过上述网格点经纬度信息构建初始网格grid1；S150，根据预设的气象要素，读取前述初始网格grid1中的所有网格点的气象要素值，并存储于网格数组im_data中；
大数据压缩装置：用于根据解码得到的原始气象要素数据，通过基于尺度特征的气象数据压缩算法对该原始气象要素数据进行处理以去除冗余数据，得到压缩后数据；
其中，所述基于尺度特征的气象数据压缩算法被配置为：对前述原始气象要素数据进行尺度分离，获取不同尺度下的天气系统信息并进行关键信息提取，根据提取的关键信息生成多组不规则网格气象要素数据集，一个尺度的天气系统对应一组不规则网格气象要素数据集，对多组不规则网格气象要素数据集进行数据融合，得到压缩后的不规则网格点数据集。
8.一种计算机可读存储介质，用于存储能够被处理单元执行的计算机程序，其特征在于：所述计算机程序被所述处理单元执行时实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310702431.1A CN116683915B (zh) | 2023-06-14 | 2023-06-14 | 气象数据压缩方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310702431.1A CN116683915B (zh) | 2023-06-14 | 2023-06-14 | 气象数据压缩方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116683915A CN116683915A (zh) | 2023-09-01 |
| CN116683915B true CN116683915B (zh) | 2024-02-13 |
Family
ID=87790523
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310702431.1A Active CN116683915B (zh) | 2023-06-14 | 2023-06-14 | 气象数据压缩方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116683915B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1684109A (zh) * | 2004-02-17 | 2005-10-19 | 三星电子株式会社 | 用于编码和解码三维数据的方法和装置 |
| WO2006053582A1 (en) * | 2004-11-18 | 2006-05-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Lossless compression of data, in particular grib1 files |
| CN108809944A (zh) * | 2018-05-15 | 2018-11-13 | 北京维艾思气象信息科技有限公司 | 一种交通气象平台数据传输方法及传输系统 |
| CN112468154A (zh) * | 2019-09-06 | 2021-03-09 | 广东华风海洋信息系统服务有限公司 | 一种适用于海洋气象可视化的数据压缩方法 |
| CN113946572A (zh) * | 2020-07-15 | 2022-01-18 | 华风爱科气象科技(北京)有限公司 | 气象数据存储、查询方法及装置 |
| CN114187369A (zh) * | 2021-11-26 | 2022-03-15 | 南京信息工程大学 | 一种基于视频压缩技术的气象预报数据压缩方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7365673B2 (en) * | 2004-12-30 | 2008-04-29 | Honeywell International, Inc. | Compression and transmission of weather data |
| KR102272569B1 (ko) * | 2020-05-26 | 2021-07-05 | 한국과학기술원 | 웨이블릿 기반 변형된 거대 메쉬 데이터의 점진적 고속 재압축 방법 및 그 시스템 |
-
2023
- 2023-06-14 CN CN202310702431.1A patent/CN116683915B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1684109A (zh) * | 2004-02-17 | 2005-10-19 | 三星电子株式会社 | 用于编码和解码三维数据的方法和装置 |
| WO2006053582A1 (en) * | 2004-11-18 | 2006-05-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Lossless compression of data, in particular grib1 files |
| EP1813022A1 (en) * | 2004-11-18 | 2007-08-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Lossless compression of data, in particular grib1 files |
| CN108809944A (zh) * | 2018-05-15 | 2018-11-13 | 北京维艾思气象信息科技有限公司 | 一种交通气象平台数据传输方法及传输系统 |
| CN112468154A (zh) * | 2019-09-06 | 2021-03-09 | 广东华风海洋信息系统服务有限公司 | 一种适用于海洋气象可视化的数据压缩方法 |
| CN113946572A (zh) * | 2020-07-15 | 2022-01-18 | 华风爱科气象科技(北京)有限公司 | 气象数据存储、查询方法及装置 |
| CN114187369A (zh) * | 2021-11-26 | 2022-03-15 | 南京信息工程大学 | 一种基于视频压缩技术的气象预报数据压缩方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于统计模型的气象数据无损压缩新方法;罗坚 等;地球科学进展;第18卷(第4期);正文637-642页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116683915A (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1681330B (zh) | 自适应2n叉树生成方法及3D体数据编码和解码方法和设备 | |
| CN1684109B (zh) | 用于编码和解码三维数据的方法和装置 | |
| EP3399758A1 (en) | Method and apparatus to encode and decode two-dimension point clouds | |
| CN107301194B (zh) | 瓦片式栅格地图的压缩存储及发布方法 | |
| JP2015504545A (ja) | 予測位置符号化 | |
| EP2783353B1 (en) | Position coding based on spatial tree with duplicate points | |
| CN113613010A (zh) | 基于稀疏卷积神经网络的点云几何无损压缩方法 | |
| CN114625992B (zh) | 一种百兆级气象网络数据的可视化方法及系统 | |
| CN112561876A (zh) | 基于图像的池塘和水库的水质检测方法及系统 | |
| CN112767423A (zh) | 一种基于改进SegNet的遥感图像建筑物分割方法 | |
| CN112132158A (zh) | 一种基于自编码网络的可视化图片信息嵌入方法 | |
| CN112468154A (zh) | 一种适用于海洋气象可视化的数据压缩方法 | |
| CN115687675A (zh) | 一种机载矢量地图数据处理方法 | |
| CN102323192B (zh) | 云粒子测量系统和方法 | |
| US20240185507A1 (en) | A method and apparatus for generating adaptive multiplane images | |
| CN117082474B (zh) | 一种科考船实时获取海洋环境预报数据的系统 | |
| CN115862010A (zh) | 一种基于语义分割模型的高分遥感影像水体提取方法 | |
| CN116683915B (zh) | 气象数据压缩方法、系统及介质 | |
| CN114187369A (zh) | 一种基于视频压缩技术的气象预报数据压缩方法 | |
| CN112000758A (zh) | 一种三维城市建筑构建方法 | |
| CN113034445B (zh) | 一种基于UNet3+的多尺度连接图像去雾算法 | |
| CN111291027A (zh) | 一种数据预处理方法 | |
| CN116578657A (zh) | 一种地理位置的编解码方法、装置及系统 | |
| CN113613000B (zh) | 一种智能多分辨率深度视频帧内预测方法 | |
| CN114612751A (zh) | 一种基于语义学习的整机点云数据的下采样方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |