CN103984773B - 一种多格式天气雷达基数据文件转NetCDF文件方法 - Google Patents

Abstract

本发明涉及一种多格式天气雷达基数据文件转NetCDF文件方法，包括如下步骤：1)通过文件后缀名匹配以及文件长度匹配的联合判据识别方法识别当前需要转换的雷达基数据文件类型；2）针对当前需要转换的雷达基数据的文件格式进行解析，提取出主要参数信息和观测数据；3）定义一个标准的NetCDF格式文件；4）根据步骤3）中定义的NetCDF标准格式将步骤2）中解析出的主要参数信息和观测数据转换成所述NetCDF标准格式。有益效果为：能够作为统一接口读取不同格式的雷达文件；NetCDF文件自身具有可描述性，还可将数据按照自变量、函数及其数据值的顺序进行存储，很适合气象数据的处理；NetCDF文件支持不同平台之间的数据传输，这使得雷达数据适合在网络平台之间实现共享。

Description

一种多格式天气雷达基数据文件转NetCDF文件方法

技术领域

本发明涉及气象雷达领域，尤其涉及一种多格式天气雷达基数据文件转NetCDF文件方法。

背景技术

现今多种大气探测方式中，多普勒天气雷达以其较高的时空分辨率和大范围探测能力，成为短时临近天气预报的有效工具。目前我国已经建成了由158部天气雷达组成的观测网，并投入到业务运行中。除此以外，双线偏振雷达、相控阵天气雷达等新型雷达也计划投入业务化运行中，这使得天气雷达的种类更加繁多。

天气雷达由于其性能参数、观测方式及生产厂家的不同，导致雷达基数据格式各不相同。这种不兼容性给科研及数值天气预报带来极大的不便。天气雷达基数据一般采用二进制形式存储以节省空间，易于计算机识别处理。现在常见的雷达基数据格式有北京敏视达公司生产的SA/SB多普勒天气雷达，基数据使用固定长度帧数据（2432个字节），无文件头，按主机字节序储存；成都国营784厂生产的SC/CD多普勒天气雷达，基数据格式包含文件头（1024个字节）和数据区（4000个字节），按主机字节序储存。新型雷达如南京十四所研制的机载相控阵雷达，工作波段为X波段，基数据文件格式无文件头，每个结构单元中雷达性能参数信息占128个字节，观测数据占19200个字节。

“NetCDF”格式全称为“Network Common Data Format”，即“网络通用数据格式”。它本质上和上述雷达基数据文件一样，采用二进制的存储方式，是一种文件格式的标准。NetCDF文件在开始之初的设计目的就是针对气象领域中的数据。在气象领域中经常将时空看做一个四维坐标，其中包含有经度、纬度、高度和时间等自变量。另一方面，大气中的风、温、压、湿等物理量又构成了相应的函数值变量。NetCDF文件通常按照如下标准格式进行数据的存储。

1)、维（Dimensions）

定义方法：维的名字 = 维的大小。

维在气象领域中一般是指自变量及其范围大小。

2)、变量（Variable）

定义方法：数据类型 变量名（维度1，维度2，维度3，…）。

变量在气象领域中通常用来储存各种物理量的值。在使用变量前必须定义，定义内容包括变量的数型、维数、属性等。

3)、坐标变量（Coordinate Variables）

定义方法：维的名字 = 值1，值2，值3，…。

坐标变量用来指定维具体取什么值，并可以通过一些方法，用这个值作为索引来得到变量数据。4)、属性（Attributes）

定义方法：变量名：属性类型 = “属性说明”。

一个变量可以拥有很多的属性，变量的属性一般是用来说明变量本身的，例如对单位、取值范围的说明等。

5)、数据（Data）

定义方法：变量名 = 一组数据值

数据就是每个变量的实际存储值。存储数据的大小和类型由对应变量的维度及类型所决定。

发明内容

本发明目的在于克服以上现有技术之不足，提供一种高效、可靠的多格式天气雷达基数据文件转NetCDF文件方法，具体有以下技术方案实现：

多格式天气雷达基数据文件转NetCDF文件方法，包括如下步骤：

1) 通过文件后缀名匹配以及文件长度匹配的联合判据识别方法识别当前需要转换的雷达基数据文件类型；

2）根据所述当前需要转换的雷达基数据的文件类型，并进行解析，提取出参数信息和观测数据；

3）定义一个标准的NetCDF格式文件；

4）根据步骤3）中定义的NetCDF标准格式将步骤2）中解析出的参数信息和观测数据转换成所述NetCDF标准格式。

所述多格式天气雷达基数据文件转NetCDF文件方法的进一步设计在于，所述步骤1)中包括：通过文件后缀名匹配判据识别方法对当前雷达基数据文件进行匹配检索，若检测到当前雷达基数据文件的后缀名以“A”字母或“B”字母结尾，则判定当前雷达基数据文件为SA基数据文件类型或SB基数据文件类型；若检测到当前雷达基数据文件的后缀名以“V”字母或“P”字母结尾，则判定当前雷达基数据文件为SC基数据文件类型；若检测结果均不符合上述条件，则通过文件长度匹配判据识别方法，鉴别当前雷达基数据文件是否为相控阵雷达基数据文件类型。

所述多格式天气雷达基数据文件转NetCDF文件方法的进一步设计在于，所述步骤1）中相控阵雷达基数据文件类型的判定依据为文件的总字节数为19328字节。

所述多格式天气雷达基数据文件转NetCDF文件方法的进一步设计在于，所述步骤2）中包括

2-1）定义三个三维数组，用于分别存储当前雷达基数据的文件中解析获取的反射率因子、平均径向速度以及谱宽数据，所述三维数组数据实际存储空间大小根据基数据文件中的状态标志、仰角、方位角以及距离库长设定；

2-2）若判定雷达基数据为SA基数据文件类型或SB基数据文件类型：首先，读取雷达基数据，分别读取当前径向数据的参数信息以及观测数据，再根据所述参数信息将所述观测数据存入对应的三维数组；

若判定雷达基数据为SC基数据文件类型：首先，读取文件的头信息，获取仰角循环次数与方位循环次数的上限值；设置仰角循环次数与方位循环次数的初始值均为0，再读取当前径向数据的数据信息，方位循环次数自加1，若方位循环次数达到上限值，则仰角循环次数自加1，方位循环次数初始化为0，并读取基数据文件的数据区信息，根据当前仰角和方位将数据存入对应的数组，直至仰角循环次数与方位循环次数均达到上限值；

若判定雷达基数据为相控阵雷达基数据文件：设基数据文件大小为，每个径向数据结构大小为，则该文件所含雷达径向数为：，将每个径向数据中包含的仰角信息与三维数组形成映射关系，以存储所述反射率因子、径向速度和谱宽值。

所述多格式天气雷达基数据文件转NetCDF文件方法的进一步设计在于，所述步骤2-1）中，所述三维数组中的第一层用于存放雷达单个径向上的反射率因子、平均径向速度或谱宽数据，第一层存储空间的大小根据该类型雷达基数据文件中最大测量距离长度和最小分辨距离库参数设定；三维数组中的第二层用于存放不同方位上的雷达径向数据，第二层存储空间的大小通常为360，即0°-360°；三维数组中的第三层用于存放不同仰角层下的雷达径向数据，第三层存储空间的大小根据该类型雷达基数据文件中的状态标志设定，当状态标志表示非文件尾时，文件位置指向下一仰角，同时第三层的层数增加一层，当状态标志表示已到文件尾时，循环结束，三维数组的第三层存储空间大小即为当前循环累加的总层数。

所述多格式天气雷达基数据文件转NetCDF文件方法的进一步设计在于，所述步骤3）包括：

维度的定义：建立基于距离、方位、俯仰以及时间的四维自变量的极坐标系；

变量的定义：所述变量包括雷达站点信息、雷达性能参数、观测参数信息以及天气雷达观测到的矩阵型变量，所述天气雷达观测到的矩阵型变量包括反射率因子、平均径向速度和谱宽；

属性的定义：用于定义物理量的单位；

数据的定义：通过数据值数组存储雷达的实际观测数据。

所述多格式天气雷达基数据文件转NetCDF文件方法的进一步设计在于，所述步骤4）中对当前基数据文件超出标准格式范围的数据予以去除，不足标准格式范围的数据用“-999”无效值进行补充。

本发明的优点如下：

本发明提供的多格式天气雷达基数据文件转NetCDF文件方法

一、能够作为统一接口读取不同格式的雷达文件；

二、NetCDF文件自身具有可描述性，还可将数据按照自变量、函数及其数据值的顺序进行存储，很适合气象数据的处理；

三、NetCDF文件支持不同平台之间的数据传输，这使得雷达数据适合在网络平台之间实现共享；

四、NetCDF文件具有较高的数据存储效率；

五、NetCDF文件还可供第三方软件（如一些科研软件Grads、MatLab、IDL等）直接调用，提高科研工作的效率。

附图说明

图1为SA、SB基数据文件类型的解析过程。

图2为SC基数据文件类型的解析过程。

图3为多格式天气雷达基数据文件转NetCDF文件方法的流程示意图。

具体实施方式

下面结合附图对本发明方案进行详细说明。

本实施例提供的多格式天气雷达基数据文件转NetCDF文件方法，包括如下步骤：

1) 通过文件后缀名匹配以及文件长度匹配的联合判据识别方法识别当前需要转换的雷达基数据文件类型。

2）根据所述当前需要转换的雷达基数据的文件类型，并进行解析，提取出参数信息和观测数据。

3）定义一个标准的NetCDF格式文件。

4）根据步骤3）中定义的NetCDF标准格式将步骤2）中解析出的参数信息和观测数据转换成所述NetCDF标准格式。

在进行格式转换之前，首先需要识别当前需要转换的雷达基数据文件类型。本方案采用文件后缀名匹配及文件长度匹配的联合判据识别方法，即步骤1）采用的方法。

目前国内常见的雷达型号有北京敏视达公司的SA/SB雷达，成都国营784厂的SC/CD雷达，南京十四所的CB雷达。另外，还有即将或计划投入业务使用的双线偏振雷达、相控阵气象雷达等。不同厂家对基数据格式有不同的定义，同一厂家生产的不同型号雷达由于雷达参数性能的不同，基数据格式也是不同的。

其中，步骤1)中的具体内容包括：通过文件后缀名匹配判据识别方法对当前雷达基数据文件进行匹配检索，若检测到当前雷达基数据文件的后缀名以“A”字母或“B”字母结尾，则判定当前雷达基数据文件为SA基数据文件类型或SB基数据文件类型；若检测到当前雷达基数据文件的后缀名以“V”字母或“P”字母结尾，则判定当前雷达基数据文件为SC基数据文件类型；若检测结果均不符合上述条件，则通过文件长度匹配判据识别方法，鉴别当前雷达基数据文件是否为相控阵雷达基数据文件类型。

进一步的，步骤1）中相控阵雷达基数据文件类型的判定依据为文件的总字节数为19328字节。

步骤2）的具体步骤如下：

2-1）定义三个三维数组，用于分别存储当前雷达基数据的文件中解析获取的反射率因子、平均径向速度以及谱宽数据，三维数组数据实际存储空间大小根据基数据文件中的状态标志、仰角、方位角以及距离库长设定；

进一步的，三维数组中的第一层用于存放雷达单个径向上的反射率因子、平均径向速度或谱宽数据，第一层存储空间的大小根据该类型雷达基数据文件中最大测量距离长度和最小分辨距离库参数设定；三维数组中的第二层用于存放不同方位上的雷达径向数据，第二层存储空间的大小通常为360，即0°-360°；三维数组中的第三层用于存放不同仰角层下的雷达径向数据，第三层存储空间的大小根据该类型雷达基数据文件中的状态标志设定，当状态标志表示非文件尾时，文件位置指向下一仰角，同时第三层的层数增加一层，当状态标志表示已到文件尾时，循环结束，三维数组的第三层存储空间大小即为当前循环累加的总层数。

2-2）若判定雷达基数据为SA基数据文件类型或SB基数据文件类型：首先，读取雷达基数据，分别读取当前径向数据的参数信息以及观测数据，再根据所述参数信息将所述观测数据存入对应的三维数组，参见图1。对应的三维数组设置如下：

float ref_data_784[20][360][1000]; //反射率因子

float vel_data_784[20][360][1000]; //径向速度

float spw_data_784[20][360][1000]; //谱宽

若判定雷达基数据为SC基数据文件类型：首先，读取文件的头信息，获取仰角循环次数与方位循环次数的上限值；设置仰角循环次数与方位循环次数的初始值均为0，再读取当前径向数据的数据信息，方位循环次数自加1，若方位循环次数达到上限值，则仰角循环次数自加1，方位循环次数初始化为0，并读取基数据文件的数据区信息，根据当前仰角和方位将数据存入对应的数组，直至仰角循环次数与方位循环次数均达到上限值，参见图2。对应的三维数组设置如下：

float ref_data_784[20][360][1000]; //反射率因子

float vel_data_784[20][360][1000]; //径向速度

float spw_data_784[20][360][1000]; //谱宽

若判定雷达基数据为相控阵雷达基数据文件：设基数据文件大小为，每个径向数据结构大小为，则该文件所含雷达径向数为：，将每个径向数据中包含的仰角信息与三维数组形成映射关系，以存储所述反射率因子、径向速度和谱宽值，对应的三维数组设置如下：float ref_data_phase[M][N][3200]; //反射率因子

float vel_data_phase[M][N][3200]; //径向速度

float spw_data_phase[M][N][3200]; //谱宽

文件中观测数据的获取流程与SA基数据文件类型或SB基数据文件类型的流程类似。

步骤3）的内容具体包括维度的定义、变量的定义、属性的定义以及数据的定义。其中，

维度的定义：天气雷达探测方式是建立在极坐标系上的。因此，可以建立包括距离、方位、俯仰和时间的四维自变量。考虑到不同型号雷的性能参数不同，观测的距离、方位及俯仰范围也不同。因此，将距离、方位和俯仰的范围进行标准化，具体定义如下：

radialR = 1000 //径向距离库范围（反射率因子）

radialV = 1000 //径向距离库范围（径向速度）

radialW = 1000 //径向距离库范围（谱宽）

azimuth = 360 //方位角范围

elevation = 20 //俯仰角范围

time = 1 //当前观测时间。

变量的定义：普通的变量为非矩阵型变量，主要包括雷达站点信息、雷达性能参数和观测参数信息。在NetCDF文件中定义如下：

Char* country //国家名

Char* station //站点名

……

Float beamH //水平波宽

Int wavelength //波长

……

Char* sminute //开始观测时间（分）

Char* eminute //结束观测时间（秒）

天气雷达观测到的矩阵型变量主要包括反射率因子、平均径向速度和谱宽。这些变量大小与维度有关。因此，NetCDF中矩阵型变量的标准格式定义如下：

float reflectivity（radialR，azimuth，elevation） //反射率因子

float velocity（radialR，azimuth，elevation） //平均径向速度

float spw（radialR，azimuth，elevation） //谱宽

float az（azimuth ，elevation）//波束实际方位角。

属性的定义：属性是对变量的说明和解释，在NetCDF中属性主要用来定义物理量的单位。标准格式的定义如下：

reflectivity：unit = dBZ //反射率因子单位

velocity：unit = m/s //平均径向速度单位

spw：unit = nm //谱宽单位。

数据的定义：雷达实际观测的数据值都存放在此处，每个变量对应一组数据值数组，数组范围的大小由该变量的总维度大小决定。本文NetCDF中数据的标准格式定义如下：

reflectivity = fRData[20*360*1000] //反射率因子值

velocity = fVData[20*360*1000] //平均径向速度值

spw = fWData[20*360*1000] //谱宽值。

步骤4）中对当前基数据文件超出标准格式范围的数据予以去除，不足标准格式范围的数据用“-999”无效值进行补充。

参照图3所示的流程，具体实施方式如下：

1）建立数据库，实现系统权限认证及安全认证功能。

2）实现雷达基数据文件的识别，能够区分SA/SB格式、SC/CD格式及新型相控阵雷达多种格式。识别方法可参照步骤1）的内容。

3）解析获取不同雷达基数据文件中的主要性能参数和观测数据，提取方法参照步骤2）的内容。

4）定义标准NetCDF文件格式，能够兼容不同雷达基数据格式，完成雷达数据格式的统一。具体转换方法参照步骤3）以及步骤4）的内容。

5）加载netcdf.dll动态库、netcdf.lib静态库及相关头文件和源文件，快速完成NetCDF文件的读写操作。

Claims (4)

1.一种多格式天气雷达基数据文件转NetCDF文件方法，其特征在于，包括如下步骤：

1)通过文件后缀名匹配以及文件长度匹配的联合判据识别方法识别当前需要转换的雷达基数据文件类型；

2)针对当前需要转换的雷达基数据的文件格式并进行解析，提取出主要参数信息和观测数据，所述主要参数信息包括反射率因子、平均径向速度以及谱宽数据；

3)定义一个标准的NetCDF格式文件；

4)根据步骤3)中定义的NetCDF标准格式将步骤2)中解析出的所述主要参数信息和观测数据转换成所述NetCDF标准格式；

所述步骤3)包括：

维度的定义：建立基于距离、方位、俯仰以及时间的四维自变量的极坐标系；

变量的定义：所述变量包括雷达站点信息、雷达性能参数、观测参数信息以及天气雷达观测到的矩阵型变量，所述天气雷达观测到的矩阵型变量包括反射率因子、平均径向速度和谱宽；

属性的定义：用于定义物理量的单位。

2.根据权利要求1所述的多格式天气雷达基数据文件转NetCDF文件方法，其特征在于所述步骤1)中包括：通过文件后缀名匹配判据识别方法对当前雷达基数据文件进行匹配检索，若检测到当前雷达基数据文件的后缀名以“A”字母或“B”字母结尾，则判定当前雷达基数据文件为SA基数据文件类型或SB基数据文件类型；若检测到当前雷达基数据文件的后缀名以“V”字母或“P”字母结尾，则判定当前雷达基数据文件为SC基数据文件类型；若检测结果均不符合上述条件，则通过文件长度匹配判据识别方法，鉴别当前雷达基数据文件是否为相控阵雷达基数据文件类型。

3.根据权利要求2所述的多格式天气雷达基数据文件转NetCDF文件方法，其特征在于所述步骤1)中相控阵雷达基数据文件类型的判定依据为文件的总字节数为19328字节。

4.根据权利要求1所述的多格式天气雷达基数据文件转NetCDF文件方法，其特征在于所述步骤4)中对当前基数据文件超出标准格式范围的数据予以去除，不足标准格式范围的数据用“-999”无效值进行补充。