CN111596093A - 一种基于adcp的海水流速数据处理方法 - Google Patents

Abstract

本发明涉及一种基于ADCP的海水流速数据处理方法，包括以下步骤：ADCP仪器设置与投放；数据提取与转化；数据合并与分组：所有转化完成的数据分为若干个按时间顺序编号的‘.mat’文件，每个文件中包含着所有的变量在某一段时间内的测量结果，需要对数据进行合并；补全数据；数据异常值去除。

Description

一种基于ADCP的海水流速数据处理方法

技术领域

本发明涉及海流测量领域，具体涉及一种基于ADCP的海水流速数据处理方法。

背景技术

海洋与人类的生活息息相关。进入21世纪以来，全球海洋环境问题频发，迫使人类关注海洋，合理开发海洋资源。研究海洋环境的变化的方式分为现场观测和数值模拟，而现场观测的数据是数值模拟的基础。海水流速数据是人类研究海洋变化过程的一个重要参数。海水的流场分布可以一定程度上反映出该海区的地形地貌、天气变化以及水交换能力等特征。因此准确的海水流速数据是研究海洋环境变化的基础数据。

声学多普勒流速剖面仪(Acoustic Doppler Current Profiler，ADCP)是测量海洋流速剖面的重要设备。ADCP通过测定声波入射到海水中微颗粒后向散射在频率上的多普勒频移，从而得到不同水层水体的运动速度。ADCP可以进行长时间、高时间分辨率和高空间分辨率的流速剖面测量，但是在数据处理的时候也会遇到一些问题，表现在以下几个方面：

1.如果进行长时间的连续高精度观测，那么观测结束时，仪器中存储的数据量是十分巨大的。例如进行25天的观测，采样频率为4Hz/s，那么最终获得的数据长度达到800多万个。数据所占内存较大，使用较为麻烦。

2.然而在长时间的测量过程中，仪器会出现短时间的不稳定状况，数据也会出现时间不连续的情况。如果忽视缺失的数据片段，对数据处理结果会有影响。但是在如此长时间序列的数据中找出数据缺失的位置是十分困难的。

3.对于仪器测量的异常值的判定和剔除，缺少一套相应的标准，造成数据处理结果不理想或是数据剔除量过多，造成浪费。

4.从ADCP原始数据的导出直至处理成为可以使用的二次数据，还没有一套标准的流程，需要建立一套清晰、简洁、完善、高效的处理流程。

发明内容

有鉴于此，本发明提供一种基于ADCP的数据处理方法，目的在于寻找到长时间流速观测数据中缺失数据的位置以及对应时间点，用线性插值或其他方式填补空缺，消除由于仪器测量的不稳定造成的数据不完整现象，为后续的研究提供准确的数据。技术方案如下：

一种基于ADCP的海水流速数据处理方法，主要包括以下步骤：

1.仪器设置与投放

了解测量地点水深以及确定测量层厚及测量频率，将ADCP相关参数设置完成后，固定在测量支架上，放入海底并固定好，仪器开始工作。

2.数据提取与转化

测量结束后，利用仪器配套软件导出并且转化成MATLAB软件可读的‘.mat’格式的数据。

3.数据合并与分组

所有转化完成的数据通常会分为若干个按时间顺序编号的‘.mat’文件，每个文件中包含着所有的变量在某一段时间内的测量结果。因此，首先需要对数据进行合并，并且找出数据缺失的位置，再对缺失时间段内的数据进行线性插值或其他方式进行补位，具体步骤如下：

(1).首先使用MATLAB软件打开已转化为‘.mat’格式的数据，选择需要处理的变量，如时间、仪器倾角、流速东分量、流速北分量、垂向流速、压力等变量。

(2).将3-(1)步骤中选定的变量，进行合并。按照转化成的‘.mat’格式数据文件的编号顺序，首先应当将时间数据进行合并，具体了解测量的起止时间。再将选定的变量一一进行合并。合并完成后，先对时间数据进行处理。

(3).对时间数据中缺失的地方进行筛查。时间数据中的断点，也是其他数据的断点。构造一个判断数组，数组共有三个维度，第一维度代表天数，第二维度代表小时，第三维度代表分钟。对每一天中，每一小时，每一分钟进行筛查。如果选择的测量频率为4Hz/s，测量时长为每10分钟工作9分55秒(称一个10分钟为一个burst)，那么一分钟将会测量240(60×4＝240)个数，每一个burst的最后一分钟将会测得220(55×4＝220)个数。如果哪一分钟缺少数据或者无数据，那么这一分钟的数据个数就不会是240或者220。这样就可以构造一个三维判断数组，如果测量时长为25天，那么数组结构为25(天数)×24(小时)×60(分钟)，将测量到完整数据的分钟赋值1，将无测量数据的分钟赋值0，将有测量数据但是不完整的分钟赋值2。

(4).从判断数组中挑选出异常的天数。逐日排查判断数组中‘2’或者‘0’的位置，如果某一天查询不到‘2’或者‘0’，说明这一天的数据测量完整；如果可以查找到‘2’或者‘0’，说明这一天的数据测量不完整。同样，从异常天数中挑选异常分钟。通过已经查找出异常天数中‘2’或者‘0’的行与列，就可以判断出哪一天哪一小时哪一分钟存在数据的缺漏现象，并做好记录。

(6).数据的分组。因为数据测量时是以每一个burst(10分钟)为时间周期测量的，所以进行数据分组时，应当将时间、流速、压力等数据分成以burst为组的数据格式。分组时可将同一个burst内的时间、流速、压力、倾角等数据，存储在一起，便于管理和使用。分组完成的数据将以若干个burst数据组进行呈现。

4.补全数据

如果未排查到有数据缺漏的现象，那么说明仪器在该测量点测量期间工作稳定，数据质量较高。如果数据有缺测，将缺失的数据用相邻两个burst组中的数据的平均值代替，或选择其他处理方法。数据分组之后就可以进行下一步处理了。

5.数据异常值去除

(1).查看步骤3-(1)中的仪器倾角，倾角较大(大于10°或小于-10°)表明仪器晃动剧烈，该时间段对应的流速、压力应当被剔除，不宜使用。

(2).利用测得的压力数据作为实际水深，剔除空气层中的流速数据。压力数据与层厚无关，表征的是水面以下至测量点的压力，以‘m’为单位，亦可当作测量点距离水面的深度。因此可得：水体中层数＝压力/层厚。因此在处理流速数据时，应当将水体中层数之外的空气层数的数据赋为空值或者‘NAN’值。

(3).对水体中的异常测量值也应进行剔除。ADCP测得的在靠近海气界面处的数据变化剧烈，无法使用，因此应当将海表2m以浅的数据剔除。查询相关文献，了解测量地的水流状况，或使用单点测流计测量地点流速大致范围，剔除处于流速范围之外的异常值。

6.数据平均

数据去除异常值之后，便可将数据进行空间和时间上的平均，以供后续研究的使用。

本发明基于ADCP的海水流速数据处理方法，用简单，快捷，精准的方式排查出长时间观测数据中的缺测时间段并进行补全，并且能够将长时间数据分成便于管理和使用的burst组。本发明不仅仅适用于ADCP仪器数据的处理，还适用于其他用于长时间观测仪器数据的处理。

附图说明

图1基于ADCP的流速数据处理方法流程图。

图2完成分组的数据格式示意图：观测数据依据burst时间共被分为3486个组，每一组中包含多个参数。Burst_ve、Burst_vn、Burst_vu分别为流速东分量、流速北分量和垂向流速；Heading、Pitch和Roll分别代表不同方向的仪器倾角，用于判断数据质量；Time、T分别为测量时间和仪器温度。2380代表一个burst时间测量的数据个数，82代表测量的层数。

图3流速东分量时间序列对比图：横轴为日期，纵轴为到海底的距离，颜色代表流速大小。(a)为未剔除表层2米以浅数据所画流速剖面时间序列，(b)为剔除表层2米以浅数据后所画流速剖面时间序列。两图中的黑线为水位的变化曲线。(a)图的水位线以下2米以内的流速数据变化剧烈，这正是近表层ADCP测量不准确的缘故，所以应该把这部分数据剔除，如图(b)所示。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

本发明提供一种基于ADCP的数据处理方法，目的在于寻找到长时间流速观测数据中缺失数据的位置以及对应时间点，用线性插值或其他方式填补空缺，消除由于仪器测量的不稳定造成的数据不完整现象，为后续的研究提供准确的数据。本发明以Nortek公司生产的Signature1000ADCP为例进行数据处理，该型号仪器测量层厚可选范围为0.2～2米，最高测量频率为16Hz/s。具体实施步骤如下：

1.仪器设置与投放

了解测量地点水深以及确定测量频率和测量层厚，本发明以测量时长25天，采样频率为4Hz/s，层厚为0.2m为例进行介绍。将ADCP相关参数设置完成后，固定在测量支架上，放入海底并固定好，仪器开始工作。测量时间尽量设置为整点开始，便于将来的数据处理。

2.数据提取与转化

测量结束后，将仪器收回，停止工作后，利用仪器配套软件导出原始数据(.ad2cp格式)并且转化成MATLAB软件可读的‘.mat’格式的数据。后续的处理流程，都是使用MATLAB软件进行的。

3.数据合并与分组

所有转化完成的数据通常会分为若干个按时间顺序编号的‘.mat’文件，每个文件中包含着所有的变量在某一段时间内的测量结果。因此，首先需要对分散时间段的数据进行合并，并且找出数据缺失的位置，再对缺失时间段内的数据进行线性插值或者其他方式进行补位，具体步骤如下：

(1).首先使用MATLAB软件打开已将原始数据(.ad2cp格式)转化为‘.mat’格式的数据，选择需要处理的变量，如时间、仪器倾角、流速东分量、流速北分量、垂向流速、压力等变量。

(2).将选定的变量，进行合并。按照转化成的‘.mat’格式数据文件的编号顺序，首先应当将时间数据进行合并，使用MATLAB自带的‘cat.m’函数进行合并。时间数据合并完成后，整个测量过程的起止时间就会清晰地呈现出来。再将需要的变量一一进行合并。合并完成后，先对时间数据进行漏测筛查。

(3).合并完成后便开始对时间数据中缺失的地方进行筛查。首先构造一个判断数组，记为JA(Judge Array)，数组共有三个维度，第一维度代表天数，第二维度代表小时，第三维度代表分钟，即数组维度是天数×小时×分钟。对每一天、每一小时、每一分钟进行筛查。如果选择的测量频率为4Hz/s，测量方式为每个10分钟工作9分55秒(称一个10分钟为一个burst时间)，那么一分钟将会测量240(60×4＝240)个数，每一个burst的最后一分钟将会测得220(55×4＝220)个数。如果哪一分钟缺少数据或者无数据，那么这一分钟的时间数据的个数就不会是240或者220。如果测量时长为25天，那么判断数组JA的结构为25(天数)×24(小时)×60(分钟)，将测量到完整数据的分钟赋值1，将无测量数据的分钟赋值0，将有测量数据但是不完整的分钟赋值2。

(4).从判断数组JA中挑选出异常的天数。沿着判断数组的第一维，利用MATLAB的‘find.m’函数逐日排查判断数组中是否存在‘2’或者‘0’，如果某一天查询不到‘2’或者‘0’，说明这一天的数据测量完整；如果可以查找到‘2’或者‘0’，说明这一天的数据测量不完整。同样地，从异常天数中挑选异常分钟。从找出的异常天数中，利用MATLAB的‘find.m’函数，查找‘2’或者‘0’，通过输出的行号和列号，就可以判断出哪一天哪一小时哪一分钟存在数据的缺漏现象，并做好记录。

(5).数据的分组。因为数据测量时是以每一个burst(如10分钟，采样频率：4Hz/s)为时间周期测量的，所以进行数据分组时，应当以burst为单位进行分组。先将合并好的时间数据按照burst分组，即将时间数据从测量起始点至测量结束点按照每十分钟划分为一组。并将每一组的时间点在整段时间中的位置输出出来，记为‘burst_indice+序号’。如果设置每10分钟工作9分55秒，则每一个burst_indice中有2380((9×60+55)×4＝2380)个数据，burst_indice1中存储的位置信息为1、2、3…2380；burst_indice2为2381…4760；……。在输出位置信息的过程中，应当加一句判断的语句：将这个burst_indice中数据个数算出来，如果不等于2380，说明时间数据在此处有断点，仪器在这个时间点有缺测的现象，将这个burst_indice的序号输出。由此，就得知哪一个burst中的测量数据有缺失了。

因为时间数据的长度和流速、压力等数据的时间维长度一致，利用时间数据制作的burst_indice，可将流速、压力等其他数据也分成以burst为组的数据格式，记为‘burst+序号’。将分好组的时间、流速、压力、倾角等数据，存储在一个burst中，便于管理和使用。分组完成的数据将以若干个burst数据组进行呈现。

4.补全数据

如果未排查到有数据缺漏的现象，那么说明仪器在该测量点测量期间工作稳定，数据质量较高。如果数据有缺测，查看步骤3-(5)步骤中的所输出的有缺失数据的burst_indice的序号，并将缺失的数据用相邻两个burst中的数据的平均值代替，或者暂时赋’NAN’值。

数据分组之后就可以进行下一步处理了。这里想要说明的是，为什么要在分组之后再进行数据补全，不在排查数据的缺测过程中进行补全呢？因为如果之前进行补全，那么在分组时，就不会输出有缺测记录的burst组编号，在将来数据的使用中，如果觉得之前的数据补全方式不妥，想要修改的时候，再在很多个burst组中找这些数据缺测点就会很麻烦。在先分组的情况下，可输出有问题的burst组编号，以便后续处理。

5.数据异常值去除

(1).首先查看仪器的倾角值，如果倾角在±10°之间，则数据质量较好；如果仪器倾角过大，该段数据应当剔除。

(2).利用测得的压力数据对流速剖面中的异常数据进行筛除。压力数据与层厚无关，表征的是水面以下至测量点的压力，以‘m’为单位，亦可当作测量点距离水面的深度。因此可得：实际层数＝压力/层厚。因此在处理流速数据时，应当将实际层数之外的层数的数据赋为空值或者‘NAN’值。

(3).水体的异常测量值也应进行剔除。ADCP测得的在靠近海气界面处的数据变化剧烈，无法使用，因此应当将海表2m以浅的数据剔除，即在使用流速数据时，应当将实际层数再统一减去10层，再进行使用。还应当查询相关文献，了解测量地的水流状况，或使用单点测流计测量该点流速大致范围，剔除处于流速范围之外的异常值。

6.数据平均

数据去除异常值之后，便可将数据进行空间和时间上的平均，以供后续研究的使用。例如可将分好组的数据进行10分钟、20分钟或是1小时平均，分别进行整理。空间上，可将数据进行1米平均后进行使用。

本发明基于ADCP的海水流速数据处理方法，用简单，快捷，精准的方式排查出长时间观测数据中的缺测时间段并进行补全，并且能够将长时间数据分成便于管理和使用的burst组。本发明不仅仅适用于ADCP仪器数据的处理，还适用于其他用于长时间观测仪器数据的处理。

Claims (2)

1.一种基于ADCP的海水流速数据处理方法，包括以下步骤：

第一步 ADCP仪器设置与投放

了解测量地点水深以及确定测量层厚及测量频率，将ADCP相关参数设置完成后，固定在测量支架上，放入海底并固定好，ADCP仪器开始工作；

第二步 数据提取与转化

测量结束后，利用ADCP仪器配套软件导出并且转化成MATLAB软件可读的‘.mat’格式的数据；

第三步 数据合并与分组

所有转化完成的数据分为若干个按时间顺序编号的‘.mat’文件，每个文件中包含着所有的变量在某一段时间内的测量结果，需要对数据进行合并，并且找出数据缺失的位置，再对缺失时间段内的数据进行线性插值或其他方式进行补位。具体步骤如下：

(1).使用MATLAB软件打开已转化为‘.mat’格式的数据，选择需要处理的变量，包括时间、仪器倾角、流速东分量、流速北分量、垂向流速、压力变量；

(2).将(1)步骤中选定的需要处理的变量，进行合并；按照转化成的‘.mat’格式数据文件的编号顺序，首先将时间数据进行合并，了解测量的起止时间；再将选定的变量一一进行合并；

(3).对时间数据中缺失的地方进行筛查；时间数据中的断点，也是其他数据的断点；构造一个判断数组，数组共有三个维度，第一维度代表天数，第二维度代表小时，第三维度代表分钟；对每一天中，每一小时，每一分钟进行筛查；选择的测量频率为4Hz/s，测量时长为每10分钟工作9分55秒，称一个10分钟为一个burst，一分钟测量240个数，每一个burst的最后一分钟将会测得220个数；如果哪一分钟缺少数据或者无数据，那么这一分钟的数据个数就不会是240或者220；构造一个三维判断数组，将测量到完整数据的分钟赋值1，将无测量数据的分钟赋值0，将有测量数据但是不完整的分钟赋值2；

(4).从判断数组中挑选出异常的天数；逐日排查判断数组中‘2’或者‘0’的位置，如果某一天查询不到‘2’或者‘0’，说明这一天的数据测量完整；如果查找到‘2’或者‘0’，说明这一天的数据测量不完整；同样，从异常天数中挑选异常分钟；通过已经查找出异常天数中‘2’或者‘0’的行与列，判断出哪一天哪一小时哪一分钟存在数据的缺漏现象，并做好记录；

(5).数据的分组：因为数据测量时是以每一个burst为时间周期测量的，所以进行数据分组时，将时间、流速、压力数据分成以burst为组的数据格式；分组时将同一个burst内的时间、流速、压力、倾角数据，存储在一起，便于管理和使用；分组完成的数据将以若干个burst数据组进行呈现；

第四步 补全数据

如果未排查到有数据缺漏的现象，那么说明仪器在该测量点测量期间工作稳定，数据质量较高；如果数据有缺测，将缺失的数据用相邻两个burst组中的数据的平均值代替，或选择其他处理方法进行补全；

第五步：数据异常值去除。

2.根据权利要求1所述的数据处理方法，其特征在于，.数据异常值去除包括下列步骤：

(1).查看仪器倾角数据，若倾角大于10°或小于-10°，该时间段对应的流速、压力应当被剔除，不宜使用；

(2).利用测得的压力数据作为实际水深，剔除空气层中的流速数据；压力数据与层厚无关，表征的是水面以下至测量点的压力，以‘m’为单位，亦当作测量点距离水面的深度；因此可得：水体中层数＝压力/层厚；在处理流速数据时，将水体中层数之外的空气层数的数据赋为空值或者‘NAN’值；

(3).对水体中的异常测量值也应进行剔除：将海表2m以浅的数据剔除；了解测量地的水流状况，或使用单点测流计测量地点流速范围，剔除处于流速范围之外的异常值。

Images