CN112307410A

CN112307410A - 基于船载ctd测量数据的海水温盐信息时序预测方法

Info

Publication number: CN112307410A
Application number: CN202010988700.1A
Authority: CN
Inventors: 杨嘉琛; 温家宝
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2020-09-18
Filing date: 2020-09-18
Publication date: 2021-02-02

Abstract

本发明涉及一种基于船载CTD测量数据的海水温盐信息时序预测方法，包括下列步骤：采集海水温度、电导率数据，基于所测电导率信息计算出盐度测量数据，获得原始温、盐数据；将船载CTD采集的原始温、盐数据进行预处理，预处理过程包含插值、滤波，筛选出符合计算标准的时间序列信息；将预处理完的数据划分成时间信息和包含温度、盐度在内的属性信息，将时间信息进行模糊规则划分；得到经阈值分割的新的隶属度函数，将模糊划分后的属性信息与时间信息进行序列对齐，以建立新的时间序列数据集，这部分序列信息被称为新的模糊序列数，构造新的隶属度数据集。设计长短期记忆神经网络预测模型，设置损失函数，利用训练集训练和建立预测模型。

Description

基于船载CTD测量数据的海水温盐信息时序预测方法

技术领域

本发明属于数据处理领域，涉及对海洋数据探测设备CTD(conductivity,temperature,and depth)仪采集数据处理方法。

背景技术

随着人们对海洋的探求，新一代的海洋环境探测设备具有观测精度高、测量范围广等优势，但同时也增大了海洋数据的测量体量，面对呈指数级增长的海洋大数据处理问题，本研究提出一种基于模糊分割的时间序列预测方法。目前，海洋调查船通过布设投放船载CTD方法测量任务海域的温、盐数据，然而测量船需要通过布线巡航的方式对一片海域进行反复测量，面对宽广的海平面，调查船的测量不仅具有较低测量效率，还会采集到许多错误的数据，这就给后期的数据挖掘带来困难。在海洋数据的生态系统里，时间序列数据是所占比例最大的一类数据，它显示了海洋环境的变化规律，比如随季节性海水温度、盐度变化，海下密跃层变化等。时间序列建模是机器学习研究中的一个重要领域，它的目的是利用智能算法和观测数据预测未来时段的信息变化规律。一般情况下，海水环境要素的历年变化规律会影响未来时刻的趋势，并且信息不会发生突然的跳跃变化。时间序列分析法对于单一序列的短、近期预测比较显著。然而，当环境预测数据属性增加，时间周期增长，会导致预测值偏离实际较大而使决策失误。

人工神经网络作为一种监督学习算法，它能够分析复杂高维度的特征数据集，在处理大量的时间序列数据时能够通过增加神经元数量和层数来提高模型精确度。近年来，关于长周期的时间序列问题，长短期记忆(LSTM)神经网络表现出优异的一面，它利用大量的权值和偏差参数将神经网络链式连接，将连续时间的状态相连接以获取长时间复杂的时间序列信息的学习。与此同时，一些研究基于模糊框架提出了大量的模糊时间序列模型，它们显示出很大的优势在基于不完整和小数据集上的时间序列预测工作。模糊方法的主要优势在于，能够将时间样本信息模糊化，以降低观测数据集存在的数值偏差。将观测数据作为一个模糊的概念，不完全相信任意一条数据，最大程度上保护训练模型的准确性。以此，发挥神经网络和模糊理论的各自优势能够有效的解决时间序列数据的分析问题。

融合算法是优化时间序列预测算法的有效途径之一，融合算法结合不同智能算法的特点，在不同阶段以不同的方式取搜索解，在加快收敛速度的同时提高了找到最优解的可能性。

发明内容

本发明提出了一种基于船载CTD测量数据的海水温盐信息时序预测方法以在解决船载CTD采集的不规则环境数据时间序列预测问题。技术方案如下：

一种基于船载CTD测量数据的海水温盐信息时序预测方法，包括下列步骤：

第一步，采集海水温度、电导率数据，基于所测电导率信息计算出盐度测量数据，获得原始温、盐数据。

第二步，将船载CTD采集的原始温、盐数据进行预处理，预处理过程包含插值、滤波，筛选出符合计算标准的时间序列信息；

第三步，将预处理完的数据划分成时间信息和包含温度、盐度在内的属性信息，将时间信息进行模糊规则划分，制订规则均匀的时间信息，采用三角形隶属度函数将观测数据的时间序列T划分为m个的模糊集，以每天或月作为两个模糊集之间的间隔，即总时段为m天或m月。

第四步，对温、盐信息的隶属度值设定阈值分割函数，并通过正则化建立新的模糊隶属度函数，计算隶属度矩阵，并确认目标函数，以得到所有数据点的隶属度值，将属性信息聚成k类；设置一个隶属度阈值η，用来横向分割隶属度函数，然后再将新的隶属度函数进行正则化处理，确保隶属度函数满足下式：

式中，μ_p(x_i)表示样本x_i对于聚类中心k_p的隶属度，μ′_p(x_i)表示经过阈值分割的新的隶属度函数。

第五步，将模糊划分后的属性信息与时间信息进行序列对齐，以建立新的时间序列数据集，这部分序列信息被称为新的模糊序列数，构造新的隶属度数据集。

第六步，设计长短期记忆神经网络预测模型，设置损失函数，利用训练集训练和建立预测模型。以得到的新的隶属度数据集作为长短期记忆神经网络预测模型的训练集进行模型训练，最后通过测试集验证模型预测精度，以得到训练好的预测模型。

进一步地，第一步包括：采用梯度检测法判别噪声位置，通过设定相应阈值过滤掉噪声数据，实现对CTD采集数据的空间序列滤波处理：CTD布设过程中形成纵深周期的温、盐测量，相邻的测量点之间间隔一定深度，设定如果相邻两个测量点的数值差的绝对值大于三倍的标准差λ，则判定该测量值为异常值，在检测出异常值后，对其进行删除然后再进行插值填补；插值使用的是线性序列拟合方法，实现对非均匀和缺失数据进行填补。

本发明通过利用模糊分割和LSTM网络算法的融合算法解决了海洋温、盐大数据时间序列预测问题，融合算法提高了最终计算结果的准确率，并且加快了计算效率。

附图说明

图1方案流程图

图2序列对齐过程

图3LSTM网络训练结构图

具体实施方式

由于船载CTD采集的历史时间序列数据存在不完整性和非均匀性，传统意义上的监督学习算法不能够有效的选择理想数据集进行模型训练，并且以神经网络为例的监督学习算法过于依赖历史数据的准确性，导致在信息预测的工作中不能够稳定分析信息趋势。非监督学习方法在信息预测工作中，能够依赖较少的历史经验来实现趋势的预判，但存在预测精度低、定义困难等问题，并且时间序列的预测属于回归问题，非监督学习方法并不完全适用。因此，本发明提出了一种将监督学习和非监督学习相结合的时间序列预测方法，该方法基于模糊分割和神经网络的融合算法来解决长时间序列海洋环境数据的预测问题。

本专利提出的基于模糊分割的LSTM网络的时间序列大数据处理模型，它被分为监督学习部分和非监督学习部分。在无监督学习部分，我们利用聚类算法对数据集进行分割，以输出模糊化的序列信息。考虑到数据集的不均匀，我们对数据集属性进行分割基于FCM聚类方法，和时间序列分别进行分割基于正规三角模糊集。在监督学习部分，我们建立一个时间序列预测模型。考虑到大数据的长时间模型记忆能力，我们利用LSTM建立了时间序列训练模型，并利用无监督学习部分的输出数据作为模型的训练集。目的是计算模型能够通过先验知识处理不完整时序数据集，利用模糊分割的方式弱化非期望数据的影响，它改变了传统方法对训练数据的过度依赖，在不规则的大数据时序预测中显示出了优势。

本发明的最佳的实施方案如下所示：

第一步：依据船载CTD测量标准采集的海水温度、电导率数据，由于CTD在下放过程中会因海流影响导致位置偏移或停滞，因此可能会出现某探测层的数据异常和测量误差。具体的测量范围和误差参见CTD测量性能表。

表1CTD测量性能表

根据国际实用盐度标准(PSS 78)，得出CTD电导率计算盐度的公式：

S＝S₁+S₂ (公式3)

式中，K＝0.0162，a₀＝0.0030，a₁＝-0.1692，a₂＝25.3851，a₃＝14.0941，a₄＝-7.0261，a₅＝2.7081，b₀＝0.0005，b₁＝-0.0056，b₂＝-0.0066，b₃＝-0.0375，b₄＝0.0636，b₅＝-0.0144，R_t代表海水在温度t时的电导率比值，S代表海水的实用盐度值。

第二步：由于调查船在布设CTD过程中，由于海下局部温盐跃层变化、海流引起设备偏移、设备短暂性宕机都会引起测量误差和局域性数据丢失，因此在调查船获取CTD原始数据后，需要先对原始数据进行预处理操作，目的是提高采集数据质量。在此过程中，将预处理操作分为两个步骤：

1.测量数据插值填补

将船载CTD采集的原始温、盐数据进行预处理，预处理过程包含对空缺数据的插值填补，目的是筛选出符合计算标准的时间序列信息。插值使用的是线性序列拟合方法，实现对非均匀和缺失数据进行填补，具体原理如公式4所示。

o(t_i,p_j)＝(b(t_i+1,p_j+1)-a(t_i-1,p_j-1))/2+a(t_i-1,p_j-1) (公式4)

式中，o(t_i,p_j)代表在t_i时刻、p_j位置上的温、盐数据值，如果该值存在丢失或误测，则利用时域、空域相邻的测量值对其进行插值计算，以估算出o点的温、盐值。

2.测量数据序列滤波

对CTD测量数据的滤波主要指信息降噪、移除错误值，采用的方法是梯度检测法判别噪声位置，通过设定相应阈值过滤掉噪声数据，实现对CTD测量数据的空间序列滤波处理，CTD布设过程中会形成一个纵深周期的温、盐测量，测量间隔每5m深度一个测量点。因此，设定如果相邻两个测量点的数值差的绝对值大于三倍的标准差λ，则判定该测量值为异常值，其中标准差如公式5所示。

式中，x_n代表第n个同等深度的温、盐信息采集数值，

为同深度n个测量点的平均值。在检测出异常值后，对其进行删除然后再进行插值填补。

第三步：将测量数据集划分为时间信息和属性信息，以进行不同的计算。我们设定X＝[x₁,x₂,...,x_n]为温、盐信息，T＝[t₁,t₂,...,t_n]为时间信息，假设X与T是一一对应的。将时间信息进行规则模糊三角函数划分，制订规则均匀的时间信息，采用三角形隶属度函数将观测数据的时间序列T划分为m个的模糊集，由于时间序列是无限增加的，所以它的模糊集应该是无限的，本专利以每天或月作为两个模糊集之间的间隔，即总时段为m天或m月。

第四步：将属性信息进行模糊聚类划分，计算隶属度矩阵，并确认目标函数，以得到所有数据点的隶属度值。将X按照属性聚成k类，它的过程采用模糊均值聚类方法，如公式6。

其中，||x_i-v_p||表示元素与聚类中心的径向距离，v_p表示第p个聚类中心。通过上述公式确定了所有因子的聚类结果，在初始化聚类数的基础上，不断更新隶属度函数，直至聚类中心不再变化或目标函数值的差值最小。基于隶属度函数的聚类损失函数为公式7所示。

μ_p(x_i)表示样本x_i对于聚类中心k_p的隶属度。式中c为平滑因子，一般情况下，c＝2。为了得到最优的聚类结果，满足

并且不断迭代公式7、8，以取得最优解，以此得到所有因子对于每个聚类中心的隶属度函数。

第四步，对属性信息的隶属度值设定阈值分割函数，并通过正则化建立新的模糊隶属度函数。根据已完成的模糊集函数确定新的模糊规则，在此基础上进行阈值分割。假设X聚类后得到了k个聚类中心。X根据聚类中心的分布，可以被假设为一种非常规的三角模糊规则。为了方便利用模糊规则，这里我们设置了一个隶属度阈值η，用来横向分割隶属度函数，然后再将新的隶属度函数进行正则化处理，满足公式10、11。

第五步，将得到的属性信息与时间信息进行序列对齐，以建立新的数据集，并将新的数据集分为训练集和测试集。图2中X、T为初始序列分布，F_x、F_t为新的模糊分割序列，这部分序列信息将被作为新的数据输入。这么做的意义在于避免了由大的错误采集值引起的模型拟合，将新的模糊序列数作为模型的训练集，以提高预测模型的训练精度。

第六步，设计长短期记忆网络隐层结构，设置损失函数，利用训练集训练和建立预测模型。以得到的新的隶属度数据集作为网络的训练集，设置隐层单元数为200，学习率为0.005，训练次数为500次。网络模型由四层构成，分别是序列输入层、长短期记忆网络层、全连接层、以及回归层，具体如图3所示。最后通过测试集验证模型预测精度，以得到训练好的预测模型。

Claims

1.一种基于船载CTD测量数据的海水温盐信息时序预测方法，包括下列步骤：

第三步，将预处理完的数据划分成时间信息和包含温度、盐度在内的属性信息，将时间信息进行模糊规则划分，制订规则均匀的时间信息，采用三角形隶属度函数将观测数据的时间序列T划分为m个的模糊集，以每天或月作为两个模糊集之间的间隔，即总时段为m天或m月；

式中，μ_p(x_i)表示样本x_i对于聚类中心k_p的隶属度，μ′_p(x_i)表示经过阈值分割的新的隶属度函数；

第五步，将模糊划分后的属性信息与时间信息进行序列对齐，以建立新的时间序列数据集，这部分序列信息被称为新的模糊序列数，构造新的隶属度数据集；

第六步，设计长短期记忆神经网络预测模型，设置损失函数，利用训练集训练和建立预测模型；以得到的新的隶属度数据集作为长短期记忆神经网络预测模型的训练集进行模型训练，最后通过测试集验证模型预测精度，以得到训练好的预测模型。

2.根据权利要求1所述的方法，其特征在于，第一步包括：采用梯度检测法判别噪声位置，通过设定相应阈值过滤掉噪声数据，实现对CTD采集数据的空间序列滤波处理：CTD布设过程中形成纵深周期的温、盐测量，相邻的测量点之间间隔一定深度，设定如果相邻两个测量点的数值差的绝对值大于三倍的标准差λ，则判定该测量值为异常值，在检测出异常值后，对其进行删除然后再进行插值填补；插值使用的是线性序列拟合方法，实现对非均匀和缺失数据进行填补。