CN106709640A - 基于深度学习与支持向量回归的船舶能耗预测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习与支持向量回归的船舶能耗预测方法，包括如下步骤：读取船舶用于记录航行过程数据的数据库，将数据库的技术参数作为输入数据构建深度学习模型；建立栈式自编码算法的网络模型，提取深度学习模型输入数据的特征向量；建立回归预测函数模型，确定回归预测函数模型的参数；将输入数据的特征向量输入回归预测函数模型，即可预测船舶在下一个时间段内的能耗值。本发明方法基于深度模型结构进行逐层式训练网络结构，相比于传统手工选择和提取特征，能有效提取船舶数据内在的非线性特征；另外支持向量回归(SVR)方法作为有效的预测模型，能更大可能性取得全局最优解，即更好预测能耗值。

Description

基于深度学习与支持向量回归的船舶能耗预测方法

技术领域

本发明涉及轮船航行数据的无监督特征提取与数据回归预测技术领域，尤其涉及一种基于深度学习与支持向量回归的船舶能耗预测方法。

背景技术

在节能减排的大环境下，减少能源的消耗，对改善环境有重要的影响。在能耗相关的行业，对电力能耗、船舶油耗等建立有效的模型，对能耗进行预测和分析，从生产和操作方面对能耗进行进一步控制，有利于减少能耗，从而采取有效的措施减少能耗。本行业中，对船舶能耗进行预测和分析的研究还处于不断深入的阶段。

目前，在能耗预测与分析相关的问题的研究方法主要由以下方法:(1)、基于人工神经网络进行能耗预测，使用提供的数据集，利用反向传播算法，对数据进行拟合，使得网络输出与目标输出误差尽可能小；(2)、基于深度信念网络算法和逻辑回归进行能耗预测，进行预测分析。

根据船舶航行的数据库，根据数据库中与能耗相关的技术参数，建立能耗的预测分析模型，使用多种预测模型的混合，对能耗进行进一步分析预测，提高模型预测的准确度，是一种可行的分析方法。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种基于深度学习与支持向量回归的船舶能耗预测方法，利用栈式自编码提取船舶航行数据的特征，然后使用支持向量回归对特征进行回归计算，得到船舶的能耗值，使得更好地对能耗进行预测和分析。

为解决上述技术问题，本发明提供如下技术方案：基于深度学习与支持向量回归的船舶能耗预测方法，包括如下步骤：

S1、读取船舶用于记录航行过程数据的数据库，将数据库的技术参数作为输入数据构建深度学习模型；所述技术参数包括船舶传感器数据以及船舶能耗值的时间序列；

S2、建立栈式自编码算法的网络模型，提取深度学习模型输入数据的特征向量；

S3、建立回归预测函数模型，确定回归预测函数模型的参数；

S4、将输入数据的特征向量输入回归预测函数模型，预测船舶在下一个时间段内的能耗值。

进一步地，所述步骤S1中船舶传感器数据包括风速天气情况、轮船船速、船舶航向、轮船动力装置情况及轮船的控制信息。

进一步地，所述轮船能耗值时间序列表示为：

D₁＝{(X_t ^T|t＝T,T-1,...,T-k+1}

其中D₁为k维列向量，即当前时刻起前k个时刻的能耗值序列；

所述船舶传感器数据表示为：

D₂＝[S_t1,S_t2,...,S_tM]^T

其中D₂为M维列向量，即为当前时刻船舶传感器检测到的数据；

将D₁与D₂按照前后顺序组成一个列向量，作为所述栈式自编码模型的输入数据，则船舶技术参数列向量D表示为：

D＝[D₁,D₂]

进一步地，对所述船舶技术参数列向量D，将其进行归一化处理，即将其缩放一定的尺度，使得输入数据归一化0至1，避免因为数据的尺度不同造成能耗值预测差异，归一化方式如下：

其中，d_i、d_max、d_min分别表示数据D列向量中某一元素值、元素最大值、元素最小值，将其归一化后的数据作为最终的船舶技术参数数据。

进一步地，所述步骤S2具体为：

S21、在栈式自编码算法的网络结构中，使用网格参数寻优，设定网络结构隐含层的层数、每层隐含层的神经元个数和输入数据中轮船能耗值的时间序列的长度；

S22、训练栈式自编码算法的网络结构，设定正则项相对最小化误差的权重λ和稀疏自编码的稀疏程度值ρ；

S23、在栈式自编码算法的网络结构中，每层隐含层的稀疏自动编码器以无监督的训练方式对输入数据进行编码解码；

S24、从栈式自编码算法网络结构的第一层隐含层到最后一层隐含层逐层进行贪婪式训练，以上一层的输出作为下一层的输入；

S25、迭代步骤S24的过程，直到步骤S21设定的隐含层的层数为止，根据隐含层的第一层到最后一层的方向进行训练；

S26、栈式自编码算法的网络结构的最后一层隐含层继续添加一层预测层，使用网络结构的输出作为预测层的输入，随机初始化预测层的参数值即神经元权重参数值；

S27、使用已有船舶能耗值数据集对栈式自编码算法网络的神经元权重参数进行有监督的微调，使用反向传播算法对网络结构的所有层中的神经元权重参数进行微调，从网络的最后一层往结构的第一层的方向调整神经元权重参数，使得模型更好预测船舶能耗值；

S28、使用以上步骤完成栈式自编码算法的训练后，输入船舶技术参数数据到栈式自编码算法的网络模型，而网络模型的输出即为深度学习模型输入数据的特征向量。

进一步地，所述步骤S3具体为：

S31、回归预测函数模型的表达式如下：

f(X_i)＝W^Tφ(X_i)+b

其中，X_i为输入数据的特征向量，W^T是权重列向量，b是偏置向量，φ(X_i)是映射输入向量到高维的特征空间，在特征空间中进行线性回归；

S32、求解回归模型的参数值，如下所示：

约束于：

ε_i,ε_i ^*≥0

其中，C为预先设定值，C值大小范围变化表示在模型复杂度和泛化性能之间取得理想平衡；ε_i、ε_i ^*为松弛变量衡量误差的大小；ξ表示支持向量回归间隔带的大小；

S33、对输入数据的特征使用高斯核函数K建立支持向量回归模型，如下式：

K(X_i,X_j)＝exp(-||X_i-X_j||²/(2σ²))

其中σ为高斯核的带宽；

最终支持向量回归的预测函数，如下公式所示：

其中，α_i、为拉格朗日乘子参数；N为训练样本个数；X_i为待测试特征向量，X_j为训练样本特征向量。

进一步地，所述步骤S4具体为：

根据步骤S2输入数据的特征向量输入到步骤S33的支持向量回归的预测函数，即可预测船舶在下一个时间段内的能耗值。

采用上述技术方案后，本发明至少具有如下有益效果：

(1)、本发明方法采用栈式自编码和支持向量回归两个模型的融合，能充分利用栈式自编码以无监督方式提取船舶航行数据的特征，并且能够利用支持向量回归对时间序列进行准确预测的能力，即两种方法融合后模型的表达能力更强，两种算法融合后能更好的预测能耗值；

(2)、本发明基于船舶的航行数据进行能耗值预测，预测船舶在当前船舶所处的环境及当前的船舶控制状态下的能耗值；通过调整船舶控制信息如船舶航速、船舶动力装置、航向信息，往减少能耗的方向进行调整船舶的控制信息，通过改变船舶当前控制信息比较不同控制状态下的预测能耗值，最后选择更优的船舶航行控制方案，进而减少能耗。

附图说明

图1是本发明基于深度学习与支持向量回归的船舶能耗预测方法的步骤流程图；

图2是本发明基于深度学习与支持向量回归的船舶能耗预测方法中能耗预测网络结构图；

图3是本发明基于深度学习与支持向量回归的船舶能耗预测方法中栈式自编码算法的步骤流程图；

图4是本发明基于深度学习与支持向量回归的船舶能耗预测方法的控制船舶节约能耗的整体系统示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。

如图1所示，为本实例基于深度学习与支持向量回归的船舶能耗预测方法的步骤流程图，具体过程如下：

步骤S1、根据现有的船舶实际航行的数据库，构建预测模型输入数据的结构，对船舶多种技术参数及能耗值时间序列以一定的方式融合作为模型输入：

首先，读取船舶航行记录数据库，从数据库的各种技术参数中，将技术参数融合成用于估计能耗的数据结构形式；船舶数据库中，包含轮船传感器数据即风速天气情况、轮船船速、船舶航向、轮船动力装置情况及轮船的控制信息以及在这些状态下轮船能耗值时间序列；其中能耗值时间序列为当前时刻前的k个时间序列值，如下式表示：

D₁＝{(X_t ^T|t＝T,T-1,...,T-k+1}

其中D₁为k维列向量，即当前时刻起前k个时刻的能耗值序列，数据表示当前时刻起前k个时间内的信息；

轮船的传感器数据及控制信息表示如下：

D₂＝[S_t1,S_t2,...,S_tM]^T

其中D₂为M维列向量，即为当前时刻船舶传感器中与能耗相关的技术参数以及船舶的控制信息即船舶动力装置、船舶航向，表示当前船舶所处状态及船舶控制信息对航行能耗的所有影响因素；

对输入训练和测试数据归一化处理，即将所有的数据缩放一定的尺度，使得输入数据归一化0至1，避免因为数据的尺度不同造成能耗值预测差异，归一化方式如下：

其中d_i、d_max、d_{m in}分别为数据D列向量中某一元素值、元素最大值、元素最小值，将归一化后的数据作为最终的船舶技术参数数据；

将D₁与D₂按照前后顺序组成一个列向量，作为所述栈式自编码模型的输入数据，故所述技术参数数据表示为：

D＝[D₁,D₂]

步骤S2、建立深度学习模型，如图3所示，是算法流程图，使用栈式自编码(StackedAutoencoders)网络作为结构，确定整个模型的结构参数，包括网络的层数、每层网络隐藏神经元的个数和模型的超参数，逐层训练每层稀疏自动编码器(Sparse Autoencoder),预训练一个网络之后，接着在栈式自编码网络结构基础上添加最后一层预测层，使用已有的训练集进行有监督的微调(Fine-tuning)，对整个网络的所有参数通过反向传播算法进行调整，进行迭代更新参数值，使得模型从船舶数据中提取更适合于能耗预测的特征向量：

S21、选择栈式自编码的模型结构，使用网格参数(grid search)寻优,确定隐含层层数、每层隐含神经元的个数和输入数据中K个能耗值时间序列的长度，隐含层的层数需要适合选取大小，即网络结构不能太浅或者太深；

如图2所示，是栈式自编码网络结合回归预测层的结构图，两部分组成整个深度模型的结构，用于能耗值预测；需要确定模型结构的参数，使用网格参数寻优，即列出各个参数所有可能取值，穷举所有可能的超参数组合方法，每次使用一种组合参数进行实验，然后确定不同情况下的最好的结构参数；其中包括预测未来多长时间内能耗值即时间{15,30,45,60}分钟后的能耗值，K个能耗值时间序列的长度即当前时刻起K从1到12内选择能耗值序列为模型输入数据，隐含层层数范围从1到6变化选择、每层隐含神经元的个数范围从以下集合中选{100,200,300,400,500,600,700,800,900,1000}，进行参数寻优后，对不同的预测任务确定不同的最优参数组合；

S22、每层稀疏自动编码器(Sparse Autoencoders)以无监督的方法对输入进行编码解码，使得每层对输入的重构误差最小化，即尽可能使得输入等于解码后的输出，最小化目标函数，训练得每层的参数，第一层输入为轮船数据，开始第一层训练；

S23、训练模型时，需要设定正则项相对最小化误差的权重λ，稀疏自编码的稀疏程度值ρ，每层训练需要最小化重构误差，如下式所示：

上式中最小化重构误差得到参数，KL离散度越小则说明稀疏程度达到预先定义的稀疏效果，为理想的离散度，z(x⁽ⁱ⁾)为每层隐含层重构后的自编码函数值；

S24、从模型结构的第一层到最后一层逐层贪婪式训练，以上一层的输出作为下一层的输入，其中第一层的输入是训练样本，开始训练时首先随机初始化网络中的权重参数和偏置参数，每层训练时最小化S23中的目标函数，对参数进行更新；

S25、迭代上一步S24的过程，直到S21设定的网络层数为止，根据网络的第一层到最后一层的方向进行训练；

S26、栈式自编码网络结构的最后一层继续添加一层预测层，使用栈式自编码网络结构的输出作为预测层的输入，随机初始化预测层的参数值；

S27、使用有标签的样本即船舶数据集的能耗值进行有监督的微调，使用反向传播(backpropagation)算法对整个网络结构中各层的参数进行微调，从网络的最后一层预测层往结构的第一层输入层的方向逐层调整网络参数，使模型更好预测能耗值；

步骤S3、回归分析，主要是了解输入的多个变量与输出值的映射关系，该方法使用支持向量回归(Support Vetor Regression)，根据输入数据预测船舶能耗值，应用回归预测模型，使得模型的预测值与实际能耗值尽可能接近，通过求解优化最小损失问题，确定模型参数；

S31、首先为了使得模型预测与实际的能耗值逼近，需要确定支持向量回

归(Support Vetor Regression)模型的参数值，回归模型的表达式如下：

f(X_i)＝W^Tφ(X_i)+b

其中W^T是权重向量，b是偏置向量，φ(X_i)映射输入向量到高维的特征空间，在特征空间中进行线性回归；

S32、回归模型的参数值，通过求解以下的优化问题获得：

约束于：

ε_i,ε_i ^*≥0

其中C为预先设定值，这个参数确定通过网格搜索确定，C的经验选择范围为[2^-4,2⁴]，在模型复杂度和泛化性能之间取得理想平衡，ε_i为松弛变量衡量误差的大小，ξ表示支持向量回归间隔带的大小；

S33、使用支持向量回归对栈式自编码模型提取的特征向量，进行回归，预测轮船的能耗值；考虑到栈式自编码模型结构输出数据即船舶数据提取的特征可能具有非线性特点，无法在线性空间作有效的回归，考虑使用核函数，将栈式自编码网络训练得到的特征映射到高维的特征空间，在特征空间建立线性回归模型，使用高斯核函数(RBF)，如下式：

K(X_i,X_j)＝exp(-||X_i-X_j||²/(2σ²))

其中σ为高斯核的带宽,参数选择通过网格搜索(grid search),经验范围为[10^-3,10^-1]；

最终的支持向量回归(Support Vetor Regression)预测函数如下所示：

其中α_i,参数为拉格朗日乘子；N为训练样本个数；X_i为待测试特征向量，X_j为训练样本特征向量；

步骤S4、根据步骤S2输入数据的特征向量输入到步骤S33的支持向量回归的预测函数，即可预测船舶在下一个时间段内的能耗值。

如图4所示，为本实例基于深度学习与支持向量回归的船舶能耗预测方法的整体系统示意图，本发明基于船舶的航行数据进行能耗值预测，首先输入船舶技术参数数据到深度模型估计船舶能耗值；在船舶当前状态下，通过轮船优化模块调整船舶控制信息如船舶航速、船舶动力装置、航向信息等，通过改变船舶当前控制信息比较不同船舶控制状态下的预测能耗值，往减少能耗的方向进行调整船舶的控制信息，优化模块不断改善船舶的控制方案；最后选择当前状态下最优的船舶航行控制方案，进而减少能耗。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (7)

1.一种基于深度学习与支持向量回归的船舶能耗预测方法，其特征在于，包括如下步骤：

S1、读取船舶用于记录航行过程数据的数据库，将数据库的技术参数作为输入数据构建深度学习模型；所述技术参数包括船舶传感器数据以及船舶能耗值的时间序列；

S2、建立栈式自编码算法的网络模型，提取深度学习模型输入数据的特征向量；

S3、建立回归预测函数模型，确定回归预测函数模型的参数；

S4、将输入数据的特征向量输入回归预测函数模型，预测船舶在下一个时间段内的能耗值。

2.根据权利要求1所述的基于深度学习与支持向量回归的船舶能耗预测方法，其特征在于，所述步骤S1中船舶传感器数据包括风速天气情况、轮船船速、船舶航向、轮船动力装置情况及轮船的控制信息。

3.根据权利要求2所述的基于深度学习与支持向量回归的船舶能耗预测方法，其特征在于，所述轮船能耗值时间序列表示为：

D₁＝{(X_t ^T|t＝T,T-1,...,T-k+1}

其中D₁为k维列向量，即当前时刻起前k个时刻的能耗值序列；

所述船舶传感器数据表示为：

D₂＝[S_t1,S_t2,...,S_tM]^T

其中D₂为M维列向量，即为当前时刻船舶传感器检测到的数据；

将D₁与D₂按照前后顺序组成一个列向量，作为所述栈式自编码模型的输入数据，则船舶技术参数列向量D表示为：

D＝[D₁,D₂]

4.根据权利要求3所述的基于深度学习与支持向量回归的船舶能耗预测方法，其特征在于，对所述船舶技术参数列向量D，将其进行归一化处理，即将其缩放一定的尺度，使得输入数据归一化0至1，避免因为数据的尺度不同造成能耗值预测差异，归一化方式如下：

$d_i^{\′}=\frac{d_{max}-d_i}{d_{\max }-d_{min}}$

其中，d_i、d_max、d_min分别表示数据D列向量中某一元素值、元素最大值、元素最小值，将其归一化后的数据作为最终的船舶技术参数数据。

5.根据权利要求4所述的基于深度学习与支持向量回归的船舶能耗预测方法，其特征在于，所述步骤S2具体为：

S21、在栈式自编码算法的网络结构中，使用网格参数寻优，设定网络结构隐含层的层数、每层隐含层的神经元个数和输入数据中轮船能耗值的时间序列的长度；

S22、训练栈式自编码算法的网络结构，设定正则项相对最小化误差的权重λ和稀疏自编码的稀疏程度值ρ；

S23、在栈式自编码算法的网络结构中，每层隐含层的稀疏自动编码器以无监督的训练方式对输入数据进行编码解码；

S24、从栈式自编码算法网络结构的第一层隐含层到最后一层隐含层逐层进行贪婪式训练，以上一层的输出作为下一层的输入；

S25、迭代步骤S24的过程，直到步骤S21设定的隐含层的层数为止，根据隐含层的第一层到最后一层的方向进行训练；

S26、栈式自编码算法的网络结构的最后一层隐含层继续添加一层预测层，使用网络结构的输出作为预测层的输入，随机初始化预测层的参数值即神经元权重参数值；

S27、使用已有船舶能耗值数据集对栈式自编码算法网络的神经元权重参数进行有监督的微调，使用反向传播算法对网络结构的所有层中的神经元权重参数进行微调，从网络的最后一层往结构的第一层的方向调整神经元权重参数，使得模型更好预测船舶能耗值；

S28、使用以上步骤完成栈式自编码算法的训练后，输入船舶技术参数数据到栈式自编码算法的网络模型，而网络模型的输出即为深度学习模型输入数据的特征向量。

6.根据权利要求1所述的基于深度学习与支持向量回归的船舶能耗预测方法，其特征在于，所述步骤S3具体为：

S31、回归预测函数模型的表达式如下：

f(X_i)＝W^Tφ(X_i)+b

其中，X_i为输入数据的特征向量，W^T是权重列向量，b是偏置向量，φ(X_i)是映射输入向量到高维的特征空间，在特征空间中进行线性回归；

S32、求解回归模型的参数值，如下所示：

$Min\frac{1}{2}\left|\right|W^2\left|\right|+C\underset{i=1}{\overset{N}{\Σ}}({\mathrm{\ϵ}}_i+{\mathrm{\ϵ}}_i^{*})$

约束于：

ε_i,ε_i ^*≥0

其中，C为预先设定值，C值大小范围变化表示在模型复杂度和泛化性能之间取得理想平衡；ε_i、ε_i ^*为松弛变量衡量误差的大小；ξ表示支持向量回归间隔带的大小；

S33、对输入数据的特征使用高斯核函数K建立支持向量回归模型，如下式：

K(X_i,X_j)＝exp(-||X_i-X_j||²/(2σ²))

其中σ为高斯核的带宽；

最终支持向量回归的预测函数，如下公式所示：

$y_i=f\left(X_i\right)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\left(\right({\mathrm{\α}}_i-{\mathrm{\α}}_i^{*}\left)K\right(X_i,X_j\left)\right)+b$

其中，α_i、为拉格朗日乘子参数；N为训练样本个数；X_i为待测试特征向量，X_j为训练样本特征向量。

7.根据权利要求6所述的基于深度学习与支持向量回归的船舶能耗预测方法，其特征在于，所述步骤S4具体为：

根据步骤S2输入数据的特征向量输入到步骤S33的支持向量回归的预测函数，即可预测船舶在下一个时间段内的能耗值。