CN113392884A - 基于lstm网络和注意力机制的坐标融合方法 - Google Patents

Abstract

本发明公开了一种基于LSTM网络和注意力机制的坐标融合方法，该方法首先将各项传感器的原始数据进行处理和统一，将极坐标数据和GPS数据转化为直角坐标，组合成多维的向量作为输入；然后将向量通过LSTM神经网络计算每个时刻的输出；最后通过注意力机制加权滤波每一输出得到最终的输出结果。

Description

基于LSTM网络和注意力机制的坐标融合方法

技术领域

本发明属于数据融合技术领域，具体涉及一种基于LSTM(LongShort-TermMemory，长短期记忆)网络和注意力机制的坐标融合方法。

背景技术

海上搜救常常由于定位不足，导致救援难度一直很大。如何进行准确快速搜救一直是国内外救援事业所遇到的难题。由于海上环境恶劣，定位传感器的准确性比较低，导致定位更加困难。多传感器融合定位由此应运而生，将集成各种定位设备协同进行海上搜救。

多传感器信息融合，是利用计算机技术将来自多传感器或多源的信息和数据，在一定的准则下加以自动分析和综合，以完成所需要的决策和估计而进行的信息处理过程。传统的融合方式基于同类多传感器数据融合跟踪系统，这往往具有精度不高、误差较大的缺点，目前还没有一套完整有效的系统能够精确融合实现准确定位，这是海上救援急需解决的问题。如何进行数据融合，准确估计出真实状态成为当下研究的热门话题。

发明内容

鉴于以上存在的技术问题，本发明用于提供一种基于LSTM网络和注意力机制的数据融合方法，能够实现准确融合传感器数据，达到定位跟踪的目的。

为解决上述技术问题，本发明采用如下的技术方案：

一种基于LSTM网络和注意力机制的坐标融合方法，包括以下步骤：

S1，原始数据采集，海事雷达、红外光电立体相机、无人艇RTK(Real-timekinematic，实时动态载波相位差分技术)、母船RTK、船坞RTK、AIS(AutomaticidentificationSystem，船舶自动识别系统)示位标、UWB(UltraWideBand，超宽频技术)传感器上传跟踪到的位置信息，上位机读取并记录数据；

S2，数据预处理，将海上救援的各项设备雷达、双目视觉摄像头、差分GPS、AIS信标中的原始位置数据进行预处理，把格式不同的数据统一为坐标；

S3，将预处理后的数据输入含注意力机制的LSTM网络进行训练；

S4，将训练得到含注意力机制的LSTM网络用于实际测试，无人艇融合后的坐标为(X_W,Y_W)，失事目标融合后的坐标为(X_T,Y_T)。

优选地，S2中包括雷达数据处理，雷达原始数据处理要处理的是雷达返回的极坐标数据，无人艇相对母船的极坐标为(L_Rb,A_Rb)，l_Rb表示的是无人艇到母船的距离、A_Rb表示的是无人艇与母船的相对角度；跟踪目标相对母船的极坐标为(L_Rt,A_Rt)，L_Rt表示的是无人艇到母船的距离、A_Rt表示的是无人艇与母船的相对角度，

根据极坐标转直角坐标计算公式可得，无人艇的直角坐标

表示为：

跟踪目标直角坐标

表示为：

优选地，S2中包括双目视觉摄像头数据处理，双目视觉摄像头数据处理的是摄像头返回的极坐标数据，无人艇相对母船的极坐标为(L_Cb,A_Cb)，L_Cb表示的是无人艇到母船的距离、A_Cb表示的是无人艇与母船的相对角度；跟踪目标相对母船的极坐标为(L_Ct,A_Ct)，L_Ct表示的是无人艇到母船的距离、A_Ct表示的是无人艇与母船的相对角度，

无人艇相对母船的坐标

计算公式为：

跟踪目标相对母船的坐标

计算公式为：

优选地，S2中包括差分GPS数据处理，差分GPS数据处理需要处理无人艇GPS坐标和母船GPS坐标，无人艇的GPS坐标(B_lon,B_lat)，母船的GPS坐标(S_lon,S_lat)，无人艇相对母船的经度差Δlon表示为：

Δlon＝B_lon-S_lon

纬度差Δlat表示为：

Δlat＝B_lat-S_lat

设地球的平均半径为R，地球的南北极周长C可近似计算为：C＝2πR

设无人艇与母船的平均纬度lat为：

同一经度差下的长度与当前纬度无人艇相对母船的X轴坐标

表示为：

无人艇相对母船的Y轴坐标

表示为：

优选地，S2中包括AIS信标数据处理，AIS信标数据需处理跟踪目标的GPS坐标(T_lon,T_lat)，其转换需同母船GPS坐标(S_lon,S_lat)计算，其坐标

计算公式为：

ΔTlon＝T_lon-S_lon

ΔTlat＝T_lat-S_lat

优选地，S3进一步包括：

S301，搭建LSTM网络，A为网络相连的神经元，用t表示当前时刻，每个神经元的输入为x_t，为6维向量，输出为y_t，为2维向量[X,Y]，每个单元的状态为C_t，遗忘门决定上一时刻的单元状态C_t-1有多少保留到当前时刻C_t，输入门决定当前时刻网络输入x_t有多少保存到单元状态C_t，输出门用来控制单元状态C_t，有多少输出到LSTM的当前输出值h_t；

S302，前向计算每个神经元的输出值，遗忘门的输出f_t由下式计算得到：

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

输入门的输出i_t、输入状态输出z_t、当前状态C_t由下式计算得到：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

z_t＝tanh(W_z·[h_t-1,x_t]+b_c)

输出门的输出为o_t，神经元的输出为y_t，o_t、h_t、y_t及节点m_t由下式计算得到：

o_t＝σ(W_o·[h_t-1,x_t]+b_o)

m_t＝tanh(C_t)

h_t＝o_t*m_t

y_t＝W_yhh_t+b_y

其中，σ(·)为sigmoid函数，W为权重矩阵，b为偏置项。

S303，反向传播计算。整个序列上的损失函数J:

其中N为序列长度，h_t为t时刻输出，

为h_t的均值。

用梯度下降法更新参数，计算某个节点梯度时，首先找到该节点的输出节点，然后分别计算所有输出节点的梯度乘以输出节点对该节点的梯度，最后相加即可得到该节点的梯度，计算

时，找到h_t节点的所有输出节点y_t，f_t+1，i_t+1，z_t+1，o_t+1，然后分别计算输出节点的梯度与输出节点对h_t的梯度的乘积，最后相加得到节点h_t的梯度

同理可得t时刻其他节点的梯度：

更新参数，由下式计算得到：

S304，注意力机制融合输出结果，注意力机制的核心目标是从众多输出中选择出对当前任务占比更大关键的信息，当前时刻的输出与过去太久时刻的数据影响不大，通过注意力机制模型的数据只选取t到t-4时刻的数据，输出通过加权均值后的滤波结果为O_t，其计算公式为：

其中a_k为权重系数，由下式计算得到：

a_k＝softmax(tanh(W_y·[C_k,y_k]))。

采用本发明具有如下的有益效果：

(1)通过将多种传感器的数据同步、融合，有效避免了单传感器数据丢失、延迟高、误差大等问题。

(2)本融合方法融合的定位数据考虑了之前时刻的位置信息，进一步提高了准确性和精度。

附图说明

图1为本发明实施例的基于LSTM网络和注意力机制的坐标融合方法的步骤流程图；

图2为LSTM网络模型的结构示意图；

图3为单个LSTM单元架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，为本发明实施例的一种基于LSTM网络和注意力机制的坐标融合方法的步骤流程图，具体实施步骤如下：

S1，原始数据采集。海事雷达、红外光电立体相机、无人艇RTK、母船RTK、船坞RTK、AIS示位标、UWB传感器会不断上传跟踪到的位置信息，上位机能够不断读取并记录数据。

S2，处理S1中记录的原始数据，具体操作步骤如下：

S201，雷达数据处理。处理雷达原始数据：无人艇的极坐标(L_Rb,A_Rb)和跟踪目标的极坐标(L_Rt,A_Rt)。无人艇的直角坐标

可表示为：

跟踪目标直角坐标

可表示为：

S202，双目视觉摄像头数据处理。处理双目视觉摄像头原始数据：无人艇的极坐标(L_Cb,A_Cb)和跟踪目标的极坐标为(L_Ct,A_Ct)。无人艇的直角坐标

可表示为：

跟踪目标的直角坐标

可表示为：

S203，差分GPS数据处理。处理差分GPS原始数据：无人艇的GPS坐标(B_lon,B_lat)和母船的GPS坐标(S_lon,S_lat)。设地球的平均半径为R，无人艇相对母船的X轴坐标

可表示为：

无人艇相对母船的Y轴坐标

可表示为：

S204，AIS信标数据处理。AIS信标数据需处理跟踪目标的GPS坐标(T_lon,T_lat)。其转换需同母船GPS坐标(S_lon,S_lat)计算。其坐标

计算公式为：

S205，经过S201，S202，S203，S204步骤处理完成后整理得到的数据：雷达无人艇坐标

摄像头无人艇坐标

差分GPS无人艇坐标

雷达跟踪目标坐标

摄像头跟踪目标坐标

和AIS信标跟踪目标

组成6维向量。

无人艇：

跟踪目标：

S3，将S2预处理后的数据输入含注意力机制的LSTM网络进行训练。由于RNN模型实现长期记忆需要将当前的隐含态的计算与之前数次计算相关，会导致模型训练的时间很长，而LSTM网络能解决长期依赖的问题，它还具有时间循环结构，可以很好地刻画具有时空关联的序列数据，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系，可以避免RNN梯度消失和爆发的问题，因此本发明选用LSTM网络来进行融合。训练过程首先将数据分成训练集和测试集，训练集数据通过LSTM网络调整网络参数，再将输出结果输入注意力模型，使用加权滤波法对数据进行滤波融合，最后再用测试集测试训练效果。

具体步骤如下：

S301，搭建LSTM网络。LSTM神经网络模型流程可用图2说明。A为网络相连的神经元。用t表示当前时刻，每个神经元的输入为x_t，为6维向量，输出为y_t，为2维向量[X,Y]，每个单元的状态为C_t。每个单元的结构可用图3来说明。遗忘门决定上一时刻的单元状态C_t-1有多少保留到当前时刻C_t，输入门决定当前时刻网络输入x_t有多少保存到单元状态C_t，输出门用来控制单元状态C_t，有多少输出到LSTM的当前输出值h_t。

S302，前向计算每个神经元的输出值。遗忘门输出f_t、输入门输出i_t、输入状态输出z_t、当前状态C_t，输出门输出o_t，神经元输出y_t，输出状态h_t及节点m_t计算为：

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

z_t＝tanh(W_z·[h_t-1,x_t]+b_c)

o_t＝σ(W_o·[h_t-1,x_t]+b_o)

m_t＝tanh(C_t)

h_t＝o_t*m_t

y_t＝W_yhh_t+b_y

其中，σ(·)为sigmoid函数，W为权重矩阵，b为偏置项。

S303，反向传播计算。定义整个序列上的损失函数J:

其中N为序列长度，h_t为t时刻输出，

为h_t的均值。

用梯度下降法更新参数。计算各个节点的梯度：

更新参数，可由下式计算得到：

S304，注意力机制和分类器。输入经过三层神经网络后对最后得到的结果y_t到y_t-4通过加权均值后的输出结果为O_t，其计算公式为：

其中a_k为权重系数，由下式计算得到：

a_k＝softmax(tanh(W_y·[C_k,y_k]))

S4，将S3训练得到含注意力机制的LSTM网络用于实际测试，无人艇融合后的坐标为(X_W,Y_W)，失事目标融合后的坐标为(X_T,Y_T)。

经过上述4个步骤，即可得到本发明所提出的一种于LSTM网络和注意力机制的坐标融合方法。

该方法首先将各项传感器的原始数据进行处理和统一,将极坐标数据和GPS数据转化为直角坐标，组合成多维的向量作为输入；然后将向量通过LSTM神经网络计算每个时刻的输出；最后通过注意力机制加权滤波每一输出得到最终的输出结果。

应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (6)

1.一种基于LSTM网络和注意力机制的坐标融合方法，其特征在于，包括以下步骤：

S1，原始数据采集，海事雷达、红外光电立体相机、无人艇RTK、母船RTK、船坞RTK、AIS示位标、UWB传感器上传跟踪到的位置信息，上位机读取并记录数据；

S2，数据预处理，将海上救援的各项设备雷达、双目视觉摄像头、差分GPS、AIS信标中的原始位置数据进行预处理，把格式不同的数据统一为坐标；

S3，将预处理后的数据输入含注意力机制的LSTM网络进行训练；

S4，将训练得到含注意力机制的LSTM网络用于实际测试，无人艇融合后的坐标为(X_W,Y_W)，失事目标融合后的坐标为(X_T,Y_T)。

2.如权利要求1所述的基于LSTM网络和注意力机制的坐标融合方法，其特征在于，S2中包括雷达数据处理，雷达原始数据处理要处理的是雷达返回的极坐标数据，无人艇相对母船的极坐标为(L_Rb,A_Rb)，L_Rb表示的是无人艇到母船的距离、A_Rb表示的是无人艇与母船的相对角度；跟踪目标相对母船的极坐标为(L_Rt,A_Rt)，L_Rt表示的是无人艇到母船的距离、A_Rt表示的是无人艇与母船的相对角度，

根据极坐标转直角坐标计算公式可得，无人艇的直角坐标

表示为：

跟踪目标直角坐标

表示为：

3.如权利要求1所述的基于LSTM网络和注意力机制的坐标融合方法，其特征在于，S2中包括双目视觉摄像头数据处理，双目视觉摄像头数据处理的是摄像头返回的极坐标数据，无人艇相对母船的极坐标为(L_Cb,A_Cb)，L_Cb表示的是无人艇到母船的距离、A_Cb表示的是无人艇与母船的相对角度；跟踪目标相对母船的极坐标为(L_Ct,A_Ct)，L_Ct表示的是无人艇到母船的距离、A_Ct表示的是无人艇与母船的相对角度，

无人艇相对母船的坐标

计算公式为：

跟踪目标相对母船的坐标

计算公式为：

4.如权利要求1所述的基于LSTM网络和注意力机制的坐标融合方法，其特征在于，S2中包括差分GPS数据处理，差分GPS数据处理需要处理无人艇GPS坐标和母船GPS坐标，无人艇的GPS坐标(B_lon,B_lat)，母船的GPS坐标(S_lon,S_lat)，无人艇相对母船的经度差Δlon表示为：

Δlon＝B_lon-S_lon

纬度差Δlat表示为：

Δlat＝B_lat-S_lat

设地球的平均半径为R，地球的南北极周长C可近似计算为：C＝2πR

设无人艇与母船的平均纬度lat为：

同一经度差下的长度与当前纬度无人艇相对母船的X轴坐标

表示为：

无人艇相对母船的Y轴坐标

表示为：

5.如权利要求1所述的基于LSTM网络和注意力机制的坐标融合方法，其特征在于，S2中包括AIS信标数据处理，AIS信标数据需处理跟踪目标的GPS坐标(T_lon,T_lat)，其转换需同母船GPS坐标(S_lon,S_lat)计算，其坐标

计算公式为：

ΔTlon＝T_lon-S_lon

ΔTlat＝T_lat-S_lat

6.如权利要求1至5任一所述的基于LSTM网络和注意力机制的坐标融合方法，其特征在于，S3进一步包括：

S301，搭建LSTM网络，A为网络相连的神经元，用t表示当前时刻，每个神经元的输入为x_t，为6维向量，输出为y_t，为2维向量[X,Y]，每个单元的状态为C_t，遗忘门决定上一时刻的单元状态C_t-1有多少保留到当前时刻C_t，输入门决定当前时刻网络输入x_t有多少保存到单元状态C_t，输出门用来控制单元状态C_t，有多少输出到LSTM的当前输出值h_t；

S302，前向计算每个神经元的输出值，遗忘门的输出f_t由下式计算得到：

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

输入门的输出i_t、输入状态输出z_t、当前状态C_t由下式计算得到：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

z_t＝tanh(W_z·[h_t-1,x_t]+b_c)

输出门的输出为o_t，神经元的输出为y_t，o_t、h_t、y_t及节点m_t由下式计算得到：

o_t＝σ(W_o·[h_t-1,x_t]+b_o)

m_t＝tanh(C_t)

h_t＝o_t*m_t

y_t＝W_yhh_t+b_y

其中，σ(·)为sigmoid函数，W为权重矩阵，b为偏置项。

S303，反向传播计算。整个序列上的损失函数J:

其中N为序列长度，h_t为t时刻输出，

为h_t的均值。

用梯度下降法更新参数，计算某个节点梯度时，首先找到该节点的输出节点，然后分别计算所有输出节点的梯度乘以输出节点对该节点的梯度，最后相加即可得到该节点的梯度，计算

时，找到h_t节点的所有输出节点y_t，f_t+1，i_t+1，z_t+1，o_t+1，然后分别计算输出节点的梯度与输出节点对h_t的梯度的乘积，最后相加得到节点h_t的梯度

同理可得t时刻其他节点的梯度：

更新参数，由下式计算得到：

S304，注意力机制融合输出结果，注意力机制的核心目标是从众多输出中选择出对当前任务占比更大关键的信息，当前时刻的输出与过去太久时刻的数据影响不大，通过注意力机制模型的数据只选取t到t-4时刻的数据，输出通过加权均值后的滤波结果为O_t，其计算公式为：

其中a_k为权重系数，由下式计算得到：

a_k＝softmax(tanh(W_y·[C_k,y_k]))。

Images