CN116841993A - 一种基于多源异构的渔船轨迹数据插补方法及装置 - Google Patents

Abstract

本发明公开一种基于多源异构的渔船轨迹数据插补方法及装置。本发明采集获得多源异构的渔船轨迹数据；对不同返回频率的多源异构的渔船轨迹数据依次进行时间间隔标准化分析、缺失标记、归一化处理；利用改进GANs对预处理后多源异构的渔船轨迹数据进行缺失值插补；整合同一条渔船上所有渔船传感器的缺失值插补处理后数据。能够结合多源异构的渔船轨迹数据提高智慧海洋场景下的近海区域的渔船缺失的轨迹数据的插补精度，优化了渔船轨迹质量，其轨迹插补方法采用改进GANs，有效的避免了原始数据不规则分布难以捕获情况，从而提高轨迹缺失的插补精度，避免渔船轨迹数据分析所带来的误差。

Description

一种基于多源异构的渔船轨迹数据插补方法及装置

技术领域

本发明属于智慧海洋场景下的渔船轨迹插补领域，尤其涉及一种多源异构的渔船轨迹数据插补技术。

背景技术

渔船轨迹数据在海上智能交通、海上地理信息作为重要分析对象，在智慧海洋场景下，渔船轨迹数据的采集主要依赖AIS(Automatic identification System船舶自动识别系统)和北斗渔船控制系统(VMS)，可获得渔船位置、航速等数据，通过不同频率接收能够获得渔船轨迹数据，轨迹数据在渔船交通工程有着广泛的应用领域，具有重要的应用价值。

在信息化高速发展的时代下，渔船历史轨迹分析成为智慧海洋场景中一个重要的组成部分，由于渔船动态信息由不同设备或传感器根据不同的频率测量得到，渔船轨迹数据研究的最热门的领域之一是渔船轨迹信息分析，因为它提供大量、精确的渔船导航数据。然而，AIS和北斗数据很容易受到恶劣天气、设备错误、通信信道阻塞等的影响，利用原始数据分析通常会出现缺失数据和异常数据，导致渔船轨迹数据分析出现错误情况，重建渔船轨迹以提高数据质量对于进一步分析和应用具有重要意义。缺失值主要分为三组：完全随机缺失(MACA)、随机丢失(MAR)、非随机丢失(MNAR)。在智慧海洋场景下，渔船行为数据通常具有完全随机缺失值。

渔船轨迹插补技术的目的是使用插值等技术来提高数据质量，而传统的渔船轨迹插补仅针对单个设备或传感器测量的数据，而忽略了多个设备测量的数据结合分析对提高渔船轨迹插补精度的重要作用；如何有效插补智慧海洋场景下的渔船轨迹数据是一个巨大的挑战，一方面，与车辆或行人轨迹不同，海上运动目标不受几何结构约束，其运动行为和模式比陆地上的目标更为复杂。另一方面，渔船在海上航行时，其运动轨迹分布是不规则的，掌握其运动轨迹至关重要。深度学习模型能学习到渔船轨迹的不规则分布，例如卷积神经网络(CNN)、长短期记忆网络(LSTM)等。

近年来，生成对抗网络(GAN)通过其生成器来学习到数据的不规则分布，并生成服从原始数据分布的数据，能够有效提高渔船轨迹插补的精度。GANs作为一种生成式模型，采用一种无监督的学习方式训练，可以产生更加真实的样本；同时结合多源异构的渔船轨迹数据，能够提高插补缺失渔船轨迹数据的精度。

发明内容

本发明的目的在于提供一种的基于多源异构的渔船轨迹数据插补方案，可以在插补大量的渔船数据上，同时结合多源异构的渔船轨迹数据，以提高轨迹插补的精度，通过本发明采用如下技术方案：

第一方面，本发明提供一种基于多源异构的渔船轨迹数据插补方法，包括以下步骤：

S1：数据采集

渔船传感器传输其所在渔船的基本信息至AIS和beidou数据库；将AIS和beidou数据库建立空间索引，使用空间包含搜索方式获得近海区域渔船轨迹数据，获得多源异构的渔船轨迹数据；所述渔船轨迹数据包括海上移动服务表示MMSI、时间戳t、经度lon、纬度lat、对地速度Sog、对地航向Cog；

S2：数据预处理

2-1对不同返回频率的多源异构的渔船轨迹数据S进行时间间隔标准化分析，具体是：

每条渔船拥有多个不同渔船传感器，对于每条渔船不同渔船传感器，其采集时间间隔集合{T₁,…，T_k,…}；T_k表示位于船体k位置的渔船传感器采集时间间隔；

遍历所有多源异构的渔船轨迹数据S_j,i，对于船j上渔船传感器k测得的数据N表示船j上渔船传感器k上测得的数据条数，D表示数据维度，依次判断数据s_jk中每一条数据的时间t是否满足公式(1)，若是则保留，若否则剔除，得到数据

其中A表示阈值，可以取0.1；

2-2对步骤2-1处理后的多源异构的渔船轨迹数data进行缺失标记，经过如下处理，得到

其中M_n，d表示矩阵M中的元素；data_n，d表示data矩阵中的元素；n＝1，2，…，N；d＝1，2，…，D；

2-3对步骤2-1处理后的多源异构的渔船轨迹数据进行归一化；

其中表示归一化之后的数据；

S3：利用改进GANs对步骤S2预处理后多源异构的渔船轨迹数据进行缺失值插补；所述改进GANs包括鉴别器和生成器；生成器包括两个全连接层和一个relu激活函数以及一个sigmoid激活函数，鉴别器包括两个全连接层和一个relu激活函数以及一个sigmoid激活函数；具体是：

3-1生成数据：

首先从均匀分布[0，0.01)中随机采样得到随机噪声z，记为G_input，将G_input输入到生成器中，得到数据G_output：

G₁＝G_input×W₁+b₁. 式(3)

G_r1＝relu(G₁). 式(4)

G₂＝G_r1×W₂+b₂. 式(5)

G_output＝sigmoid(G₂). 式(6)

其中W₁，W₂，b₁，b₂为相应的超参数，relu和sigmoid为激活函数，其中，G₁表示生成器中第一个全连接层的输出，G₂表示第二个全连接层的输出，G_r1表示G₁经过激活函数之后的结果；

3-2对步骤3-1数据G_output和步骤S2数据norm，经过式(7)处理，得到D_input：

D_input＝G_output⊙(1-M)+norm⊙M. 式(7)

其中D_input表示生成器生成的缺失部分的数据与未缺失的数据的结合体；

再将D_input经过判别器处理，得到D_output：

D₁＝D_intput×W₃+b₃. 式(8)

D_r1＝relu(D₁). 式(9)

D₂＝D_r1×W₄+b₄. 式(10)

G_output＝sigmoid(D₂). 式(11)

其中W₃，W₄，b₃，b₄为相应的超参数，relu和sigmoid为激活函数，D₁表示判别器中第一个全连接层的输出，D₂表示第二个全连接层的输出，D_r1表示D₁经过激活函数之后的结果。

3-3对步骤3-1和3-2进行迭代训练，最终得到GANs的输出

S4：结合多源异构的渔船轨迹数据提升插补渔船轨迹数据的精度

4-1记船j在渔船传感器o测量得到的实际数据为s_jo，其中o≠k；将船j在渔船传感器k插补后数据output进行更新，得到output′：

其中t′表示s_jo的时间，t表示output中插补位置数据对应的时间；output_n，d表示output矩阵中的元素；

4-2将更新后的output′与原始数据相结合，得到完整的渔船轨迹数据impute，具体如下：

impute＝output′⊙(1-M)+s_jk⊙M 式(13)

其中s表示原始数据，⊙表示点乘。

2.根据权利要求1所述方法，其特征在于所述生成器损失函数为：

其中G(z)表示生成器的输出，D(G(z))表示判别器的输出，表示随机噪声z分布的期望。

3.根据权利要求1或2所述方法，其特征在于所述判别器的损失函数为：

其中D(x)表示判别器判别为真的输出，表示判别器判别为假的输出，

表示服从真数据分布的期望，/>表示服从假数据分布的期望。

第二方面，本发明提供基于多源异构的渔船轨迹数据插补装置，包括：

数据采集模块，用于采集获得多源异构的渔船轨迹数据；

数据预处理模块，用于对不同返回频率的多源异构的渔船轨迹数据依次进行时间间隔标准化分析、缺失标记、归一化处理；

缺失值插补模块，用于利用改进GANs对预处理后多源异构的渔船轨迹数据进行缺失值插补；

数据整合模块，用于整合同一条渔船上所有渔船传感器的缺失值插补处理后数据。

第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行所述的方法。

第四方面，本发明提供一种计算设备，包括存储器和处理器，其特征在于所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的方法。

本发明的有益效果为：

本发明提供了一种基于多源异构的渔船轨迹数据插补方法，能够结合多源异构的渔船轨迹数据提高智慧海洋场景下的近海区域的渔船缺失的轨迹数据的插补精度，优化了渔船轨迹质量，其轨迹插补方法采用改进GANs，有效的避免了原始数据不规则分布难以捕获情况，从而提高轨迹缺失的插补精度，避免渔船轨迹数据分析所带来的误差。

附图说明

图1是本发明渔船轨迹数据插补方法的结构示意图；

图2为本发明提供的改进GANs架构示意图；

图3是本发明渔船轨迹数据插补方法的流程图。

具体实施方式

下面结合附图，对本发明的具体实施方案作进一步详细描述。

一种基于多源异构的渔船轨迹数据插补装置，其具体步骤如图1所示，其中：

数据采集模块中包括数据对存储AIS数据和北斗数据的MPP数据库建立空间索引，使用空间包含搜索方式获得近海区域渔船轨迹数据，获得多源异构的渔船轨迹数据；

所述的MPP数据库是用于存储渔船运动信息的数据库，可以实现快速搜索和提取定区域和时间的渔船轨迹数据；

所述的渔船轨迹数据包括海上移动服务表示MMSI、时间戳t、经度lon、纬度lat，对地速度Sog、对地航向Cog；

所述多源异构的渔船轨迹数据包括不同传感器上测量的不同数据结构的渔船轨迹数据；

数据预处理模块对多源异构的渔船轨迹数据进行处理，获得多源异构的渔船轨迹数据集；

所述对多源异构的渔船轨迹数据进行处理包括：

S21对不同返回频率的多源异构的渔船轨迹数据S进行时间间隔标准化分析，具体是：

每条渔船拥有多个不同渔船传感器，对于每条渔船不同渔船传感器，其采集时间间隔集合{T₁,…，T_k,…}；T_k表示位于船体k位置的渔船传感器采集时间间隔；

遍历所有多源异构的渔船轨迹数据S_j，i，对于船j上渔船传感器k测得的数据N表示船j上渔船传感器k上测得的数据条数，D表示数据维度，依次判断数据s_jk中每一条数据的时间t是否满足公式(1)，若是则保留，若否则剔除，得到数据

其中A表示阈值，可以取0.1；

S22对步骤S21处理后的多源异构的渔船轨迹数data进行缺失标记，经过如下处理，得到

其中M_n，d表示矩阵M中的元素；data_n，d表示data矩阵中的元素；n＝1，2，…，N；d＝1，2，…，D；

S23对步骤S21处理后的多源异构的渔船轨迹数据进行归一化；

其中表示归一化之后的数据；

缺失值插补模块，用于利用改进GANs对预处理后多源异构的渔船轨迹数据进行缺失值插补，获得完整的渔船轨迹数据；

所述改进GANs结构如图2所示，包含生成器和鉴别器两个网络；

生成器和判别器都包括两个全连接层和一个relu激活函数以及一个sigmoid激活函数。

所述生成器中的处理过程如下：

首先从均匀分布[0，0.01)中随机采样得到随机噪声z，记为Ginput，将input输入到生成器中，得到数据G_output：

G₁＝G_input×W₁+b₁. 式(3)

G_r1＝relu(G₁). 式(4)

G₂＝G_r1×W₂+b₂. 式(5)

G_output＝sigmoid(G₂). 式(6)

其中W₁，W₂，b₁，b₂为相应的超参数。relu和sigmoid为激活函数；其中，G₁表示生成器中第一个全连接层的输出，G₂表示第二个全连接层的输出，G_r1表示G₁经过激活函数之后的结果；

3-2对步骤3-1得到的数据G_output，和S2处理得到的数据norm，经过式7处理，得到D_input：

D_input＝G_output⊙(1-M)+norm⊙M. 式(7)

其中D_input表示生成器生成的缺失部分的数据与未缺失的数据的结合体。

再将D_input经过判别器处理，得到D_output；

D₁＝D_intput×W₃+b₃. 式(8)

D_r1＝relu(D₁). 式(9)

D₂＝D_r1×W₄+b₄. 式(10)

G_output＝sigmoid(D₂). 式(11)

其中W₃，W₄，b₃，b₄为相应的超参数。relu和sigmoid为激活函数；D₁表示判别器中第一个全连接层的输出，D₂表示第二个全连接层的输出，D_r1表示D₁经过激活函数之后的结果。

在GANs训练过程中，其中，生成器损失函数为：

其中G(z)表示生成器的输出，D(G(z))表示判别器的输出，表示随机噪声z分布的期望。

所述判别器的损失函数为：

其中D(x)表示判别器判别为真的输出，表示判别器判别为假的输出表示服从真数据分布的期望，/>表示服从假数据分布的期望。

生成器和判别器进行迭代训练，最终得到GANs的输出output。

数据整合模块，用于整合同一条渔船上所有渔船传感器的缺失值插补处理后数据；对改进GANs模型输出的完整的渔船轨迹数据output，以提高渔船轨迹插补的精度；

4-1记船j在渔船传感器o测量得到的实际数据为s_jo，其中o≠k；将船j在渔船传感器k插补后数据output进行更新，得到output′：

其中t′表示s_jo的时间，t表示output中插补位置数据对应的时间；output_n，d表示output矩阵中的元素；

4-2将更新后的output′与原始数据相结合，得到完整的渔船轨迹数据impute，具体如下：

impute＝output′⊙(1-M)+s_jk⊙M 式(15)

其中s表示原始数据，⊙表示点乘。

图3是本发明实施例中基于多源异构的渔船轨迹数据插补方法的工作过程流程图：

如图3所示，一种基于多源异构的渔船轨迹数据插补方法的工作过程流程如下：

步骤S1，数据采集模块根据MPP数据库中的所述渔船轨迹信息进行采集，渔船传感器传输其所在渔船的基本信息至AIS和beidou数据库；将AIS和beidou数据库建立空间索引，使用空间包含搜索方式获得近海区域渔船轨迹数据，获得多源异构的渔船轨迹数据；渔船轨迹信息包括海上移动服务表示MMSI、时间戳t、经度lon、纬度lat，对地速度Sog、对地航向Cog；

步骤S2，数据预处理模块对不同返回频率的多源异构的渔船轨迹数据S进行时间间隔标准化分析、缺失标记、数据归一化

步骤S3，缺失值插补模块利用改进GANs对预处理后多源异构的渔船轨迹数据进行缺失值插补成完整的渔船轨迹数据；

步骤S4，数据整合模块整合同一条渔船上所有渔船传感器的缺失值插补处理后数据，提升步骤S3中生成完整的渔船轨迹数据的精度

实施例作用与效果

根据本实例提供的基于多源异构的渔船轨迹数据插补方法，首先对MPP数据库建立空间索引，搜索近海区域渔船轨迹数据，获得多源异构的渔船轨迹数据；其次将渔船轨迹数据采用时间间隔标准化和数据归一化操作，获得渔船轨迹数据，其数据不完整，然后利用改进GANs对不完整的渔船轨迹数据进行插补，并参照不同渔船传感器产生的轨迹数据的分布，提高渔船轨迹数据插补的精度，有利用海洋场景下的渔船历史轨迹回放、渔船轨迹预测和分析。

上述实例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实例的描述范围。

Claims (6)

1.一种基于多源异构的渔船轨迹数据插补方法，其特征在于所述方法包括以下步骤：

S1：数据采集

渔船传感器传输其所在渔船的基本信息至AIS和beidou数据库；将AIS和beidou数据库建立空间索引，使用空间包含搜索方式获得近海区域渔船轨迹数据，获得多源异构的渔船轨迹数据；所述渔船轨迹数据包括海上移动服务表示MMSI、时间戳t、经度lon、纬度lat、对地速度Sog、对地航向Cog；

S2：数据预处理

2-1对不同返回频率的多源异构的渔船轨迹数据S进行时间间隔标准化分析，具体是：

每条渔船拥有多个不同渔船传感器，对于每条渔船不同渔船传感器，其采集时间间隔集合{T₁,…，T_k,…}；T_k表示位于船体k位置的渔船传感器采集时间间隔；

遍历所有多源异构的渔船轨迹数据S_j,i，对于船j上渔船传感器k测得的数据N表示船j上渔船传感器k上测得的数据条数，D表示数据维度，依次判断数据s_jk中每一条数据的时间t是否满足公式(1)，若是则保留，若否则剔除，得到数据

其中A表示阈值，可以取0.1；

2-2对步骤2-1处理后的多源异构的渔船轨迹数data进行缺失标记，经过如下处理，得到

其中M_n,d表示矩阵M中的元素；data_n,d表示data矩阵中的元素；n＝1,2,…,N；d＝1,2,…,D；

2-3对步骤2-1处理后的多源异构的渔船轨迹数据进行归一化；

其中表示归一化之后的数据；

S3：利用改进GANs对步骤S2预处理后多源异构的渔船轨迹数据进行缺失值插补；所述改进GANs包括鉴别器和生成器；生成器包括两个全连接层和一个relu激活函数以及一个sigmoid激活函数，鉴别器包括两个全连接层和一个relu激活函数以及一个sigmoid激活函数；具体是：

3-1生成数据：

首先从均匀分布[0,0.01)中随机采样得到随机噪声z，记为G_input，将G_input输入到生成器中，得到数据G_output：

G₁＝G_input×W₁+b₁. 式(3)

G_r1＝relu(G₁). 式(4)

G₂＝G_r1×W₂+b₂. 式(5)

G_output＝sigmoid(G₂). 式(6)

其中W₁，W₂，b₁，b₂为相应的超参数，relu和sigmoid为激活函数，其中，G₁表示生成器中第一个全连接层的输出，G₂表示第二个全连接层的输出，G_r1表示G₁经过激活函数之后的结果；

3-2对步骤3-1数据G_output和步骤S2数据norm，经过式(7)处理，得到D_input：

D_input＝G_output⊙(1-M)+norm⊙M. 式(7)

其中D_input表示生成器生成的缺失部分的数据与未缺失的数据的结合体；

再将D_input经过判别器处理，得到D_ouput：

D₁＝D_intput×W₃+b₃. 式(8)

D_r1＝relu(D₁). 式(9)

D₂＝D_r1×W₄+b₄. 式(10)

G_output＝sigmoid(D₂). 式(11)

其中W₃，W₄，b₃，b₄为相应的超参数，relu和sigmoid为激活函数，D₁表示判别器中第一个全连接层的输出，D₂表示第二个全连接层的输出，D_r1表示D₁经过激活函数之后的结果。

3-3对步骤3-1和3-2进行迭代训练，最终得到GANs的输出

S4：结合多源异构的渔船轨迹数据提升插补渔船轨迹数据的精度

4-1记船j在渔船传感器o测量得到的实际数据为s_jo，其中o≠k；将船j在渔船传感器k插补后数据output进行更新，得到output′：

其中t′表示s_jo的时间，t表示output中插补位置数据对应的时间；output_n,d表示output矩阵中的元素；

4-2将更新后的output′与原始数据相结合，得到完整的渔船轨迹数据impute，具体如下：

impute＝output′⊙(1-M)+s_jk⊙M 式(13)

其中s表示原始数据，⊙表示点乘。

2.根据权利要求1所述方法，其特征在于所述生成器损失函数为：

其中G(z)表示生成器的输出，D(G(z))表示判别器的输出，表示随机噪声z分布的期望。

3.根据权利要求1或2所述方法，其特征在于所述判别器的损失函数为：

其中D(x)表示判别器判别为真的输出，表示判别器判别为假的输出，/>表示服从真数据分布的期望，/>表示服从假数据分布的期望。

4.实现权利要求1-3任一项所述方法的基于多源异构的渔船轨迹数据插补装置，其特征在于包括：

数据采集模块，用于采集获得多源异构的渔船轨迹数据；

数据预处理模块，用于对不同返回频率的多源异构的渔船轨迹数据依次进行时间间隔标准化分析、缺失标记、归一化处理；

缺失值插补模块，用于利用改进GANs对预处理后多源异构的渔船轨迹数据进行缺失值插补；

数据整合模块，用于整合同一条渔船上所有渔船传感器的缺失值插补处理后数据。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于当所述计算机程序在计算机中执行时，令计算机执行权利要求1-3中任一项所述的方法。

6.一种计算设备，包括存储器和处理器，其特征在于所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-3中任一项所述的方法。