CN115856873B - 一种岸基ais信号可信性判别模型、方法及装置 - Google Patents

Abstract

本发明提供一种岸基AIS信号可信性判别模型、方法及装置，所述模型为采用线性决策边界的二分类器，所述模型以基于Q网络学习结果生成的AIS信号样本以及真实AIS信号样本作为训练数据，输出样本属于真实AIS信号样本的概率。基于Q网络学习结果生成AIS信号包括：获取相关数据；基于预训练网络初始化Q网络结构中卷积神经网络的权重；通过Q网络结构生成与真实AIS信号相似的AIS信号样本。本发明主要针对AIS信号特征特点对岸基AIS信号的可信性进行判断，以提高海事导航服务质量。

Description

一种岸基AIS信号可信性判别模型、方法及装置

技术领域

本发明涉及船舶通信技术领域，具体而言，尤其涉及一种岸基AIS信号可信性判别模型、方法及装置。

背景技术

经调研发现，目前在船舶交通管理中心获取的船位等用于船舶导航服务数据主要来源仅为AIS报告的信息，即GPS提供的数据。但GPS存在脆弱性，易受干扰和欺骗，一旦AIS岸站获取的船位等信息数据为虚假信息，AIS岸站基于虚假信息为船舶提供错误的导航服务，势必严重威胁航行安全，因此需要对AIS岸站获取的AIS信号的可信性进行判断和评估。

当前，船舶交通管理中心对接收的AIS信号可信性进行判断的方法仅依赖于雷达数据关联，即船舶报告船位等信息后，结合雷达系统显示情况，观察该位置是否存在船舶，若存在船舶，则判断此AIS提供的船位信息为真实信息，否则为虚假信息。该方法虽然在一定程度上可以判断AIS报告的船位是否可信，但存在明显缺陷：一旦AIS岸站接收到的船位信息为虚假信息，而在该虚假信息位置刚好有其他船舶被雷达系统扫描，该方法依然会将虚假信息判断成可信信息，岸站将依据虚假信息提供错误的导航服务，威胁航行安全。因此基于当前雷达关联方法缺陷，需要一种准确有效的技术方法解决上述问题。

发明内容

鉴于现有技术的不足，本发明提供一种岸基AIS信号可信性判别模型、方法及装置，以提高岸基AIS信号可信性评估水平，增强岸站系统导航服务质量，保证船舶航行安全。

本发明采用的技术手段如下：

一种岸基AIS信号可信性判别模型，所述模型为采用线性决策边界的二分类器，所述模型以基于Q网络学习结果生成的AIS信号样本以及真实AIS信号样本作为训练数据，输出样本属于真实AIS信号样本的概率；所述基于Q网络学习结果生成的AIS信号样本的获取包括：

获取AIS信号数据和与所述AIS信号数据关联的雷达传感数据；

基于预训练网络对所述AIS信号数据进行预训练，所述预训练网络包括若干堆叠的受限玻尔兹曼机，训练时前一个受限玻尔兹曼机的隐含层作为后一层受限玻尔兹曼机的可观测层，每次只训练一层网络参数，直到最后一层训练完成；

将最后一层受限玻尔兹曼机输出的连接权重和神经元偏置输入推断网络，所述推断网络为两层全连接前馈神经网络，输出基于AIS信号的变分分布获得的最优化网络参数；

将最优化网络参数作为Q网络的初始化参数，将Q网络中AIS信号特征学习建模为智能体，所述智能体的环境信息为雷达传感器数据，且所述环境信息受智能体动作影响而改变状态并反馈给智能体相应的奖励，所述智能体感知环境状态和反馈的奖励，进行AIS信号特征学习，并根据反馈的奖励调整学习策略，重复多次训练智能体，直至完成AIS信号样本生成。

进一步地，所述预训练网络训练时，

自底向上的输出为：

v⁽ⁱ⁾＝σ(W⁽ⁱ⁾h^(i-1)+b⁽ⁱ⁾)，1≤i≤l-1

式中，v⁽ⁱ⁾为第i层神经元的输出，σ(·)为Sigmoid型激活函数，b⁽ⁱ⁾为第i层神经元的偏置，W⁽ⁱ⁾为连接权重，h^(i-1)为第i层神经元的输入；

获取各层神经元的输入，按照的顺序生成的一组h^(l-1)训练样本，记为：/>M为l-1层神经元数量；

将h^(l-1)和h^(l)再组成一个预训练神经网络，以为训练样本集充分训练第l层神经网络；

最后对逐层预训练所得参数使用反向传播算法进行精调，精调的参数更新规则为：

式中，b⁽ⁱ⁾为第i层神经元的偏置，W⁽ⁱ⁾为连接权重，α为学习率，δ⁽ⁱ⁾为第i层神经元的误差项。

进一步地，所述推断网络的结构参数包括：

h＝ReLU(W⁽¹⁾x+b⁽¹⁾)

μ_I＝W⁽²⁾h+b⁽²⁾

式中，b⁽ⁱ⁾为第i层神经元的偏置，W⁽ⁱ⁾为第i层神经元的连接权重，i＝1,2,3，μ_I为AIS信号的变分分布的均值，为AIS信号的变分分布的方差。

进一步地，所述推断网络的目标函数为：

其中，KL[q(z|x；φ),p(z|x；θ)]为变分分布q(z|x；φ)和真实后验分布p(z|x；θ)的KL散度，logp(x；θ)为对数边际似然，ELBO(q,x；θ,φ)为其对数边际似然的下界，φ^*为使ELBO(q,x；θ,φ)最大的网络参数，θ为待学习的推断网络参数，包含向量权重和偏置。

进一步地，Q网络中的AIS信号特征学习由CNN网络结构实现，所述CNN网络根据以下损失函数训练：

[y-Q_φ(s,a)]²

其中，Q_φ(s,a)为Q网络值函数，采用值函数近似方法计算：

Q^π(s,a)≈Q_φ(s,a)

式中，Q^π(s,a)为值函数对应值，逼近总回报的平均值，

式中，N为试验次数，为起始状态和动作的第n次试验轨迹，/>为第n次试验的总回报。G(τ)为：

式中，γ∈[0,1]为折扣率，r_t+1＝r(s_t,a_t,s_t+1)为智能体根据当前状态s做出动作a后，环境状态反馈给智能体的即时奖励。

本发明还公开了一种岸基AIS信号可信性判别方法，所述方法包括：

获取AIS信号数据和与所述AIS信号数据关联的雷达传感数据；

基于预训练网络对所述AIS信号数据进行预训练；

将预训练网络输出的连接权重和神经元偏置输入推断网络，所述推断网络为两层全连接前馈神经网络，输出基于AIS信号的变分分布获得的最优化网络参数；

将最优化网络参数作为Q网络的初始化参数，构建智能体对AIS信号特征学习，直至完成AIS信号样本生成；

将Q网络生成的AIS信号样本以及真实AIS信号样本作为训练数据训练岸基AIS信号可信性判别模型；

获取待测试的AIS信号输入训练后的岸基AIS信号可信性判别模型，基于所述岸基AIS信号可信性判别模型得到可信性判断结果。

本发明还公开了一种岸基AIS信号可信性判别装置，包括：

训练数据获取单元，用于由船舶交通管理中心获取真实的AIS信号数据和与所述真实的AIS信号数据关联的雷达传感数据；

预训练单元，用于基于预训练网络对所述AIS信号数据进行预训练；

推断单元，用于将预训练网络输出的连接权重和神经元偏置输入推断网络，所述推断网络为两层全连接前馈神经网络，输出基于AIS信号的变分分布获得的最优化网络参数；

AIS信号样本生成单元，用于将最优化网络参数作为Q网络的初始化参数，构建智能体对AIS信号特征学习，直至完成AIS信号样本生成；

训练单元，用于将Q网络生成的AIS信号样本以及真实AIS信号样本作为训练数据训练岸基AIS信号可信性判别模型；

判断单元，用于获取待判断的AIS信号输入训练后的岸基AIS信号可信性判别模型，基于所述岸基AIS信号可信性判别模型得到AIS信号可信性判断结果。

较现有技术相比，本发明具有以下优点：

本发明利用神经网络强大的拟合能力和数据特征提取能力不断训练提取AIS信号特征，并以此构建AIS样本信号，再利用分类器区分任意样本信号来源，通过分类器判别结果不断改进AIS样本信号构建参数，以使其更加贴近真实AIS信号分布，提升判别网络的区分能力，达到准确判别AIS信号可信性的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种岸基AIS信号可信性判别模型训练架构图。

图2为本发明基于Q网络学习结果生成AIS信号样本网络架构图。

图3为本发明预训练网络架构图。

图4为本发明推断网络架构图。

图5为本发明Q网络架构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明提供了一种岸基AIS信号可信性判别模型，所述模型为采用线性决策边界的二分类器，如图1所示，其以基于Q网络学习结果生成的AIS信号样本以及真实AIS信号样本作为训练数据，输出样本属于真实AIS信号样本的概率。其中基于Q网络学习结果生成的AIS信号样本的网络架构如图2所示，具体生成步骤包括：

S001、获取AIS信号数据和与所述AIS信号数据关联的雷达传感数据。

该步骤主要用于将船舶交通管理中心接收的AIS信号数据接入相关数据集，用于训练后续的神经网络模型。本申请中相关数据集中的数据包含两部分，一部分是AIS信号数据，为保证用于训练推断网络模型的AIS信号的真实可信性，该部分数据选取已利用雷达和AIS位置数据关联的AIS信号数据，这部分数据主要用于训练可信性判别模型。另一部分是AIS信号数据和与之关联的雷达传感数据，该部分数据用于训练Q网络结构。此处主要采用第二部分数据。

S002、基于预训练网络对所述AIS信号数据进行预训练，所述预训练网络包括若干堆叠的受限玻尔兹曼机，训练时前一个受限玻尔兹曼机的隐含层作为后一层受限玻尔兹曼机的可观测层，每次只训练一层网络参数，直到最后一层训练完成。

预训练网络结构采用逐层预训练方式。逐层预训练的训练过程为：从最底层开始，每次只训练一层，直到最后一层训练完成。具体思路为：以实际AIS信号作为输入训练样本，通过最大化似然函数找到最优参数，将单层Sigmoid信念网络转换成受限玻尔兹曼机，将整个预训练网络结构看成是多个受限玻尔兹曼机的堆叠，第i层受限玻尔兹曼机的隐含层作为第i+1层受限玻尔兹曼机的可观测层，每次只训练一层，最终输出推断结构中全连接前馈神经网络的初始化参数值，降低神经网络模型的学习难度。

引入预训练结构，不仅可用于改善多层前馈神经网络的过拟合现象，也可使神经网络获得合适的初始化权重。不适合的初始化权重将极大地增加模型学习难度，增长模型训练时间，因此需要选择合适的神经网络初始化权重。预训练结构在权重空间中获得的权重比随机权重更接近最优权重，而逐层预训练方式可以产生非常理想的权重初始值，逐层预训练的训练过程为：从最底层开始，每次只训练一层，直到最后一层训练完成。如图3所示为预训练网络架构。

假设已训练完成l-1层预训练神经网络，计算自底向上的输出为：

v⁽ⁱ⁾＝σ(W⁽ⁱ⁾h^(i-1)+b⁽ⁱ⁾)，1≤i≤l-1 (1)

式中，v⁽ⁱ⁾为第i层神经元的输出，σ(·)为Sigmoid型激活函数，b⁽ⁱ⁾为第i层神经元的偏置，W⁽ⁱ⁾为连接权重，h^(i-1)为第i层神经元的输入，即可得到按照的顺序生成的一组h^(l-1)训练样本，记为：M为l-1层神经元数量。将h^(l-1)和h^(l)再组成一个预训练神经网络，以/>为训练样本集充分训练第l层神经网络。最后对逐层预训练所得参数使用传统学习方法进行精调，本小节采用的传统学习方法为反向传播算法(Back Propagation，BP)，BP算法进行精调的参数更新规则为：

W⁽ⁱ⁾←W⁽ⁱ⁾-αδ⁽ⁱ⁾(h^(i-1))^T，1≤i≤l-1 (2)

b⁽ⁱ⁾←b⁽ⁱ⁾-αδ⁽ⁱ⁾，1≤i≤l-1 (3)

式中，b⁽ⁱ⁾为第i层神经元的偏置，W⁽ⁱ⁾为连接权重，α为学习率，δ⁽ⁱ⁾为第i层神经元的误差项，即偏导数该误差项表示第i层神经元对最终损失的影响，同时反映出最终损失对第i层神经元的敏感程度。L[y,f(v；W,b)]为损失函数，本小节采用的损失函数为平方损失函数，即

式中，y为真实AIS信号，f(v；W,b)为预训练模型。将最后一层预训练神经网络的输出v^(l)作为多层前馈神经网络也就是推断网络的输入层数据。

S003、将最后一层受限玻尔兹曼机输出的连接权重和神经元偏置输入推断网络，所述推断网络为两层全连接前馈神经网络，输出基于AIS信号的变分分布获得的最优化网络参数。

推断网络的两层全连接前馈神经网络，第一层采用非线性激活方式，激活函数为ReLU函数，神经元数为64个，第二层采用线性激活方式，神经元数为32个。用变分推断近似估计AIS信号的后验分布，根据变分分布与真实后验分布的KL散度等于对数边际似然与其下界的差值，将推断网络目标转换为寻找网络参数使证据下界最大，最终输出AIS信号的变分分布。

本发明中推断网络架构如图4所示，假设AIS信号的变分分布q(z|x；φ)服从高斯分布：

其中，μ_I和是高斯分布的均值和方差，可以通过推断网络f_I(x；φ)来预测计算。综合考虑AIS信号可信性判别模型整体的复杂性和非线性，推断网络采用多层前馈神经网络，该多层前馈神经网络采用2层隐含层结构，第1层神经元采用ReLU函数进行非线性激活，第2层神经元选择线性激活，最后连接输出层。

推断网络结构中，各参数如下：

h＝ReLU(W⁽¹⁾x+b⁽¹⁾) (6)

μ_I＝W⁽²⁾h+b⁽²⁾ (7)

式中，b为第i层神经元的偏置，W为连接权重。推断网络的目标函数为：

式中，KL[q(z|x；φ),p(z|x；θ)]为变分分布和真实后验分布的KL散度，logp(x；θ)为对数边际似然，ELBO(q,x；θ,φ)为其对数边际似然的下界，φ^*使ELBO(q,x；θ,φ)最大的网络参数，θ为待学习的推断网络参数，包含向量权重和偏置。

S004、将最优化网络参数作为Q网络的初始化参数，将Q网络中AIS信号特征学习建模为智能体，所述智能体的环境信息为雷达传感器数据，且所述环境信息受智能体动作影响而改变状态并反馈给智能体相应的奖励，所述智能体感知环境状态和反馈的奖励，进行AIS信号特征学习，并根据反馈的奖励调整学习策略，重复多次训练智能体，直至完成AIS信号样本生成。

Q网络中的环境模块包括雷达传感器数据，并受智能体动作影响而改变状态，反馈给智能体相应的奖励。智能体感知的境状态和反馈的奖励，进行AIS信号特征学习，并根据反馈的奖励调整学习策略以决定下一步动作。AIS信号特征学习部分采用CNN网络结构，CNN网络结构中卷积层采用单卷积层、单汇聚层和全连接层结构，其中卷积层使用6个5×5的卷积核，以ReLU函数激活，汇聚层的采样窗口为2×2，全连接层的神经元数目为84个。在训练Q网络时，为避免模型陷入局部最优，在训练时在相关数据集模块中随机抽取样本代替当前样本用于训练，以去除数据间的相关性，Q网络最终输出AIS信号生成样本集。

具体来说，本发明中Q网络架构如图5所示，基于强化学习的Q网络结构用于生成AIS信号样本，目标是尽量使判别网络无法区分样本来源。以推断网络得到的最优化网络参数为初始化Q网络参数，以雷达传感器数据外界感知环境参数，以[y-Q_φ(s,a)]²为损失函数训练CNN网络结构，Q_φ(s,a)为Q网络值函数。CNN网络结构中，卷积层其使用6个5×5的卷积核，以ReLU函数激活，汇聚层的采样窗口为2×2，全连接层的神经元数目为84个。Q_φ(s,a)可以采用值函数近似方法计算，假设：

Q^π(s,a)≈Q_φ(s,a) (10)

式中，Q^π(s,a)为值函数对应值，可通过训练CNN网络参数得到，本部分采用蒙特卡洛方法，直接让Q^π(s,a)逼近总回报的平均值。/>为：

式中，N为试验次数，为起始状态和动作的第n次试验轨迹，/>为第n次试验的总回报。G(τ)为：

式中，γ∈[0,1]为折扣率，r_t+1＝r(s_t,a_t,s_t+1)为智能体根据当前状态s做出动作a后，环境状态反馈给智能体的即时奖励。

本发明中，岸基AIS信号可信性判别模型的目标是尽量准确地判断一个样本是来自真实AIS信号数据还是由Q网络生成的AIS信号样本，本发明采用支持向量机学习和训练岸基AIS信号可信性判别模型。最优参数支持向量机的决策函数为：

式中，x⁽ⁿ⁾为当前样本，为最优权重，b^*为最优偏置，λ^*为拉格朗日乘数最优值，y⁽ⁿ⁾∈{+1,-1}，f(x)为判别网络判断当前AIS信号是否为真实AIS信号，即当前AIS信号是否可信。具体地，用标签1表示样本来自真实AIS信号，标签0表示样本来自Q网络生成的AIS样本信号，判别网络模块的输出为样本属于真实AIS信号的概率。

本发明还公开了一种岸基AIS信号可信性判别方法，所述方法包括：

S100、获取AIS信号数据和与所述AIS信号数据关联的雷达传感数据。

该步骤主要用于将船舶交通管理中心接收的AIS信号数据接入相关数据集，用于训练后续的神经网络模型。本申请中相关数据集中的数据包含两部分，一部分是AIS信号数据，为保证用于训练推断网络模型的AIS信号的真实可信性，该部分数据选取已利用雷达和AIS位置数据关联的AIS信号数据，这部分数据主要用于训练可信性判别模型。另一部分是AIS信号数据和与之关联的雷达传感数据，该部分数据用于训练Q网络结构。

S200、基于预训练网络对所述AIS信号数据进行预训练。

预训练网络包括若干堆叠的受限玻尔兹曼机，训练时前一个受限玻尔兹曼机的隐含层作为后一层受限玻尔兹曼机的可观测层，每次只训练一层网络参数，直到最后一层训练完成。

预训练网络结构采用逐层预训练方式。逐层预训练的训练过程为：从最底层开始，每次只训练一层，直到最后一层训练完成。具体思路为：以实际AIS信号作为输入训练样本，通过最大化似然函数找到最优参数，将单层Sigmoid信念网络转换成受限玻尔兹曼机，将整个预训练网络结构看成是多个受限玻尔兹曼机的堆叠，第i层受限玻尔兹曼机的隐含层作为第i+1层受限玻尔兹曼机的可观测层，每次只训练一层，最终输出推断结构中全连接前馈神经网络的初始化参数值，降低神经网络模型的学习难度。

引入预训练结构，不仅可用于改善多层前馈神经网络的过拟合现象，也可使神经网络获得合适的初始化权重。不适合的初始化权重将极大地增加模型学习难度，增长模型训练时间，因此需要选择合适的神经网络初始化权重。预训练结构在权重空间中获得的权重比随机权重更接近最优权重，而逐层预训练方式可以产生非常理想的权重初始值，逐层预训练的训练过程为：从最底层开始，每次只训练一层，直到最后一层训练完成。如图3所示为预训练网络架构。

假设已训练完成l-1层预训练神经网络，计算自底向上的输出为：

v⁽ⁱ⁾＝σ(W⁽ⁱ⁾h^(i-1)+b⁽ⁱ⁾)，1≤i≤l-1 (1)

式中，v⁽ⁱ⁾为第i层神经元的输出，σ(·)为Sigmoid型激活函数，b⁽ⁱ⁾为第i层神经元的偏置，W⁽ⁱ⁾为连接权重，h^(i-1)为第i层神经元的输入，即可得到按照的顺序生成的一组h^(l-1)训练样本，记为：M为l-1层神经元数量。将h^(l-1)和h^(l)再组成一个预训练神经网络，以/>为训练样本集充分训练第l层神经网络。最后对逐层预训练所得参数使用传统学习方法进行精调，本小节采用的传统学习方法为反向传播算法(Back Propagation，BP)，BP算法进行精调的参数更新规则为：

W⁽ⁱ⁾←W⁽ⁱ⁾-αδ⁽ⁱ⁾(h^(i-1))^T，1≤i≤l-1 (2)

b⁽ⁱ⁾←b⁽ⁱ⁾-αδ⁽ⁱ⁾，1≤i≤l-1 (3)

式中，b⁽ⁱ⁾为第i层神经元的偏置，W⁽ⁱ⁾为连接权重，α为学习率，δ⁽ⁱ⁾为第i层神经元的误差项，即偏导数该误差项表示第i层神经元对最终损失的影响，同时反映出最终损失对第i层神经元的敏感程度。L[y,f(v；W,b)]为损失函数，本小节采用的损失函数为平方损失函数，即

式中，y为真实AIS信号，f(v；W,b)为预训练模型。将最后一层预训练神经网络的输出v^(l)作为多层前馈神经网络也就是推断网络的输入层数据。

S300、将预训练网络输出的连接权重和神经元偏置输入推断网络，所述推断网络为两层全连接前馈神经网络，输出基于AIS信号的变分分布获得的最优化网络参数。

推断网络的两层全连接前馈神经网络，第一层采用非线性激活方式，激活函数为ReLU函数，神经元数为64个，第二层采用线性激活方式，神经元数为32个。用变分推断近似估计AIS信号的后验分布，根据变分分布与真实后验分布的KL散度等于对数边际似然与其下界的差值，将推断网络目标转换为寻找网络参数使证据下界最大，最终输出AIS信号的变分分布。

本发明中推断网络架构如图4所示，假设AIS信号的变分分布q(z|x；φ)服从高斯分布：

其中，μ_I和是高斯分布的均值和方差，可以通过推断网络f_I(x；φ)来预测计算。综合考虑AIS信号可信性判别模型整体的复杂性和非线性，推断网络采用多层前馈神经网络，该多层前馈神经网络采用2层隐含层结构，第1层神经元采用ReLU函数进行非线性激活，第2层神经元选择线性激活，最后连接输出层。

推断网络结构中，各参数如下：

h＝ReLU(W⁽¹⁾x+b⁽¹⁾) (6)

μ_I＝W⁽²⁾h+b⁽²⁾ (7)

式中，b为第i层神经元的偏置，W为连接权重。推断网络的目标函数为：

式中，KL[q(z|x；φ),p(z|x；θ)]为变分分布和真实后验分布的KL散度，logp(x；θ)为对数边际似然，ELBO(q,x；θ,φ)为其对数边际似然的下界，φ^*使ELBO(q,x；θ,φ)最大的网络参数，θ为待学习的推断网络参数，包含向量权重和偏置。

S400、将最优化网络参数作为Q网络的初始化参数，构建智能体对AIS信号特征学习，直至完成AIS信号样本生成。

Q网络中的环境模块包括雷达传感器数据，并受智能体动作影响而改变状态，反馈给智能体相应的奖励。智能体感知的境状态和反馈的奖励，进行AIS信号特征学习，并根据反馈的奖励调整学习策略以决定下一步动作。AIS信号特征学习部分采用CNN网络结构，CNN网络结构中卷积层采用单卷积层、单汇聚层和全连接层结构，其中卷积层使用6个5×5的卷积核，以ReLU函数激活，汇聚层的采样窗口为2×2，全连接层的神经元数目为84个。在训练Q网络时，为避免模型陷入局部最优，在训练时在相关数据集模块中随机抽取样本代替当前样本用于训练，以去除数据间的相关性，Q网络最终输出AIS信号生成样本集。

具体来说，本发明中Q网络架构如图5所示，基于强化学习的Q网络结构用于生成AIS信号样本，目标是尽量使判别网络无法区分样本来源。以推断网络得到的最优化网络参数为初始化Q网络参数，以雷达传感器数据外界感知环境参数，以[y-Q_φ(s,a)]²为损失函数训练CNN网络结构，Q_φ(s,a)为Q网络值函数。CNN网络结构中，卷积层其使用6个5×5的卷积核，以ReLU函数激活，汇聚层的采样窗口为2×2，全连接层的神经元数目为84个。Q_φ(s,a)可以采用值函数近似方法计算，假设：

Q^π(s,a)≈Q_φ(s,a) (10)

式中，Q^π(s,a)为值函数对应值，可通过训练CNN网络参数得到，本部分采用蒙特卡洛方法，直接让Q^π(s,a)逼近总回报的平均值。/>为：

式中，N为试验次数，为起始状态和动作的第n次试验轨迹，/>为第n次试验的总回报。G(τ)为：

式中，γ∈[0,1]为折扣率，r_t+1＝r(s_t,a_t,s_t+1)为智能体根据当前状态s做出动作a后，环境状态反馈给智能体的即时奖励。

S500、将Q网络生成的AIS信号样本以及真实AIS信号样本作为训练数据训练岸基AIS信号可信性判别模型。

岸基AIS信号可信性判别模型的目标是尽量准确地判断一个样本是来自真实AIS信号数据还是由Q网络生成的AIS信号样本，本发明采用支持向量机学习和训练岸基AIS信号可信性判别模型。最优参数支持向量机的决策函数为：

式中，x⁽ⁿ⁾为当前样本，为最优权重，b^*为最优偏置，λ^*为拉格朗日乘数最优值，y⁽ⁿ⁾∈{+1,-1}，f(x)为判别网络判断当前AIS信号是否为真实AIS信号，即当前AIS信号是否可信。具体地，用标签1表示样本来自真实AIS信号，标签0表示样本来自Q网络生成的AIS样本信号，判别网络模块的输出为样本属于真实AIS信号的概率。

S600、获取待测试的AIS信号输入训练后的岸基AIS信号可信性判别模型，基于所述岸基AIS信号可信性判别模型得到AIS信号可信性判断结果。

本发明还公开了一种岸基AIS信号可信性判别装置，包括：

训练数据获取单元，用于由船舶交通管理中心获取真实的AIS信号数据和与所述真实的AIS信号数据关联的雷达传感数据；

预训练单元，用于基于预训练网络对所述AIS信号数据进行预训练；

推断单元，用于将预训练网络输出的连接权重和神经元偏置输入推断网络，所述推断网络为两层全连接前馈神经网络，输出基于AIS信号的变分分布获得的最优化网络参数；

AIS信号样本生成单元，用于将最优化网络参数作为Q网络的初始化参数，构建智能体对AIS信号特征学习，直至完成AIS信号样本生成；

训练单元，用于将Q网络生成的AIS信号样本以及真实AIS信号样本作为训练数据训练岸基AIS信号可信性判别模型；

判断单元，用于获取待判断的AIS信号输入训练后的岸基AIS信号可信性判别模型，基于所述岸基AIS信号可信性判别模型得到AIS信号可信性判断结果。

对于本发明实施例的而言，由于其与上面实施例中的相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种构建岸基AIS信号可信性判别模型的方法，其特征在于，所述模型为采用线性决策边界的二分类器，所述模型以基于Q网络学习结果生成的AIS信号样本以及真实AIS信号样本作为训练数据，输出待测试的AIS信号属于真实AIS信号样本的概率；所述基于Q网络学习结果生成的AIS信号样本的获取包括：

获取AIS信号数据和与所述AIS信号数据关联的雷达传感数据；具体地，所述数据包含两部分，一部分是AIS信号数据，为保证用于训练推断网络模型的AIS信号的真实可信性，该部分数据选取已利用雷达和AIS位置数据关联的AIS信号数据，这部分数据用于训练可信性判别模型；另一部分是AIS信号数据和与之关联的雷达传感数据，该部分数据用于训练Q网络结构；

基于预训练网络对所述AIS信号数据进行预训练，所述预训练网络包括若干堆叠的受限玻尔兹曼机，训练时前一个受限玻尔兹曼机的隐含层作为后一层受限玻尔兹曼机的可观测层，每次只训练一层网络参数，直到最后一层训练完成；

将最后一层受限玻尔兹曼机输出的连接权重和神经元偏置输入推断网络，所述推断网络为两层全连接前馈神经网络，输出基于AIS信号的变分分布获得的最优化网络参数；

将最优化网络参数作为Q网络的初始化参数，将Q网络中AIS信号特征学习建模为智能体，所述智能体的环境信息为雷达传感器数据，且所述环境信息受智能体动作影响而改变状态并反馈给智能体相应的奖励，所述智能体感知环境状态和反馈的奖励，进行AIS信号特征学习，并根据反馈的奖励调整学习策略，重复多次训练智能体，直至完成AIS信号样本生成。

2.根据权利要求1所述的一种构建岸基AIS信号可信性判别模型的方法，其特征在于，所述预训练网络训练时，

自底向上的输出为：

v⁽ⁱ⁾＝σ(W⁽ⁱ⁾h^(i-1)+b⁽ⁱ⁾)，1≤i≤l-1

式中，v⁽ⁱ⁾为第i层神经元的输出，σ(·)为Sigmoid型激活函数，b⁽ⁱ⁾为第i层神经元的偏置，W⁽ⁱ⁾为连接权重，h^(i-1)为第i层神经元的输入；

获取各层神经元的输入，按照的顺序生成的一组h^(l-1)训练样本，记为：/>M为l-1层神经元数量；

将h^(l-1)和h^(l)再组成一个预训练神经网络，以为训练样本集充分训练第l层神经网络；

最后对逐层预训练所得参数使用反向传播算法进行精调，精调的参数更新规则为：

W⁽ⁱ⁾←W⁽ⁱ⁾-αδ⁽ⁱ⁾(h^(i-1))^T，1≤i≤l-1，

b⁽ⁱ⁾←b⁽ⁱ⁾-αδ⁽ⁱ⁾，1≤i≤l-1

式中，b⁽ⁱ⁾为第i层神经元的偏置，W⁽ⁱ⁾为连接权重，α为学习率，δ⁽ⁱ⁾为第i层神经元的误差项。

3.根据权利要求1所述的一种构建岸基AIS信号可信性判别模型的方法，其特征在于，所述推断网络的结构参数包括：

h＝ReLU(W⁽¹⁾x+b⁽¹⁾)

μ_I＝W⁽²⁾h+b⁽²⁾

式中，b⁽ⁱ⁾为第i层神经元的偏置，W⁽ⁱ⁾为第i层神经元的连接权重，i＝1,2,3，μ_I为AIS信号的变分分布的均值，为AIS信号的变分分布的方差。

4.根据权利要求1所述的一种构建岸基AIS信号可信性判别模型的方法，其特征在于，所述推断网络的目标函数为：

其中，KL[q(z|x；φ),p(z|x；θ)]为变分分布q(z|x；φ)和真实后验分布p(z|x；θ)的KL散度，logp(x；θ)为对数边际似然，ELBO(q,x；θ,φ)为其对数边际似然的下界，φ^*为使ELBO(q,x；θ,φ)最大的网络参数，θ为待学习的推断网络参数，包含向量权重和偏置。

5.根据权利要求1所述的一种构建岸基AIS信号可信性判别模型的方法，其特征在于，Q网络中的AIS信号特征学习由CNN网络结构实现，所述CNN网络根据以下损失函数训练：

[y-Q_φ(s,a)]²

其中，y为真实AIS信号；Q_φ(s,a)为Q网络值函数，采用值函数近似方法计算：

Q^π(s,a)≈Q_φ(s,a)

式中，Q^π(s,a)为值函数对应值，逼近总回报的平均值，

式中，N为试验次数，为起始状态和动作的第n次试验轨迹，/>为第n次试验的总回报，G(τ)为：

式中，γ∈[0,1]为折扣率，r_t+1＝r(s_t,a_t,s_t+1)为智能体根据当前状态s做出动作a后，环境状态反馈给智能体的即时奖励。

6.一种岸基AIS信号可信性判别方法，其特征在于，所述方法包括：

获取AIS信号数据和与所述AIS信号数据关联的雷达传感数据；具体地，所述数据包含两部分，一部分是AIS信号数据，为保证用于训练推断网络模型的AIS信号的真实可信性，该部分数据选取已利用雷达和AIS位置数据关联的AIS信号数据，这部分数据用于训练可信性判别模型；另一部分是AIS信号数据和与之关联的雷达传感数据，该部分数据用于训练Q网络结构；

基于预训练网络对所述AIS信号数据进行预训练；

将预训练网络输出的连接权重和神经元偏置输入推断网络，所述推断网络为两层全连接前馈神经网络，输出基于AIS信号的变分分布获得的最优化网络参数；

将最优化网络参数作为Q网络的初始化参数，构建智能体对AIS信号特征学习，直至完成AIS信号样本生成；

将Q网络生成的AIS信号样本以及真实AIS信号样本作为训练数据训练岸基AIS信号可信性判别模型；

获取待测试的AIS信号输入训练后的岸基AIS信号可信性判别模型，基于所述岸基AIS信号可信性判别模型得到可信性判断结果。

7.一种岸基AIS信号可信性判别装置，其特征在于，包括：

训练数据获取单元，用于由船舶交通管理中心获取真实的AIS信号数据和与所述真实的AIS信号数据关联的雷达传感数据；具体地，所述数据包含两部分，一部分是AIS信号数据，为保证用于训练推断网络模型的AIS信号的真实可信性，该部分数据选取已利用雷达和AIS位置数据关联的AIS信号数据，这部分数据用于训练可信性判别模型；另一部分是AIS信号数据和与之关联的雷达传感数据，该部分数据用于训练Q网络结构；

预训练单元，用于基于预训练网络对所述AIS信号数据进行预训练；

推断单元，用于将预训练网络输出的连接权重和神经元偏置输入推断网络，所述推断网络为两层全连接前馈神经网络，输出基于AIS信号的变分分布获得的最优化网络参数；

AIS信号样本生成单元，用于将最优化网络参数作为Q网络的初始化参数，构建智能体对AIS信号特征学习，直至完成AIS信号样本生成；

训练单元，用于将Q网络生成的AIS信号样本以及真实AIS信号样本作为训练数据训练岸基AIS信号可信性判别模型；

判断单元，用于获取待判断的AIS信号输入训练后的岸基AIS信号可信性判别模型，基于所述岸基AIS信号可信性判别模型得到AIS信号可信性判断结果。