CN112581795A - 一种基于视频的船桥及船间碰撞实时预警方法与系统 - Google Patents

一种基于视频的船桥及船间碰撞实时预警方法与系统 Download PDF

Info

Publication number
CN112581795A
CN112581795A CN202011488394.1A CN202011488394A CN112581795A CN 112581795 A CN112581795 A CN 112581795A CN 202011488394 A CN202011488394 A CN 202011488394A CN 112581795 A CN112581795 A CN 112581795A
Authority
CN
China
Prior art keywords
ship
track
bridge
real
collision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011488394.1A
Other languages
English (en)
Other versions
CN112581795B (zh
Inventor
张建
张博
吴刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202011488394.1A priority Critical patent/CN112581795B/zh
Publication of CN112581795A publication Critical patent/CN112581795A/zh
Application granted granted Critical
Publication of CN112581795B publication Critical patent/CN112581795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • G08G3/02—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Emergency Management (AREA)
  • Ocean & Marine Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于视频的船桥及船间碰撞实时预警方法与系统。预警方法包含基于单应性变换的船舶定位，基于轨迹生成式对抗网络的船舶轨迹数据增强与基于双任务编码解码网络的船舶轨迹异常检测及预测。其中船舶定位用于实时获取船舶航行轨迹；数据增强用于生成大量可能与桥发生碰撞的异常轨迹；船舶轨迹异常检测及预测用于发现有撞桥风险或船间碰撞趋势的船舶。预警系统包含桥上固定摄像机，航拍无人机，实时数据处理终端及桥上声光报警装置。

Description

一种基于视频的船桥及船间碰撞实时预警方法与系统
技术领域
本发明涉及一种基于视频的船桥及船间碰撞实时预警方法与系统，属于桥梁健康监测及智慧航运领域。
背景技术
随着船舶运输业的快速发展，河流上船舶的数量与吨位显著上升，这提高了桥梁航道区内船桥与船间碰撞的风险。为了减轻船桥碰撞带来的损害，通常将一些保护性的结构布置在桥墩周围来避免直接的船桥碰撞或降低冲击力。但是这种被动方式并不能阻止碰撞的发生。而通过主动提前预警可大幅降低船桥及船间碰撞发生的概率。基于视频图像的预警方法由于其具有较高的精度与较低的成本有望被广泛采用。
在碰撞预警中，船舶定位是前提。然而不同于道路上的交通场景，在水面上并没有稳定的参考物，这给船舶定位带来了困难。目前还缺少基于视频图像的有效船舶实时定位方法。而在船桥碰撞预警中，有高撞桥风险的异常轨迹是研究人员关注的重点，然而在历史轨迹中，这种异常轨迹数量很少，如何有效地生成具有高撞桥风险的轨迹对采用数据驱动方式的船桥碰撞预警是十分重要的。船舶轨迹预测与异常检测为避免船间碰撞与船桥碰撞提供了有效手段。关于轨迹预测，基于卡尔曼滤波与粒子滤波的方法被广泛使用。然而在这些方法中，下一步的预测严重依赖于当前的状态。这些方法仅适用于短期的预测，其预测结果会随着预测步数的增加而快速退化。为了解决长期依赖的问题，若干著名的循环神经网络单元例如长短期记忆单元，门控循环单元等被提出。这些结构已成功应用于语言识别、机器翻译、图像与视频分类等。而他们在船舶轨迹预测中的运用还有待发掘。在另一方面，轨迹异常检测有助于发现具有高撞桥风险的船舶。异常检测常基于聚类方法，然而基于聚类的异常检测方法对于与正常数据接近的异常数据分辨能力较弱。此外，目前船舶轨迹预测与异常检测二者通常被单独处理，能否将两种任务融合在一个方法或模型中也面临挑战。
发明内容
为了解决上述问题，发明了一种基于视频的船桥及船间碰撞实时预警方法与系统。预警方法包含基于单应性变换的船舶定位，基于轨迹生成式对抗网络的船舶轨迹数据增强与基于双任务编码解码网络的船舶轨迹异常检测及预测。其中船舶定位用于实时获取船舶航行轨迹；数据增强用于生成大量可能与桥发生碰撞的异常轨迹；船舶轨迹异常检测及预测用于发现有撞桥风险或船间碰撞趋势的船舶。预警系统包含桥上固定摄像机，航拍无人机，实时数据处理终端及桥上声光报警装置。
为了实现上述目的，本发明的技术方案如下：一种基于视频的船桥及船间碰撞实时预警方法，所述方法包括以下步骤：
S1：基于单应性变换的船舶定位；
S2：基于轨迹生成式对抗网络的船舶轨迹数据增强；
S3：基于双任务编码解码网络的船舶轨迹异常检测及预测。
其中，基于单应性变换的船舶定位包含如下步骤：(1)利用无人机高空俯拍水面，其中航拍图像中需包含桥梁及水面上至少四个航标；(2)利用桥面上已知位置的特征物如路灯、车道线等来确定控制点，进而利用单应性变换对航拍图像进行倾斜矫正，使矫正后的航拍图像平行于桥面进而平行于水面；(3)建立水面二维世界坐标系，并利用水面上已知的两点世界距离如桥墩间距离及矫正后航拍图像上相应两点的像素距离，计算世界距离与像素距离的比例系数，并基于该比例系数及航标与桥墩在矫正后航拍图像上的像素距离获得每个航标与至少两个桥墩间的瞬时世界距离；(4)通过求解距离约束方程组(1)来得到每个航标的瞬时世界坐标，并在视频图像中获得同步的航标像素坐标；(5)利用不少于四个航标像素坐标与对应的世界坐标，求解视频图像像素坐标系与水面二维世界坐标系间的单应性变换；(6)基于该单应性变换，可将视频图像中通过船舶分割与跟踪方法获得的船舶实时边框中心点的像素坐标映射至相应的水面二维世界坐标，即实现了基于视频图像的船舶实时目标定位。
Figure BDA0002840012900000021
式中：(xa,ya)代表航标a的瞬时世界坐标；(x1,y1)及(x2,y2)分别代表不同桥墩的世界坐标；La,1与La,2分别表示a航标与不同桥墩的瞬时世界距离。
定位中用到的船舶分割与跟踪方法，包括如下内容：(1)建立包含白天与夜间的船舶图像数据库，并基于该数据库训练图像实例分割神经网络，使网络可在不同光线条件的视频图像中获得船舶分割掩膜与边框；(2)基于分割得到的船舶掩膜，利用掩膜交并比跨帧计算目标关联代价矩阵，并利用匈牙利算法求该关联代价矩阵的最优解，以完成目标关联，实现船舶目标跟踪。
其中，基于轨迹生成式对抗网络的船舶轨迹数据增强，具体如下，轨迹生成式对抗网络包含生成模型与评价模型。其中生成模型以循环神经网络为基础，将服从已知分布的随机噪声向量通过一个全连接层映射为循环神经网络的初始隐藏状态向量。生成模型中轨迹伪样本起始点随机采样自真实轨迹起始点集，并在采样的起始点上加入噪声。生成模型输出轨迹的绝对坐标
Figure BDA0002840012900000031
与差分坐标
Figure BDA0002840012900000032
生成模型训练的损失函数为：
Figure BDA0002840012900000033
式中：G代表生成模型；Ci代表第i个评价模型；
Figure BDA0002840012900000034
为轨迹伪样本起始点标准化坐标；z代表已知分布的随机噪声向量；j代表批样本中的样本编号；m为训练的批样本大小。
轨迹生成式对抗网络中包含多评价模型，首先使用不同参数的一维卷积与一维自适应池化构成多种轨迹特征提取模块，然后通过不同特征模块的组合构成不同结构的评价模型对轨迹真实样本与伪样本进行评分。以其中第i个评价模型为例，其训练的损失函数为：
Figure BDA0002840012900000035
式中：t为轨迹真实样本；
Figure BDA0002840012900000036
为生成的轨迹伪样本；
Figure BDA0002840012900000037
ηη～UU(0,1)；λ为梯度惩罚系数。
其中，基于双任务编码解码网络的船舶轨迹异常检测及预测，具体如下：双任务编码解码网络采用基于循环神经网络的编码与解码结构。编码器将已观测到的轨迹编码为一固定长度的向量，解码器利用该向量来进行轨迹异常检测与预测。
在编码器中采用双向门控循环单元来编码已观测的轨迹。将观测轨迹的标准化绝对坐标与
Figure BDA0002840012900000038
标准化差分坐标
Figure BDA0002840012900000039
串联一起作为编码器的输入。为了获得观测轨迹双方向的信息，利用对位相加将双向门控循环单元前向最后一个隐藏状态和反向最后一个隐藏状态融合为一固定长度的向量并传递给解码器用于解码。
在解码器中包含轨迹异常检测与预测两个分支。异常检测分支将编码器中生成的融合向量作为一个全连接层的输入，然后用sigmoid函数将全连接层的输出映射为风险度；异常分支的损失函数定义为二元交叉熵如下：
Figure BDA00028400129000000310
式中：i代表批样本中的轨迹样本编号；ri表示预测的风险度，其值在0-1之间；若轨迹是正常的其标签
Figure BDA00028400129000000311
为0，若是异常的则对应的标签为1；在异常检测中，当一条观测轨迹的风险度大于0.5时则认为相应船舶航行异常发出预警，若风险度小于0.5则认为该船正常；Nb为批数据的大小。在预测分支，采用了一个单向的门控循环单元。编码器中生成的融合向量通过一个全连接层生成解码器中门控循环单元的初始隐藏状态。在预测分支中引入了注意力机制来调节编码器各步输出的权重，并将加权后的向量Hj融入到解码器每步的输入中。在解码第j步时，将前一步门控循环单元后全连接层的输出与注意力加权向量Hj串联作为第j步的输入如下：
Figure BDA0002840012900000041
式中：
Figure BDA0002840012900000042
为第j步输出的标准化绝对坐标，在解码器输入中截断标准化绝对坐标由上一步输出带来的梯度；d代表解码器；预测分支的损失函数为均方误差：
Figure BDA0002840012900000043
式中：*代表真实值；Tpre为预测步数；为计算两船间的预测距离，需将预测的标准化绝对坐标转换为未缩放的绝对坐标，然后基于预测结果计算不同船舶在当前位置与每个预测位置间的距离，若距离小于安全阈值，则说明两船有碰撞趋势进而发出预警。
融合生成轨迹数据与历史轨迹数据训练双任务编码解码网络，训练时采用三阶段训练方式，首先通过公式(6)训练预测分支，然后固定编码器中参数再通过公式(4)训练异常检测分支，最后联合两个分支的损失函数，利用公式(7)来训练整个网络的参数，
L＝La+Lp(7)。
基于视频的船桥及船间碰撞实时预警系统包含桥上固定摄像机，航拍无人机，实时数据处理终端及桥上声光报警装置。桥上的固定摄像机用于实时捕捉水面航道区画面；航拍无人机用于获取水面航标的瞬时世界坐标以辅助船舶定位；实时数据处理终端基于桥上摄像机传来的图像进行实时的船舶图像分割、跟踪及轨迹异常检测与预测，当判断可能发生船桥碰撞或船间碰撞时发出预警信号；桥上声光报警装置接收终端发来的预警信号，发出声光报警。
相对于现有技术，本发明的优点如下：本发明解决的关键问题及优点如下：
(1)该方案解决了基于视频图像的船舶实时定位问题；
(2)发明了一种船舶轨迹数据增强方法，解决了由于船舶历史异常轨迹样本数量过少导致的样本不平衡及异常模式多样性不足的问题；
(3)该方案发明了一个可同时进行船舶轨迹异常检测与预测的双任务编码解码网络，本发明将异常检测与预测两种任务融入到一个网络中，降低了预警系统的复杂度。
(4)发明的实时预警系统，所需硬件设备成本低，已获得应用。
附图说明
图1为本发明方法与系统整体框架图；
图2为本发明的预警流程图；
图3为本发明实施例中的水面二维世界坐标系示意图；
图4为本发明实施例中基于多评价模型的轨迹生成式对抗网络框架图；
图5为本发明实施例中基于多评价模型的轨迹生成式对抗网络中生成模型结构图；
图6为本发明实施例中基于多评价模型的轨迹生成式对抗网络中一种评价模型结构图；
图7为本发明实施例中的基于滑动窗的局部轨迹线性拟合示意图；
图8为本发明实施例中的双任务编码解码网络结构图；
图9为本发明实施例中的某两监测时段的轨迹异常检测与预测结果。
具体实施方式
下面结合附图和具体实施方式对本发明作更进一步的说明。
本发明涉及的一种基于视频的船桥及船间碰撞实时预警方法与系统。本发明方法与系统整体框架如图1所示，相应的预警流程如图2所示。具体实施方式包括如下内容：
(一)预警系统的搭建
首先对桥上固定摄像机及无人机上航拍相机进行畸变矫正。然后在桥上防撞一侧安装摄像机，用于实时捕捉水面航道区画面。桥上摄像机的视频图像中至少包含四个航标，并在图像中建立船舶检测区。在桥上安装实时数据处理终端与声光报警装置。将桥上摄像机、声光报警装置与数据处理终端相连。
(二)船舶分割与跟踪
为了船舶定位首先需要对船舶进行分割与跟踪。其包括如下内容：(1)建立包含白天与夜间的船舶图像数据库，并基于该数据库训练图像实例分割神经网络，使网络可在不同光线条件的视频图像中获得船舶分割掩膜与边框。(2)基于分割得到的船舶掩膜，利用掩膜交并比跨帧计算目标关联代价矩阵，并利用匈牙利算法求该关联代价矩阵的最优解，以完成目标关联，实现船舶目标跟踪。
(三)船舶实时定位
通过船舶分割与跟踪，可以获得实时的船舶边框中心点的像素坐标。为了在物理空间定位船舶，需要将船舶边框中心点的像素坐标映射至相应的水面二维世界坐标。该映射关系借助无人机航拍来获得。船舶实时定位包含如下步骤：(1)利用无人机高空俯拍水面，其中航拍图像中需包含桥梁及水面上至少四个航标；(2)利用桥面上已知位置的特征物如路灯、车道线等来确定控制点，进而利用单应性变换对航拍图像进行倾斜矫正，使矫正后的航拍图像平行于桥面进而平行于水面；(3)建立水面二维世界坐标系，并利用水面上已知的两点世界距离如桥墩间距离及矫正后航拍图像上相应两点的像素距离，计算世界距离与像素距离的比例系数，并基于该比例系数及航标与桥墩在矫正后航拍图像上的像素距离获得每个航标与至少两个桥墩间的瞬时世界距离；(4)通过求解距离约束方程组(1)来得到每个航标的瞬时世界坐标，并在视频图像中获得同步的航标像素坐标；(5)利用不少于四个航标像素坐标与对应的世界坐标，求解视频图像像素坐标系与水面二维世界坐标系间的单应性变换；(6)基于该单应性变换，可将视频图像中船舶实时边框中心点的像素坐标映射至相应的水面二维世界坐标，即实现了基于视频图像的船舶实时目标定位。
(四)船舶轨迹数据增强
以船舶历史轨迹为基础，利用基于多评价模型的轨迹生成式对抗网络生成轨迹伪样本。发明的生成式对抗网络包含生成模型与多个评价模型。其中的生成模型以循环神经网络为基础，将服从已知分布的随机噪声向量通过一个全连接层映射为循环神经网络的初始隐藏状态向量。生成模型中轨迹伪样本起始点随机采样自真实轨迹起始点集，并在采样的起始点上加入噪声。生成模型输出轨迹的绝对坐标与差分坐标。在生成式对抗网络的评价模型中使用不同参数的一维卷积与一维自适应池化构成多种轨迹特征提取模块，然后通过不同特征模块的组合构成不同结构的评价模型对轨迹真实样本与伪样本进行评分。多个评价模型构建完毕后，将每个评价模型与生成模型组成一个独立的生成式对抗网络，分别训练。
(五)建立船舶轨迹数据集
在生成的伪轨迹中采样若干正常与异常轨迹并与历史轨迹合并一起，构成完整的船舶轨迹数据集。其中正常轨迹与异常轨迹的分类方法如下：对于一条轨迹，当某滑动窗对应的轨迹局部拟合直线与桥墩所在直线的交点处在桥梁通航区范围之外则判断该轨迹异常，若所有滑动窗对应的直线与桥墩所在直线的交点均处在桥梁通航区范围之内则判断该轨迹正常。将数据集按一定比例划分为训练集与测试集。
(六)搭建双任务编码解码网络并训练
用于船舶轨迹异常检测及预测的双任务编码解码网络采用基于循环神经网络的编码与解码结构。编码器将已观测到的轨迹编码为一固定长度的向量，解码器利用该向量来进行轨迹异常检测与预测。在编码器中采用双向门控循环单元来编码已观测的轨迹，将观测轨迹的标准化绝对坐标与标准化差分坐标串联一起作为编码器的输入。为了获得观测轨迹双方向的信息，利用对位相加将双向门控循环单元前向最后一个隐藏状态和反向最后一个隐藏状态融合为一固定长度的向量并传递给解码器用于解码。在解码器中包含轨迹异常检测及预测两个分支，异常检测分支将编码器中生成的融合向量作为一个全连接层的输入，然后用sigmoid函数将全连接层的输出映射为风险度。异常分支的损失函数定义为二元交叉熵。在预测分支，采用了一个单向的门控循环单元。编码器中生成的融合向量通过一个全连接层生成解码器中门控循环单元的初始隐藏状态。在预测分支中引入了注意力机制来调节编码器各步输出的权重。融合前一步门控循环单元后全连接层的输出与加权后的注意力向量作为解码器当前步的输入。基于完整的船舶轨迹数据集训练双任务网络，训练时采用三阶段训练方式，首先通过公式(6)训练预测分支，然后固定编码器中参数再通过公式(4)训练异常检测分支，最后联合两个分支的损失函数，利用公式(7)来训练整个网络的参数。
(七)实时碰撞预警
在船舶实时监测中利用双任务网络的异常检测分支对船舶的轨迹进行实时异常判断，若发现风险度高于0.5则发出预警。同时利用网络的预测分支对船舶轨迹进行预测。为计算两船间的预测距离，需将预测的标准化绝对坐标转换为未缩放的绝对坐标，然后基于预测结果计算不同船舶在当前位置与每个预测位置间的距离，若距离小于安全阈值，则说明两船有碰撞趋势进而发出预警。船桥及船间碰撞预警由桥上安装的声光报警装置发出。
具体实施例
下面通过具体实施例对本发明作进一步说明，但不应以此限制本发明的保护范围。
以一座多跨连续梁桥为例，其主跨为160米。根据本发明对该桥防撞一侧航行的船舶进行碰撞预警。首先利用棋盘格标定板对桥上固定摄像机及无人机上航拍相机进行畸变矫正。桥上摄像机安装于主跨跨中。摄像机的视频图像中包含四个航标，并在图像中建立船舶检测区。数据处理终端安装于桥梁箱梁内，声光报警装置安装于桥梁外与桥上摄像机同侧。将桥上摄像机、声光报警装置与数据处理终端相连。收集白天、夜间的船舶图像，建立船舶图像数据库，训练实例分割网络Mask R-CNN，使网络可在不同光线条件的视频图像中获得船舶分割掩膜与边框。基于分割得到的船舶掩膜，利用掩膜交并比跨帧计算目标关联代价矩阵，并利用匈牙利算法求该关联代价矩阵的最优解，而当某对掩膜交并比低于阈值0.3时，则取消该对关联。通过跨帧的目标关联实现了目标跟踪，且跟踪只针对检测区中的船舶目标。本例中，视频两秒采样一帧。
为了船舶定位，利用无人机高空俯拍水面，其中航拍图像中包含桥梁及水面上四个航标。利用桥面上车道虚线与桥面板边缘确定八个已知位置的控制点，并结合单应性变换矫正倾斜的航拍图像。以水面上一桥墩作为水面二维世界坐标系的原点，如图3所示。并利用水面上已知的两桥墩世界距离L1,2或L2,3及矫正后航拍图像上相应两桥墩的像素距离，计算世界距离与像素距离的比例系数。基于该比例系数及航标与桥墩在矫正后航拍图像上的像素距离计算得出每个航标与多桥墩间的世界距离。本例中，如图3所示，计算每个航标与三个桥墩的世界距离，用于建立距离约束方程组(1)。采用Levenberg-Marquardt算法来求解该方程组，获得每个航标的世界坐标。利用四个航标的瞬时世界坐标及视频图像中同步的航标瞬时像素坐标，求解视频图像像素坐标系与水面二维世界坐标系间的单应性变换矩阵。基于该单应性变换可将视频图像中通过船舶分割与跟踪方法获得的船舶实时边框中心点的像素坐标映射至相应的水面二维世界坐标，即实现了基于视频图像的船舶实时目标定位。
基于船舶定位获取船舶历史轨迹数据，共收集1119条历史轨迹。由于这些轨迹存在噪声，利用五点移动平均方法对每条轨迹进行光滑处理。在历史轨迹数据集中大量轨迹沿桥梁纵向分布比较集中，不利于生成多样性的样本。因此在生成伪样本前，先对历史轨迹数据集中的轨迹样本按区域进行均匀采样，使得轨迹在空间分布上趋于均衡。以轨迹起始点纵坐标作为轨迹空间区域划分的依据。首先获取历史轨迹数据集中全部轨迹起始点纵坐标的最大值与最小值，并在其间等间距划分10个区域。之后在每个区域内随机选择50条轨迹，不足50条轨迹的区域则选取区域内全部轨迹。最终将各区域选择的轨迹汇集到一起，构成用于伪轨迹生成的均匀历史轨迹数据集，该数据集共包含287条轨迹。
以上述287条轨迹作为真实轨迹样本，利用发明的基于多评价模型的轨迹生成式对抗网络进行轨迹生成，网络框架如图4所示。网络中的生成模型如图5所示，其中随机噪声向量z与GRU的隐藏状态h同取32维。令随机噪声向量中的每个元素均服从标准正态分布即z～N(0,1)。伪轨迹起始点坐标为
Figure BDA0002840012900000081
其中噪声εx,εy～N(0,0.05)。将GRU的输出通过全连接层映射为标准化差分坐标
Figure BDA0002840012900000082
根据差分坐标与绝对坐标
Figure BDA0002840012900000083
的关系，并考虑轨迹噪声，可得相应的标准化绝对坐标。在评价模型中对轨迹序列采用一维卷积与自适应池化运算。在卷积运算中采用了不同的参数，以实现对序列不同局部范围的特征捕捉。在本例中，分别选择了卷积核尺寸K为4,6,8,10，步长S为1,2,4,6的四种卷积。每种卷积有两个输入通道，四个输出通道。将四种卷积(K＝4,S＝1；K＝6,S＝2；K＝8,S＝4；K＝10,S＝6)对应的池化输出长度分别设为30，20，10，5。每种卷积与对应的池化运算构成一个序列特征提取模块，在模块的最后将四个通道的池化结果串联成一维向量以便评分。由于采用四种卷积因此共对应四种特征提取模块。本例中采用四个评价模型C1、C2、C3、C4。四个评价模型分别由四种、三种、两种及一种特征提取模块构成，其中每种特征提取模块含两套参数分别对应由生成模型产生的标准化绝对坐标序列与标准化差分坐标序列。由于共有四种特征提取模块，因此每个评价模型分别拥有
Figure BDA0002840012900000084
种模块组合方式。而为了简化计算，在每个评价模型中只取一种模块组合方式。以包含四种模块的评价模型C1为例，其结构如图6所示，将由生成模型产生的坐标序列作为四种特征提取模块的输入。然后将所有模块的计算结果串联一起通过一全连接层，最终输出轨迹的得分。其余三个评价模型C2、C3、C4虽具有的特征提取模块数量不同，但计算过程与C1类似。四个评价模型构建完毕后，将每个评价模型与生成模型组成一个独立的生成式对抗网络，分别训练。
通过训练四个生成式对抗网络得到四个生成模型，令每个生成模型生成1000条伪轨迹，并做光滑。利用图7中所示的基于滑动窗的局部轨迹线性拟合方法区分具有较高撞桥风险的异常轨迹样本与正常轨迹样本。第一步先确定船舶过桥的安全通航范围。如图7所示，在桥墩所在的y轴上将两桥墩内侧20米范围及桥墩外侧部分均作为船舶航行危险区，而船舶安全通航区仅限两桥墩间去除两侧20米的范围。采用基于滑动窗的局部轨迹线性拟合方法判断轨迹类别，过程如下：对于一条历史轨迹，采用一固定宽度(50米)的窗口在轨迹上滑动，滑窗起始点x坐标设为200米，每次向前滑动一点，直至轨迹结束，如图7所示。采用最小二乘法对每个窗口内的所有轨迹点进行线性拟合。获得滑窗对应的拟合直线后，计算该直线与y轴的交点，即船舶拟过桥点。对于一条轨迹样本，如果存在一滑动窗口所对应的船舶拟过桥点处于船舶航行危险区内，则判定该轨迹异常。根据该异常轨迹判断方法，所有生成的伪轨迹中的异常轨迹共582条。为了同样丰富正常轨迹样本，在全部生成的伪轨迹中随机选取582条正常轨迹样本。将这些生成的伪轨迹与历史轨迹融合形成一个轨迹数据集。
搭建双任务编码解码网络，其结构如图8所示。整个网络中门控循环单元的隐藏状态维度均设为32。在训练中，每五条轨迹组成一组批数据，并且同一批中的轨迹序列长度相等。为了获得充足的船舶航行信息，船舶轨迹观测步数不低于15步。预测步数选为20。在训练网络时，采用了三阶段训练方式。训练共进行40轮，在前10轮通过公式(6)训练预测分支，在10-20轮之间固定编码器参数并通过公式(4)训练异常检测分支，然后在20-40轮利用公式(7)来训练整个网络的参数。训练基础学习率设为0.01，并且根据训练中的不同轮次，在0～5,5～10,10～15,15～20,20～25,25～30,30～35,35～40轮中，学习率分别降低至基础学习率的1,1/5,1,1/5,1/5,1/20,1/50,1/100。
基于所发明的方法与系统对船舶进行实时监测并对有碰撞风险的船舶进行预警，在监测中，选取两监测时段的结果展示在图9中。在图9(a)中所示监测阶段，共包含三艘驶向桥的船舶，它们的轨迹接近直线。尽管其中船舶(1)与船舶(2)的轨迹有相交，但他们并没有相撞的倾向，因为两船在当前或预测的任意时刻距离都大于安全阈值，本例中安全阈值设为50米。以(2)号船为例展示其航行风险度，在图中该船风险度在各观测时刻均小于0.5，因此认为该船行驶正常，不会发生撞桥或偏离航道。另两条船也处于正常行驶状态。而图9(b)中的船舶在观测早期驶向桥墩，其相关航行风险度均大于0.5，因此判断该船航行异常并发出预警。当在约20观测步后，驾驶员发现了船舶的异常并调整了航向。随后计算的船舶航行风险度大幅下降，认为船舶行驶恢复正常。
需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代均属于本发明的保护范围。

Claims (10)

1.一种基于视频的船桥及船间碰撞实时预警方法，其特征在于：所述方法包括以下步骤：
S1：基于单应性变换的船舶定位；
S2：基于轨迹生成式对抗网络的船舶轨迹数据增强；
S3：基于双任务编码解码网络的船舶轨迹异常检测及预测。
2.根据权利要求1所述的基于视频的船桥及船间碰撞实时预警方法，其特征在于：所述步骤S1：基于单应性变换的船舶定位，具体如下：(1)利用无人机高空俯拍水面，其中航拍图像中需包含桥梁及水面上至少四个航标；(2)利用桥面上已知位置的特征物如路灯、车道线等来确定控制点，进而利用单应性变换对航拍图像进行倾斜矫正，使矫正后的航拍图像平行于桥面进而平行于水面；(3)建立水面二维世界坐标系，并利用水面上已知的两点世界距离如桥墩间距离及矫正后航拍图像上相应两点的像素距离，计算世界距离与像素距离的比例系数，并基于该比例系数及航标与桥墩在矫正后航拍图像上的像素距离获得每个航标与至少两个桥墩间的瞬时世界距离；(4)通过求解距离约束方程组(1)来得到每个航标的瞬时世界坐标，并在视频图像中获得同步的航标像素坐标；(5)利用不少于四个航标像素坐标与对应的世界坐标，求解视频图像像素坐标系与水面二维世界坐标系间的单应性变换；(6)基于该单应性变换，可将视频图像中通过船舶分割与跟踪方法获得的船舶实时边框中心点的像素坐标映射至相应的水面二维世界坐标，即实现了基于视频图像的船舶实时目标定位；
Figure FDA0002840012890000011
式中：(xa,ya)代表航标a的瞬时世界坐标；(x1,y1)及(x2,y2)分别代表不同桥墩的世界坐标；La,1与La,2分别表示a航标与不同桥墩的瞬时世界距离。
3.根据权利要求2所述的基于视频的船桥及船间碰撞实时预警方法，其特征在于，步骤S1的步骤(6)，船舶分割与跟踪方法，包括如下内容：(1)建立包含白天与夜间的船舶图像数据库，并基于该数据库训练图像实例分割神经网络，使网络可在不同光线条件的视频图像中获得船舶分割掩膜与边框；(2)基于分割得到的船舶掩膜，利用掩膜交并比跨帧计算目标关联代价矩阵，并利用匈牙利算法求该关联代价矩阵的最优解，以完成目标关联，实现船舶目标跟踪。
4.根据权利要求1所述的基于视频的船桥及船间碰撞实时预警方法，其特征在于，步骤S2中生成式对抗网络的生成模型以循环神经网络为基础，将服从已知分布的随机噪声向量通过一个全连接层映射为循环神经网络的初始隐藏状态向量；生成模型中轨迹伪样本起始点随机采样自真实轨迹起始点集，并在采样的起始点上加入噪声；生成模型输出轨迹的绝对坐标
Figure FDA0002840012890000021
与差分坐标
Figure FDA0002840012890000022
生成模型训练的损失函数为：
Figure FDA0002840012890000023
式中：G代表生成模型；Ci代表第i个评价模型；
Figure FDA0002840012890000024
为轨迹伪样本起始点标准化坐标；z代表已知分布的随机噪声向量；j代表批样本中的样本编号；m为训练的批样本大小。
5.根据权利要求1所述的基于视频的船桥及船间碰撞实时预警方法，其特征在于，步骤S2中生成式对抗网络中包含多评价模型，首先使用不同参数的一维卷积与一维自适应池化构成多种轨迹特征提取模块，然后通过不同特征模块的组合构成不同结构的评价模型对轨迹真实样本与伪样本进行评分；以其中第i个评价模型为例，其训练的损失函数为：
Figure FDA0002840012890000025
式中：t为轨迹真实样本；
Figure FDA0002840012890000026
为生成的轨迹伪样本；
Figure FDA0002840012890000027
η～U(0,1)；λ为梯度惩罚系数。
6.根据权利要求1所述的基于视频的船桥及船间碰撞实时预警方法，其特征在于，步骤S3中的双任务编码解码网络采用基于循环神经网络的编码与解码结构；编码器将已观测到的轨迹编码为一固定长度的向量，解码器利用该向量来进行轨迹异常检测与预测。
7.根据权利要求6所述的基于视频的船桥及船间碰撞实时预警方法，其特征在于，步骤S3中，在编码器中采用双向门控循环单元来编码已观测的轨迹；将观测轨迹的标准化绝对坐标
Figure FDA0002840012890000028
与标准化差分坐标
Figure FDA0002840012890000029
串联一起作为编码器的输入；为了获得观测轨迹双方向的信息，利用对位相加将双向门控循环单元前向最后一个隐藏状态和反向最后一个隐藏状态融合为一固定长度的向量并传递给解码器用于解码。
8.根据权利要求6所述的基于视频的船桥及船间碰撞实时预警方法，其特征在于，步骤S3中，在解码器中包含轨迹异常检测与预测两个分支；异常检测分支将编码器中生成的融合向量作为一个全连接层的输入，然后用sigmoid函数将全连接层的输出映射为风险度；异常分支的损失函数定义为二元交叉熵如下：
Figure FDA00028400128900000210
式中：i代表批样本中的轨迹样本编号；ri表示预测的风险度，其值在0-1之间；若轨迹是正常的其标签
Figure FDA00028400128900000211
为0，若是异常的则对应的标签为1；在异常检测中，当一条观测轨迹的风险度大于0.5时则认为相应船舶航行异常发出预警，若风险度小于0.5则认为该船正常；Nb为批数据的大小；在预测分支，采用了一个单向的门控循环单元；编码器中生成的融合向量通过一个全连接层生成解码器中门控循环单元的初始隐藏状态；在预测分支中引入了注意力机制来调节编码器各步输出的权重，并将加权后的向量Hj融入到解码器每步的输入中；在解码第j步时，将前一步门控循环单元后全连接层的输出与注意力加权向量Hj串联作为第j步的输入如下：
Figure FDA0002840012890000031
式中：
Figure FDA0002840012890000032
为第j步输出的标准化绝对坐标，在解码器输入中截断标准化绝对坐标由上一步输出带来的梯度；d代表解码器；预测分支的损失函数为均方误差：
Figure FDA0002840012890000033
式中：*代表真实值；Tpre为预测步数；为计算两船间的预测距离，需将预测的标准化绝对坐标转换为未缩放的绝对坐标，然后基于预测结果计算不同船舶在当前位置与每个预测位置间的距离，若距离小于安全阈值，则说明两船有碰撞趋势进而发出预警。
9.根据权利要求6所述的基于视频的船桥及船间碰撞实时预警方法，其特征在于，步骤S3中双任务编码解码网络，融合生成轨迹数据与历史轨迹数据训练网络，训练时采用三阶段训练方式，首先通过公式(6)训练预测分支，然后固定编码器中参数再通过公式(4)训练异常检测分支，最后联合两个分支的损失函数，利用公式(7)来训练整个网络的参数；
L＝La+Lp(7)。
10.一种基于视频的船桥及船间碰撞实时预警系统，其特征在于：所述预警系统包含桥上固定摄像机，航拍无人机，实时数据处理终端及桥上声光报警装置，桥上的固定摄像机用于实时捕捉水面航道区画面；航拍无人机用于获取水面航标的瞬时世界坐标以辅助船舶定位；实时数据处理终端基于桥上摄像机传来的图像进行实时的船舶图像分割、跟踪及轨迹异常检测与预测，当判断可能发生船桥碰撞或船间碰撞时发出预警信号；桥上声光报警装置接收终端发来的预警信号，发出声光报警。
CN202011488394.1A 2020-12-16 2020-12-16 一种基于视频的船桥及船间碰撞实时预警方法与系统 Active CN112581795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011488394.1A CN112581795B (zh) 2020-12-16 2020-12-16 一种基于视频的船桥及船间碰撞实时预警方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011488394.1A CN112581795B (zh) 2020-12-16 2020-12-16 一种基于视频的船桥及船间碰撞实时预警方法与系统

Publications (2)

Publication Number Publication Date
CN112581795A true CN112581795A (zh) 2021-03-30
CN112581795B CN112581795B (zh) 2022-04-29

Family

ID=75135520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011488394.1A Active CN112581795B (zh) 2020-12-16 2020-12-16 一种基于视频的船桥及船间碰撞实时预警方法与系统

Country Status (1)

Country Link
CN (1) CN112581795B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113403942A (zh) * 2021-07-07 2021-09-17 西北工业大学 一种基于标签辅助的桥梁检测无人机视觉导航方法
CN113657144A (zh) * 2021-07-01 2021-11-16 哈尔滨工业大学 桥梁区域通航船舶的快速检测和跟踪方法
CN116957052A (zh) * 2023-06-09 2023-10-27 清华大学 基于构造样本相似度的风险评估模型的训练方法
CN117475090A (zh) * 2023-12-27 2024-01-30 粤港澳大湾区数字经济研究院(福田) 一种轨迹生成模型、轨迹生成方法、装置、终端及介质
CN117518118A (zh) * 2024-01-08 2024-02-06 中铁建大桥工程局集团南方工程有限公司 一种桥墩防撞控制方法
CN116957052B (zh) * 2023-06-09 2024-06-04 清华大学 基于构造样本相似度的风险评估模型的训练方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223515A (zh) * 2019-06-17 2019-09-10 北京航空航天大学 一种车辆轨迹生成方法
CN110411462A (zh) * 2019-07-22 2019-11-05 武汉大学 一种gnss/惯性/车道线约束/里程计多源融合方法
CN111225189A (zh) * 2020-01-17 2020-06-02 同济大学 中小型航道桥梁监控装置
CN111341097A (zh) * 2020-02-13 2020-06-26 中交第一公路勘察设计研究院有限公司 一种基于无人机视频的交通数据采集方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223515A (zh) * 2019-06-17 2019-09-10 北京航空航天大学 一种车辆轨迹生成方法
CN110411462A (zh) * 2019-07-22 2019-11-05 武汉大学 一种gnss/惯性/车道线约束/里程计多源融合方法
CN111225189A (zh) * 2020-01-17 2020-06-02 同济大学 中小型航道桥梁监控装置
CN111341097A (zh) * 2020-02-13 2020-06-26 中交第一公路勘察设计研究院有限公司 一种基于无人机视频的交通数据采集方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨帆等: "基于ＬＳＴＭ 神经网络的船舶异常行为检测方法", 《武汉理工大学学报（交通科学与工程版）》 *
高飞等: "基于空间平面约束的视觉定位模型研究", 《仪器仪表学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657144A (zh) * 2021-07-01 2021-11-16 哈尔滨工业大学 桥梁区域通航船舶的快速检测和跟踪方法
CN113657144B (zh) * 2021-07-01 2024-02-27 哈尔滨工业大学 桥梁区域通航船舶的快速检测和跟踪方法
CN113403942A (zh) * 2021-07-07 2021-09-17 西北工业大学 一种基于标签辅助的桥梁检测无人机视觉导航方法
CN116957052A (zh) * 2023-06-09 2023-10-27 清华大学 基于构造样本相似度的风险评估模型的训练方法
CN116957052B (zh) * 2023-06-09 2024-06-04 清华大学 基于构造样本相似度的风险评估模型的训练方法
CN117475090A (zh) * 2023-12-27 2024-01-30 粤港澳大湾区数字经济研究院(福田) 一种轨迹生成模型、轨迹生成方法、装置、终端及介质
CN117518118A (zh) * 2024-01-08 2024-02-06 中铁建大桥工程局集团南方工程有限公司 一种桥墩防撞控制方法
CN117518118B (zh) * 2024-01-08 2024-03-15 中铁建大桥工程局集团南方工程有限公司 一种桥墩防撞控制方法

Also Published As

Publication number Publication date
CN112581795B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN112581795B (zh) 一种基于视频的船桥及船间碰撞实时预警方法与系统
CN112884760B (zh) 近水桥梁多类型病害智能检测方法与无人船设备
CN111201451B (zh) 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
CN101214851B (zh) 船舶行驶智能型全天候主动安全预警系统及其预警方法
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
KR20220155559A (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
EP4152204A1 (en) Lane line detection method, and related apparatus
Kim Realtime lane tracking of curved local road
CN111163290B (zh) 一种夜间航行船舶检测并跟踪的方法
CN113050121A (zh) 一种船舶导航系统和船舶导航方法
CN108509919A (zh) 一种基于深度学习对视频或图片中水线的检测和识别方法
KR102466804B1 (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
CN109919026A (zh) 一种水面无人艇局部路径规划方法
CN111723632B (zh) 一种基于孪生网络的船舶跟踪方法及系统
CN107031661A (zh) 一种基于盲区相机输入的变道预警方法及系统
CN115147594A (zh) 一种基于船艏向识别的船舶图像轨迹跟踪与预测方法
Zhang et al. A warning framework for avoiding vessel‐bridge and vessel‐vessel collisions based on generative adversarial and dual‐task networks
Chen et al. Ship imaging trajectory extraction via an aggregated you only look once (YOLO) model
CN116453276A (zh) 一种海上风电电子围栏监控预警方法和系统
CN116434088A (zh) 基于无人机航拍图像的车道线检测及车道辅助保持方法
Wu et al. A new multi-sensor fusion approach for integrated ship motion perception in inland waterways
CN113792598B (zh) 基于车载摄像头的汽车碰撞预测系统和方法
Chen et al. Personnel Trajectory Extraction From Port-Like Videos Under Varied Rainy Interferences
Xue et al. Multiscale object detection method for track construction safety based on improved yolov5
CN116740988A (zh) 可见光和热成像相机的全时段桥梁自适应防船撞预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant