CN109949616B - 一种桥梁主动防船撞监测预警系统 - Google Patents

Abstract

本发明提供了一种基于神经网络的防船撞监测系统，用于追踪目标航道内的所有船舶的船舶轨迹从而对目标航道内的桥梁进行防船撞主动预警，其特征在于，包括：多个监控视频获取装置以及轨迹追踪装置，其中，监控视频获取装置具有：视频采集部和采集侧通信部；轨迹追踪装置具有：神经网络存储部，存储有神经网络模型；目标船舶获取部，用于获取目标船舶的船舶位置；坐标获取部，根据船舶位置获取船舶坐标值；船舶轨迹获取部，根据船舶坐标值获取船舶轨迹和船舶的航行速度；船舶轨迹预测部，根据船舶轨迹和航行速度获取预测轨迹、预测速度、抵桥时间以及通过位置的概率分布；撞船预警部，根据抵桥时间和通过位置获取撞船概率并实施发出警报。

Description

一种桥梁主动防船撞监测预警系统

技术领域

本发明涉及结构安全和航行安全监测领域，尤其涉及一种桥梁主动防船撞监测预警系统

背景技术

船撞桥事故对桥梁公路安全运输、人民的生命财产乃至社会经济的发展均造成重大影响。随着经济持续增长和对交通设施的需求日益加大，我国桥梁的建设数目不断增加，大型桥梁的建设可以缓解交通压力、促进陆路交通。但是对于水上船舶而言，桥梁却是人工障碍物，船舶在桥下航行通行时，存在着碰撞桥墩或桥跨结构的危险，从而对桥梁、船舶的安全性构成威胁，同时对航道和陆路交通的正常运行也构成威胁。

传统的桥梁主动防撞一般通过船舶交通管理系统(VTS)、船舶自动识别系统(AIS)建立桥梁船撞预警来引导船舶的航行，通过视频监控系统(CCTV)监控桥区现场情况。VTS、AIS需要安装大量昂贵的设备，造价较高，而传统CCTV又无法实现主动预警的功能。基于视频目标检测的桥梁防船撞主动预警技术，通过将视频目标检测技术结合CCTV，实现对桥区水域主动预警的功能。现有的桥梁防撞视频监测方法大多依赖基于背景减除的目标检测技术，稳定性差、非智能的缺点凸显，且目标航行状态识别、航迹跟踪预测等关键技术并未得到重视。

发明内容

为解决上述问题，本发明采用了如下技术方案：

本发明提供了一种桥梁主动防船撞监测预警系统，用于追踪目标航道内的所有船舶的船舶轨迹从而对目标航道内的桥梁进行防船撞主动预警，其特征在于，包括：多个监控视频获取装置以及轨迹追踪装置，其中，监控视频获取装置具有：视频采集部，用于按帧采集目标航道内的船舶的视频；采集侧通信部，用于依次将视频采集部采集到的各个视频帧图像作为当前帧图像发送至轨迹追踪装置，轨迹追踪装置具有：神经网络存储部，存储有用于目标船舶检测的神经网络模型；目标船舶获取部，将当前帧图像输入神经网络模型，获取当前帧图像中的目标船舶的船舶位置；坐标获取部，基于视频采集部与三维空间的映射关系，根据船舶位置获取三维空间中与当前帧图像相对应的船舶坐标值；船舶轨迹获取部，根据每一帧当前帧图像的船舶坐标值获取船舶轨迹和船舶的航行速度；船舶轨迹预测部，将预定时长内的船舶轨迹和航行速度作为当前轨迹和当前速度输入神经网络模型，计算得到下一个预定时长内目标船舶的预测轨迹、预测速度，并进一步基于预测轨迹和预测速度，计算得到目标船舶的抵桥时间和通过位置的概率分布；撞船预警部，基于预测轨迹、预测速度、抵桥时间和通过位置以及预定的阈值分析撞船概率，并基于撞船概率、抵桥时间和预定的阈值判定目标船舶是否为危险船舶，进一步基于判定结果形成与危险船舶相对应的撞船预警信息。

本发明提供了一种桥梁主动防船撞监测预警系统，还可以具有这样的特征，其中，目标船舶获取部包括：图像分割单元，用于对当前帧图像进行区域分割，获取分割图像；图像缩放单元，将分割图像缩放为300乘300像素分辨率，获取缩放图像；图像预测单元，缩放图像输入神经网络模型计算得到船舶的目标物体框和类别分数预测；以及图像重组单元，将每个目标物体框和类别分数预测进行重新组合，获取当前图像的全图检测结果，从而获取与当前帧图像相对应的船舶位置。

本发明提供了一种桥梁主动防船撞监测预警系统，还可以具有这样的特征，其中，坐标获取部包括：重叠率指标存储单元，存储有用于筛选目标物体框的重叠率指标，重叠率指标为：

mIoU＝max{A_I/A₁,A_I/A₂}

A_I为物体框重叠面积，A₁、A₂为两个物体框面积，重叠率判定单元，对缩放图像中的目标物体框两两进行重叠率判定，若高于重叠率指标，则舍弃相对应的类别分数较低的目标物体框，其余的目标物体框为有效物体框，函数存储单元，存储有用于修正有效物体框的坐标的畸变修正函数以及坐标变换函数，坐标变换函数中包含预先设定的画面获取部的内参数和外参数；像素坐标获取单元，将有效物体框的下角点坐标输入畸变修正函数，得到畸变修正后的像素坐标；船舶坐标获取单元，将像素坐标输入坐标变换函数，得到目标船舶的观测坐标，即船舶坐标。

本发明提供了一种桥梁主动防船撞监测预警系统，还可以具有这样的特征，其中，船舶轨迹获取部具有：轨迹暂存单元，存储有目标航道内的船舶的过往船舶轨迹，该轨迹暂存部包括船舶的准确坐标值、观测坐标值以及卡尔曼滤波参数，预测值获取单元，基于卡尔曼滤波参数以及过往船舶轨迹的准确坐标值，使用卡尔曼滤波算法进行状态估计从而获取船舶的预测坐标值；关联值获取部，基于最小近邻原则将预测坐标值与船舶坐标值进行关联，获取关联坐标值，轨迹更新单元，使用关联坐标值对轨迹暂存单元中的过往船舶轨迹进行更新，获取当前船舶轨迹，船舶轨迹终止部，对轨迹暂存单元中的过往船舶轨迹进行遍历，终止长时间未匹配的船舶轨迹、共享同一观测坐标值超过预定时长的较新的船舶轨迹以及离开目标航道的船舶轨迹。

本发明提供了一种桥梁主动防船撞监测预警系统，还可以具有这样的特征，其中，船舶轨迹获取部还具有帧数判断单元、未匹配值暂存单元、未匹配值判断单元、初始化单元以及初始化控制单元，帧数判断单元用于判断当前图像是否为视频中的第一帧，若判断为是，初始化控制单元控制初始化单元用第一帧的当前帧图像中的船舶坐标值对船舶轨迹进行初始化，未匹配值暂存单元用于暂存为与船舶坐标值关联的预测坐标值，作为未关联坐标值，未匹配值判断单元用于判断未匹配值暂存部中是否存在未关联坐标值，若判断为是，初始化控制单元就控制初始化单元用未关联坐标值进行初始化从而得到船舶的初始化轨迹，并控制轨迹暂存单元将该初始化轨迹作为过往船舶轨迹进行存储。

本发明提供了一种桥梁主动防船撞监测预警系统，还可以具有这样的特征，其中，神经网络模型包括循环神经网络模型和抵桥状态预测神经网络模型，船舶轨迹预测部包括：时长存储单元，存储有预定时长；轨迹时长获取单元，获取每个当前轨迹的当前时长；当前坐标获取单元，获取当前时长大于预定时长的当前轨迹在上一个预定时长内的当前轨迹坐标；预测轨迹获取单元，将当前轨迹坐标输入循环神经网络模型，获取下一个预定时长内的预测轨迹；时间位置状态分布获取单元，将当前轨迹坐标输入抵桥状态预测神经网络模型，获取抵桥时间和通过位置的概率分布，

通过位置的概率分布满足：

其中：p_i为目标船舶从桥位第i个区间通过的概率，n为桥位沿河宽(桥长)划分的区间数，其中桥墩所在的区间为关键区间。

本发明提供了一种桥梁主动防船撞监测预警系统，还可以具有这样的特征，其中，撞船预警部包括：撞击概率获取单元、阈值存储单元、撞击判断单元、抵达时间判断单元、预警信息形成单元以及预警控制单元，撞击概率获取单元根据预测轨迹对相对应的目标船舶通过关键区域的概率求和从而获取撞击概率预测值；阈值存储单元存储有预定的撞击概率阈值和抵达时间阈值；撞击判断单元用于判断撞击概率预测值是否大于撞击概率阈值，当判断撞击概率预测值小于撞击概率阈值时，预警控制单元控制撞击判断单元将相对应的目标船舶标记为正常船舶，当判断撞击概率预测值大于撞击概率阈值时，预警控制单元控制撞击判断单元将相对应的船舶标记为预警船舶，抵达时间判断单元用于判断预警船舶的抵达时间是否小于抵达时间阈值，当判断预警船舶的抵达时间小于抵达时间阈值，预警控制单元控制抵达时间判断单元将相对应的预警船舶标记为危险船舶，一旦出现危险船舶，预警控制单元控制预警信息形成单元则形成撞船预警信息。

本发明提供了一种桥梁主动防船撞监测预警系统，还可以具有这样的特征，其中，神经网络模型还具有卷积神经网络模型；轨迹追踪装置还具有船舶信息获取存储部，船舶信息获取存储部具有：检测线位置存储单元，存储有船舶检测线；检测图像获取单元，将目标船舶经过检测线时的当前帧图像作为检测画面；船型获取单元，将检测画面输入卷积神经网络模型，获取目标船舶的船型信息；船舶信息存储单元，将目标船舶的预测轨迹、船型信息以及相对应的检测画面进行存储，作为新增船舶信息。

本发明提供了一种桥梁主动防船撞监测预警系统，还可以具有这样的特征，其中，轨迹追踪装置还具有轨迹训练部，轨迹训练部具有：训练集存储单元，存储有用于训练预测轨迹的初始训练集；信息阈值存储单元，存储有船舶信息存储单元中的信息存储量的信息阈值；训练集形成单元，当船舶信息存储单元中的信息存储量超过信息阈值时，将新增船舶信息与初始训练集按比例混合，形成新的当前训练集；模型训练单元，根据当前训练集对神经网络模型重新进行训练，获取当前神经网络模型；模型更新单元，将当前神经网络模型对应地存储入神经网络模型存储单元中，并重置新增船舶信息。

本发明提供了一种桥梁主动防船撞监测预警系统，还可以具有这样的特征，其中，轨迹追踪装置还具有：画面存储部，存储有系统设定画面以及撞船警报的显示画面，系统设定画面包括神经网络模型的设定画面和预定时长的设定画面；输入显示部，用于让监测人员根据系统设定画面对神经网络模型和预定时间进行设定。

发明作用与效果

根据本发明的桥梁主动防船撞监测预警系统，由于船舶轨迹预测部基于神经网络模型对目标航道内的船舶的船舶轨迹和航行速度进行预测，并基于船舶轨迹和航行速度进一步目标船舶的抵桥时间和通过位置的概率分布，因此，本发明的桥梁主动防船撞监测预警系统能够为船桥撞击提供更为完整和客观的风险评估并及时发出撞船预警。

另外，本发明的监控视频获取装置采用视频目标检测技术对目标航道内的船舶进行识别，对于轨迹跟踪所可能遇到的船船遮挡、桥船遮挡、视野盲区、桥梁振动导致的图像抖动情况，本发明的桥梁主动防船撞监测预警系统能够提供持续稳定的追踪，准确率更高。

附图说明

图1是本发明实施例的桥梁主动防船撞监测预警系统的结构框图；

图2是本发明实施例的监控视频获取装置的结构框图；

图3是本发明实施例的视频采集部的安装位置示意图；

图4是本发明实施例的视频采集部的图像采集结果示意图；

图5是本发明实施例的轨迹追踪装置的结构框图；

图6是本发明实施例的目标船舶获取部的结构框图；

图7是本发明实施例的坐标获取部的结构框图；

图8是本发明实施例的船舶轨迹获取部的结构框图；

图9是本发明实施例的当前轨迹追踪示意图；

图10是本发明实施例的船舶轨迹预测示意图；

图11是本发明实施例的船舶轨迹预测部的结构框图；

图12是本发明实施例的撞船预警部的结构框图；

图13是本发明实施例的船舶信息获取存储部的结构框图；

图14是本发明实施例的轨迹训练部的结构框图；

图15是本发明实施例的桥梁主动防船撞监测预警系统的工作流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合附图对本发明的桥梁主动防船撞监测预警系统作具体阐述。

图1是本发明实施例的桥梁主动防船撞监测预警系统的结构框图。

如图1所示，本实施例的桥梁主动防船撞监测预警系统600包括包括多个监控视频获取装置100以及轨迹追踪装置500。监控视频获取装置100和轨迹追踪装置500通过无线通信网络连接(例如wifi连接)。

在本实施例中，以预防目标航道内的船舶撞桥为例对桥梁主动防船撞监测预警系统600进行说明，在其他实施例中，还能对目标航道内的水上漂浮物(例如，失控的漂浮结构，大块冰，大块实木等)的撞桥预警进行监测。

图2是本发明实施例的监控视频获取装置的结构框图。

如图2所示，监控视频获取装置100包括视频采集部101以及采集侧通信部102。

图3是本发明实施例的视频采集部的安装位置示意图。

如图11所示，本实施例中视频采集部101的数量为3个，分别安装在目标航道的桥梁上，用于按帧采集目标航道内的船舶的视频，视频采集部101的采集范围覆盖整个目标航道。

图4是本发明实施例的视频采集部的图像采集结果示意图。

采集侧通信部102用于依次将视频采集部采集到的各个视频帧图像作为当前帧图像发送至轨迹追踪装置

图5是本发明实施例的轨迹追踪装置的结构框图。

如图5所示，轨迹追踪装置500包括神经网络存储部501、目标船舶获取部502、坐标获取部503、船舶轨迹获取部504、船舶轨迹预测部505、撞船预警部506、船舶信息获取存储部507、轨迹训练部508、画面存储部509、输入显示部510、通信部511以及控制部512。

其中，控制部512为设有预定的控制程序的控制芯片或单片机，用于控制轨迹追踪装置500中其余各个部分的工作，通信部511为通信模块，用于进行轨迹追踪装置500其余各个部分之间以及与监控视频获取装置100之间的数据交换。

神经网络存储部501存储有用于目标船舶检测的神经网络模型，神经网络模型包括循环神经网络模型、抵桥状态预测神经网络模型以及卷积神经网络模型。

图6是本发明实施例的目标船舶获取部的结构框图。

如图6所示，目标船舶获取部502具有预先设置好的图像处理程序，用于将当前帧图像输入神经网络模型，从而获取当前帧图像中的目标船舶的船舶位置，包括图像分割单元502a、图像缩放单元502b、图像预测单元502c以及图像重组单元502d。

图像分割单元502a用于对当前帧图像进行区域分割，获取分割图像。

图像缩放单元502b将分割图像缩放为300乘300像素分辨率，获取缩放图像。

图像预测单元503c缩放图像输入神经网络模型计算得到船舶的目标物体框和类别分数预测。

图像重组单元503d将每个目标物体框和类别分数预测进行重新组合，获取当前图像的全图检测结果，从而获取与当前帧图像相对应的船舶位置。

图7是本发明实施例的坐标获取部的结构框图。

如图7所示，坐标获取部503基于视频采集部与三维空间的映射关系，根据船舶位置获取三维空间中与当前帧图像相对应的船舶坐标值，包括重叠率指标存储单元503a、重叠率判定单元503b、函数存储单元503c、像素坐标获取单元503d以及船舶坐标获取单元503e。

重叠率指标存储单元503a存储有用于筛选目标物体框的重叠率指标，重叠率指标为：

mIoU＝max{A_I/A₁,A_I/A₂}

A_I为物体框重叠面积，A₁、A₂为两个物体框面积。

重叠率判定单元503b用于对缩放图像中的目标物体框两两进行重叠率判定，若高于重叠率指标，则舍弃相对应的类别分数较低的目标物体框，其余的目标物体框为有效物体框。

函数存储单元503c存储有用于修正有效物体框的坐标的畸变修正函数以及坐标变换函数，坐标变换函数中包含预先设定的画面获取部的内参数和外参数。

像素坐标获取单元503d用于将有效物体框的下角点坐标输入畸变修正函数，得到畸变修正后的像素坐标；

船舶坐标获取单元503e用于将像素坐标输入坐标变换函数，计算得到目标船舶的坐标观测值。

图8是本发明实施例的船舶轨迹获取部的结构框图，图9是本发明实施例的当前轨迹追踪示意图，图10是本发明实施例的船舶轨迹预测示意图。

如图8～图10所示，船舶轨迹获取部504根据每一帧画面中的船舶坐标获取船舶的航行轨迹和航行速度，包括轨迹暂存单元504a、图像帧数判断单元504b、初始化单元504c、预测值获取单元504d、关联值获取单元504e、轨迹更新单元504f、轨迹检查结束部504g、未匹配值暂存单元504h、未匹配值判断单元504i、初始化控制单元504j以及船舶轨迹终止单元504k。

轨迹暂存单元504a存储有目标航道内的船舶的过往船舶轨迹，该轨迹暂存单元包括船舶的准确坐标值、观测坐标值以及卡尔曼滤波参数。

本实施例中，监控视频获取装置100按帧发送采集到的各个视频帧图像，轨迹追踪装置200也按照接收的视频帧图像的顺序依次对当前帧图像进行处理，得到每一帧的准确坐标值、匹配观测坐标值以及卡尔曼滤波参数，轨迹暂存单元504a依次对每一帧所对应的不同船舶的准确坐标值、匹配观测坐标值以及卡尔曼滤波参数进行存储，从而形成与各个船舶相对应的过往船舶轨迹。

图像帧数判断单元504b用于判断当前帧图像是否为视频中的第一帧，

若判断为是，初始化控制单元504j控制初始化单元504c用第一帧的当前帧图像中的船舶坐标值对船舶轨迹进行初始化。

预测值获取单元504d基于卡尔曼滤波参数以及过往船舶轨迹的准确坐标值，使用卡尔曼滤波算法进行状态估计从而获取船舶的预测坐标值。

关联值获取部504e基于最小近邻原则将预测坐标值与船舶坐标值进行关联，获取关联坐标值。

未匹配值暂存单元504h用于暂存未与船舶坐标值关联的预测坐标值，作为未关联坐标值。

未匹配值判断单元504i用于判断未匹配值暂存部504h中是否存在未关联坐标值，

若判断为是，初始化控制单元504j就控制初始化单元504c用未关联坐标值进行初始化从而得到船舶的初始化轨迹，并控制轨迹暂存单元504a将该初始化轨迹作为过往船舶轨迹进行存储。

轨迹更新单元504f使用关联坐标值对轨迹暂存单元中的过往船舶轨迹进行更新，获取当前船舶轨迹。

船舶轨迹终止单元504k对轨迹暂存单元中的过往船舶轨迹进行遍历，终止长时间未匹配的船舶轨迹、共享同一观测坐标值超过预定时长的较新的船舶轨迹以及离开目标航道的船舶轨迹。

初始化控制单元504j为设有预定控制程序的控制芯片或单片机，用于对船舶轨迹获取部504中其余各个单元的工作进行控制，包括：控制轨迹暂存单元504a进行存储；控制图像帧数判断单元504b进行判断；控制预测值获取单元504d获取预测坐标值；控制关联值获取部504e获取关联坐标值；控制未匹配值暂存单元504h进行存储；控制未匹配值判断单元504i进行判断；控制轨迹更新单元504f获取当前船舶轨迹；控制船舶轨迹终止单元504k进行轨迹终止。

图11是本发明实施例的船舶轨迹预测部的结构框图。

如图11所示，船舶轨迹预测部505将预定时长内的航行轨迹和航行速度作为当前轨迹和当前速度，并输入神经网络模型，从而预测下一个预定时长内目标船舶的预测轨迹、预测速度、抵桥时间和通过位置的概率分布，包括时长存储单元505a、桥梁坐标存储单元505b、轨迹时长获取单元505c、当前坐标获取单元505d、预测轨迹获取单元505e以及时间位置状态分布获取单元505f。

时长存储单元505a存储有用于获取预定轨迹和预定速度的预定时长。

桥梁坐标存储单元505b存储有目标航道内桥梁的桥梁坐标值。

轨迹时长获取单元505c获取每个当前轨迹的当前时长。

当前坐标获取单元505d获取当前时长大于预定时长的当前轨迹在上一个预定时长内的当前轨迹坐标。

预测轨迹获取单元505e将当前轨迹坐标输入循环神经网络模型，获取下一个预定时长内的预测轨迹。

时间位置状态分布获取单元505f将当前轨迹坐标和桥梁坐标值输入抵桥状态预测神经网络模型，获取船舶的抵桥时间和通过位置的概率分布，

通过位置的概率分布满足：

其中：p_i为目标船舶从桥位第i个区间通过的概率，n为桥位沿河宽(桥长)划分的区间数，其中桥墩所在的区间为关键区间。

图12是本发明实施例的撞船预警部的结构框图。

如图12所示，撞船预警部506对抵桥时间和通过位置的概率分布进行综合分析，并且发布撞船预警信息，包括撞击概率获取单元506a、阈值存储单元506b、撞击判断单元506c、抵达时间判断单元506d、预警信息形成单元506e以及预警控制单元506f。

撞击概率获取单元506a根据预测轨迹对相对应的目标船舶通过关键区域的概率求和从而获取撞击概率预测值；

阈值存储单元506b存储有预定的撞击概率阈值和抵达时间阈值。

撞击判断单元506c用于判断撞击概率预测值是否大于撞击概率阈值。

当判断撞击概率预测值小于撞击概率阈值时，预警控制单元506f控制撞击判断单元506c将相对应的目标船舶标记为正常船舶。

当判断撞击概率预测值大于撞击概率阈值时，预警控制单元506f控制撞击判断单元506c将相对应的船舶标记为预警船舶。

抵达时间判断单元506d用于判断预警船舶的抵达时间是否小于抵达时间阈值。

当判断预警船舶的抵达时间小于抵达时间阈值，预警控制单元506f控制抵达时间判断单元506d将相对应的预警船舶标记为危险船舶。

一旦出现危险船舶，预警控制单元506f控制预警信息形成单元506e则形成撞船预警信息。

预警控制单元506f为设有预定控制程序的控制芯片或单片机，用于对撞船预警部506中其余各个单元的工作进行控制，包括：控制撞击概率获取单元506a获取撞击概率预测值；控制撞击判断单元506c进行判断；控制抵达时间判断单元506d进行判断；控制预警信息形成单元506e则形成撞船预警信息。

在本实施例中，初始化控制单元504j和预警控制单元506f均属于控制部512，控制部512为具有用于控制各个部分所需的预设控制程序的控制芯片或单片机，从而对轨迹追踪装置中的各个部分进行控制。在其他实施例中，在其他实施例中，初始化控制单元504j和预警控制单元506f也可以采用单独的具有预设控制程序的控制芯片或单片机，从而对相对应的部分进行控制。图13是本发明实施例的船舶信息获取存储部的结构框图。

如图13所示，船舶信息获取存储部507包括检测线位置存储单元507a、检测图像获取单元507b、船型获取单元507c以及船舶信息存储单元507d。

检测线位置存储单元507a存储有船舶检测线。

检测图像获取单元507b将目标船舶经过检测线时的当前帧图像作为检测画面。

船型获取单元507c将检测画面输入卷积神经网络模型，获取目标船舶的船型信息。

船舶信息存储单元507d将目标船舶的预测轨迹、船型信息以及相对应的检测画面进行存储，作为新增船舶信息。

图14是本发明实施例的轨迹训练部的结构框图。

如图14所示，轨迹训练部508包括训练集存储单元508a、信息阈值存储单元508b、训练集形成单元508c、模型训练单元508d以及模型更新单元508e。

训练集存储单元508a存储有用于训练预测轨迹的初始训练集；

信息阈值存储单元508b存储有船舶信息存储单元中的信息存储量的信息阈值。

训练集形成单元508c当船舶信息存储单元中的信息存储量超过信息阈值时，将新增船舶信息与初始训练集按比例混合，形成新的当前训练集。

模型训练单元508d根据当前训练集对神经网络模型重新进行训练，获取当前神经网络模型。

模型更新单元508e将当前神经网络模型对应地存储入神经网络模型存储单元中并重置新增船舶信息。

画面存储部509存储有系统设定画面以及所述撞船警报的显示画面，所述系统设定画面包括所述神经网络模型的设定画面和所述预定时长的设定画面。

输入显示部510具有用于输出的输出单元(例如显示屏)，用于对当前轨迹进行实时输出。也就是说，输入显示部510显示船舶的当前轨迹显示画面，并根据准确坐标值在画面中显示与该坐标值相对应的多个船舶的当前轨迹，从而让监测人员查看查看。在其他实施例中，通信部511也可以作为输入显示部510进行输出，即，通信部511将准确坐标值经由通信网络发送到其他的具有显示功能的设备(例如监控人员终端设备)，让这些设备显示船舶的当前轨迹显示画面并显示该当前轨迹。

输入显示部510还可以用于让监测人员根据所述系统设定画面对所述神经网络模型和所述预定时间进行设定。

图15是本发明实施例的桥梁主动防船撞监测预警系统的工作流程图。

以下结合附图对本实施的桥梁主动防船撞监测预警系统的工作流程进行说明，具体步骤如下：

步骤S1，视频采集部101按帧采集目标航道内的船舶的视频，并通过获取侧通信部102依次将各个视频帧图像作为当前帧图像发送至轨迹追踪装置500，然后进入步骤S2。

步骤S2，目标船舶获取部502将当前帧图像输入神经网络模型，获取当前帧图像中的目标船舶的船舶位置，然后进入步骤S3。

步骤S3，坐标获取部503基于视频采集部与三维空间的映射关系，根据船舶位置获取船舶坐标值，然后进入步骤S4。

步骤S4，船舶轨迹获取部504根据每一帧当前帧图像的船舶坐标值获取船舶轨迹和航行速度，然后进入步骤S4。

步骤S5，船舶轨迹预测部505将预定时长内的船舶轨迹和航行速度输入神经网络模型，计算得到下一个预定时长内的预测轨迹和预测速度，并进一步基于预测轨迹和预测速度，计算得到目标船舶的抵桥时间和通过位置的概率分布，然后进入步骤S6。

步骤S6，撞船预警部506基于预测轨迹、预测速度、抵桥时间和通过位置以及预定的阈值分析撞船概率，并基于撞船概率、抵桥时间和预定的阈值判定目标船舶是否为危险船舶，进一步基于判定结果形成与危险船舶相对应的撞船预警信息并通过输入显示部510显示该撞船预警信息。

另外，本实施例的桥梁主动防船撞监测预警系统还能对经过目标航道内的船舶的轨迹和船舶信息进行存储分析，并基于在线学习技术对神经网络模型进行训练更新，具体过程为：

步骤S7，船舶信息获取存储部507将目标船舶经过检测线时的当前帧图像作为检测画面，并通过卷积神经网络模型计算得到船型信息，并将船型信息以及与目标船舶相对应的预测轨迹和检测画面进行存储，然后进入步骤S8。

步骤S8，轨迹训练部508将新增船舶信息与初始训练集按比例混合，获取新的当前训练及，进一步对原有的神经网络模型进行训练更新。

实施例作用与效果

根据本实施例的桥梁主动防船撞监测预警系统，由于船舶轨迹预测部基于神经网络模型对目标航道内的船舶的船舶轨迹和航行速度进行预测，并基于船舶轨迹和航行速度进一步目标船舶的抵桥时间和通过位置的概率分布，因此，本实施例的桥梁主动防船撞监测预警系统能够为船桥撞击提供更为完整和客观的风险评估并提供预警。

另外，本实施例的监控视频获取装置采用视频目标检测技术对目标航道内的船舶进行识别，对于轨迹跟踪所可能遇到的船船遮挡、桥船遮挡、视野盲区、桥梁振动导致的图像抖动情况，本实施例的桥梁主动防船撞监测预警系统能够提供持续稳定的追踪，准确率更高。

由于具有目标船舶获取部，对于监控视频获取装置采集的当前帧图像进行分割、缩放、再重组，因此，本实施例的目标船舶获取部能够更加准确的获取目标船舶位置。

由于具有坐标转化部，对于目标物体框进行两两重叠对比，因此，本实施例的坐标转化部能够更加准确的获取目标船舶坐标，避免出现因为船舶重叠所造成的误判。

由于具有船舶轨迹预测部，根据过往船舶轨迹对下一个预定时长内的船舶轨迹进行预测，并进一步基于神经网络模型预测目标船舶的抵桥时间和通过位置的概率分布，撞船预警部根据船舶轨迹预测部的预测结果进行判断，因此，本实施例的船舶轨迹预测部和撞船预警部能够稳定准确的预测目标航道内的船舶航行情况，并及时的发出撞船预警。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种桥梁主动防船撞监测预警系统，用于追踪桥梁的目标航道内的所有船舶的船舶轨迹从而对所述目标航道内的桥梁进行防船撞主动预警，其特征在于，包括：

多个监控视频获取装置以及轨迹追踪装置，

其中，所述监控视频获取装置具有：

视频采集部，用于按帧采集所述目标航道内的所述船舶的视频；

采集侧通信部，用于依次将所述视频采集部采集到的各个视频帧图像作为当前帧图像发送至所述轨迹追踪装置，

所述轨迹追踪装置具有：

神经网络存储部，存储有用于目标船舶检测的神经网络模型；

目标船舶获取部，将所述当前帧图像输入所述神经网络模型，获取所述当前帧图像中的目标船舶的船舶位置；

坐标获取部，基于所述视频采集部与三维空间的映射关系，根据所述船舶位置获取所述三维空间中与所述当前帧图像相对应的船舶坐标值；

船舶轨迹获取部，根据每一帧所述当前帧图像的所述船舶坐标值获取所述船舶轨迹和所述船舶的航行速度；

船舶轨迹预测部，将预定时长内的所述船舶轨迹和所述航行速度作为当前轨迹和当前速度输入所述神经网络模型，计算得到下一个所述预定时长内所述目标船舶的预测轨迹、预测速度，并进一步基于所述预测轨迹和所述预测速度，计算得到所述目标船舶的抵桥时间和通过位置的概率分布；

撞船预警部，基于所述预测轨迹、所述预测速度、所述抵桥时间和通过位置以及预定的阈值分析撞船概率，并基于所述撞船概率、所述抵桥时间和预定的阈值判定所述目标船舶是否为危险船舶，进一步基于判定结果形成与所述危险船舶相对应的撞船预警信息。

2.根据权利要求1所述的桥梁主动防船撞监测预警系统，其特征在于：

其中，所述目标船舶获取部包括：

图像分割单元，用于对所述当前帧图像进行区域分割，获取分割图像；

图像缩放单元，将所述分割图像缩放为300乘300像素分辨率，获取缩放图像；

图像预测单元，所述缩放图像输入所述神经网络模型计算得到所述船舶的目标物体框和类别分数预测；以及

图像重组单元，将每个所述目标物体框和所述类别分数预测进行重新组合，获取所述当前帧图像的全图检测结果，从而获取与所述当前帧图像相对应的所述船舶位置。

3.根据权利要求2所述的桥梁主动防船撞监测预警系统，其特征在于：

其中，所述坐标获取部包括：

重叠率指标存储单元，存储有用于筛选所述目标物体框的重叠率指标，所述重叠率指标为：

mIoU＝max{A_I/A₁，A_I/A₂}

A_I为物体框重叠面积，A₁、A₂为两个物体框面积，

重叠率判定单元，对所述缩放图像中的所述目标物体框两两进行重叠率判定，若高于所述重叠率指标，则舍弃相对应的所述类别分数较低的所述目标物体框，其余的所述目标物体框为有效物体框，

函数存储单元，存储有用于修正所述有效物体框的坐标的畸变修正函数以及坐标变换函数，所述坐标变换函数中包含预先设定的所述视频采集部的内参数和外参数；

像素坐标获取单元，将所述有效物体框的下角点坐标输入所述畸变修正函数，得到畸变修正后的像素坐标；

船舶坐标获取单元，将所述像素坐标输入坐标变换函数，得到所述目标船舶的观测坐标，即所述船舶坐标。

4.根据权利要求3所述的桥梁主动防船撞监测预警系统，其特征在于：

其中，所述船舶轨迹获取部具有：

轨迹暂存单元，存储有所述目标航道内的所述船舶的过往船舶轨迹，该轨迹暂存单元包括所述船舶的准确坐标值、观测坐标值以及卡尔曼滤波参数，

预测值获取单元，基于所述卡尔曼滤波参数以及所述过往船舶轨迹的所述准确坐标值，使用卡尔曼滤波算法进行状态估计从而获取所述船舶的预测坐标值；

关联值获取部，基于最小近邻原则将所述预测坐标值与所述船舶坐标值进行关联，获取关联坐标值，

轨迹更新单元，使用所述关联坐标值对所述轨迹暂存单元中的过往船舶轨迹进行更新，获取当前船舶轨迹，

船舶轨迹终止单元，对所述轨迹暂存单元中的所述过往船舶轨迹进行遍历，终止长时间未匹配的船舶轨迹、共享同一所述观测坐标值超过预定时长的较新的船舶轨迹以及离开所述目标航道的船舶轨迹。

5.根据权利要求4所述的桥梁主动防船撞监测预警系统，其特征在于：

其中，所述船舶轨迹获取部还具有帧数判断单元、未匹配值暂存单元、未匹配值判断单元、初始化单元以及初始化控制单元，

所述帧数判断单元用于判断所述当前帧图像是否为所述视频中的第一帧，

若判断为是，所述初始化控制单元控制所述初始化单元用所述第一帧的当前帧图像中的所述船舶坐标值对所述船舶轨迹进行初始化，

所述未匹配值暂存单元用于暂存未与所述船舶坐标值关联的所述预测坐标值，作为未关联坐标值，

所述未匹配值判断单元用于判断所述未匹配值暂存部中是否存在所述未关联坐标值，

若判断为是，所述初始化控制单元就控制所述初始化单元用所述未关联坐标值进行初始化从而得到所述船舶的初始化轨迹，并控制轨迹暂存单元将该初始化轨迹作为所述过往船舶轨迹进行存储。

6.根据权利要求4所述的桥梁主动防船撞监测预警系统，其特征在于：

其中，所述神经网络模型包括循环神经网络模型和抵桥状态预测神经网络模型，

所述船舶轨迹预测部包括：

时长存储单元，存储有所述预定时长；

桥梁坐标存储单元，存储有所述目标航道内桥梁的桥梁坐标值；

轨迹时长获取单元，获取每个所述当前轨迹的当前时长；

当前坐标获取单元，获取所述当前时长大于所述预定时长的所述当前轨迹在上一个所述预定时长内的当前轨迹坐标；

预测轨迹获取单元，将所述当前轨迹坐标输入所述循环神经网络模型，获取下一个所述预定时长内的预测轨迹；

时间位置状态分布获取单元，将所述当前轨迹坐标和所述桥梁坐标值输入所述抵桥状态预测神经网络模型，获取所述抵桥时间和所述通过位置的概率分布，

所述通过位置的概率分布满足：

0≤p_i≤1，

其中：p_i为目标船舶从桥位第i个区间通过的概率，n为桥位沿河宽或桥长划分的区间数，其中桥墩所在的区间为关键区间。

7.根据权利要求6所述的桥梁主动防船撞监测预警系统，其特征在于：

其中，撞船预警部包括：撞击概率获取单元、阈值存储单元、撞击判断单元、抵达时间判断单元、预警信息形成单元以及预警控制单元，

所述撞击概率获取单元根据所述预测轨迹对相对应的所述目标船舶通过所述关键区间的概率求和从而获取撞击概率预测值；

所述阈值存储单元存储有预定的撞击概率阈值和抵达时间阈值；

所述撞击判断单元用于判断所述撞击概率预测值是否大于所述撞击概率阈值，

当判断所述撞击概率预测值小于所述撞击概率阈值时，所述预警控制单元控制所述撞击判断单元将相对应的所述目标船舶标记为正常船舶，

当判断所述撞击概率预测值大于所述撞击概率阈值时，所述预警控制单元控制所述撞击判断单元将相对应的所述船舶标记为预警船舶，

所述抵达时间判断单元用于判断所述预警船舶的抵达时间是否小于所述抵达时间阈值，

当判断所述预警船舶的抵达时间小于所述抵达时间阈值，所述预警控制单元控制所述抵达时间判断单元将相对应的所述预警船舶标记为危险船舶，

一旦出现所述危险船舶，所述预警控制单元控制所述预警信息形成单元则形成所述撞船预警信息。

8.根据权利要求1所述的桥梁主动防船撞监测预警系统，其特征在于：

其中，所述神经网络模型还具有卷积神经网络模型；

轨迹追踪装置还具有船舶信息获取存储部，

所述船舶信息获取存储部具有：

检测线位置存储单元，存储有船舶检测线；

检测图像获取单元，将所述目标船舶经过所述检测线时的视频监控画面作为检测画面；

船型获取单元，将所述检测画面输入所述卷积神经网络模型，获取所述目标船舶的船型信息；

船舶信息存储单元，将所述目标船舶的所述预测轨迹、所述船型信息以及相对应的所述检测画面进行存储，作为新增船舶信息。

9.根据权利要求8所述的桥梁主动防船撞监测预警系统，其特征在于：

其中，轨迹追踪装置还具有轨迹训练部，

所述轨迹训练部具有：

训练集存储单元，存储有用于训练所述预测轨迹的初始训练集；

信息阈值存储单元，存储有所述船舶信息存储单元中的信息存储量的信息阈值；

训练集形成单元，当所述船舶信息存储单元中的信息存储量超过所述信息阈值时，将所述新增船舶信息与所述初始训练集按比例混合，形成新的当前训练集；

模型训练单元，根据所述当前训练集对所述神经网络模型重新进行训练，获取当前神经网络模型；

模型更新单元，将所述当前神经网络模型对应地存储入所述神经网络模型存储单元中，并重置所述新增船舶信息。

10.根据权利要求1所述的桥梁主动防船撞监测预警系统，其特征在于：

其中，轨迹追踪装置还具有：

画面存储部，存储有系统设定画面以及撞船警报的显示画面，所述系统设定画面包括所述神经网络模型的设定画面和所述预定时长的设定画面；

输入显示部，用于让监测人员根据所述系统设定画面对所述神经网络模型和预定时间进行设定。

Images