CN111225189B - 中小型航道桥梁监控装置 - Google Patents

Abstract

本发明提供一种中小型航道桥梁监控装置，其特征在于，用于设置在中小型桥梁上并正对航道从而对该航道中船舶目标进行监控，设置在桥梁上，包括：摄像头，设置在中小型桥梁上并正对航道的中心线设置，用于对该航道进行拍摄从而得到相应的实时监控视频；雷达，设置在中小型桥梁上，至少用于对航道进行持续扫描并在扫描到船舶目标时得到实时扫描位置；警告模块，用于向航道中的船舶目标发出声光警告；以及中央处理器，与摄像头、雷达以及警告模块相通信连接，其中，中央处理器包括神经网络模型存储部、监控信息获取缓存部、船舶目标识别部、视频坐标转换部、雷达坐标转换部、数据融合部、航迹信息识别部、航迹预测部以及预警分析输出部。

Description

中小型航道桥梁监控装置

技术领域

本发明属于结构安全和航行安全监测领域，尤其是涉及一种基于视频和雷达(光电)融合的中小型航道一体化的桥梁监控系统。

背景技术

船撞桥事故对桥梁公路安全运输、人民的生命财产乃至社会经济的发展均造成重大影响。随着经济持续增长和对交通设施的需求日益加大，我国桥梁的建设数目不断增加，桥梁的建设可以缓解交通压力、促进陆路交通。但是对于水上船舶而言，桥梁却是人工障碍物，船舶在桥下航行通行时，存在着碰撞桥墩或桥跨结构的危险，从而对桥梁、船舶的安全性构成威胁，同时对航道和陆路交通的正常运行也构成威胁。

我国尤其是南方地区水网密布，多年以来建有数目极多的中小型桥梁。大多数小型桥梁处于无人看护状态，在这桥梁中很多都跨越航道，许多船舶航行通过。航行量较大、无人看管给这些中小型桥梁带来了很多安全隐患。同时传统的桥梁主动防撞一般通过船舶交通管理系统(VTS)、船舶自动识别系统(AIS)建立桥梁船撞预警来引导船舶的航行。VTS、AIS需要安装大量昂贵的设备，造价较高且需要较为完整的布线系统，在中小型桥梁上不具有可行性。

发明内容

为解决上述问题，提供一种能够简单地布设在中小型桥梁上并对航道进行实时监控以及防撞预警的桥梁监控装置，本发明采用了如下技术方案：

本发明提供了一种中小型航道桥梁监控装置，其特征在于，用于设置在中小型桥梁上并正对航道从而对该航道中船舶目标进行监控，设置在桥梁上，包括：摄像头，设置在中小型桥梁上并正对航道的中心线设置，用于对该航道进行拍摄从而得到相应的实时监控视频；雷达，设置在中小型桥梁上，至少用于对航道进行持续扫描并在扫描到船舶目标时得到对应该船舶目标的位置的实时扫描位置；警告模块，设置在中小型桥梁上并至少用于向航道中的船舶目标发出声光警告；以及中央处理器，与摄像头、雷达以及警告模块相通信连接，其中，中央处理器包括神经网络模型存储部、监控信息获取缓存部、船舶目标识别部、视频坐标转换部、雷达坐标转换部、数据融合部、航迹信息识别部、航迹预测部以及预警分析输出部，神经网络模型存储部存储有用于对图像中船舶目标进行检测的船舶检测模型以及用于航迹预测和过桥状态预测的航迹预测模型，监控信息获取缓存部实时获取实时监控视频的视频帧图像以及实时扫描位置并进行缓存，船舶目标识别部用于将视频帧图像输入船舶检测模型从而识别得到视频帧图像中的船舶目标及对应的所在位置，视频坐标转换部基于摄像头与三维空间的映射关系将船舶目标在视频帧图像中的所在位置转换为对应该船舶目标在三维空间中实际坐标的第一实际坐标；雷达坐标转换部将实时扫描位置转化为对应船舶目标在三维空间中实际坐标的第二实际坐标；数据融合部将第一实际坐标以及第二实际坐标进行数据融合从而得到航道中所有船舶目标的船舶坐标，航迹信息识别部持续将每帧获取的船舶坐标输入预设的跟踪器从而识别出包含各个船舶目标的航行轨迹和速度信息的航迹信息，航迹预测部基于航迹信息以及航迹预测模型获取包括船舶目标在未来时段内的预测航迹、抵达桥位时间和通过位置的概率分布的航迹预测信息，预警分析输出部根据航迹预测信息对船舶目标进行分析并在分析出船舶目标可能发生撞击时向警告模块输出预警信号。

本发明还提供了一种中小型航道桥梁监控装置，其特征在于，用于设置在中小型桥梁的航道的河岸两侧从而对该航道中船舶目标进行监控，设置在桥梁上，包括：第一摄像头，设置在河岸的一侧并面向航道设置，用于对该航道进行拍摄从而得到相应的第一实时监控视频；第二摄像头，设置在河岸的另一侧并面向航道设置，用于对该航道进行拍摄从而得到相应的第二实时监控视频；警告模块，设置在河岸两侧并至少用于向航道中的船舶目标发出声音警告；以及中央处理器，与摄像头、雷达以及警告模块相通信连接，其中，中央处理器包括神经网络模型存储部、监控信息获取缓存部、船舶目标识别部、视频坐标转换部、数据融合部、航迹信息识别部、航迹预测部以及预警分析输出部，神经网络模型存储部存储有用于对图像中船舶目标进行检测的船舶检测模型以及用于航迹预测和过桥状态预测的航迹预测模型，监控信息获取缓存部实时获取第一实时监控视频的第一视频帧图像以及第二实时监控视频的第二视频帧图像并进行缓存，船舶目标识别部用于分别将第一视频帧图像以及第二视频帧图像输入船舶检测模型从而识别得到第一视频帧图像以及第二视频帧图像中的船舶目标及对应的所在位置，视频坐标转换部基于摄像头与三维空间的映射关系分别将船舶目标在第一视频帧图像以及第二视频帧图像中的所在位置转换为对应该船舶目标在三维空间中实际坐标的第一实际坐标以及第二实际坐标；数据融合部将第一实际坐标以及第二实际坐标进行数据融合从而得到航道中所有船舶目标的船舶坐标，航迹信息识别部持续将每帧获取的船舶坐标输入预设的跟踪器从而识别出包含各个船舶目标的的航迹信息，航迹预测部基于航迹信息以及航迹预测模型获取包括船舶目标在未来时段内的预测航迹、抵达桥位时间和通过位置的概率分布的航迹预测信息，预警分析输出部根据航迹预测信息对船舶目标进行分析并在分析出船舶目标可能发生撞击时向警告模块输出预警信号。

本发明提供的中小型航道桥梁监控装置，还可以具有这样的技术特征，还包括：数据存储器，与中央处理器相通信连接；以及数据传输器，与中央处理器相通信连接，用于根据中央处理器的指令向外部系统传输数据，其中，中央处理器还包括船舶位置判定部、船舶记录控制部、船型识别部、航道流量统计更新部以及通信部，神经网络模型存储部还存储有用于对船舶目标进行船型识别的船舶分类模型，船舶位置判定部基于航迹信息以及预设的检测线和禁区对船舶目标的所在位置进行判定，若判定船舶目标的所在位置超过检测线，船舶记录控制部就控制船型识别部根据该船舶目标裁剪对应的视频帧图像得到目标图像并将该目标图像输入船舶分类模型从而得到船舶目标的船型，并控制通信部将该船舶目标的船型、航迹信息以及对应的视频帧图像作为一条通航记录发送给数据存储器进行对应存储，进一步在船舶目标离开监测范围后控制航道流量统计更新部对数据存储器中的通航记录进行统计并更新航道流量统计数据；若判定船舶目标的所在位置进入禁区，船舶记录控制部就控制船型识别部根据该船舶目标裁剪对应的视频帧图像得到目标图像并将该目标图像输入船舶分类模型从而得到船舶目标的船型，并控制通信部将该船舶目标的船型以及该船舶目标在一定时间内所有对应的实时监控视频和实时扫描位置作为一条船撞证据记录发送给数据存储器进行对应存储，进一步控制通信部将船撞证据记录发送给数据传输器从而让该数据传输器将该船撞证据记录发送给有关部门。

本发明提供的中小型航道桥梁监控装置，还可以具有这样的技术特征，其中，中央处理器还包括预测模型更新部，预测模型更新部用于在数据存储器中新存储的航迹信息累积到一定数量时采用航迹信息对航迹预测模型进行训练更新。

本发明提供的中小型航道桥梁监控装置，还可以具有这样的技术特征，还包括：用于供电的太阳能板；以及用于蓄电并在太阳能板发电不足时进行供电的蓄电池，其中，蓄电池的容量B_c应用下式计算：

式中，A为安全系数，取1.1～1.4之间；Q_l为负载日平均耗电量，为工作电流乘以日工作小时数；N_l为最长连续阴雨天数；T_o为温度修正系数，一般在0℃以上取1，－10℃以上取1.1，－10℃以下取1.2；C_c为蓄电池放电深度，一般铅酸蓄电池取0.75。

本发明提供的中小型航道桥梁监控装置，还可以具有这样的技术特征，其中，船舶目标识别部针对每个视频帧图像都具体通过如下步骤进行识别：对视频帧图像进行区域分割；将分割后的图像缩放为300×300像素分辨率；将分割并缩放后的图像输入船舶检测模型得到包含标注船舶目标的目标物体框以及对应的类别分数的区域结果；将各个区域结果组合得到对应视频帧图像的全图目标检测结果，视频坐标转换部船舶目标在视频帧图像中的所在位置转换为实际坐标时的过程具体包括如下子步骤：对全图目标检测结果中所有的目标检测框两两进行重叠率判定，若高于阈值，则舍弃对应的类别分数较低的目标检测框，重叠率mIoU的指标为：mIoU＝max{A_I/A₁,A_I/A₂}，式中，A_I为物体框重叠面积，A₁、A₂为两物体框面积；将保留的目标检测框的下角点坐标输入畸变修正函数，得到畸变修正后的修正像素坐标；将修正像素坐标输入坐标变换函数，得到船舶目标的世界坐标观测值并作为实际坐标，坐标变换函数中包含预先设定的摄像头的内参与外参。

本发明提供的中小型航道桥梁监控装置，还可以具有这样的技术特征，其中，数据融合部通过如下步骤完成第一实际坐标以及第二实际坐标的数据融合：遍历所有的第一实际坐标以及第二实际坐标，计算每个实际坐标间的欧氏距离；依照预先设定的关联门限，基于最小近邻原则将欧氏距离小于阈值的两个实际坐标所对应的船舶目标进行关联形成关联目标，并将该关联目标存入同一目标容器，未匹配坐标的船舶目标存入单独的目标容器；分别对每个目标容器对应有的所有实际坐标计算均值得到该目标容器的唯一实际坐标并作为船舶坐标。

本发明提供的中小型航道桥梁监控装置，还可以具有这样的技术特征，其中，跟踪器包含卡尔曼滤波器，航迹信息识别部识别航迹信息的过程具体包括如下步骤：若当前为第一帧，则根据所有船舶目标的船舶坐标初始化每个船舶坐标的航迹；对第二帧及其后帧，基于卡尔曼滤波器对每个航迹进行状态估计并输出航迹预测值；基于最小近邻原则，将当前帧的船舶坐标与航迹预测值进行目标关联并采用被关联的船舶坐标更新对应的航迹；目标关联后，使用当前帧中未匹配的船舶坐标初始化新的航迹并使用该船舶坐标更新未匹配的航迹；检查当前所有的航迹，自动结束长时间未匹配有船舶坐标的航迹、共享同一船舶坐标超过一定时长的较新的航迹以及离开监测范围的航迹。

本发明提供的中小型航道桥梁监控装置，还可以具有这样的技术特征，其中，航迹预测模型包括航迹预测部分以及过桥状态预测部分，航迹预测部通过如下步骤预测并获取航迹预测信息：对当前所有时长大于预设阈值的航迹，获取该航迹在过去的预定时段内所有的船舶坐标作为一个航迹坐标序列；将航迹坐标序列输入航迹预测部分并输出在未来的预定时段内的预测航迹；若航迹表示船舶目标驶向桥区，再次将航迹坐标序列输入过桥状态预测部分并输出抵达桥位时间和通过位置的概率分布，该通过位置的概率分布满足：

式中：p_i为船舶目标从桥位第i个区间通过的概率，n为桥位沿河宽划分的区间数。

发明作用与效果

根据本发明的中小型航道桥梁监控装置，由于通过摄像头对中小型桥梁的航道进行拍摄，并通过目标识别技术识别出视频中的船舶目标及其实际坐标，同时结合雷达探测到的船舶的实际坐标进行数据融合，因此能够更稳定、更全面地实现对航道上所有船舶目标的船舶坐标的实时识别。进一步还通过航迹信息识别部根据获取的船舶坐标识别各个船舶的航迹信息，并通过航迹预测部根据航迹信息预测船舶在未来的航迹预测信息，从而使得预警分析输出部能够根据该航迹预测信息分析船舶是否会撞击桥梁并及时通过警告模块发出警告提醒相应船舶。因此，通过本发明的桥梁监控系统，实现了中小型桥梁上对于防船撞的主动预警，同时仅通过摄像头及雷达采集到的信息完成航迹的预测及警告分析，减少桥梁监控中对硬件设施的要求，减少造价，增加了其在中小型桥梁上应用的可能性。

另外，本发明还通过分置于航道两岸的两个摄像头对航道进行拍摄，并通过目标识别技术分别识别出两个摄像头所拍摄到的视频中的船舶目标及其实际坐标，因此也能够通过数据融合稳定、全面地实现对航道上所有船舶目标的船舶坐标的实时识别，进一步通过识别航迹以及预警分析对即将撞击桥梁的船舶进行及时警告。因此，在中小型桥梁上无合适位置设置桥梁监控系统、或是桥梁上不具有良好视野时，还可以将本发明的桥梁监控系统分置于航道两岸从而完成对航道的监控以及预警。

附图说明

图1是本发明实施例一中桥梁监控装置的安装位置的正视图；

图2是本发明实施例一中桥梁监控装置的安装位置的俯视图；

图3是本发明实施例一中桥梁监控装置的结构正视图；

图4是本发明实施例一中桥梁监控装置的结构侧视图；

图5是本发明实施例一中桥梁监控装置探测范围的示意图；

图6是本发明实施例一中中央处理器的结构框图；

图7是本发明实施例一中桥梁监控装置的预警过程的流程图；

图8是本发明实施例二中桥梁监控装置的安装位置的立体视图；

图9是本发明实施例二中桥梁监控装置的安装位置的俯视图；

图10是本发明实施例二中桥梁监控装置的结构正视图；以及

图11是本发明实施例二中桥梁监控装置的结构侧视图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的中小型航道桥梁监控装置作具体阐述。

<实施例一>

本实施例中，所有中小型航道桥梁监控装置100(以下简称桥梁监控装置)都与一台管理服务器200相通信连接，从而使得管理服务器200能够完成对各个桥梁监控装置100所监控的航道进行数据的收集、管理或是响应。

图1是本实施例中桥梁监控装置的安装位置的正视图、图2是本实施例中桥梁监控装置的安装位置的俯视图。

如图1、图2所示，桥梁监控装置100安装在桥梁的桥面侧边，从而在不影响车辆行驶以驾驶人员视线的位置对航道进行监控。

图3是本实施例中桥梁监控装置的结构正视图、图4为本实施例中桥梁监控装置的结构侧视图。

如图3所示，桥梁监控装置100为一个集成了所需构件从而便于安装的监控装置，包括摄像头1、雷达2、中央处理器3、数据储存器4、数据传输器5、警告模块6、太阳能板7、蓄电池8、用于容纳以上各个构件的封闭外壳9以及用于支撑整个装置的刚性直杆10。

摄像头1用于对航道进行拍摄从而获取实时监控视频。

本实施例中，如图1及图2所示，摄像头1需正对航道的中心线设置，从而获取更大的拍摄范围，同时，如图4所示，摄像头1具有一定的倾角(即图4中摄像头倾角β)，使其能够拍摄到预想的航道范围。当系统离水面较远时，摄像头1需增大焦距，倾角β也应增大；当系统离水面较近，摄像头1需减小焦距，倾角β也应减小。

另外，摄像头1可选用像素高的种类以提高视频检测的精度，但应考虑其数据分析量极大，所需的中央处理器3与数据储存器4都会增大，造成整个装置100的造价增加以及体积增大；也可选用像素低的种类，但随着像素的下降视频识别的距离以及精度都会随之下降。

雷达2用于对航道进行持续扫描从而获取实时扫描结果，同时在扫描到船舶目标时扫描获取各个船舶目标的实时扫描位置。

本实施例中，雷达2选用常用的脉冲式雷达，如图5所示，其侦测半径在2KM左右，保证雷达的侦测半径不小于视频识别的范围。

中央处理器3分别与摄像头1、雷达2、中央处理器3、数据储存器4、数据传输器5、警告模块6、太阳能板7以及蓄电池8相通信连接从而完成装置100的总体控制。本实施例中，中央处理器3主要用于处理摄像头1以及雷达2获取的信息从而完成对船舶目标的分析并做出对应的处理，具体处理过程将在下文详述。

另外，中央处理器3由处理器、主板、内存等组成，本实施例中，中央处理器3选用小型服务机以减小功耗以及方便散热。

数据储存器4主要用于记录船撞事故视频与船舶流量、型号以及航迹信息。

另外，本实施例中，数据储存器4还设有应急储存功能，其主要作用为在装置100受到外力破坏或装置100内部错误导致崩溃时能够将三个小时以内摄像头1以及雷达2全部采集到的信息记录下来。

数据传输器5用于根据中央处理器3的指令向外部系统传输数据。本实施例中，数据传输器5能够在发生船撞事故后将信息及视频证据及时传输有关部门，该数据传输器5进行数据传输的实现方式为4G或5G等无线传输。

警告模块6用于发出声光信号从而警告航道中的船舶，包括视觉警告器601以及听觉警告器602。

视觉警告器601用于通过灯光信号警告船只。本实施例的视觉警告器采用如下标志：在三角与叹号形状内部放置红色RBG灯，该RBG灯在得到警告命令时闪烁，间隔为2秒。

听觉警告器602用于通过听觉信号警告船只。本实施例的听觉警告器采用电声型警报器，该电声型警报器在得到警告命令时发出的频率为500HZ，分贝为100分贝，每秒3次的啭鸣声，以保证声音的传播能力与警告能力。

本实施例中，在中央处理器3得到有危险的判断之后，就会通过警告命令让警告模块6发出声光信号从而向处于危险的船舶目标发出警告，使该船舶目标能够及时调整航线，避免与桥梁发生碰撞。

太阳能板7用于通过太阳能发电从而为装置100供电，便于装置100设置在不具备供电能力的中小桥梁上。

由于选用太阳能供电，因其具有独立运行，硬件设施简便，发电量较大的优点，但应注意到其在阴雨天气发电量不足的缺点，故应配套有蓄电设备。

本实施例中，为保证太阳能板7的发电效果，因此太阳能板7的方位角及倾斜角的设置需要注意：

(1)方位角

考虑到太阳能板7处于桥梁之上，四周没有遮挡物，以及考虑到冬季发电，是太阳能板7的发电量峰值处于正午稍过后的某一时间点，因此太阳能板7的方位角应位于正南偏西南20°之内。

(2)倾斜角(即图4中太阳能板倾斜角α)

根据纬度粗略计算即可，为当地纬度加上0°至10°。

进一步，本实施例中，由于太阳能板7在阴雨天气可能存在发电量不足的缺点，因此装置100还配套有蓄电设备，即蓄电池8。

蓄电池8用于蓄电并在太阳能板7发电不足时为装置100供电。

本实施例中，蓄电池8选用免维护铅酸蓄电池，因其具有免维护、蓄电量大、寿命长的特点，适用于长时间的野外独立工作。

为保证装置100正常工作，蓄电池的容量B_c应用下式计算：

式中，A为安全系数，取1.1～1.4之间；Q_l为负载日平均耗电量，为工作电流乘以日工作小时数；N_l为最长连续阴雨天数；T_o为温度修正系数，一般在0℃以上取1，－10℃以上取1.1，－10℃以下取1.2；C_c为蓄电池放电深度，一般铅酸蓄电池取0.75。

封闭外壳9用于保护装置100内部各个构件不受风、雨等自然因素的影响而并保持良好的工作性能。该封闭外壳9具有一定的抗破坏能力并且有较好的散热能力。

刚性直杆10用于支撑装置100。

本实施例中，为保证桥梁监控装置100离桥面有一定距离、防止人的故意破坏，同时避免摄像头1以及雷达2因为过大震动引起目标检测的大误差，因此如图1所示，刚性直杆10支撑杆的长度应大于2.5m，采用刚度大的材料。

图6是本实施例中中央处理器的结构框图。

如图6所示，中央处理器3包括神经网络模型存储部301、监控信息获取缓存部302、船舶目标识别部303、视频坐标转换部304、雷达坐标转换部305、数据融合部306、航迹信息识别部307、航迹预测部308、预警分析输出部309、船舶位置判定部310、船舶记录控制部311、船型识别部312、航道流量统计更新部313、预测模型更新部314、通信部315以及用于控制上述各部的控制部316。

其中，通信部315用于进行中央处理器3的各个构成部件之间以及中央处理器3与其他器件之间的数据通信。控制部316存储有用于对中央处理器3的各个构成部件的工作进行控制以及对其他器件的工作进行控制的计算机程序。

神经网络模型存储部301存储有预先训练完成的船舶检测模型、航迹预测模型以及船舶分类模型。

本实施例中，船舶检测模型用于从图像中识别出图像中存在的船舶目标以及该船舶目标在图像中的位置。航迹预测模型用于根据船舶目标历史的航迹信息预测出该船舶目标在未来时段内的航迹预测信息。船舶分类模型用于根据被裁剪为对应一个船舶目标的图像识别出图像中船舶的船型。

本实施例中，上述三个模型都采用了常规的具有相应功能的神经网络模型，并且预先通过训练集完成训练后存储在神经网络模型存储部301中。

监控信息获取缓存部302实时获取实时监控视频的视频帧图像以及实时扫描位置并进行缓存。

本实施例中，监控信息获取缓存部302通过建立缓存队列以及与摄像头1和雷达2之间建立传输通道等方式完成信息的实时获取以及缓存。

船舶目标识别部303用于将视频帧图像输入船舶检测模型从而识别得到视频帧图像中的船舶目标及对应的所在位置。

本实施例中，船舶目标识别部303针对每个视频帧图像都具体通过如下步骤进行识别：

步骤1，对视频帧图像进行区域分割；

步骤2，将分割后的图像缩放为300×300像素分辨率；

步骤3，将分割并缩放后的图像输入船舶检测模型得到包含标注船舶目标的目标物体框以及对应的类别分数的区域结果；

步骤4，将各个区域结果组合得到对应视频帧图像的全图目标检测结果。

本实施例中，全图目标检测结果中包含对应的整个视频帧图像中所有船舶目标的目标物体框以及相应的类别分数。

视频坐标转换部304基于摄像头与三维空间的映射关系将船舶目标在视频帧图像中的所在位置转换为对应该船舶目标在三维空间中实际坐标的第一实际坐标。

本实施例中，视频坐标转换部304通过如下步骤将船舶目标在视频帧图像中的所在位置转换为该船舶目标在三维空间中的实际坐标：

步骤1，对全图目标检测结果中所有的目标检测框两两进行重叠率判定，若高于阈值，则舍弃对应的类别分数较低的目标检测框，重叠率mIoU的指标为：

mIoU＝max{A_I/A₁,A_I/A₂}

式中，A_I为物体框重叠面积，A₁、A₂为两物体框面积。

步骤2，将保留的目标检测框的下角点坐标输入畸变修正函数，得到畸变修正后的修正像素坐标；

步骤3，将修正像素坐标输入坐标变换函数，得到船舶目标的世界坐标观测值并作为实际坐标，坐标变换函数中包含预先设定的摄像头的内参与外参。

雷达坐标转换部305用于将实时扫描位置转化为对应船舶目标在三维空间中实际坐标的第二实际坐标。

本实施例中，雷达坐标转换部305可以根据雷达2自带的世界坐标直接计算出船舶目标在三维空间中实际坐标。

数据融合部306用于将第一实际坐标以及第二实际坐标进行数据融合从而得到航道中所有船舶目标的船舶坐标。

本实施例中，数据融合部306具体通过如下步骤进行数据融合：

步骤1，遍历所有的第一实际坐标以及第二实际坐标，计算每个实际坐标间的欧氏距离；

步骤2，依照预先设定的关联门限，基于最小近邻原则将欧氏距离小于阈值的两个实际坐标所对应的船舶目标进行关联形成关联目标，并将该关联目标存入同一目标容器，未匹配坐标的船舶目标存入单独的目标容器；

步骤3，分别对每个目标容器对应有的所有实际坐标计算均值得到该目标容器的唯一实际坐标并作为船舶坐标。

本实施例中，目标容器即为实际的船舶所对应的船舶目标，通过数据融合部306即可将摄像头1以及雷达2识别到的对应同一船舶的坐标进行合并并保留两者单独识别到的船舶的坐标，从而更全面地保证航道中所有的船舶的实际坐标被有效识别。

本实施例中，上述船舶目标识别部303、视频坐标转换部304以及雷达坐标转换部305会持续、依次地对监控信息获取缓存部302获取并缓存的每一帧的数据进行对应处理，并通过数据融合部306将每帧监测得到坐标进行数据融合，从而实现对航道上所有船舶的坐标进行实时获取。

航迹信息识别部307持续将每帧获取的船舶坐标输入预设的跟踪器从而识别出航迹信息，该航迹信息包含各个船舶目标的航行轨迹和速度信息。

本实施例中，跟踪器包含航迹容器、船舶坐标容器和卡尔曼滤波器，航迹坐标容器用于存储各个船舶目标的航迹信息，船舶坐标容器用于存储各个船舶目标的船舶坐标。航迹信息识别部307的具体识别过程包括如下步骤：

步骤1，若当前为第一帧，则根据所有船舶目标的船舶坐标初始化每个船舶坐标的航迹；

步骤2，对第二帧及其后帧，基于卡尔曼滤波器对每个航迹进行状态估计并输出航迹预测值；

步骤3，基于最小近邻原则，将当前帧的船舶坐标与航迹预测值进行目标关联并采用被关联的船舶坐标更新对应的航迹；

步骤4，目标关联后，使用当前帧中未匹配的船舶坐标初始化新的航迹并使用该船舶坐标更新未匹配的航迹；

步骤5，检查当前所有的航迹，自动结束长时间未匹配有船舶坐标的航迹、共享同一船舶坐标超过一定时长的较新的航迹以及离开监测范围的航迹。

通过上述步骤，航迹信息识别部307即可根据每帧识别到的船舶坐标对每个船舶目标的航迹信息进行实时更新。

航迹预测部308用于根据基于航迹信息以及航迹预测模型获取航迹预测信息，该航迹预测信息包含船舶目标在未来时段内的预测航迹、抵达桥位时间和通过位置的概率分布。

本实施例中，航迹预测部308会隔一段时间进行航迹的预测从而避免过于频繁的预测造成中央处理器3的负荷过重，例如间隔5s、10s等。

进一步，在航迹预测部308进行检测时，具体包括如下步骤：

步骤1，对当前所有时长大于阈值(例如设定为10s)的航迹，获取其过去的预定时段(例如设定为10s)的航迹坐标序列(即该航迹对应的)；

步骤2，将航迹坐标序列输入航迹预测模型的航迹预测部分并输出在未来的预定时段内(可自定义)的预测航迹，本实施例中，航迹预测部分为用于航迹预测的循环神经网络(RNN)；

步骤3：对于驶向桥区的船舶目标(通过航迹进行判定)，进一步将航迹坐标序列输入航迹预测模型的抵桥状态预测部分并输出预计抵达桥位时间和通过位置的状态分布，后者满足：

其中：p_i为目标船舶从桥位第i个区间通过的概率，n为桥位沿河宽(桥长)划分的区间数，如河宽400m，区间宽度为10m，则n＝40，其中桥墩所在的区间为关键区间。

预警分析输出部309用于根据航迹预测信息对船舶目标进行分析并在分析出船舶目标可能发生撞击时向警告模块输出预警信号。

本实施例中，预警分析输出部309在进行预警分析会针对每个驶向桥区的船舶目标，对其通过关键区间的概率求和得到撞击概率预测值，进一步：

若船舶目标的撞击概率预测值低于预设阈值，则该船舶目标被标记为正常目标；

若船舶目标的撞击概率预测值高于预设阈值、且对应的预计抵达时间高于预设阈值，则该船舶目标被重点标记，会减小预测间隔并持续关注；

若船舶目标的撞击概率预测值高于预设阈值、且预计抵达时间低于预设阈值的目标，会生成警告命令并通过通信部315发送给警告模块6从而对船舶上的人员进行警告。

在其他实施例中，在预警分析输出部309生成警告命令并发送给警告模块6的同时，也可以采取其他措施，例如通过预先设置的联系方式联系相关人员(管理员、船长等)完成警告。

船舶位置判定部310用于基于各个船舶目标的航迹信息以及预设的检测线和禁区对船舶目标的所在位置进行判定。

船舶记录控制部311用于对装置100中涉及船舶记录管理的部件的工作进行控制，具体对船型识别部312、航道流量统计更新部313以及通信部315涉及船舶记录管理的工作进行控制。

若船舶位置判定部310判定船舶目标的所在位置超过检测线(即表示船舶开始通过桥梁)，船舶记录控制部311就控制船型识别部312识别船舶目标的船型，并控制通信部将该船舶目标的船型、航迹信息以及对应的视频帧图像作为一条通航记录发送给数据存储器4进行对应存储，进一步，在船舶目标离开监测范围后，还控制航道流量统计更新部313对数据存储器4中的通航记录进行统计并更新航道流量统计数据。

本实施例中，数据存储器4中存储有所有被监测到的船舶目标的轨迹信息、船型信息以及截取的图像信息等，从而保证所有监测到的信息被存档。同时还存储有被航道流量统计更新部313随时更新的航道流量统计数据，航道流量统计数据为当前桥梁所对应的航道船舶的通行数量等统计信息。

若船舶位置判定部310判定船舶目标的所在位置进入禁区(即表示船舶撞击了桥梁或是桥墩)，船舶记录控制部311就控制船型识别部312识别船舶目标的船型，并控制通信部315将该船舶目标的船型以及该船舶目标在一定时间内所有对应的实时监控视频和实时扫描位置作为一条船撞证据记录发送给数据存储器4进行对应存储，进一步控制通信部315将船撞证据记录发送给数据传输器5从而让该数据传输器5将该船撞证据记录发送给有关部门。

本实施例中，船型识别部312在识别目标船型时，具体过程为：根据船舶目标对应的目标检测框对视频帧图像进行裁剪，并将裁剪得到的图像输入船舶分类模型从而得到船型。

预测模型更新部314用于在数据存储器4中新存储的航迹信息累积到一定数量时采用航迹信息对航迹预测模型进行训练更新。

本实施例中，数据存储器4中新存储的航迹信息还会被复制存入一个新增航迹数据集，预测模型更新部314通过该新增航迹数据集完成对航迹预测模型的训练更新。在训练完成后，新增航迹数据集会被清空并继续存储新增的航迹信息。

本实施例中，预测模型更新部314的具体过程如下：

步骤1：当新增航迹数据集中的数据量达到阈值后，将新增航迹数据与原有航迹训练集按一定比例混合，组成新的航迹训练集；

步骤2：使用新的航迹训练集对航迹预测模型重新进行训练；

步骤3：将新的航迹预测模型更新至神经网络模型存储部301中，并重置新增航迹数据集。

另外，在实际使用过程中，中央处理器3识别到的船舶坐标还可能因为如下来源产生误差：

(1)、摄像头1在拍摄远距离船舶目标时受相机本身抖动影响较大，信息输入目标识别模型后得到的目标位置信息有较大偏差。

(2)、船舶检测模型中一般将船首位置定为船舶位置，而雷达2有独立算法定位船舶位置，两者对船舶的位置确定会有差别。

因此本实施例的装置100在实际应用中，还需要通过如下方法减少上述来源可能产生的误差。

(1)、增加防抖动算法，在视频信息输入模型之前对信息进行防抖动处理。

(2)、对常规的船舶检测模型进行改进从而使得识别出的船舶位置与雷达定位的船舶位置保持一致。

图7是本实施例中桥梁监控装置的预警过程的流程图。

如图7所示，桥梁监控装置100通过摄像头1以及雷达2采集监控数据并根据这些数据分析及预测船舶的航迹并生成预警的具体过程包括如下步骤：

步骤S1，监控信息获取缓存部302实时获取摄像头1采集的实时监控视频的视频帧图像以及雷达2实时采集的实时扫描位置并进行缓存，然后进入步骤S2；

步骤S2，船舶目标识别部将步骤S1缓存的视频帧图像输入神经网络模型存储部301中存储的船舶检测模型从而识别得到视频帧图像中的船舶目标及其在图像中对应的所在位置，然后进入步骤S3；

步骤S3，视频坐标转换部304基于摄像头1与三维空间的映射关系将船舶目标在视频帧图像中的所在位置转换为对应该船舶目标在三维空间中实际坐标的第一实际坐标，然后进入步骤S4；

步骤S4，雷达坐标转换部305将将步骤S1缓存的实时扫描位置转化为对应船舶目标在三维空间中实际坐标的第二实际坐标，然后进入步骤S5；

步骤S5，数据融合部306将步骤S3得到的第一实际坐标以及步骤S4得到的第二实际坐标进行数据融合从而得到航道中所有船舶目标的船舶坐标，然后进入步骤S6；

步骤S6，航迹信息识别部307持续将每帧通过步骤S5获取的船舶坐标输入预设的跟踪器从而识别出包含各个船舶目标的航行轨迹和速度信息的航迹信息，然后进入步骤S7；

步骤S7，航迹预测部308基于步骤S6得到的航迹信息以及神经网络模型存储部301中存储的航迹预测模型获取包括船舶目标在未来时段内的预测航迹、抵达桥位时间和通过位置的概率分布的航迹预测信息，然后进入步骤S8；

步骤S8，预警分析输出部309根据航迹预测信息分析船舶目标是否可能发生撞击，若可能则进入步骤S9；

步骤S9，向警告模块6发送警告命令从而使该警告模块6发出声光信号警告航道中的船舶。

<实施例二>

本实施例二中，对于与实施例一具有同样结构的构成要素赋予同样的符号并省略相应的说明。

图8是本实施例二中桥梁监控装置的安装位置的立体视图以及图9是本实施例二中桥梁监控装置的安装位置的俯视图。

与实施例一相比，如图8及图9所示，本实施例二采用了两个分别设置在航道的河岸两侧的桥梁监控装置200及桥梁监控装置300。因此当桥梁上不方便设置桥梁监控装置100时、或是桥面上无法拍摄到良好的航道水域监控视频时，可以应用本实施例二所提供的桥梁监控装置200及300进行航道监控。

本实施例中，桥梁监控装置200及300在安装时，应避开前方有遮挡物遮住摄像机拍摄范围的地方，必要时可以增加刚性直杆的长度，但不宜增加过多以免降低直杆刚度而引起摄像机抖动过大。同时两个装置可各自调整方位，错位放置，以达到最大的拍摄范围以及最好的拍摄效果。

图10是本实施例二中桥梁监控装置的结构正视图、图11为本实施例二中桥梁监控装置的结构侧视图。

如图10及图11所示，与实施例一的桥梁监控装置100相比，本实施例中的桥梁监控装置200及300不设置有雷达2，同时由于桥梁监控装置200及300设置在河岸两侧，其视觉警告效果不够明显，因此其警告模块6仅设置有听觉警告器602。

桥梁监控装置200及300的中央处理器的处理内容略有不同，其中一个装置(本实施例以桥梁监控装置200为例)的中央处理器只负责处理本装置上的摄像头1所拍摄到的实时监控视频，并在得到视频帧画面中的船舶目标及所在位置，然后由数据传输器5将这些数据传输至另一装置(本实施例以桥梁监控装置300为例)并进行后续处理。

具体地，本实施例中，桥梁监控装置200的中央处理器2003仅具有神经网络模型存储部301、监控信息获取缓存部302、船舶目标识别部303、视频坐标转换部304、通信部315以及用于控制上述各部的控制部316，在监控信息获取缓存部302获取并缓存第一实时监控视频后通过船舶目标识别部303以及视频坐标转换部304得到该第一实时监控视频中所有船舶目标的第一实际坐标，进一步实时传输给桥梁监控装置300。

本实施例桥梁监控装置300的中央处理器3003与实施例一中桥梁监控装置100的中央处理器3相比，其不具有雷达坐标转换部305，即中央处理器3003包括神经网络模型存储部301、监控信息获取缓存部302、船舶目标识别部303、视频坐标转换部304、数据融合部306、航迹信息识别部307、航迹预测部308、预警分析输出部309、船舶位置判定部310、船舶记录控制部311、船型识别部312、航道流量统计更新部313、预测模型更新部314、通信部315以及用于控制上述各部的控制部316。

本实施例的中央处理器3003中，在监控信息获取缓存部302获取并缓存第二实时监控视频后通过船舶目标识别部303以及视频坐标转换部304得到该第二实时监控视频中所有船舶目标的第二实际坐标。然后，数据融合部306根据该第二实际坐标以及从桥梁监控装置200接收到的第一实际坐标进行数据融合，进一步执行后续操作。

本实施例二中，对于第一实时监控视频与第二实时监控视频的处理方式、数据融合部306进行数据融合的方式以及后续操作都与实施例一中相同，在此不再赘述。

另外，本实施例二的桥梁监控装置200及300在实际使用过程中，摄像机画面受抖动的影响会较小，因此其主要误差来源于远距离船舶的拍摄画面清晰度差，目标识别误差大。因此在实际应用中需要注意增加摄像头像素从而减少误差。

实施例作用与效果

根据本实施例一提供的中小型航道桥梁监控装置，由于通过摄像头对中小型桥梁的航道进行拍摄，并通过目标识别技术识别出视频中的船舶目标及其实际坐标，同时结合雷达探测到的船舶的实际坐标进行数据融合，因此能够更稳定、更全面地实现对航道上所有船舶目标的船舶坐标的实时识别。进一步还通过航迹信息识别部根据获取的船舶坐标识别各个船舶的航迹信息，并通过航迹预测部根据航迹信息预测船舶在未来的航迹预测信息，从而使得预警分析输出部能够根据该航迹预测信息分析船舶是否会撞击桥梁并及时通过警告模块发出警告提醒相应船舶。因此，通过本实施例一的桥梁监控系统，实现了中小型桥梁上对于防船撞的主动预警，同时仅通过摄像头及雷达采集到的信息完成航迹的预测及警告分析，减少桥梁监控中对硬件设施的要求，减少造价，增加了其在中小型桥梁上应用的可能性。

另外，由于实施例二还通过分置于航道两岸的两个摄像头对航道进行拍摄，并通过目标识别技术分别识别出两个摄像头所拍摄到的视频中的船舶目标及其实际坐标，因此也能够通过数据融合稳定、全面地实现对航道上所有船舶目标的船舶坐标的实时识别，进一步通过识别航迹以及预警分析对即将撞击桥梁的船舶进行及时警告。因此，在中小型桥梁上无合适位置设置桥梁监控系统、或是桥梁上不具有良好视野时，可以通过本实施例二的桥梁监控系统完成对航道的监控以及预警。

另外，实施例中，由于还具有船舶位置判定部，因此可以对各个船舶在航道中的实际位置进行判定，若判定超过检测线，则表示船舶已经在通过桥梁，此时会通过船型识别部根据航道监控视频识别出船舶的类型，并通过数据存储器进行记录，从而实现对每个通过当前航道的船只进行数据的采集。同时在船舶离开监测范围后，还可以通过航道流量统计更新部对数据存储器中的船舶信息进行统计。

进一步，实施例中，当船舶位置判定部判定进入禁区，即表示船舶已经发生了碰撞，此时通信部会将对该船舶分析的各个数据以及之前采集的数据作为船撞证据发给数据存储器进行记录，同时通过数据传输器发给有关部门进行相应处理。

另外，实施例中，由于具有预测模型更新部，因此在桥梁监控装置投入工作后，能够不断地根据采集到的航迹信息对航迹预测模型进行训练更新，从而不断提升航迹预测模型的预测能力，更准确地帮助桥梁监控装置进行预警以及分析。

另外，实施例中，由于还设置有太阳能板以及蓄电池，从而使得本实施例的桥梁监控装置能够具有独立的供电系统，更方便在不具有布线、供电等基础设置的中小型桥梁上或是岸边设置，更具有实用性。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

例如，其他实施例中，每个中小型桥梁都可以设置有实施例一或实施例二的桥梁监控装置，并通过一台服务器连接各个桥梁监控装置进行统一管理。

Claims (10)

1.一种中小型航道桥梁监控装置，其特征在于，用于设置在中小型桥梁上并正对航道从而对该航道中船舶目标进行监控，包括：

封闭外壳；

刚性直杆，用于支撑所述封闭外壳并使得该封闭外壳的设置在所述所述中小型桥梁上并正对所述航道的中心线；

摄像头，设置在所述封闭外壳上并正对所述航道的中心线，用于对该航道进行拍摄从而得到相应的实时监控视频；

雷达，设置在所述封闭外壳上，至少用于对所述航道进行持续扫描并在扫描到所述船舶目标时得到对应该船舶目标的位置的实时扫描位置；

警告模块，设置在所述封闭外壳上并至少用于向所述航道中的所述船舶目标发出声光警告；

中央处理器，与所述摄像头、所述雷达以及所述警告模块相通信连接；

太阳能板，设置在所述封闭外壳的顶部表面，用于为所述摄像头、所述雷达、所述警告模块以及所述中央处理器供电；以及

蓄电池，用于蓄电并在所述太阳能板发电不足时进行所述供电，

其中，所述中央处理器包括神经网络模型存储部、监控信息获取缓存部、船舶目标识别部、视频坐标转换部、雷达坐标转换部、数据融合部、航迹信息识别部、航迹预测部以及预警分析输出部，

所述神经网络模型存储部存储有用于对图像中船舶目标进行检测的船舶检测模型以及用于航迹预测和过桥状态预测的航迹预测模型，

所述监控信息获取缓存部实时获取所述实时监控视频的视频帧图像以及所述实时扫描位置并进行缓存，

所述船舶目标识别部用于将所述视频帧图像输入所述船舶检测模型从而识别得到所述视频帧图像中的所述船舶目标及对应的所在位置，

所述视频坐标转换部基于所述摄像头与三维空间的映射关系将所述船舶目标在所述视频帧图像中的所在位置转换为对应该船舶目标在三维空间中实际坐标的第一实际坐标；

所述雷达坐标转换部将所述实时扫描位置转化为对应所述船舶目标在三维空间中实际坐标的第二实际坐标；

所述数据融合部将所述第一实际坐标以及所述第二实际坐标进行数据融合从而得到所述航道中所有船舶目标的船舶坐标，

所述航迹信息识别部持续将每帧获取的所述船舶坐标输入预设的跟踪器从而识别出包含各个所述船舶目标的航行轨迹和速度信息的航迹信息，

所述航迹预测部基于所述航迹信息以及所述航迹预测模型获取包括所述船舶目标在未来时段内的预测航迹、抵达桥位时间和通过位置的概率分布的航迹预测信息，

所述预警分析输出部根据所述航迹预测信息对所述船舶目标进行分析并在分析出所述船舶目标可能发生撞击时向所述警告模块输出预警信号使得该警告模块警告所述船舶目标。

2.根据权利要求1所述的中小型航道桥梁监控装置，其特征在于，还包括：

数据存储器，与所述中央处理器相通信连接；以及

数据传输器，与所述中央处理器相通信连接，用于根据所述中央处理器的指令向外部系统传输数据，

其中，所述中央处理器还包括船舶位置判定部、船舶记录控制部、船型识别部、航道流量统计更新部以及通信部，

所述神经网络模型存储部还存储有用于对所述船舶目标进行船型识别的船舶分类模型，

所述船舶位置判定部基于所述航迹信息以及预设的检测线和禁区对所述船舶目标的所在位置进行判定，

若判定所述船舶目标的所在位置超过所述检测线，所述船舶记录控制部就控制所述船型识别部根据该船舶目标裁剪对应的视频帧图像得到目标图像并将该目标图像输入所述船舶分类模型从而得到所述船舶目标的船型，并控制所述通信部将该船舶目标的所述船型、所述航迹信息以及对应的所述视频帧图像作为一条通航记录发送给所述数据存储器进行对应存储，进一步在所述船舶目标离开监测范围后控制所述航道流量统计更新部对所述数据存储器中的所述通航记录进行统计并更新航道流量统计数据；

若判定所述船舶目标的所在位置进入所述禁区，所述船舶记录控制部就控制所述船型识别部根据该船舶目标裁剪对应的视频帧图像得到目标图像并将该目标图像输入所述船舶分类模型从而得到所述船舶目标的船型，并控制所述通信部将该船舶目标的船型以及该船舶目标在一定时间内所有对应的所述实时监控视频和所述实时扫描位置作为一条船撞证据记录发送给所述数据存储器进行对应存储，进一步控制所述通信部将所述船撞证据记录发送给所述数据传输器从而让该数据传输器将该船撞证据记录发送给有关部门。

3.一种中小型航道桥梁监控装置，其特征在于，具有第一桥梁监控装置以及第二桥梁监控装置，用于分别设置在中小型桥梁的航道的河岸两侧从而对该航道中船舶目标进行监控，所述第一桥梁监控装置包括：

第一封闭外壳；

第一刚性直杆，用于支撑所述封闭外壳并使得该封闭外壳的设置在所述河岸的一侧并面向所述航道；

第一摄像头，设置在所述第一封闭外壳外壳中并面向所述航道，用于对所述航道进行拍摄从而得到相应的第一实时监控视频；

第一警告模块，设置在所述第一封闭外壳外壳中并至少用于向所述航道中的所述船舶目标发出声音警告；

第一中央处理器，设置在所述第一封闭外壳外壳中，并与与所述第一摄像头以及所述第一警告模块相通信连接；

第一数据传输器，与所述第一中央处理器相通信连接，用于根据所述第一中央处理器的指令向外部系统传输数据，

第一太阳能板，用于为所述第一摄像头、所述第一警告模块以及所述第一中央处理器供电；

第一蓄电池，用于蓄电并在所述第一太阳能板发电不足时进行所述供电，

所述第二桥梁监控装置包括：

第二封闭外壳外壳；

第二刚性直杆，用于支撑所述封闭外壳并使得该封闭外壳的所述河岸的另一侧并面向所述航道；

第二摄像头，设置在所述第二封闭外壳外壳中并面向所述航道，用于对所述航道进行拍摄从而得到相应的第二实时监控视频；

第二警告模块，设置在所述第二封闭外壳外壳中并至少用于向所述航道中的所述船舶目标发出声音警告；

第二中央处理器，设置在所述第二封闭外壳外壳中，并与与所述第二摄像头以及所述第二警告模块相通信连接；

第二数据传输器，与所述第二中央处理器以及所述第一数据传输器相通信连接，用于根据所述中央处理器的指令向外部系统传输数据，

第二太阳能板，用于为所述第二摄像头、所述第二警告模块以及所述第二中央处理器供电；

第二蓄电池，用于蓄电并在所述第二太阳能板发电不足时进行所述供电，

其中，所述第一中央处理器包括神经网络模型存储部、第一监控信息获取缓存部、第一船舶目标识别部、第一视频坐标转换部，

所述第二中央处理器包括神经网络模型存储部、第二监控信息获取缓存部、第二船舶目标识别部、第二视频坐标转换部、数据融合部、航迹信息识别部、航迹预测部以及预警分析输出部，

所述神经网络模型存储部存储有用于对图像中船舶目标进行检测的船舶检测模型以及用于航迹预测和过桥状态预测的航迹预测模型，

所述第一监控信息获取缓存部实时获取所述第一实时监控视频的第一视频帧图像并进行缓存，

所述第一船舶目标识别部用于将所述第一视频帧图像输入所述船舶检测模型从而识别得到所述第一视频帧图像中的所述船舶目标及对应的所在位置，

所述第一视频坐标转换部基于所述第一摄像头与三维空间的映射关系分别将所述船舶目标在所述第一视频帧图像中的所在位置转换为对应该船舶目标在三维空间中实际坐标的第一实际坐标；

所述第一数据传输器将所述第一实际坐标传输给所述第二数据传输器，

所述第二监控信息获取缓存部实时获取所述第二实时监控视频的第二视频帧图像并进行缓存，

所述第二船舶目标识别部用于将所述第二视频帧图像输入所述船舶检测模型从而识别得到所述第二视频帧图像中的所述船舶目标及对应的所在位置，

所述第二视频坐标转换部基于所述第二摄像头与三维空间的映射关系分别将所述船舶目标在所述第二视频帧图像中的所在位置转换为对应该船舶目标在三维空间中实际坐标的第二实际坐标；

所述数据融合部将所述第一实际坐标以及所述第二实际坐标进行数据融合从而得到所述航道中所有船舶目标的船舶坐标，

所述航迹信息识别部持续将每帧获取的所述船舶坐标输入预设的跟踪器从而识别出包含各个所述船舶目标的的航迹信息，

所述航迹预测部基于所述航迹信息以及所述航迹预测模型获取包括所述船舶目标在未来时段内的预测航迹、抵达桥位时间和通过位置的概率分布的航迹预测信息，

所述预警分析输出部根据所述航迹预测信息对所述船舶目标进行分析并在分析出所述船舶目标可能发生撞击时向所述警告模块输出预警信号。

4.根据权利要求2所述的中小型航道桥梁监控装置，其特征在于，还包括：

数据存储器，与所述中央处理器相通信连接；以及

其中，所述中央处理器还包括船舶位置判定部、船舶记录控制部、船型识别部、航道流量统计更新部以及通信部，

所述神经网络模型存储部还存储有用于对所述船舶目标进行船型识别的船舶分类模型，

所述船舶位置判定部基于所述航迹信息以及预设的检测线和禁区对所述船舶目标的所在位置进行判定，

若判定所述船舶目标的所在位置超过所述检测线，所述船舶记录控制部就控制所述船型识别部根据该船舶目标裁剪对应的视频帧图像得到目标图像并将该目标图像输入所述船舶分类模型从而得到所述船舶目标的船型，并控制所述通信部将该船舶目标的所述船型、所述航迹信息以及对应的所述视频帧图像作为一条通航记录发送给所述数据存储器进行对应存储，进一步在所述船舶目标离开监测范围后控制所述航道流量统计更新部对所述数据存储器中的所述通航记录进行统计并更新航道流量统计数据；

若判定所述船舶目标的所在位置进入所述禁区，所述船舶记录控制部就控制所述船型识别部根据该船舶目标裁剪对应的视频帧图像得到目标图像并将该目标图像输入所述船舶分类模型从而得到所述船舶目标的船型，并控制所述通信部将该船舶目标的船型以及该船舶目标在一定时间内所有对应的所述实时监控视频和所述实时扫描位置作为一条船撞证据记录发送给所述数据存储器进行对应存储，进一步控制所述通信部将所述船撞证据记录发送给所述数据传输器从而让该数据传输器将该船撞证据记录发送给有关部门。

5.根据权利要求2或4所述的中小型航道桥梁监控装置，其特征在于：

其中，所述中央处理器还包括预测模型更新部，

所述预测模型更新部用于在所述数据存储器中新存储的所述航迹信息累积到一定数量时采用所述航迹信息对所述航迹预测模型进行训练更新。

6.根据权利要求1或3所述的中小型航道桥梁监控装置，其特征在于：

其中，所述蓄电池的容量B_c应用下式计算：

式中，A为安全系数，取1.1～1.4之间；Q_l为负载日平均耗电量，为工作电流乘以日工作小时数；N_l为最长连续阴雨天数；T_o为温度修正系数，一般在0℃以上取1，－10℃以上取1.1，－10℃以下取1.2；C_c为蓄电池放电深度，一般铅酸蓄电池取0.75。

7.根据权利要求1或3所述的中小型航道桥梁监控装置，其特征在于：

其中，所述船舶目标识别部针对每个视频帧图像都具体通过如下步骤进行识别：

对所述视频帧图像进行区域分割；

将分割后的图像缩放为300×300像素分辨率；

将分割并缩放后的图像输入所述船舶检测模型得到包含标注所述船舶目标的目标物体框以及对应的类别分数的区域结果；

将各个所述区域结果组合得到对应所述视频帧图像的全图目标检测结果，

所述视频坐标转换部所述船舶目标在视频帧图像中的所在位置转换为所述实际坐标时的过程具体包括如下子步骤：

对所述全图目标检测结果中所有的所述目标检测框两两进行重叠率判定，若高于阈值，则舍弃对应的所述类别分数较低的目标检测框，所述重叠率mIoU的指标为：

mIoU＝max{A_I/A₁,A_I/A₂}

式中，A_I为物体框重叠面积，A₁、A₂为两物体框面积；

将保留的所述目标检测框的下角点坐标输入畸变修正函数，得到畸变修正后的修正像素坐标；

将所述修正像素坐标输入坐标变换函数，得到所述船舶目标的世界坐标观测值并作为所述实际坐标，所述坐标变换函数中包含预先设定的摄像头的内参与外参。

8.根据权利要求1或3所述的中小型航道桥梁监控装置，其特征在于：

其中，所述数据融合部通过如下步骤完成所述第一实际坐标以及所述第二实际坐标的数据融合：

遍历所有的所述第一实际坐标以及所述第二实际坐标，计算每个实际坐标间的欧氏距离；

依照预先设定的关联门限，基于最小近邻原则将欧氏距离小于阈值的两个实际坐标所对应的船舶目标进行关联形成关联目标，并将该关联目标存入同一目标容器，未匹配坐标的船舶目标存入单独的目标容器；

分别对每个所述目标容器对应有的所有实际坐标计算均值得到该目标容器的唯一实际坐标并作为所述船舶坐标。

9.根据权利要求1或3所述的中小型航道桥梁监控装置，其特征在于：

其中，所述跟踪器包含卡尔曼滤波器，

所述航迹信息识别部识别所述航迹信息的过程具体包括如下步骤：

若当前为第一帧，则根据所有所述船舶目标的船舶坐标初始化每个所述船舶坐标的航迹；

对第二帧及其后帧，基于所述卡尔曼滤波器对每个所述航迹进行状态估计并输出航迹预测值；

基于最小近邻原则，将当前帧的所述船舶坐标与所述航迹预测值进行目标关联并采用被关联的所述船舶坐标更新对应的所述航迹；

目标关联后，使用当前帧中未匹配的所述船舶坐标初始化新的航迹并使用该船舶坐标更新未匹配的航迹；

检查当前所有的航迹，自动结束长时间未匹配有所述船舶坐标的航迹、共享同一船舶坐标超过一定时长的较新的航迹以及离开监测范围的航迹。

10.根据权利要求1或3所述的中小型航道桥梁监控装置，其特征在于：

其中，所述航迹预测模型包括航迹预测部分以及过桥状态预测部分，

所述航迹预测部通过如下步骤预测并获取所述航迹预测信息：

对当前所有时长大于预设阈值的航迹，获取该航迹在过去的预定时段内所有的船舶坐标作为一个航迹坐标序列；

将所述航迹坐标序列输入所述航迹预测部分并输出在未来的预定时段内的所述预测航迹；

若所述航迹表示所述船舶目标驶向桥区，再次将所述航迹坐标序列输入所述过桥状态预测部分并输出所述抵达桥位时间和所述通过位置的概率分布，该通过位置的概率分布满足：

式中：p_i为所述船舶目标从桥位第i个区间通过的概率，n为桥位沿河宽划分的区间数。

Images