CN114466165A - 基于ais与雷达联动的船舶监控方法 - Google Patents

Abstract

本发明提供了一种基于AIS与雷达联动的船舶监控方法，基于部署于岸基或海上平台的AIS、雷达、摄像机、终端服务器对船舶进行监控，包括：通过AIS接收广播，同时通过雷达不间断扫描水域，获取船舶信息；将船舶信息传输至终端服务器；终端服务器根据船舶信息调动各摄像机转动并跟踪拍摄，并对各摄像机图像进行动态拼接，形成完整全景监控画面；终端服务器将船舶信息及全景视频监控拼接图像实时上传至海事监测云平台，实现远程监控。本发明实现了运输船舶的远程视频监控管理和突发事件发生时的远程实时调度及指挥，减少了财产损失和保障生命安全，为水上交通安全提供了有力的支持和保障，也为海事部门执法提供了有效视频资源。

Description

基于AIS与雷达联动的船舶监控方法

技术领域

本发明属于航运技术领域，具体涉及一种基于AIS与雷达联动的船舶监控方法。

背景技术

水上交通环影复杂，参与者素质及安全意识多样化，各类违规情况给执法及管理带来诸多不便，例如超载、超速、超航道行驶、逆向行驶等，发生事故可能造成严重后果。随着我国航运事业的飞快发展，各种船舶监控技术和产品飞速发展并应用于各类船舶监控领域。

目前在船舶监控领域主要应用模式是在岸基或海上钻井平台布设网络摄像机作为前端视频图像信号的采集，通过网络将图像信号传输至云平台进行本地或远程监控。摄像机是独立部署和独立传输，回传图像和展示也都是独立的，无法展示整体全局的大场景监控画面。目前主流拼接技术是基于硬件摄像头进行拼接，拼接缝比较明显，各图像内容是独立采集和传输，日常监控效率低下。对于图像分析、人工智能等智能场景应用，需要做摄像头追踪，技术实现不够灵活，很多需求难以实现。目前市场也有全景摄像头产品，但镜头是基于单点部署进行360度全景拼接，图像畸变和变形明显。

当前执法及管理部门缺乏对船舶通行情况的有效监管，传统及单一的视频监控无法对船舶进行主动感知、主动记录，应对突发事件无法进行远程实时调度及指挥，缺乏对船舶违法行为的有效取证手段。

发明内容

本发明的目的是提供一种基于AIS与雷达联动的船舶监控方法，通过AIS与雷达同时联动全景视频拼接，实现运输船舶的远程视频监控管理和突发事件发生时的远程实时调度及指挥，减少财产损失和保障生命安全，为水上交通安全提供有力的支持和保障，也为海事部门执法提供有效视频资源。

本发明提供了一种基于AIS与雷达联动的船舶监控方法，基于部署于岸基或海上平台的AIS、雷达、摄像机、终端服务器对船舶进行监控，包括：

步骤1，通过AIS接收广播，同时通过雷达不间断扫描水域，获取船舶信息；

步骤2，将船舶信息传输至终端服务器；

步骤3，终端服务器根据船舶信息调动各摄像机转动并跟踪拍摄，并对各摄像机图像进行动态拼接，形成完整全景监控画面；

步骤4，终端服务器将船舶信息及全景视频监控拼接图像实时上传至海事监测云平台，实现远程监控。

进一步地，所述步骤1包括：

AIS发现异常情况，触发视频监控摄像机，向预设位方向转动，并将图像实时传回控制室，视频监控摄像机发现异常情况，给AIS系统发送警示信号，并在海图上给予支持。

进一步地，所述步骤3包括：

基于图片局部特征进行拼接，包括：

进行图片SIFT特征点查找并进行最邻近配准，采用光束平差法求得相机参数，并利用匹配的特征点计算使得重投影误差最小的图片单应性变形矩阵，最后使用羽化方法进行像素融合以确保图像之间的平滑过渡；

在视频拼接模型中加入图片色调的统一过程，包括：

在校准时首先对三路输入求一个色调平均值，而后在每帧拼接前，将输入帧的色调调整到这个平均值，在完成拼接后，对全图进行直方图均衡，利用剪裁矩形，将全景图中黑边去除。

进一步地，所述步骤3还包括：

将全景图等分为若干个部分，将每个部分交给一个独立的线程，每个分别使用拼接参数计算融合后的图片，在完成各部分的计算之后，将其合并，得到全景图结果。

进一步地，所述步骤3还包括：

在初始化时将拼接参数传入显存中，在每次拼接前，将图片传入显存中，完成拼接过程后将结果读取到内存中，以发挥GPU的并行优势，并保证拼接步骤在GPU上正确地运行。

与现有技术相比本发明的有益效果是：

通过AIS与雷达同时联动全景视频拼接，实现了运输船舶的远程视频监控管理和突发事件发生时的远程实时调度及指挥，减少了财产损失和保障生命安全，为水上交通安全提供了有力的支持和保障，也为海事部门执法提供了有效视频资源。采用的拼接算法在拼接效率和接缝效果上优于常用算法，同时在处理光线变化和相机色差等方面也有更好的效果。

附图说明

图1为本发明基于AIS与雷达联动的船舶监控方法的流程图；

图2为本发明一实时例中系统前端终端系统集成AIS、雷达及摄像机的示意图；

图3为本发明视频拼接模型算法示意图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

参图1、图2所示，本实施例提供了一本发明提供了一种基于AIS与雷达联动的船舶监控方法，基于部署于岸基或海上平台的AIS、雷达、摄像机、终端服务器对船舶进行监控，包括：

步骤1，通过AIS接收广播，同时通过雷达不间断扫描水域，获取船舶信息；

步骤2，将船舶信息传输至终端服务器；

步骤3，终端服务器根据船舶信息调动各摄像机转动并跟踪拍摄，并对各摄像机图像进行动态拼接，形成完整全景监控画面；

步骤4，终端服务器将船舶信息及全景视频监控拼接图像实时上传至海事监测云平台，实现远程监控。

本实施例系统前端由终端服务器集成AIS、雷达及摄像机，岸基或海上平台部署岸基AIS、雷达、多台摄像机和终端服务器，AIS发现异常情况，触发视频监控摄像头，向预设位方向转动，并将图像实时传回控制室，视频监控摄像头发现异常情况，给AIS系统发送警示信号，并在海图上给予支持。

在监控过程中，可能有些船舶未安装AIS的情况，或者即使安装了AIS，但存在AIS故障或者恶意关机情况，本方案基于终端服务器集成雷达技术，通过雷达不间断扫描检测目标水域，主动感知船只信息，同时联动摄相机精准抓拍，记录船只行驶过程，获取船只各个方位的图像信息，通过将雷达与AIS共同联动全景视频监控，为用户提供更加安全可靠的监控管理服务。

通过AIS与雷达同时联动全景视频拼接，本发明实现了运输船舶的远程视频监控管理和突发事件发生时的远程实时调度及指挥，减少了财产损失和保障生命安全，为水上交通安全提供了有力的支持和保障，也为海事部门执法提供了有效视频资源。

本实施例视频监控部分是基于多摄像机的大场景监控系统，采用先进的视频图像拼接技术，将相互关联的视频资源，通过特征提取及归一化，经空间运算分析，去除关联图像间的冗余数据，拼接成为大分辨率的全景图像。将内容相互关联的多个分镜头的视频内容处理为一个独立的完整的视频内容进行应用，实现监控画面无死角、全覆盖，提高整体工作效率，同时基于独立完整的视频内容植入人工智能、图像分析等算法，实现更多智能应用场景。具体内容包括：

1、基于图片局部特征的拼接算法实现

本实施例采用全自动全景拼接方法，首先进行图片SIFT特征点查找并进行最邻近配准，采用了光束平差法求得相机参数和并利用匹配的特征点计算使得重投影误差最小的图片单应性变形矩阵，最后使用羽化方法进行像素融合以确保图像之间的平滑过渡。

2、图片拼接算法的加速及视频拼接的实现

1)视频拼接模型

由于监控摄像头的位置不会在一定时间内出现大幅度的变化，根据这一性质，我们可以假定相机位置不变，只需要在初始化时计算相机参数，对于后续的帧继续使用该相机参数进行拼接，图3展示了根据这一思想设计的视频拼接模型。

测试上文中完成的图像拼接算法中的每一步所需要的时间可以了解到，SIFT关键点查找和最邻近匹配需要2s左右的时间，计算相机参数和变形矩阵需要2s左右的时间，而每一帧的拼接和融合仅需要0.5s左右，由此可见，根据上图中所示的模型，对于每帧的操作仅需要使用拼接参数进行拼接和融合步骤。

不同摄像头拍摄的画面色调有较大的色差，如果直接进行拼接，那么全景图会出现非常明显的隙缝，导致观感有很强的人工合成痕迹，为了解决这一问题，在拼接模型中需要加入对输入图片色调的统一过程。直方图均衡是一种用于调整图像强度以增强对比度的技术，可以使图中的像素强度分布更加均匀，但是单单采用直方图均衡只对单张图片有效，所以这里采用在校准时首先对三路输入求一个色调平均值，而后在每帧拼接前，将输入帧的色调调整到这个平均值，在完成拼接后，对全图进行直方图均衡，就可以使不理想的光照条件场景也能拼接出观感较为理想的全景图结果。最后，为了使输出的全景图更加美观，再利用一个剪裁矩形，将全景图中黑边去除。

2)基于OpenMP的多线程CPU加速

对于多路视频拼接中每一路输入的变形融合操作，两两之间互不影响，并且拼接过程中也不存在对拼接参数的修改，即不存在数据竞争的问题，本实施例使用Fork-Join的方法将全景图等分为若干个部分，将每个部分交给一个独立的线程，每个分别使用拼接参数计算融合后的图片，在完成各部分的计算之后，将其合并，则可以得到全景图结果。

3)基于CUDA的GPU加速

虽然OpenCV库本身自带了使用GPU进行加速的方法，比如可以变形图片的RotationWarper类，其就有对应的GPU类RotationWarperGPU，类似的，OpennCV提供的FeatherBlender也可以选择运行在GPU上，这些集成的方法为实现算法GPU加速提供了便利，但是其存在一个无法避免的弊端在于每次调用上述的OpenCV集成GPU方法时，都需要在GPU运行前后各进行一次GPU和CPU的数据交换。这也就意味着，需要通过不同函数调用实现的图片变形、拼接、融合过程至少需要进行六次显存和内存的交换，而且每张1920*1080的8位RGB图片的大小在5MB左右，对于一个三路拼接的系统，每次拼接光图片就要进行15MB左右的数据交换，再加上需要预先读取的拼接参数，其中图片的映射矩阵和权值矩阵与图片是等大的浮点型矩阵，这些数据交换的过程中消耗了非常多的时间。

根据上述分析以及测试可知，使用OpenCV的集成方法对拼接算法虽然有加速效果，但效果非常有限，经过测试，每次进行显存和内存的数据交换需要大约0.02s左右的时间，总共需要0.1s左右进行一次三路输入的拼接融合的过程，甚至不及使用CPU多线程加速的效果。所以，本实施例通过手动编写CUDA函数，减少内存和显存数据交换的次数，即在初始化时将拼接参数传入显存中，在每次拼接前，将图片传入显存中，完成拼接过程后将结果读取到内存中，才能真正发挥GPU的并行优势，在此之外，还必须保证拼接步骤能够在GPU上正确地运行。

本实施了拼接算法的拼接效率和接缝效果优于常用算法，同时在处理光线变化和相机色差等方面也有更好的效果。

相比APAP算法，本算法考虑了整体观感和拼接缝隙边缘侧信息，有效地减小了缝隙处拼接偏移，在速度和接缝效果上优于APAP算法。

相比AANAP算法，本算法在速度上显著优于AANAP算法。

相比SEAGULL算法，本算法在速度上显著优于SEAGULL算法。

相比基于SIFT的拼接算法，本算法通过加权羽化融合解决了色差问题，且进一步增强了拼接算法对于从早到晚监控画面光线变化的鲁棒性，在处理光线变化和相机色差方面优于现有的基于SIFT的代码与软件。

相比基于SURF的拼接算法，本算法采用了基于SURF作为视频拼接的特征点匹配算法，并在后续拼接速度上利用CUDA编程进行了进一步优化，可将SURF帧率13帧/秒提升到20帧/秒，本方法吸取了基于SURF的算法软件的优点，并且在速度上显著提高。

相比AutoStitch软件，本算法更加清晰，可消除大部分重影，在应用场景中效果更佳。

相比Adobe Photoshop软件，本算法可自动化处理视频流，且操作简单，可独立运行和集成，满足应用场景需求。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (5)

1.一种基于AIS与雷达联动的船舶监控方法，其特征在于，基于部署于岸基或海上平台的AIS、雷达、摄像机、终端服务器对船舶进行监控，包括：

步骤1，通过AIS接收广播，同时通过雷达不间断扫描水域，获取船舶信息；

步骤2，将船舶信息传输至终端服务器；

步骤3，终端服务器根据船舶信息调动各摄像机转动并跟踪拍摄，并对各摄像机图像进行动态拼接，形成完整全景监控画面；

步骤4，终端服务器将船舶信息及全景视频监控拼接图像实时上传至海事监测云平台，实现远程监控。

2.根据权利要求1所述的基于AIS与雷达联动的船舶监控方法，其特征在于，其特征在于，所述步骤1包括：

AIS发现异常情况，触发视频监控摄像机，向预设位方向转动，并将图像实时传回控制室，视频监控摄像机发现异常情况，给AIS系统发送警示信号，并在海图上给予支持。

3.根据权利要求1所述的基于AIS与雷达联动的船舶监控方法，其特征在于，所述步骤3包括：

基于图片局部特征进行拼接，包括：

进行图片SIFT特征点查找并进行最邻近配准，采用光束平差法求得相机参数，并利用匹配的特征点计算使得重投影误差最小的图片单应性变形矩阵，最后使用羽化方法进行像素融合以确保图像之间的平滑过渡；

在视频拼接模型中加入图片色调的统一过程，包括：

在校准时首先对三路输入求一个色调平均值，而后在每帧拼接前，将输入帧的色调调整到这个平均值，在完成拼接后，对全图进行直方图均衡，利用剪裁矩形，将全景图中黑边去除。

4.根据权利要求3所述的基于AIS与雷达联动的船舶监控方法，其特征在于，所述步骤3还包括：

将全景图等分为若干个部分，将每个部分交给一个独立的线程，每个分别使用拼接参数计算融合后的图片，在完成各部分的计算之后，将其合并，得到全景图结果。

5.根据权利要求3所述的基于AIS与雷达联动的船舶监控方法，其特征在于，所述步骤3还包括：

在初始化时将拼接参数传入显存中，在每次拼接前，将图片传入显存中，完成拼接过程后将结果读取到内存中，以发挥GPU的并行优势，并保证拼接步骤在GPU上正确地运行。

Images