CN112598733A - 一种基于多模态数据融合补偿自适应优化的船舶检测方法 - Google Patents

Abstract

本发明公开了一种基于多模态数据融合补偿自适应优化的船舶检测方法，涉及船舶目标检测领域。该方案包括对齐监控摄像头画面坐标和AIS经纬度坐标；根据AIS信息获取船只位置，并转变成画面中船只的位置；通过图像目标检测算法检测监控画面所有船只的位置和大小；比对AIS所检测的船只位置和图像检测的船只位置，进行补偿修正；利用修正后的船只位置对图像目标检测算法进行增量学习，从而提升船只检测的准确率；该船舶检测方法充分利用AIS信息，对图像检测模型进行增量优化学习，无须人工标注即可改善船舶图像检测算法性能，并提高对关闭AIS船只的检测能力，具有适用性强、可靠性高的优点。

Description

一种基于多模态数据融合补偿自适应优化的船舶检测方法

技术领域

本发明涉及船舶目标检测领域，具体涉及一种基于多模态数据融合补偿自适应优化的船舶检测方法。

背景技术

通过视频自动分析的方法，自动检测水面船舶，提取船舶的位置、大小、及外形特征，是作为船舶身份自动识别的必要阶段，因其具备实时、无须人工干预的特点，能极大程度降低海事管理人力成本，成为船舶交通、港口管理等领域重要的信息采集手段。

然而，基于视频图像的船舶目标检测方法容易受到光照、气象条件、遮挡等方面因素的影响，导致检测准确率下降，通常需要基于人工标注的方法，对部署现场的船只图像进行大量人工标注，并对图像检测算法进行增量训练来提升检测的准确率。

近年来，提出了一些结合AIS和监控视频的船舶检测方法，例如：

专利文献CN201811360912.4公布的基于AIS与视频数据融合的船舶身份识别方法，通过匹配AIS中船舶位置与图像中检测到的船舶位置，确定图像中的船舶的身份信息。

专利文献CN201510066588.5公布的基于AIS和CCTV的海事智能监控方法及系统，通过AIS信息计算船舶进入监控区域的时间，调度摄像头进行图像识别。

但是，已有方法仍存在以下三方面不足：

1)依赖AIS信息，无法对部分关闭AIS的船只进行准确检测；

2)基于图像的船舶检测算法没有根据现场环境的自适应优化功能，容易受到光照、气象条件、遮挡等方面因素的影响；

3)AIS与图像处理只是阶段性融合，AIS信息的引入并没有改善船舶图像检测算法本身的性能。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于多模态数据融合补偿自适应优化的船舶检测方法，其包括对齐监控摄像头画面坐标和AIS经纬度坐标；根据AIS信息获取船只位置，并转变成画面中船只的位置；通过图像目标检测算法检测监控画面所有船只的位置和大小；比对AIS所检测的船只位置和图像检测的船只位置，进行补偿修正；利用修正后的船只位置对图像目标检测算法进行增量学习，从而提升船只检测的准确率；该船舶检测方法充分利用AIS信息，对图像检测模型进行增量优化学习，无须人工标注即可改善船舶图像检测算法性能，并提高对关闭AIS船只的检测能力，具有适用性强、可靠性高的优点。

为实现上述发明目的，本发明采取的技术方案如下：

一种基于多模态数据融合补偿自适应优化的船舶检测方法，包括以下步骤：

步骤S1：对齐监控摄像头画面坐标和AIS(Automatic Identification System，船舶自动识别系统)经纬度坐标，建立AIS经纬度坐标和监控摄像头画面坐标的映射关系；

步骤S2：实时处理所接收到的过往船只的AIS信息，将船只的经纬度坐标转变成监控画面中船只的位置坐标；

步骤S3：通过图像目标检测算法实时检测监控画面所有船只的位置和大小；

步骤S4：利用步骤S2中得到的船只位置对步骤S3所获得的船只位置进行补偿修正，并将修正结果输出作为最终船只检测结果；

步骤S5：利用步骤S4中所获得的补偿修正结果对图像目标检测算法进行增量学习。

作为优选，所述步骤S1中，所述AIS经纬度坐标和监控摄像头画面坐标的映射关系的建立过程具体如下：

步骤2.1：根据Haversine公式，计算摄像头所在的位置在水平面上的垂直投影位置O′和摄像头可视范围内的水面任意位置A_i的直线水平距离d_i，单位为m，O′和A_i的经度水平距离s_i，单位为m：

其中：a、b均为中间变量值，O′(λ₀，ψ₀)为摄像头所在的位置在水平面上的垂直投影位置，A_i(λ_i，ψ_i)为摄像头可视范围内的水面任意位置，r为地球半径，单位为m；

步骤2.2：由步骤2.1，计算O′和A_i的连线和地理真北方向的夹角β_i：

步骤2.3：由步骤2.1，计算O′和A_i的连线和垂直线的夹角θ_i：

其中，H为摄像头距离水平面的高度，单位为m；

步骤2.4：计算A_i在监控摄像头画面坐标(x_i，y_i)：

其中，X为图像的像素宽度，Y为像素高度，根据摄像头图像分辨率为X×Y，可得X和Y的参数值；

θ为摄像头中心线与垂直线的夹角，β为摄像头中心线在水平面上的投影和地理真北方向的夹角，ω_x为摄像头水平视场角，ω_y为摄像头垂直视场角。

作为优选，所述步骤S2中，根据AIS经纬度坐标和监控摄像头画面坐标映射关系计算得到A_i在监控摄像头画面坐标(x_i，y_i)即为过往船只在监控画面中的位置坐标。

作为优选，t_i时刻，第i艘船的AIS船只信息集合为{＜t_i,λ_i,ψ_i＞}，根据步骤S1转换得到AIS船只画面位置信息集合Ω_ais＝{＜t_i,x_i,y_i＞}。

作为优选，通过步骤S3中的图像目标检测算法对监控视频中的画面进行实时检测，定位画面中船只的位置和大小，得到图像检测船只位置信息集合Ω_img＝{＜t_k,x_k,y_k＞}，(x_k,y_k)指t_k时刻第k艘船在监控画面中的位置。

作为优选，所述步骤S4中对位置补偿修正过程为：利用步骤S2中转换后的AIS船只位置坐标Ω_ais对步骤S3所获得的图像检测船只位置坐标Ω_img进行补偿修正，具体过程如下：

对于

在Ω_img＝{＜t_k,x_k,y_k＞}中查找时间戳等于t_i的船只位置获得集合：

其中α₁和α₂是两个正常数，当集合Θ_i为空的时候，将＜t_i,x_i,y_i＞补偿到Ω_img中，也即是：Ω_img′←Ω_img∪＜t_i,x_i,y_i＞，并将修正结果Ω_img′输出作为最终船只检测结果。

作为优选，所述步骤S5中的增量学习为采用YOLO V3检测t_i时刻对应的图像I_i，得到输出候选矩形区域中包含位置且置信度最大的区域，采用所有这些检测区域的集合作为模型输出来训练YOLO V3模型。

相对于现有技术，本发明取得了有益的技术效果：

1、根据摄像头的物理参数，对齐AIS经纬度坐标和摄像头画面坐标；

2、利用AIS船只位置对图像检测所得的船只位置进行补偿修正，该补偿修正结果同时融合了AIS船只位置信息和监控图像检测获得的船只位置信息，对关闭AIS的船只也能准确检测，从而提高检测精度和可靠性；

3、利用融合补偿修正结果对图像检测分类器进行增量训练，无须额外人工标注，即可改善船舶图像检测算法本身的性能。

附图说明

图1是本发明实施例中基于多模态数据融合补偿自适应优化的船舶检测方法的流程图。

图2是本发明实施例中AIS经纬度坐标和监控摄像头画面坐标的映射关系计算方法示意图一；

图3是本发明实施例中AIS经纬度坐标和监控摄像头画面坐标的映射关系计算方法示意图二；

图4是本发明实施例中待检测的船只在画面中的位置示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明，但本发明要求保护的范围并不局限于下述具体实施例。

实施例

参考图1，本实施例公开了一种基于多模态数据融合补偿自适应优化的船舶检测方法，包括以下步骤：

S1：对齐监控摄像头画面坐标和AIS(Automatic Identification System，船舶自动识别系统)经纬度坐标，建立AIS经纬度坐标和监控摄像头画面坐标的映射关系；

S2：实时处理所接收到的过往船只的AIS信息，将船只的经纬度坐标转变成监控画面中船只的位置坐标；

S3：通过图像目标检测算法实时检测监控画面所有船只的位置和大小；

S4：利用步骤S2中得到的船只位置对步骤S3所获得的船只位置进行补偿修正，并将修正结果输出作为最终船只检测结果；

S5：利用步骤S4中所获得的补偿修正结果对图像目标检测算法进行增量学习。

其中，步骤S1包括以下步骤：

步骤S2.0：参数获取准备：

如图2～4所示，图3中N示意地理真北方向，测定摄像头距离水平面的高度为H、摄像头中心线与垂直线的夹角为θ、摄像头中心线在水平面上的投影和地理真北方向的夹角为β、摄像头水平视场角为ω_x、摄像头垂直视场角为ω_y、获取摄像头图像分辨率参数信息为X×Y(X为图像的像素宽度，Y为像素高度)；

假定：摄像头画面中心的坐标定为(0,0)，摄像头所在的位置O在水平面上的垂直投影位置为O′，其经纬度为(λ₀，ψ₀)，针对摄像头可视范围内的水面任意位置A_i的经纬度坐标(λ_i，ψ_i)可按如下方式转换为监控摄像头画面坐标(x_i，y_i)；

步骤S2.1：根据Haversine公式，利用O′和A_i的经纬度坐标计算参数d_i，单位为m，d_i为摄像头所在的位置在水平面上的垂直投影位置O′和摄像头可视范围内的水面任意位置A_i的直线水平距离，具体计算过程如下：

其中r是地球半径，单位为m，a为中间变量，a的计算如下：

根据Haversine公式，利用O′和A_i的经纬度坐标计算O′和A_i的经度水平距离为s_i，单位为m，计算如下：

其中r是地球半径，单位为m，b为中间变量，b的计算如下：

步骤2.2：由步骤2.1，计算O′和A_i的连线和地理真北方向的夹角β_i如下：

步骤2.3：由步骤2.1，计算O和A_i的连线和垂直线的夹角θ_i：

步骤2.4：计算A_i在监控摄像头画面坐标(x_i，y_i)如下：

即步骤S2具体过程可总结为：实时处理所接收到的过往船只的AIS信息，获得船只信息集合{＜t_i,λ_i,ψ_i＞}；其中＜t_i,λ_i,ψ_i＞表示检测的第i艘船的位置信息，t_i是时间戳，λ_i是船的经度，ψ_i是纬度；根据步骤S1的位置映射计算方法，计算出每艘船在画面中的位置(x_i,y_i)，从而得到转换后的AIS船只画面位置信息集合Ω_ais＝{＜t_i,x_i,y_i＞}。

在具体的实施过程中，可过滤掉那些AIS信息中和O′的距离d_i超出某个可视范围阈值的船只信息，以达到减少后续匹配计算量的目的，这个可视范围阈值可根据摄像头具体的参数以及安装位置的视野而定，通常设置在1公里到10公里的范围。

步骤S3具体为：通过图像目标检测算法，该目标算法为现有，可参考现有的公开专利：公告号为CN109993163A、名称为一种基于人工智能的非标铭牌识别系统及其识别方法，对监控视频中的每一帧的图像进行实时检测，定位画面中船只的位置和大小，获得图像检测船只位置信息集合Ω_img＝{＜t_k,x_k,y_k＞}；其中t_i是图像帧的获取时间戳，(x_i,y_i)是检测的船只在画面中的位置。

本实施例中采用YOLO V3目标检测模型进行船只检测，并在COCO公开数据集上进行预训练，在可选方案中也可替换成其他的目标检测模型，例如SSD、Faster R-CNN等，不会影响本专利的融合计算过程。

步骤S4具体为：利用步骤S2中得到的船只位置Ω_ais对步骤S3所获得的船只位置Ω_img进行补偿修正，具体过程如下：

对于

在Ω_img＝{＜t_k,x_k,y_k＞}中查找时间戳等于t_i的船只位置获得集合：

其中α₁和α₂是两个正常数。

当集合Θ_i为空的时候，将＜t_i,x_i,y_i＞补偿到Ω_img中，也即是：

Ω_img′←Ω_img∪＜t_i,x_i,y_i＞

并将修正结果Ω_img′输出作为最终船只检测结果，也即融合AIS和图像的船只检测结果。

步骤S5具体为：利用S4中所获得的补偿修正结果Ω_img′对图像目标检测算法进行增量学习，从而提升船只检测的准确率，进一步地，具体而言，对于

获取t_i时刻对应的图像I_i；采用YOLO V3检测I_i，得到输出候选矩形区域中包含位置(x_i,y_i)且置信度最大的区域

其中

是区域的中心位置，w_i和h_i分别是区域的宽度和高度，这些区域的置信度有可能低于预先设定的阈值，而不被YOLO V3模型输出，因此作为修正，采用所有这些检测区域的集合

作为模型输出来训练YOLO V3模型，提高模型对船只的检测精度。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对发明构成任何限制。

Claims (7)

1.一种基于多模态数据融合补偿自适应优化的船舶检测方法，其特征在于，包括以下步骤：

步骤S1：对齐监控摄像头画面坐标和AIS经纬度坐标，建立AIS经纬度坐标和监控摄像头画面坐标的映射关系；

步骤S2：实时处理所接收到的过往船只的AIS信息，将船只的经纬度坐标转变成监控画面中船只的位置坐标；

步骤S3：通过图像目标检测算法实时检测监控画面所有船只的位置和大小；

步骤S4：利用步骤S2中得到的船只位置对步骤S3所获得的船只位置进行补偿修正，并将修正结果输出作为最终船只检测结果；

步骤S5：利用步骤S4中所获得的补偿修正结果对图像目标检测算法进行增量学习。

2.根据权利要求1所述的船舶检测方法，其特征在于，所述步骤S1中，所述AIS经纬度坐标和监控摄像头画面坐标的映射关系的建立过程具体如下：

步骤2.1：根据Haversine公式，计算摄像头所在的位置在水平面上的垂直投影位置O′和摄像头可视范围内的水面任意位置A_i的直线水平距离d_i，单位为m，O′和A_i的经度水平距离s_i，单位为m：

其中：a、b均为中间变量值，O′(λ₀，ψ₀)为摄像头所在的位置在水平面上的垂直投影位置，A_i(λ_i，ψ_i)为摄像头可视范围内的水面任意位置，r为地球半径，单位为m；

步骤2.2：由步骤2.1，计算O′和A_i的连线和地理真北方向的夹角β_i：

步骤2.3：由步骤2.1，计算O′和A_i的连线和垂直线的夹角θ_i：

其中，H为摄像头距离水平面的高度，单位为m；

步骤2.4：计算A_i在监控摄像头画面坐标(x_i，y_i)：

其中，X为图像的像素宽度，Y为像素高度，根据摄像头图像分辨率为X×Y，可得X和Y的参数值；

θ为摄像头中心线与垂直线的夹角，β为摄像头中心线在水平面上的投影和地理真北方向的夹角，ω_x为摄像头水平视场角，ω_y为摄像头垂直视场角。

3.根据权利要求2所述的船舶检测方法，其特征在于，所述步骤S2中，根据AIS经纬度坐标和监控摄像头画面坐标映射关系计算得到A_i在监控摄像头画面坐标(x_i，y_i)即为过往船只在监控画面中的位置坐标。

4.根据权利要求3所述的船舶检测方法，其特征在于，t_i时刻，第i艘船的AIS船只信息集合为{＜t_i,λ_i,ψ_i＞}，根据步骤S1转换得到AIS船只画面位置信息集合Ω_ais＝{＜t_i,x_i,y_i＞}。

5.根据权利要求4所述的船舶检测方法，其特征在于，通过步骤S3中的图像目标检测算法对监控视频中的画面进行实时检测，定位画面中船只的位置和大小，得到图像检测船只位置信息集合Ω_img＝{＜t_k,x_k,y_k＞}。

6.根据权利要求5所述的船舶检测方法，其特征在于，所述步骤S4中对位置补偿修正过程为：利用步骤S2中转换后的AIS船只位置坐标Ω_ais对步骤S3所获得的图像检测船只位置坐标Ω_img进行补偿修正，具体过程如下：

对于

在Ω_img＝{＜t_k,x_k,y_k＞}中查找时间戳等于t_i的船只位置获得集合：

其中α₁和α₂是两个正常数，当集合Θ_i为空的时候，将＜t_i,x_i,y_i＞补偿到Ω_img中，也即是：Ω_img′←Ω_img∪＜t_i,x_i,y_i＞，并将修正结果Ω_img′输出作为最终船只检测结果。

7.根据权利要求6所述的船舶检测方法，其特征在于，所述步骤S5中的增量学习为采用YOLO V3检测t_i时刻对应的图像I_i，得到输出候选矩形区域中包含位置且置信度最大的区域，采用所有这些检测区域的集合作为模型输出来训练YOLO V3模型。

Images