CN112687127A

CN112687127A - 一种基于ais与图像分析辅助的船舶定位与抓拍方法

Info

Publication number: CN112687127A
Application number: CN202011511749.4A
Authority: CN
Inventors: 陈伟能; 唐吉
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2020-12-18
Filing date: 2020-12-18
Publication date: 2021-04-20
Anticipated expiration: 2040-12-18
Also published as: CN112687127B

Abstract

本发明公开了一种基于AIS与图像分析辅助的船舶定位与抓拍方法，包括以下步骤：安装摄像头并测量其经纬度信息与高度信息；获取以摄像机位置为原点，初始位置的方位角；获得船舶的实时信息，计算该船舶位置点相对于摄像机安装位置的方位角；获取拍摄船舶的方位角差；获取船舶位置点相对于摄像机安装水平位置的俯仰角，设置新的水平旋转角和俯仰角；计算船舶目标在图像中的矩形框参数；计算检测出的船舶矩形框中心位置与图像画面中心位置在横坐标和纵坐标上的偏移量；计算船舶检测框面积与摄像头画面总面积的比例，控制摄像头变倍放大；设置横坐标方向和纵坐标方向阈值，控制摄像头抓拍图像并保存；S10、控制摄像头变倍回到初始状态。

Description

一种基于AIS与图像分析辅助的船舶定位与抓拍方法

技术领域

本发明属于计算机定位抓拍技术领域，具体涉及一种基于AIS与图像分析辅助的船舶定位与抓拍方法。

背景技术

近些年内河船舶数量快速增长,航道通航密度越来越大,各地相继出现了交通违法增多,安全事故频发,通航秩序混乱的问题.目前水上监管手段智能化不足,主要依赖人工进行视频监控电子巡航,船舶违法抓拍截图.根据实际需求,文中设计并实现了一种利用AIS+摄像头图像处理实现对过往船舶的抓拍,有效解决水上交通监管智能程度不高,执法人员力量不足,空档管理缺位等问题。

由于水上特殊的环境无法直接套用道路交通上的抓拍方法，现有的水上抓拍方法存在如下不足：

(1)基于单一视频检测的抓拍方法受光线及天气影响较大，导致夜间及雨雾天气触发率较低并且通常需要安装多组摄像头；

(2)基于雷达的抓拍方法不易受光线及天气影响，但受限于河面宽度，对于环境复杂或窄航道，水面雷达回波干扰严重等因素影响，误拍率较高，且雷达目前成本较高。

(3)基于AIS的船舶抓拍方法仅能安装在窄航道并将AIS当做类似于激光触发器使用，作用十分有限。

固本发明主要解决如下问题：

(1)准确度高：发明一种船舶抓拍方法，能够有效采集水上船舶图像，具有定位准确、运行效率高的特点；

(2)适用性强:具有一定抗环境干扰能力，适用于多种环境包括内核航道、开放水域、港口码头等；

(3)成本低：利用了AIS信息中地理要素，辅助以图像处理技术，使得使用时无需安装多组设备，降低成本。

发明内容

为了解决上述问题，本发明提供一种一种基于AIS与图像分析辅助的船舶定位与抓拍方法。

本发明至少通过如下技术方案之一实现。

一种基于AIS与图像分析辅助的船舶定位与抓拍方法，包括以下步骤：

S1、安装摄像头并测量安装点的经纬度信息与高度信息记为d；

S2、在待观察水域人工选定一个初始参考点A，并记录其经纬度；将摄像头拍摄中心对准该点作为摄像头初始位置并记录摄像头的初始云台坐标；获取以摄像机位置为原点，初始位置的方位角；

S3、接收AIS信号并解析，获得船舶的实时经纬度位置以及航向、航速、船长信息，根据云台属性不同预留转向时间t和获取的船舶位置点、航向、航速预测船舶t时刻后的具体位置，计算该船舶位置经纬度相对于摄像机安装位置的方位角；

S4、根据预测得到的船舶位置点B、初始参考点A、摄像机安装点O获取拍摄船舶的方位角差；

S5、获取船舶经纬度点相对于摄像机安装水平位置的俯仰角

调用摄像头，设置新的水平旋转角和俯仰角，使得摄像头对准船舶；

S6、采用目标检测神经网络在画面中检测船舶目标，并计算船舶目标在图像中的矩形框参数(x,y,w,h)，以图像坐上角为原点，水平向右为横坐标轴，数值向下为纵坐标轴，x为矩形框左上角横坐标，y为矩形框左上角纵坐标，w为矩形框长度，h为矩形框高度；

S7、计算检测出的船舶矩形框中心位置与图像画面中心位置在横坐标和纵坐标上的偏移量，同时控制摄像头向偏移量减小的方向移动；

S8、计算船舶检测框面积与摄像头画面总面积的比例，当占屏比小于预设值时，控制摄像头变倍放大；

S9、设置横坐标方向和纵坐标方向阈值，重复步骤S7～步骤S8直到偏移量、占屏比都满足预设条件时，控制摄像头抓拍图像并保存；

S10、抓拍完成后，控制摄像头变倍回到初始状态。

优选的，初始位置的方位角θ_A如下：

船舶位置的方位角θ_B如下：

其中A_j、A_w分别为初始参考点经纬度；其中B_j、B_w分别为船舶点经纬度；O_j、O_w分别为摄像机位置点经纬度，且根据参考点和摄像头经纬度点相对位置，当所得初始方位角θ小于360度时有如下约束：

优选的，以竖直向下为正方向，船舶相对于摄像机的俯仰角

其中d为摄像机距离水面高度，dist_B-0是位置B与摄像头安装位置O的距离：

其中O_w为摄像机坐标点纬度；O_j为摄像机坐标点经度；其中B_w为船舶目标点纬度；B_j为船舶目标点点经度。

优选的，所述新的水平旋转角为

其中θ₀为摄像头对准初始位置时的旋转角；新的俯仰角为

其中

为所述的船舶的船舶方位角与初始方位角差

优选的，所述目标检测神经网络为深度学习目标检测网络YOLOV3。

优选的，步骤S6具体为利用从现场以及网络收集到的船舶图片进行标注，并利用深度学习目标检测网络YOLOV3进行训练，得到网络模型文件，利用训练得到的模型文件进行图像目标检测，取置信度大于0.6的目标作为船舶结果输出。

优选的，步骤S7的船舶矩形框中心位置与图像画面中心位置在横坐标和纵坐标上的偏移量分别为：

其中，x为矩形框左上角横坐标，y为矩形框左上角纵坐标，w为矩形框长度，h为矩形框高度，W、H分别为摄像头成像原始图像的长和宽；当

为正时，控制摄像头云台水平向右转动；当

为负时，控制摄像头云台水平向左转动；当

为正时，通过程序控制摄像头云台竖直向上转动；当

为负时，控制摄像头云台竖直向下转动。

优选的，步骤S8船舶检测框面积与摄像头画面总面积的比例记为：

其中W、H分别为摄像头成像图像的长和宽，w为利用上述神经网络检测出的船舶检测框宽度，h为利用上述神经网络检测出的船舶检测框高度，人工设置所需的船舶画面占屏比Kz,当K＜Kz时控制摄像头变倍放大。

优选的，步骤S9包括：设置横坐标方向和纵坐标方向阈值分别为Tx、Ty，Tx取图像长度的八分之一、Ty取图像高度的六分之一，重复步骤S7～步骤S8直到

K≥Kz同时成立，控制摄像头抓拍图像并保存。

优选的，步骤S3是根据根据国际标准AIS协议进行解析。

与现有技术相比，本发明有如下效果：

1、相较于传统方法更稳定，抓拍、定位效果更精准。

2、结合AIS地理信息，利用图像修正，避免了两种方式的弊端。

附图说明

图1为本实施例一种基于AIS与图像分析辅助的船舶定位与抓拍方法的流程图。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

如图1所示的一种基于AIS与图像分析辅助的船舶定位与抓拍方法，包括以下步骤：

S1、采用高精度经纬度测量仪在摄像头位置测量经纬度信息，利用测高仪测量摄像头安装位置距离地面的高度，并加上水面落差。

S2、在谷歌或其他地图系统(与上述测量经纬度相同坐标系)中定位该摄像头区域，在地图上摄像头拍摄区域中寻找标志物点并记录经纬度；将摄像头拍摄中心对准该点作为摄像头初始位置并记录摄像头的初始云台坐标又称P、T、Z坐标(水平旋转角记为θ_O、俯仰角记为

)，获取以摄像机位置为原点，初始位置的方位角(与正北方向夹角)，记为θ_A，方位角θ_A如下：

其中A_j、A_w分别为初始参考点经纬度；O_j、O_w分别为摄像机位置点经纬度，且根据参考点和摄像头经纬度点相对位置，当所得初始方位角θ小于360度时有如下约束：

S3、接收AIS信号并根据国际标准AIS协议进行解析，获得船舶的实时经纬度位置以及航向、航速、船长等信息。根据云台属性不同预留转向时间t，并根据上述获取的船舶位置、航向、航速预测船舶t时刻后的具体位置B，计算该点相对于摄像机安装位置的方位角θ_B。

S4、根据预测得到的船舶位置点B、初始参考点A、摄像机安装点O获取拍摄船舶的方位角差

S5、获取船舶位置点相对于摄像机安装水平位置的俯仰角

其中d为摄像机距离水面高度，distB-0是位置点B与摄像头安装位置O的距离：

其中O_w为摄像机坐标点纬度；O_j为摄像机坐标点经度；其中B_w为船舶目标点纬度；B_j为船舶目标点点经度；

为使得摄像头对准船舶目标，调用摄像头，设置新的水平旋转角

和俯仰角为

S6、采用YOLO神经网络目标检测方法在画面中检测船舶目标并计算船舶目标在图像中的矩形框参数(x,y,w,h)，以图像坐上角为原点，水平向右为横坐标轴，数值向下为纵坐标轴，x为矩形框左上角横坐标，y为矩形框左上角纵坐标，w为矩形框长度，h为矩形框高度；

具体为利用从现场以及网络收集到的大量船舶图像(3000以上)进行标注，并利用yolov3网络模型进行训练，得到网络模型文件。利用训练得到的模型文件在后续操作中进行图像目标检测，取置信度大于0.6的目标作为船舶结果输出。

S7、计算检测出的船舶矩形框中心位置与图像画面中心位置在横坐标和纵坐标上的偏移，记为：

当

为正时，控制摄像头云台水平向右转动；当

为负时，控制摄像头云台水平向左转动；当

为正时，控制摄像头云台竖直向上转动；当

为负时，控制摄像头云台竖直向下转动。

S8、计算船舶检测框面积与摄像头画面总面积的比例(占屏比)记为

其中W、H分别为摄像头成像原始图像的长和宽，w为利用上述神经网络检测出的船舶检测框宽度，h为利用上述神经网络检测出的船舶检测框高度。设置船舶画面占屏比Kz,当K＜Kz时控制摄像头变倍放大，一般的占屏比取0.8为宜；

S9、设置横坐标方向和纵坐标方向阈值Tx、Ty，根据实验结果，一般的Tx取图像长度的八分之一、Ty取图像高度的六分之一为宜。重复步骤S7～步骤S8直到

K≥Kz同时成立，控制摄像头抓拍图像并保存。

S10、抓拍完成后，控制摄像头变倍回到初始状态，结束抓拍单次流程。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于AIS与图像分析辅助的船舶定位与抓拍方法，其特征在于，包括以下步骤：

S5、获取船舶经纬度点相对于摄像机安装水平位置的俯仰角

S10、抓拍完成后，控制摄像头变倍回到初始状态。

2.根据权利要求1所述的一种基于AIS与图像分析辅助的船舶定位与抓拍方法，其特征在于，初始位置的方位角θ_A如下：

船舶位置的方位角θ_B如下：

3.根据权利要求2所述的一种基于AIS与图像分析辅助的船舶定位与抓拍方法，其特征在于，以竖直向下为正方向，船舶相对于摄像机的俯仰角

4.根据权利要求3所述的一种基于AIS与图像分析辅助的船舶定位与抓拍方法，其特征在于，所述新的水平旋转角为

其中θ₀为摄像头对准初始位置时的旋转角；新的俯仰角为

其中

为所述的船舶的船舶方位角与初始方位角差

5.根据权利要求4所述的一种基于AIS与图像分析辅助的船舶定位与抓拍方法，其特征在于，所述目标检测神经网络为深度学习目标检测网络YOLOV3。

6.根据权利要求5所述的一种基于AIS与图像分析辅助的船舶定位与抓拍方法，其特征在于，步骤S6具体为利用从现场以及网络收集到的船舶图片进行标注，并利用深度学习目标检测网络YOLOV3进行训练，得到网络模型文件，利用训练得到的模型文件进行图像目标检测，取置信度大于0.6的目标作为船舶结果输出。

7.根据权利要求6所述的一种基于AIS与图像分析辅助的船舶定位与抓拍方法，其特征在于，步骤S7的船舶矩形框中心位置与图像画面中心位置在横坐标和纵坐标上的偏移量分别为：

为正时，控制摄像头云台水平向右转动；当

为负时，控制摄像头云台水平向左转动；当

为正时，通过程序控制摄像头云台竖直向上转动；当

为负时，控制摄像头云台竖直向下转动。

8.根据权利要求7所述的一种基于AIS与图像分析辅助的船舶定位与抓拍方法，其特征在于，步骤S8船舶检测框面积与摄像头画面总面积的比例记为：

9.根据权利要求8所述的一种基于AIS与图像分析辅助的船舶定位与抓拍方法，其特征在于，步骤S9包括：设置横坐标方向和纵坐标方向阈值分别为Tx、Ty，Tx取图像长度的八分之一、Ty取图像高度的六分之一，重复步骤S7～步骤S8直到▽x≤Tx、▽y≤Ty、K≥Kz同时成立，控制摄像头抓拍图像并保存。

10.根据权利要求8所述的一种基于AIS与图像分析辅助的船舶定位与抓拍方法，其特征在于，步骤S3是根据国际标准AIS协议进行解析。