CN113763484A - 基于视频图像分析技术的船舶目标定位及速度估算方法 - Google Patents

Abstract

本发明公开了一种基于视频图像分析技术的船舶目标定位及速度估算方法，该方法包括：接收双光摄像头采集的多帧船舶图像数据；对船舶图像数据进行预处理，得到图像特征；将图像特征输入预先建立和训练好的目标检测模型，得到待测目标类别和检测框位置；通过摄像头的俯仰角和焦距得到世界坐标系与相机坐标系的转换关系，采用目标定位算法对识别出的待测目标的检测框进行测距和定位，得到同一待测目标在每帧中对应的离散位置信息；根据离散位置信息，计算待测目标在多帧时间间隔下的位置偏移，进而计算得到待测目标的当前速度。本发明的方法利用人工智能图像处理与深度学习算法，可实现亚像素级船舶空间位置定位，据此估算的船舶速度具有高可信性。

Description

基于视频图像分析技术的船舶目标定位及速度估算方法

技术领域

本发明涉及智能航运与图像处理技术领域，尤其涉及基于视频图像分析技术的船舶目标定位及速度估算方法。

背景技术

船舶超速行驶是水上交通事故发生的重要成因之一，对船舶超速行为进行实时监测和预警是水上交通管理部门的重要手段。

目前，对船舶速度的主要监测手段包括：船舶自动识别系统(AIS)、合成孔径雷达(SAR)卫星、船舶姿态监测系统、电子卡口抓拍、视频监测等。在上述方法中，AIS、船舶姿态监测系统需要船舶安装特定的终端设备，船岸通过特定的数据链路进行数据通信，由终端设备向岸上实时或固定时隙播发船舶速度信息。这种方法的主要问题在于，终端设备的控制权在船端，船舶会通过关闭设备，甚至是篡改数据来逃避岸上监管部门的监测。SAR卫星、电子卡口则是从岸端对船舶进行主动监测，具有实时性、不可逃避、不可篡改的优点，但SAR卫星监测手段由于费用较高、卫星同步等问题，在实际使用时仅适用于特定场景和特定示范条件；电子卡口抓拍方法属于静态图像，仅可监测到某一时间点的船舶速度，无法有效拼接连续运行的速度轨迹。

视频监控系统是当前数字航道、智慧航道建设的重要基础感知设施，可以连同AIS对船舶实现连续动态监管，且具有经济实用性。同时，人工智能、图像识别、神经网络方法的技术也为充分挖掘视频监控系统的功效提供了可行的解决方案。

发明内容

本发明的目的在于克服现有技术缺陷，提出了基于视频图像分析技术的船舶目标定位及速度估算方法。

为了实现上述目的，本发明提出了一种基于视频图像分析技术的船舶目标定位及速度估算方法，所述方法包括：

接收双光摄像头采集的多帧船舶图像数据；

对船舶图像数据进行预处理，得到图像特征；

将图像特征输入预先建立和训练好的目标检测模型，得到待测目标类别和检测框位置；

通过摄像头的俯仰角和焦距得到世界坐标系与相机坐标系的转换关系，采用目标定位算法对识别出的待测目标的检测框进行测距和定位，得到同一待测目标在每帧中对应的离散位置信息；

根据离散位置信息，计算待测目标在多帧时间间隔下的位置偏移，进而计算得到待测目标的当前速度。

作为上述方法的一种改进，所述方法还包括在接收双光摄像头采集的多帧船舶图像数据之前对双光摄像头进行标定和畸变矫正。

作为上述方法的一种改进，所述预处理包括：对船舶图像数据依次进行噪声滤除、突出特征和提取特征处理。

作为上述方法的一种改进，所述目标检测模型基于深度神经网络实现，输入为提取的图像特征，输出为待测目标类别和检测框位置；所述待测目标类别用于表示具体的船舶。

作为上述方法的一种改进，所述通过摄像头的俯仰角和焦距得到世界坐标系与相机坐标系的转换关系；具体包括：

以空间中的水平面为xy平面，竖向为z轴方向，相机镜头为原点O，建立空间坐标系xyz；

以相机的光轴方向为Z轴，相机镜头的水平方向为X轴，竖直方向为Y轴，建立相机坐标系XYZ；

相机拍摄的平面为ψ，在平面ψ中建立直角坐标系x₁y₁z₁，其坐标原点o₁位于平面ψ内，o₁在空间坐标系xyz中的坐标为(x₀,y₀,-z₀)，直角坐标系x₁y₁z₁与空间坐标系xyz满足下式：

在相机坐标系XYZ中，相机X方向的视场角为2θ₁，Y方向的视场角为2θ₂，相机X方向的分辨率为N_x，Y方向的分辨率为N_y，则拍摄的为画面A′B′C′D′，相机绕x轴，y轴以及z轴旋转地角度分别为α、β、γ，得到世界坐标与相机坐标的转换关系。

作为上述方法的一种改进，所述采用目标定位算法对识别出的待测目标的检测框进行测距和定位，得到同一待测目标在每帧中对应的离散位置信息；具体包括：

对于相机坐标系下任意一点P，在相机画面中为点P′(i,j)，i表示水平方向像素点个数，j表示竖直方向像素点个数，则OP′方向在X方向以及Y方向的夹角分别为θ₁′和θ₂′，满足下式：

结合世界坐标与相机坐标的转换关系，得到同一待测目标的检测框在每帧中对应的离散位置信息。

作为上述方法的一种改进，所述待测目标的当前速度v_t为：

其中，(x_t,y_t,z_t)和(x_t-1,y_t-1,z_t-1)分别为待测目标在t时刻和t-1时刻的位置信息，Δt为时间间隔。

一种基于视频图像分析技术的船舶目标定位及速度估算方法系统，所述系统包括：接收模块、预处理模块、检测输出模块、离散位置信息计算模块、速度计算模块和目标检测模型；其中，

所述接收模块，用于接收双光摄像头采集的多帧船舶图像数据；

所述预处理模块，用于对船舶图像数据进行预处理，得到图像特征；

所述检测输出模块，用于将图像特征输入预先建立和训练好的目标检测模型，得到待测目标类别和检测框位置；

所述离散位置信息计算模块，用于通过摄像头的俯仰角和焦距得到世界坐标系与相机坐标系的转换关系，采用目标定位算法对识别出的待测目标的检测框进行测距和定位，得到同一待测目标在每帧中对应的离散位置信息；

所述速度计算模块，用于根据离散位置信息，计算待测目标在多帧时间间隔下的位置偏移，进而计算得到待测目标的当前速度。

与现有技术相比，本发明的优势在于：

1、本发明的方法通过深度神经网络对船舶目标进行实时定位，支持与AIS、雷达、北斗等监测设备数据融合，改进了单一监测方法存在的单点不连续、数据篡改、监测设备关闭等存在的技术缺陷，对船舶目标及超速行为的监测具有不可否认性；

2、本发明的方法充分利用现有航道基础设施，可实现连续动态的船舶速度估算，且具有经济实用性；

3、本发明的方法利用人工智能图像处理与深度学习算法，可实现亚像素级船舶空间位置定位，据此估算的船舶速度具有高可信性。

附图说明

图1是相机坐标系XYZ与空间坐标系xyz；

图2是相机坐标系下图像像素关系；

图3是空间坐标系下拍摄区域；

图4是相机安装高度对实际测量精度影响曲线图；

图5是稀疏后的相机安装高度对实际测量精度影响曲线图；

图6是本发明采用的深度神经网络结构示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案进行详细的说明。

实施例1

本发明的实施例1提出了基于视频图像分析技术的船舶目标定位及速度估算方法。单目视觉距离估计算法设计通过利用预先测量的相机安装高度为基准，再利用相机坐标系与世界坐标系的转换关系，结合实时计算获取的相机角度(相机俯仰角、相似水平的偏转角)，从而估计出测量目标的距离。算法具体实现如下：

如图1所示，以空间中的水平面为xy平面，竖向为z轴方向建立直角坐标系xyz，该坐标系为整体空间坐标系。以相机的光轴方向为Z轴，相机镜头的水平方向为X 轴，竖直方向为Y轴建立相机直角坐标系。通过相机拍摄平面ψ，所拍摄到的平面ψ的范围为面ABCD，而区域ABCD在相机中的成像平面为A′B′C′D′。

在平面ψ中建立直角坐标系x₁y₁z₁，其坐标原点o₁位于平面ψ内，根据测试现场人为的选定即可，此处在平面ψ中任意选择一点o₁，则该点在整体直角坐标xyz中的坐标为(x₀,y₀,-z₀)，其x₁轴和y₁轴分别平行于整体直角坐标xyz的x轴和y轴。z₁轴垂直于平面ψ。则直角坐标系x₁y₁z₁与xyz之间的关系为：

在相机坐标系XYZ中，相机的X方向的视场角为2θ₁，Y方向的视场角为2θ₂，相机X方向的分辨率为N_x，Y方向的分辨率为N_y，则拍摄的画面A′B′C′D′如图2 所示，像素的分布从左上角依次增大到右下角。所拍摄的区域ABCD如图1所示。图中由于相机所拍摄画面区域较大，通常采用广角镜头，因此所拍摄的图像会造成“近小远大”的图像像差，需要进一步通过算法修正像差。图1中的任意一点P在图像中的成像位置为点P′。

图2是相机坐标系下图像像素关系；图3是空间坐标系下拍摄区域。在图3中对于任意一点P，其在相机画面中为点P′(如图2所示)，点P′在图像中的位置通过红外数字图像处理得到其像素的坐标位置，假定其像素坐标为(i,j)(i表示水平方向像素点个数，j表示竖直方向像素点个数)。

相机绕x轴，y轴以及z轴旋转地角度分别为α、β、γ。分别绕x，y，z轴旋转其方程为：

其中：

r₁＝cosβcosγ

r₂＝cosβsinγ

r₃＝-sinβ

r₄＝sinαsinβcosγ-cosαsinγ

r₅＝sinαsinβsinγ+cosαcosγ

r₆＝sinαcosβ

r₇＝cosαsinβcosγ+sinαsinγ

r₈＝cosαsinβsinγ-sinαcosγ

r₉＝cosαcosβ

则OP′方向在X方向以及Y方向的夹角分别为θ′₁和θ′₂，则有以下关系式：

则在坐标系xyz(以相机镜头为原点的世界坐标，水平的)中，P点坐标为：

z＝-z₀

通过上述转换，就能建立起图像所拍摄区域ABCD中像素点与所拍摄区域中实际位置的一一对应关系。

实验基于可见光摄像头拍摄画面最大分辨率(图像分辨率为1920*1080)，为了便于分析假定目标位置像素位于图像竖直方向中轴线(即Y轴)上，调整设备的安装高度和俯角，始终保持让画面中心,即像素点(x,y)＝(960,540),对准500米远处,便可计算出Y轴上其余像素点的距离，得到不同位置单个像素的误差大小。

通过仿真得到安装高度与测量距离以及Y轴像素坐标三者的关系图，该图可以反映出安装高度对测量精度的影响的变化情况，具体如图2所示。

如图4所示，将镜头画面中心点指向500米处时，pix Y轴(即画面纵向中心线上每个像素点，像素数值由大到小对应画面位置由远及近，y＝540处对应测量最远点500米位置)在不同相机高度下对应的测量距离数值大小，即构成图4的三维曲面。从图中可以看出，随着高度减小，曲线急剧变得陡峭，为了便于观察，图5给出稀疏后的图像。

选取典型的测量数据，计算出画面中心点相邻的单位像素的距离误差，具体结果如下：

表1误差结果

上述同样基于仿真实验，使用的可见光摄像头拍摄画面(图像分辨率为1920*1080)，调整设备的安装高度和俯角，始终保持画面中心对准500米远处。如上表所示，随着安装高度的增加，设备的俯角也随之增大，远处物体才能以更多像素形式成像在画面中，此时图像上单个像素误差为表中最后一列所示。理想情况下，若以检测时图像上误差不超过单位像素，以500米范围要求，实际测量误差控制在10米精度至少需要17米的安装高度，若想实际测量误差控制在5米以内，则至少需满足设备安装高度不低于34米。

速度估计是基于上述目标定位算法的结果实现的。首先，我们可以利用目标定位算法对多帧图像中的目标分别进行定位，得到目标多帧对应的离散位置信息，通过计算出多帧时间间隔下目标的位置偏移，从而估计出当前目标的速度。

采用深度学习目标检测算法，即利用预先训练的深度神经网络(DNN)，根据预知的目标特征对图像目标进行处理分析(例如滤除噪声，突出特征，提取特征等)，识别并确定与目标最吻合的位置，完成在图像上对检测目标的精准识别，定位图像像素位置。具体的DNN网络结构如图6所示，DNN内部神经网络层分为三类，即输入层，隐藏层和输出层。一般来说第一层是输入层，最后一层是输出层，隐藏层位于输入层与输出层之间。层与层之间为全连接关系，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连，但是从小的局部模型来说呈简单线性关系。

在此分析定位过程中，采用浮点计算，可实现对目标优于整像素定位精度的定位，能够实现亚像素级别的精度，因此，测量结果的有效值精度较高。

然后，利用标定技术对双光摄像头进行标定和畸变矫正，使得图像坐标系和现实世界坐标系的对应关系更加准确，之后便可通过摄像头的俯仰角和焦距得到坐标转换关系，对目标检测算法识别出的目标进行测距和定位。

实施例2

本发明的实施例2提出了一种基于视频图像分析技术的船舶目标定位及速度估算方法系统，基于实施例1的方法实现，所述系统包括：接收模块、预处理模块、检测输出模块、离散位置信息计算模块、速度计算模块和目标检测模型；其中，

所述接收模块，用于接收双光摄像头采集的多帧船舶图像数据；

所述预处理模块，用于对船舶图像数据进行预处理，得到图像特征；

所述检测输出模块，用于将图像特征输入预先建立和训练好的目标检测模型，得到待测目标类别和检测框位置；

所述离散位置信息计算模块，用于通过摄像头的俯仰角和焦距得到世界坐标系与相机坐标系的转换关系，采用目标定位算法对识别出的待测目标的检测框进行测距和定位，得到同一待测目标在每帧中对应的离散位置信息；

所述速度计算模块，用于根据离散位置信息，计算待测目标在多帧时间间隔下的位置偏移，进而计算得到待测目标的当前速度。。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于视频图像分析技术的船舶目标定位及速度估算方法，所述方法包括：

接收双光摄像头采集的多帧船舶图像数据；

对船舶图像数据进行预处理，得到图像特征；

将图像特征输入预先建立和训练好的目标检测模型，得到待测目标类别和检测框位置；

通过摄像头的俯仰角和焦距得到世界坐标系与相机坐标系的转换关系，采用目标定位算法对识别出的待测目标的检测框进行测距和定位，得到同一待测目标在每帧中对应的离散位置信息；

根据离散位置信息，计算待测目标在多帧时间间隔下的位置偏移，进而计算得到待测目标的当前速度。

2.根据权利要求1所述的基于视频图像分析技术的船舶目标定位及速度估算方法，其特征在于，所述方法还包括在接收双光摄像头采集的多帧船舶图像数据之前对双光摄像头进行标定和畸变矫正。

3.根据权利要求1所述的基于视频图像分析技术的船舶目标定位及速度估算方法，其特征在于，所述预处理包括：对船舶图像数据依次进行噪声滤除、突出特征和提取特征处理。

4.根据权利要求1所述的基于视频图像分析技术的船舶目标定位及速度估算方法，其特征在于，所述目标检测模型基于深度神经网络实现，输入为提取的图像特征，输出为待测目标类别和检测框位置；所述待测目标类别用于表示具体的船舶。

5.根据权利要求1所述的基于视频图像分析技术的船舶目标定位及速度估算方法，其特征在于，所述通过摄像头的俯仰角和焦距得到世界坐标系与相机坐标系的转换关系；具体包括：

以空间中的水平面为xy平面，竖向为z轴方向，相机镜头为原点O，建立空间坐标系xyz；

以相机的光轴方向为Z轴，相机镜头的水平方向为X轴，竖直方向为Y轴，建立相机坐标系XYZ；

相机拍摄的平面为ψ，在平面ψ中建立直角坐标系x₁y₁z₁，其坐标原点o₁位于平面ψ内，o₁在空间坐标系xyz中的坐标为(x₀,y₀,-z₀)，直角坐标系x₁y₁z₁与空间坐标系xyz满足下式：

在相机坐标系XYZ中，相机X方向的视场角为2θ₁，Y方向的视场角为2θ₂，相机X方向的分辨率为N_x，Y方向的分辨率为N_y，则拍摄的为画面A′B′C′D′，相机绕x轴，y轴以及z轴旋转地角度分别为α、β、γ，得到世界坐标与相机坐标的转换关系。

6.根据权利要求4所述的基于视频图像分析技术的船舶目标定位及速度估算方法，其特征在于，所述采用目标定位算法对识别出的待测目标的检测框进行测距和定位，得到同一待测目标在每帧中对应的离散位置信息；具体包括：

对于相机坐标系下任意一点P，在相机画面中为点P′(i,j)，i表示水平方向像素点个数，j表示竖直方向像素点个数，则OP′方向在X方向以及Y方向的夹角分别为θ′₁和θ′₂，满足下式：

结合世界坐标与相机坐标的转换关系，得到同一待测目标的检测框在每帧中对应的离散位置信息。

7.根据权利要求4所述的基于视频图像分析技术的船舶目标定位及速度估算方法，其特征在于，所述待测目标的当前速度v_t为：

其中，(x_t,y_t,z_t)和(x_t-1,y_t-1,z_t-1)分别为待测目标在t时刻和t-1时刻的位置信息，Δt为时间间隔。

8.一种基于视频图像分析技术的船舶目标定位及速度估算方法系统，其特征在于，所述系统包括：接收模块、预处理模块、检测输出模块、离散位置信息计算模块、速度计算模块和目标检测模型；其中，

所述接收模块，用于接收双光摄像头采集的多帧船舶图像数据；

所述预处理模块，用于对船舶图像数据进行预处理，得到图像特征；

所述检测输出模块，用于将图像特征输入预先建立和训练好的目标检测模型，得到待测目标类别和检测框位置；

所述离散位置信息计算模块，用于通过摄像头的俯仰角和焦距得到世界坐标系与相机坐标系的转换关系，采用目标定位算法对识别出的待测目标的检测框进行测距和定位，得到同一待测目标在每帧中对应的离散位置信息；

所述速度计算模块，用于根据离散位置信息，计算待测目标在多帧时间间隔下的位置偏移，进而计算得到待测目标的当前速度。

Images