CN112381870B - 一种基于双目视觉的船舶识别与航速测量系统及方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的船舶识别与航速测量系统及方法，双目相机采集船舶图像；采用张氏标定法对双目相机进行标定，根据双目相机的内外参数对船舶图像校正；对校正后的船舶图像进行图像增强，并将视觉显著性检测和OTSU分割相结合，从船舶图像中提取船舶的轮廓图并缓存；采用Hu矩特征和HOG特征相结合的船舶特征提取方法，选取支持向量机作为船舶分类器模型，对船舶轮廓图中的船舶进行分类；根据最小外接矩原理对分类后的船舶进行尺寸测量，再基于船舶分类结果，判断船舶是否存在超长或超宽；采用尺度不变特征变换SIFT对船舶轮廓图中已分类的船舶进行特征点的提取及匹配，根据双目测距原理计算出船舶行驶距离，从而得到行驶速度。

Description

一种基于双目视觉的船舶识别与航速测量系统及方法

技术领域

本发明涉及一种基于双目视觉的船舶识别与航速测量系统及一种基于双目视觉的船舶识别与航速测量方法，属于数字图像处理技术领域。

背景技术

随着我国综合实力的全面提高，交通运输在人们的日常生活中占据了越来越重要的位置。内河船运系统也朝着高速化和高效率的方向发展，然而这也带来了许多安全性问题。在内河船运系统给人们带来便利的同时，其引发的事故也频繁，这引起了人们的关注。内河水上交通事故主要有船桥相撞，船船相撞等，严重威胁着船舶航行中的安全，导致损失了大量经济货物以及对内河上的环境也产生严重影响。

如今可视化的监控系统日益发展，进入了智能化、高效化和网络化的时代。譬如在高速公路上的监控系统已经非常完备，在高速上架上摄像机对过往车辆进行抓拍，监控车辆瞬时车速。对超速或者违停的车辆进行处罚，从而可以保证陆上交通的安全。目前这种可视化的监控系统已经应用于多种领域，功能也逐渐强大，但多数用于内河交通的监控系统需要工作人员一直监控屏幕，分析视频中的目标活动。由工作人员一直操作的监控系统很容易出现错误，很多类型的人为因素也会造成错误，从而导致监控的精确度不能保证，耗费了大量的人力和精力也。因此，研究一种智能化的基于双目视觉的船舶检测和船速测量的算法是非常迫切的。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于双目视觉的船舶识别与航速测量系统及一种基于双目视觉的船舶识别与航速测量方法，自动检测运动目标、提取信息、识别目标并且可以自动做出信息判断，能够智能化、高效化地检测出船舶信息，对船舶进行识别分类以及测速，以达到实时性、精准性的检测结果。

为达到上述目的，本发明提供一种基于双目视觉的船舶识别与航速测量方法，包括以下内容：

1)预处理模块：设定各类船舶的船长最大值及各类船舶的船宽最大值；

2)相机采集模块：对双目相机采集的船舶视频或船舶图像进行保存，船舶视频逐帧提取为船舶图像；

3)双目相机标定和校正模块：采用张氏标定法对双目相机进行标定，并得到双目相机的内参数和双目相机的外参数，根据双目相机的内参数和双目相机的外参数对船舶图像进行校正；

4)船舶检测模块：对校正后的船舶图像进行图像增强，并将视觉显著性检测和OTSU分割相结合，从船舶图像中提取船舶的轮廓图，将检测出的船舶轮廓图缓存；

5)船舶识别分类模块：采用Hu矩特征和HOG特征相结合的船舶特征提取方法，并选取支持向量机作为船舶分类器模型，对船舶轮廓图中的船舶进行分类；

6)船舶尺寸测量模块：根据最小外接矩原理对分类后的船舶进行尺寸测量，再基于船舶分类的结果，根据预先设定的各类船舶的船长最大值及各类船舶的船宽最大值，判断船舶是否存在超长或超宽的情况；

7)船舶速度测量模块：针对船舶轮廓图中已分类的船舶，采用尺度不变特征变换SIFT对已分类的船舶进行特征点的提取及匹配，根据双目测距原理计算出船舶行驶距离，从而得到行驶速度。

优先地，船舶检测模块包括以下步骤：

(1)图像预处理：采用ACE自适应对比度增强方法，增强船舶图像中的高频部分，设置一个增益值，并将增益值与船舶图像中的高频部分相乘，重新组合形成增强的船舶图像；

(2)视觉显著性检测：根据判别区域特征集成算法将显著性计算视为一个回归问题，从而计算船舶图像中各区域的显著性，具体的步骤如下：

给定船舶图像I，用一组M级分割P＝{P₁,P₂,...,P_M}表示，P_M是船舶图像I的一个分割部分，船舶图像包括K_m个区域，采用图形的分割方法计算分割

而{P₂,...,P_M}是基于P₁计算的，在P中P_m是通过融合P_m-1中的区域来计算的，m∈[2，M]，其中P_m-1中的区域由一个加权图表示，加权图将空间上相邻的区域连接起来，并对P_m中的区域和P_m-1中的区域按照边的权值递减的顺序依次合并，直到两个区域合并后的权值大于指定的阈值；

通过三种类型的特征表示船舶图像中每个区域，三种类型的特征为区域对比度描述符x_c、区域属描述符x_o和区域背景描述符，船舶图像中每个区域生成一个93维特征向量，再将93维特征向量传递到随机森林回归函数f得到显著性得分，通过训练船舶图像学习随机森林回归因子，根据融合策略的判别特征学习方法，即通过强度比直方图特征进行集成学习提取新的判别特征从而将这些特征融合在一起，每个区域

都有一个显著性值/>

从而生成M个显著性图{Y₁,Y₂,...,Y_M}，融合后得到Y＝g{Y₁,Y₂,...,Y_M}，得到最终的显著性图Y，/>

(3)最大类间方差法OTSU：针对给定的船舶图像I，通过设定的阈值T将船舶图像I分成前景和背景，根据公式g＝w₁(u₁-u)²+w₂(u₂-u)²得到最大类间方差，即所寻找的阈值T，其中w₁定义为船舶图像中前景的像素点个数与整个船舶图像像素点个数的比值，u₁为w₁对应的平均灰度，w₂定义为船舶图像中背景的像素点个数与整个船舶图像像素点个数的比值，u₂为w₂对应的平均灰度。

优先地，在船舶识别分类模块中，具体的步骤如下：

(1)提取船舶的Hu矩特征与HOG特征相结合作为分类器的输入；

(2)由于Hu矩特征与HOG特征的适用范围不同，对Hu矩特征与HOG特征做最大值归一化处理再进行结合，将不同尺寸的船舶图像设置成同样的尺寸；

(3)采用基于支持向量机的识别算法，通过最小化经验误差和最大化几何间隔对目标船舶进行识别分类，采集多个船舶图像作为训练样本，基于核函数对训练样本进行训练和分类得到船舶分类的结果，船舶分类的结果包括货船和客船。

优先地，船舶尺寸测量模块的具体步骤如下：

(1)将目标船舶的轮廓中的每一个像素点进行大小比较，将得到的目标船舶的轮廓的像素集合中所有像素点距离x轴的最大值m_max对应的像素点、所有像素点中距离x轴的最小值m_min对应的像素点、所有像素点中距离y轴的最大值n_max对应的像素点和所有像素点中距离y轴的最小值n_min对应的像素点，根据这四个像素点获得二值化图像的一个外接矩形，以及该外接矩形的中心点和外接矩形的旋转角度θ，将当前外接矩形面积记为W₁；

(2)选择船舶图像中的某个船舶为目标船舶，以目标船舶的图像轮廓的中心点作为中心，将目标船舶的图像轮廓顺时针旋转一个微量角度Δθ，计算该目标船舶的外接矩形面积，记为W₂，比较W₁和W₂的大小，取其中较小值记为W_min，与初始时目标船舶的图像轮廓位置相比较判断目标船舶的图像轮廓顺时针旋转的角度是否大于90°，如果是则进入步骤(3)，否则重复步骤(2)；

(3)W_min对应的外接矩形即为当前目标船舶的最小外接矩形，并记录该最小外接矩形的四个顶点坐标(m_max,n_max)、(m_max,n_min)、(m_min,n_min)和(m_min,n_max)；

(4)为了获取目标船舶真实的长和宽，根据计算出的最小外接矩形四个顶点所对应的世界坐标(m_wmax,n_wmax)、(m_wmax,n_wmin)、(m_wmin,n_wmin)和(m_wmin,n_wmax)，根据公式

求出目标船舶的实际长度l和目标船舶的实际宽度w，基于设定各类船舶的船长最大值及各类船舶的船宽最大值判断目标船舶是否超长或者超宽，并显示判断结果。

优先地，船舶速度测量模块的具体步骤如下：

(1)采用视觉显著性和图像分割OTSU相结合的检测算法，从船舶图像中提取出运动的船舶；

(2)基于SIFT算法对船舶图像进行特征提取，在不同尺度空间检测出运动的船舶的局部特征点，并根据如下公式计算出特征点(x,y)领域像素点的梯度m(x，y)和特征点(x,y)领域像素点的梯度方向θ(x，y)，其中L为关键点的尺度空间值：

(3)在特征点提取的基础上，采用欧式距离对船舶图像中的特征描述符进行匹配，在前一时刻将双目相机中的两个对应的角点匹配为一组，记为A＝{p_l1,p_r1}，同时对后一时刻的船舶图像进行相同的操作，记为B＝{p_l2,p_r2}，根据双目测距原理分别得到A对应的空间坐标(x_w,y_w,z_w)和B对应的(x'_w,y'_w,z'_w)；

(4)通过世界坐标计算出前一时刻双目相机与运动的船舶的距离l_PRE，以及后一时刻双目相机与运动的船舶的距离l_NEXT，得到运动的船舶在前一时刻与后一时刻的时间差内的位移

其中H为双目相机距水面的垂直高度，位移除以前一时刻与后一时刻的时间差的比值即为运动船舶船速。

优先地，得到行驶速度后，实时更新船舶分类的结果、船舶的尺寸和船舶是否存在超长超宽的结果。

优先地，包括双目相机、无人机和工控机，双目相机固定安装在无人机上，双目相机与工控机通信连接。

优先地，双目相机包括两个CMOS高速相机。

本发明所达到的有益效果：

本发明的船舶识别测速系统用智能立体视觉信息处理方式对船舶场景信息进行捕获，双目相机标定和校正模块采用张氏标定法对双目相机进行标定，并得到双目相机的内参数和双目相机的外参数，根据双目相机的内参数和双目相机的外参数对船舶图像进行校正；

船舶检测模块对校正后的船舶图像进行图像增强，并将视觉显著性检测和OTSU分割相结合，从船舶图像中提取船舶的轮廓图，将检测出的船舶轮廓图缓存；

船舶识别分类模块采用Hu矩特征和HOG特征相结合的船舶特征提取方法，并选取支持向量机作为船舶分类器模型，对船舶轮廓图中的船舶进行分类；

船舶尺寸测量模块根据最小外接矩原理对分类后的船舶进行尺寸测量，再基于船舶分类的结果，设定各类船舶的船长最大值及各类船舶的船宽的最大值，判断船舶是否存在超长或超宽的情况；

船舶速度测量模块针对船舶轮廓图中已分类的船舶，采用尺度不变特征变换SIFT对已分类的船舶进行特征点的提取及匹配，根据双目测距原理计算出船舶行驶距离，从而得到行驶速度。本发明有效的对内河运动船舶进行检测、识别分类、船舶尺寸以及速度的测量。本发明的船识别测速系统易于安装，不容易受到环境的影响且检测效果更具有精确性和实时性。

附图说明

图1为本发明的流程图；

图2为本发明的登录界面示意图；

图3为一种基于双目视觉的船舶识别测速系统的主界面；

图4为本发明中判别区域特征集成算法的框架图；

图5为本发明中支持向量机算法的船舶分类流程图；

图6为本发明中船舶测速的示意图。

具体实施方式

以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

需要说明，若本发明实施例中有方向性指示(诸如上、下、左、右、前、后......)，则其仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

实施例1

如图1所示，本发明提出的一种基于双目视觉的船舶识别与航速测量系统由双目实景感知硬件与船舶识别测速系统软件两部分组成。

本发明的一种基于双目视觉的船舶识别与航速测量系统，双目实景感知硬件包括：

无人机1；

双目相机2由两个参数一致的CMOS高速相机组成，并平行搭载在无人机1上；

工控机3连接双目相机2搭载在无人机1上；

一种基于双目视觉的船舶识别与航速测量系统启动后，由已知参数的双目相机不断拍摄船舶图像，并实时将船舶图像传输至工控机，由工控机内设的软件对船舶图像进行智能化的处理，从而达到精确地对船舶进行检测、识别分类以及测速的效果。

所述工控机内设的软件运行以下程序模块：

1.系统管理模块：如图2所示，系统管理员输入账号密码点击登录进入系统管理，登录后的界面如图3所示，选定双目相机camera1和camera2后点击开始按钮打开相机，并将画面实时显示在界面的左侧区域，点击暂停按钮可以暂停画面。当画面中出现船舶时点击保存图片或保存视频，将船舶图像或者视频进行保存。点击检测识别按钮，对图像中的船舶进行在线实时的船舶分类和船舶的长宽测量，并显示检测结果，检测结果包括船舶的分类、船舶的长宽的数据，以及根据预先设定的各类船舶的尺寸数据判断的船舶是否超长、超宽。点击速度测量按钮可以获得船舶的实时行驶速度，完成上述一系列工作之后点击退出界面按钮来关闭系统；

2.相机采集模块：对双目相机实时采集的船舶视频和船舶图像进行保存，船舶视频逐帧提取为船舶图像；

3.双目相机标定和校正模块：采用张氏标定法对实验中需要的双目相机进行标定，并得到双目相机的内参数和双目相机的外参数，根据双目相机的内参数和双目相机的外参数对船舶图像进行校正；

4.船舶检测模块：通过双目相机采集并保存前后时刻的船舶双目图像，对其进行图像增强，将视觉显著性检测和OTSU分割相结合对船舶前景提取，最后将检测出的船舶轮廓图缓存，具体的船舶检测流程如下：

(41)图像预处理：采用ACE自适应对比度增强方法，其核心思想是增强图像中的高频部分，通过设置一个增益值，将其与图像中的高频部分，则重新组合形成增强的图像；

(42)视觉显著性检测：根据判别区域特征集成算法DRFI将显著性计算视为一个回归问题，从而计算各区域的显著性，具体的步骤如下：

给定图像I，用一组M级分割P＝{P₁,P₂,...,P_M}表示，每个P_M是图像I的第M个分割部分，由M个区域组成，采用图形的分割方法计算过分割，而{P₂,...,P_M}是基于P₁计算的，特定的P_m是通过融合P_m-1中的区域来计算的，其中P_m-1中的区域由一个加权图表示，它将空间上相邻的区域连接起来，对区域按照边的权值递减的顺序依次合并，直到两个区域的权值大于指定的阈值；

通过三种类型的特征表示每个区域，三种类型的特征包括区域对比度描述符x_c、区域属描述符x_o和区域背景描述符，为每个区域生成一个93维特征向量，再将特征向量传递到随机森林回归函数f，得到显著性得分，从训练图像区域中学习随机森林回归因子，根据判别策略将这些特征融合在一起，每个区域

都有一个显著性值/>

从而生成M个显著性图{Y₁,Y₂,...,Y_M}，融合后得到Y＝g{Y₁,Y₂,...,Y_M}，则得到最终的显著性图Y，如图4所示；

(43)最大类间方差法OTSU：针对给定的图像I，通过选取合适的阈值将图像I分成两个部分即前景和背景，阈值越合适，前景和背景的差别越大，根据公式g＝w₁(u₁-u)²+w₂(u₂-u)²可以得到最大类间方差，即所寻找的阈值T，其中w₁定义为船舶图像中前景的像素点个数与整个船舶图像像素点个数的比值，u₁为w₁对应的平均灰度，w₂定义为船舶图像中背景的像素点个数与整个船舶图像像素点个数的比值，u₂为w₂对应的平均灰度。

5.船舶识别分类模块：针对图像中检测出来的船舶，采用Hu矩和HOG特征相结合的船舶特征提取方法，并选取支持向量机SVM作为船舶分类器模型，对船舶进行分类；

船舶目标的识别分类可以分为目标特征提取和目标分类识别两块，具体的步骤如下：

(51)在进行目标识别分类之前，对目标进行特征提取是关键的一步，不同类型的船舶图像的Hu矩特征和HOG特征等各不相同，为了减少误判的可能性，根据提取船舶的Hu矩特征与HOG特征相结合作为分类器的输入；

(52)由于Hu矩特征与HOG特征的适用范围不同，对Hu矩特征与HOG特征两个特征做最大值归一化处理再进行结合，同时将不同大小的图像设置成同样的大小，其中特征维数太高可能会使得计算量较大，太低则对样本数量的要求过高，故需要在特征提取之前对图像进行设置，对上述参数值进行设置：M_win×N_win＝256×256，M_block×N_block＝32×32，M_cell×N_cell＝16×16，M_stride×N_stride＝16×16；

(53)对目标船舶进行识别分类，采用基于支持向量机SVM的识别算法，该算法基本思想是通过最小化经验误差和最大化几何间隔实现最佳分类效果，具体的算法流程如图5所示，其中x_i是训练的样本向量，y_i是分类号的结果标记，通过选择合适的核函数对训练样本进行训练、分类并得到分类结果。

6.船舶尺寸测量模块：根据最小外接矩形和双目视觉测距原理对分类后的船舶进行尺寸测量，根据最小外接矩形提取的具体步骤如下：

(61)将得到的船舶轮廓二值化图像中的每一个像素点进行大小比较，得到距离x轴和y轴方向的最大值与最小值m_max、m_min、n_max、n_min，获得当前外接矩的中心点及旋转角度θ，将当前外接矩形面积记为W₁；

(62)选择船舶图像中的某个船舶为目标船舶，以目标船舶的图像轮廓的中心点作为中心，将目标船舶的图像轮廓顺时针旋转一个微量角度Δθ，计算目标船舶的外接矩形面积，记为W₂，比较W₁和W₂的大小，取其中较小值记为W_min；计算其外接矩形的面积，记为W₂；比较W₁和W₂的大小，并将W_min＝min{W₁,W₂}；重复以上操作至θ＞90°；W_min对应的外接矩即为当前目标船舶的最小外接矩，并记录此时的四个顶点坐标，分别是：(m_max,n_max)、(m_max,n_min)、(m_min,n_min)和(m_min,n_max)；

(63)为了获取目标船舶真实的长和宽，根据计算出的最小外接矩的四个顶点的世界坐标，再根据两点之间直线距离求取公式，得到船舶长宽，自动在系统中判断并且显示出船舶是否超长和超宽。

7.船舶速度测量模块：针对船舶图像中已经检测分类的船舶，采用尺度不变特征变换SIFT对目标进行特征点的提取及匹配，根据双目测距原理计算出船舶行驶距离，从而得到行驶速度，具体的测速步骤如下：

(71)根据视觉显著性和图像分割OTSU相结合的检测算法，从船舶图像中提取出运动的船舶；

(72)选择SIFT算法对船舶图像进行特征提取，其实质是在不同尺度空间检测出船舶的局部特征点，并根据如下公式计算出特征点领域像素点的梯度大小和方向，其中L为关键点的尺度空间值；

(73)左右摄像机包括位于左侧的摄像机和位于右侧的摄像机，即两个CMOS高速相机，简称左右摄像机，寻找左右摄像机拍摄出的左右目图像中对应于世界坐标系中同一质点的像素点，在特征点提取的基础上，采用欧式距离对图像中的特征描述符进行匹配，在前一时刻，将左右摄像机中的两个对应的角点匹配为一组，记为A＝{p_l1,p_r1}，同时对后一时刻的图像进行相同的操作，记为B＝{p_l2,p_r2}，根据双目测距模型，可分别得到A、B对应的空间坐标(x_w,y_w,z_w)和(x'_w,y'_w,z'_w)；

(74)通过世界坐标计算出相机与船舶的距离前一时刻距离l_PRE和后一时刻距离l_NEXT，则可得运动的船舶在这段时间的位移

再结合时间差即可得运动船舶船速，测速示意图如图6所示。

在系统运行过程中，将不断重复上述1-7步骤，实时更新船舶分类的结果、船舶的尺寸和船舶是否存在超长超宽的结果，使检测的船舶图像和船舶速度更加接近真实值，达到系统自动化、智能化的船舶识别分类以及测速的效果。

双目相机的内参数和双目相机的外参数是现有技术中公开通用的一种对双目相机进行参数获取的方法，属于常规设置；双目相机、无人机和工控机上述部件在现有技术中可采用的型号很多，本领域技术人员可根据实际需求选用合适的型号，本实施例不再一一举例。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种基于双目视觉的船舶识别与航速测量方法，其特征在于，包括以下内容：

1)预处理模块：设定各类船舶的船长最大值及各类船舶的船宽最大值；

2)相机采集模块：对双目相机采集的船舶视频或船舶图像进行保存，船舶视频逐帧提取为船舶图像；

3)双目相机标定和校正模块：采用张氏标定法对双目相机进行标定，并得到双目相机的内参数和双目相机的外参数，根据双目相机的内参数和双目相机的外参数对船舶图像进行校正；

4)船舶检测模块：对校正后的船舶图像进行图像增强，并将视觉显著性检测和OTSU分割相结合，从船舶图像中提取船舶的轮廓图，将检测出的船舶轮廓图缓存；

5)船舶识别分类模块：采用Hu矩特征和HOG特征相结合的船舶特征提取方法，并选取支持向量机作为船舶分类器模型，对船舶轮廓图中的船舶进行分类；

6)船舶尺寸测量模块：根据最小外接矩原理对分类后的船舶进行尺寸测量，再基于船舶分类的结果，根据预先设定的各类船舶的船长最大值及各类船舶的船宽最大值，判断船舶是否存在超长或超宽的情况；

7)船舶速度测量模块：针对船舶轮廓图中已分类的船舶，采用尺度不变特征变换SIFT对已分类的船舶进行特征点的提取及匹配，根据双目测距原理计算出船舶行驶距离，从而得到行驶速度。

2.根据权利要求1所述的一种基于双目视觉的船舶识别与航速测量方法，其特征在于，船舶检测模块包括以下步骤：

(1)图像预处理：采用ACE自适应对比度增强方法，增强船舶图像中的高频部分，设置一个增益值，并将增益值与船舶图像中的高频部分相乘，重新组合形成增强的船舶图像；

(2)视觉显著性检测：根据判别区域特征集成算法将显著性计算视为一个回归问题，从而计算船舶图像中各区域的显著性，具体的步骤如下：

给定船舶图像I，用一组M级分割P＝{P₁,P₂,...,P_M}表示，P_M是船舶图像I的第M个分割部分，船舶图像包括M个区域，采用图形的分割方法计算分割

而{P₂,...,P_M}是基于P₁计算的，在P中P_m是通过融合P_m-1中的区域来计算的，m∈[2，M]，其中P_m-1中的区域由一个加权图表示，加权图将空间上相邻的区域连接起来，并对P_m中的区域和P_m-1中的区域按照边的权值递减的顺序依次合并，直到两个区域合并后的权值大于指定的阈值；

通过三种类型的特征表示船舶图像中每个区域，三种类型的特征为区域对比度描述符x_c、区域属描述符x_o和区域背景描述符，船舶图像中每个区域生成一个93维特征向量，再将93维特征向量传递到随机森林回归函数f得到显著性得分，通过训练船舶图像学习随机森林回归因子，根据融合策略的判别特征学习方法，即通过强度比直方图特征进行集成学习提取新的判别特征从而将这些特征融合在一起，每个区域

都有一个显著性值/>

从而生成M个显著性图{Y₁,Y₂,...,Y_M}，融合后得到Y＝g{Y₁,Y₂,...,Y_M}，得到最终的显著性图Y，

(3)最大类间方差法OTSU：针对给定的船舶图像I，通过设定的阈值T将船舶图像I分成前景和背景，根据公式g＝w₁(u₁-u)²+w₂(u₂-u)²得到最大类间方差，即所寻找的阈值T，其中w₁定义为船舶图像中前景的像素点个数与整个船舶图像像素点个数的比值，u₁为w₁对应的平均灰度，w₂定义为船舶图像中背景的像素点个数与整个船舶图像像素点个数的比值，u₂为w₂对应的平均灰度。

3.根据权利要求1所述的一种基于双目视觉的船舶识别与航速测量方法，其特征在于，在船舶识别分类模块中，具体的步骤如下：

(1)提取船舶的Hu矩特征与HOG特征相结合作为分类器的输入；

(2)由于Hu矩特征与HOG特征的适用范围不同，对Hu矩特征与HOG特征做最大值归一化处理再进行结合，将不同尺寸的船舶图像设置成同样的尺寸；

(3)采用基于支持向量机的识别算法，通过最小化经验误差和最大化几何间隔对目标船舶进行识别分类，采集多个船舶图像作为训练样本，基于核函数对训练样本进行训练和分类得到船舶分类的结果，船舶分类的结果包括货船和客船。

4.根据权利要求1所述的一种基于双目视觉的船舶识别与航速测量方法，其特征在于，船舶尺寸测量模块的具体步骤如下：

(1)将目标船舶的轮廓中的每一个像素点进行大小比较，将得到的目标船舶的轮廓的像素集合中所有像素点距离x轴的最大值m_max对应的像素点、所有像素点中距离x轴的最小值m_min对应的像素点、所有像素点中距离y轴的最大值n_max对应的像素点和所有像素点中距离y轴的最小值n_min对应的像素点，根据这四个像素点获得二值化图像的一个外接矩形，以及该外接矩形的中心点和外接矩形的旋转角度θ，将当前外接矩形面积记为W₁；

(2)选择船舶图像中的某个船舶为目标船舶，以目标船舶的图像轮廓的中心点作为中心，将目标船舶的图像轮廓顺时针旋转一个微量角度Δθ，计算该目标船舶的外接矩形面积，记为W₂，比较W₁和W₂的大小，取其中较小值记为W_min，与初始时目标船舶的图像轮廓位置相比较判断目标船舶的图像轮廓顺时针旋转的角度是否大于90°，如果是则进入步骤(3)，否则重复步骤(2)；

(3)W_min对应的外接矩形即为当前目标船舶的最小外接矩形，并记录该最小外接矩形的四个顶点坐标(m_max,n_max)、(m_max,n_min)、(m_min,n_min)和(m_min,n_max)；

(4)为了获取目标船舶真实的长和宽，根据计算出的最小外接矩形四个顶点所对应的世界坐标(m_wmax,n_wmax)、(m_wmax,n_wmin)、(m_wmin,n_wmin)和(m_wmin,n_wmax)，根据公式

求出目标船舶的实际长度l、和目标船舶的实际宽度w，基于设定各类船舶的船长最大值及各类船舶的船宽最大值判断目标船舶是否超长或者超宽，并显示判断结果。

5.根据权利要求1所述的一种基于双目视觉的船舶识别与航速测量方法，其特征在于，

船舶速度测量模块的具体步骤如下：

(1)采用视觉显著性和图像分割OTSU相结合的检测算法，从船舶图像中提取出运动的船舶；

(2)基于SIFT算法对船舶图像进行特征提取，在不同尺度空间检测出运动的船舶的局部特征点，并根据如下公式计算出特征点(x,y)领域像素点的梯度m(x，y)和特征点(x,y)领域像素点的梯度方向θ(x，y)，其中L为关键点的尺度空间值：

(3)在特征点提取的基础上，采用欧式距离对船舶图像中的特征描述符进行匹配，在前一时刻将双目相机中的两个对应的角点匹配为一组，记为A＝{p_l1,p_r1}，同时对后一时刻的船舶图像进行相同的操作，记为B＝{p_l2,p_r2}，根据双目测距原理分别得到A对应的空间坐标(x_w,y_w,z_w)和B对应的(x'_w,y'_w,z'_w)；

(4)通过世界坐标计算出前一时刻双目相机与运动的船舶的距离l_PRE，以及后一时刻双目相机与运动的船舶的距离l_NEXT，得到运动的船舶在前一时刻与后一时刻的时间差内的位移

其中H为双目相机距水面的垂直高度，位移除以前一时刻与后一时刻的时间差的比值即为运动船舶船速。

6.根据权利要求1所述的一种基于双目视觉的船舶识别与航速测量方法，其特征在于，得到行驶速度后，实时更新船舶分类的结果、船舶的尺寸和船舶是否存在超长超宽的结果。

7.一种基于双目视觉的船舶识别与航速测量系统，其特征在于，用于执行权利要求1所述的一种基于双目视觉的船舶识别与航速测量方法，包括双目相机、无人机和工控机，双目相机固定安装在无人机上，双目相机与工控机通信连接。

8.根据权利要求7所述的一种基于双目视觉的船舶识别与航速测量系统，其特征在于，双目相机包括两个CMOS高速相机。

Images