CN113686314A - 船载摄像头的单目水面目标分割及单目测距方法 - Google Patents

Abstract

本发明公开了一种船载摄像头的单目水面目标分割及单目测距方法，包括：S1、从船载摄像头拍摄的视频流中按帧读取图像；S2、针对抽取的关键帧，对所有出现在视觉范围内的环境进行目标检测，从中筛选出目标；S3、基于筛选出的目标和实际的应用场景，进行二维边界框框定和图像分割，获取当前视频帧中目标信息；S4、根据激光测距获取的距离数据及目标信息，计算目标对应的传感器系数；S5、根据建立的几何关系测距模型，并利用目标对应的传感器系数，计算目标与单目摄像头之间的水平距离；S6、根据目标与单目摄像头之间的水平距离，建立视场角优化模型进行视场角优化，获得目标与单目摄像头之间的距离。本发明方法具备较高的测量精度，且泛化能力较强。

Description

船载摄像头的单目水面目标分割及单目测距方法

技术领域

本发明涉及船载测距技术领域，具体涉及一种船载摄像头的单目水面目标分割及单目测距方法。

背景技术

小孔成像视觉测距原理技术是当前图像和视频目标测距和识别的基础方法，它的提出让很多船舶设备在传感器设备的图像数据处理上提供了一种新的思路。在船舶设备采取单目摄像头进行目标数据采集时，采用小孔成像视觉技术进行测距和识别，其测距的原理较为简单方便并且数据的利用率较高，因此逐渐发展成现阶段的主流测距研究方向。

单目测距算法可以分为三类：以成像模型为基础的测距算法、以数学回归建模为基础的测距算法和以几何关系推导为基础的测距算法。以成像模型为基础的测距算法必须事先获得船舶测量目标的实际高度或者宽度，在实际的运用过程中并不适用。而以数学回归建模为基础的测距算法则要用到大量的数据集并且通过已有数据集进行数学建模，一旦数据集更换，模型就不再适用，泛化能力较差。与前面两种测距算法相比，以几何关系推导为基础的测距算法仅需要相机的内参和外参，显然这种算法具有更好的泛化能力和适用性能。Stein等提出了相似三角形测距算法的基础模型，并讨论了像素误差对测距精度的影响。随后，Liu等在此基础上考虑了相机姿态角pitch(俯仰角)对测距的影响；后期又在此模型上进行了大量的运用实践，但未进行更深入的理论研究。

现阶段，在单目视觉方面的测距方法在结合机器学习和深度学习的技术时，需要用到较为庞大的数据集来对测距模型进行训练，而且这种方法训练出来的模型的泛化能力往往不够理想，模型效果受到很多因素的影响，所以在进行船舶搭载单目视觉测距的过程中，以如今的技术背景，船舶搭载单目视觉距离测量的方法测量的准确度不高，过程复杂繁琐并且还缺乏较好的泛化能力。

发明内容

本发明为了克服以上技术的不足，提供了一种船载摄像头的单目水面目标分割及单目测距方法。

本发明克服其技术问题所采用的技术方案是：

一种船载摄像头的单目水面目标分割及单目测距方法，至少包括如下步骤：

S1、从船载摄像头拍摄的视频流中按帧读取图像；

S2、从步骤S1中抽取关键帧，针对抽取的关键帧，对所有出现在视觉范围内的环境进行目标检测，从中筛选出目标；

S3、基于筛选出的目标和实际的应用场景，进行二维边界框框定和图像分割，获取当前视频帧中目标信息；

S4、根据激光测距获取的摄像头到目标底部的距离数据以及步骤S3获取的目标信息，计算目标对应的传感器系数；

S5、建立几何关系测距模型，根据几何关系测距模型，并利用步骤S4得到的目标对应的传感器系数，计算目标与单目摄像头之间的水平距离；

S6、根据步骤S5得到的目标与单目摄像头之间的水平距离，建立视场角优化模型进行视场角优化，获得目标与单目摄像头之间的距离。

进一步地，步骤S1中，所述船载摄像头的安装位置固定，其视场角和俯仰角可自由调整。

进一步地，步骤S2中，采用基于深度卷积神经网络的目标检测算法Faster R-CNN处理图像，其网络结构包括RPN和Fast R-CNN两个部分，其中，RPN用于预测输入图像中可能包含目标的候选区域，Fast R-CNN用于分类RPN预测的候选区域。

进一步地，步骤S2中，通过基于深度卷积神经网络的目标检测算法Faster R-CNN进行目标检测的步骤包括：

1)采用预训练网络模型初始化RPN网络参数，通过随机梯度下降算法和反向传播算法微调RPN网络参数；

2)采用预训练网络模型初始化Faster R-CNN目标检测网络参数，并用步骤1)中的RPN网络提取候选区域，训练目标检测网络；

3)采用步骤2)中训练好的目标检测网络重新初始化并微调RPN网络参数，得到新的RPN网络；

4)采用步骤3)中的RPN网络提取候选区域，并对步骤2)中训练好的目标检测网络参数进行微调；

5)重复步骤3)和步骤4)，直至达到最大迭代次数或网络收敛。

进一步地，步骤S3中，采用实例分割网络进行图像分割，即基于区域协方差引导的卷积神经网络算法。

进一步地，基于区域协方差引导的卷积神经网络算法包括如下步骤：

1)以像素为单元提取关键帧的低级特征；

2)以多维特征向量为基础构造区域协方差；

3)以协方差矩阵为训练样本构造卷积神经网络模型；

4)基于局部和全局对比度原则计算图像显著性；

5)框出显著的目标，获取目标信息。

进一步地，步骤S4中，根据实例分割网络获取的目标信息，进行坐标系转换后，再结合激光测距获取的距离数据从而计算出目标对应的传感器系数。

进一步地，步骤S5中，目标与单目摄像头之间的水平距离计算过程包括如下：

1)获取所述船载摄像头离水平面的高度H和所述船舶摄像头的焦距f；

2)获取所述船载摄像头拍摄目标时的俯仰角pitch；

3)获取所述船载摄像头测量目标在图像中的高度的像素大小h；

4)通过下述公式(1)计算确定所述船载摄像头与目标之间的水平距离：

其中，k为步骤S4中所述的传感器系数。

本发明的有益效果是：

1、采用本发明的方法进行实际的船舶目标测距时，不需要知道所测物体的高度或宽度，只需要知道相机的内外参，测距准备工作和原理都简单方便。

2、采用本发明的方法进行测距时，具备较高的测量精度和实时性，且泛化能力较强；另外，还能够在一定程度上解决激光测距由于水柱水雾遮挡所带来的测量误差问题，同时受到外界因素的影响较小，应用范围广泛。

附图说明

图1为本发明实施例所述的船载摄像头的单目水面目标分割及单目测距方法的流程示意图。

图2为本发明实施例所述的几何关系测距模型图。

图3为本发明实施例所述的在某一湖泊中模拟目标运动测试得到不同位置的实现效果图。

图4为本发明实施例所述的得到的不同位置和视场角测距的绝对误差图。

具体实施方式

为了便于本领域人员更好的理解本发明，下面结合附图和具体实施例对本发明做进一步详细说明，下述仅是示例性的不限定本发明的保护范围。

本实施例公开了一种船载摄像头的单目水面目标分割及单目测距方法，如图1所示，至少包括如下步骤：

步骤S1、从船载摄像头拍摄的视频流中按帧读取图像。

其中，所述船载摄像头的安装位置固定，但其视场角和俯仰角可自由调整。

步骤S2、从步骤S1中抽取关键帧，针对抽取的关键帧，对所有出现在视觉范围内的环境进行目标检测，从中筛选出目标。

具体地，目标检测是采用基于深度卷积神经网络的目标检测算法Faster R-CNN处理图像，其网络结构包括RPN和Fast R-CNN两个部分，其中，RPN用于预测输入图像中可能包含目标的候选区域，Fast R-CNN用于分类RPN预测的候选区域。

针对目标的检测，本实施例选用的是数据集为实拍的某一湖泊中的模拟目标移动的图片数据集。实现前将采集的数据集中的一部分目标图像作为训练数据集，另一部分作为测试集。本实施例中选用的预训练模型为ResNet50，RPN在训练阶段进行端到端训练，Faster R-CNN网络中初始学习率为0.0003，迭代20000次。

具体地，通过基于深度卷积神经网络的目标检测算法Faster R-CNN进行目标检测的步骤包括：

1)采用预训练网络模型初始化RPN网络参数，通过随机梯度下降算法和反向传播算法微调RPN网络参数，微调RPN网络参数的目的是初始化前置卷积网络层参数促使生成的若干候选区域偏向于目标特征。

2)采用预训练网络模型初始化Faster R-CNN目标检测网络参数，并用步骤1)中的RPN网络提取候选区域，训练目标检测网络。

3)采用步骤2)中训练好的目标检测网络重新初始化并微调RPN网络参数，这样可以削减一些与目标特征相关性不大的候选区域，同时调整候选区域的位置，使其与真实目标框的偏差最小，得到新的RPN网络。

4)采用步骤3)中的RPN网络提取候选区域，并对步骤2)中训练好的目标检测网络参数进行微调，以加强真实目标框效果。

5)重复步骤3)和步骤4)，直至达到最大迭代次数或网络收敛。

步骤S3、基于筛选出的目标和实际的应用场景，进行二维边界框框定和图像分割，获取当前视频帧中目标信息。

针对目标被水柱水雾遮挡的情况，为解决这一问题，本实施例提出一种采用实例分割网络进行图像分割，即基于区域协方差引导的卷积神经网络算法，用于分割出被水柱水雾遮挡的显著目标。由于显著性目标检测是模拟人眼视觉注意力机制所提出的一种以人眼最感兴趣区域为检测对象的研究，在背景较为单一的船舶水面航行场景，目标即为显著目标，检测后返回显著目标的边界框即可获取目标信息。

所述基于区域协方差引导的卷积神经网络算法包括如下步骤：

1)以像素为单元提取关键帧的低级特征；

2)以多维特征向量为基础构造区域协方差；

3)以协方差矩阵为训练样本构造卷积神经网络模型；

4)基于局部和全局对比度原则计算图像显著性；

5)框出显著的目标，获取目标信息。

步骤S4、根据激光测距获取的摄像头到目标底部的距离数据以及步骤S3获取的目标信息，计算目标对应的传感器系数。

本实施例中，需要根据实例分割网络获取的目标位置信息，进行坐标系转换后，再结合激光测距获取的距离数据从而计算出目标对应的传感器系数，其中所述坐标系转换包括从世界坐标系转换为相机坐标系，从相机坐标系转换为图像坐标系，再从图像坐标系转换为像素坐标系。

具体地，设目标在世界坐标系中的某一特征点的坐标为(X_w，Y_w,Z_w)。相机坐标系也是一个三维直角坐标系，定义为(X_C，Y_C，Z_C)。相机坐标系的原点是镜头的光心，X、Y轴分别与相面的两边平行，Z轴为镜头的光轴，与像平面垂直。从世界坐标系到相机坐标系的转换公式为：

其中，R为3×3的旋转矩阵，t为3×1的平移矩阵。

从相机坐标系到图像坐标系，属于透视投影关系，从3D转换到2D，相机坐标系中对应特征点的坐标为(X，Y)，其中相机坐标系坐标原点为摄像机光轴与图像坐标系的交点位置。从相机坐标系到图像坐标系的转换公式为：

其中，f为相机的焦距。

像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样，其中图像坐标系的原点为相机光轴与成像平面的交点，像素坐标系中对应的特征点坐标(u，v)。从图像坐标系到像素坐标系的转换公式为：

其中，

d_x、d_y分别是每个像素在图像平面x轴和y轴方向上的物理尺寸，u₀、v₀是图像坐标系原点在像素坐标系中的坐标。

综上所述，某个特征点的世界坐标到像素坐标的关系如下：

通过上述世界坐标到像素坐标的关系，由实例分割网络获得船舶位置信息计算得到船舶的高度，再结合激光测得的距离数据，从而计算对应目标的传感器系数。

步骤S5、建立几何关系测距模型，如图2所示，根据几何关系测距模型，并利用步骤S4得到的目标对应的传感器系数，计算目标与单目摄像头之间的水平距离。

具体地，将单目摄像头固定放置在船舶的甲板上，所测目标所处位置为A，其中d为目标到相机的水平距离O"A，H为目标到相机的竖直距离OO"，pitch为船载摄像头拍摄目标时的俯仰角，k为传感器系数，i为被测物在感光元件CCD或者CMOS上的像长，h为测量目标在界面的像素高度大小，f为相机的焦距，

其中L为CMOS靶面的对角线长度，已知所用相机为1/2CMOS，即

其中δ为视场角)；

由图2可以推导出公式1：

已知α＝pitch，β＝α+γ；

则公式2：

公式3：

公式4：

公式5：

公式6：

上述，i为被测物在感光元件CCD或者CMOS上的像长，而我们看到的是显示屏上图像的像长，这二者之间存在转换关系，引入传感器系数k，表示显示屏上物体的像长与感光元件上物体的像长之比，所以i由k*h替换，即船载摄像头与目标之间的水平距离：

步骤S6、根据步骤S5得到的目标与单目摄像头之间的水平距离，建立视场角优化模型进行视场角优化，获得目标与单目摄像头之间的距离。

具体地，采用视场角优化模型进行视场角优化具体如下：

在光学系统中，镜头孔径限制成像光束半径、摄像镜头的视场光栅一般位于镜头内部，视场形状为圆形，因而实际成像平面位于小孔成像模型的成像平面较近，但其成像大小仍具有比例关系。

根据数学三角关系，视场角δ、视场平面距离h₁与理想成像焦距h₂之间的关系可表述为：

其中，α为pitch俯仰角，μ为视场角顶点间距系数；

以上述公式为基础，可把固定视场角-焦距关系推广为视场角-焦距平面，带入原公式

可得：

将f^*带入上述的公式1中，重新计算目标与单目摄像头之间的水平距离，然后用如下公式计算目标与单目摄像头之间的距离：

本实施例的实现效果图参考图3，图3列举了(a)、(b)、(c)、(d)4个图，可以看到使用模拟目标运动测试得到不同位置的距离数值，分别为23.4m、23.2m、29.4m、25.5m。

本实施例在具体实施过程中，针对模拟目标得到的传感器系数k＝1.7e-6，计算得到的目标与单目摄像头之间的距离X，再与激光测距的数值进行比较，计算绝对误差，结果参考图4，图4示出了距离分别为25.2m、28.1m和29.6m的三个数据，可以看出，与激光测距的数值进行比较后，三个距离的绝对误差均在5％以内，符合应用要求。

由于船舶搭载单目摄像头的安装位置固定，所以船舶搭载单目摄像头的高度H是固定的，同时船舶搭载单目摄像头的参数是固定的。本发明的测距误差不会根据外界环境变化而变化。

本发明所述的方法根据船舶搭载单目摄像头实际水面测距场景，建立了船舶水面测距的模型；其次，通过船载摄像头进行水面场景的目标检测和实例分割得到目标信息；再而，结合测量数据计算对应目标的传感器系数；然后，通过得到的传感器系数以及几何关系测距模型，计算目标与船载单目摄像头之间的水平距离；最后，利用视场角优化模型，进一步计算目标与船载摄像头之间的距离。实际测量结果表明该方法具有较高的准确性；且通过本发明的方法测距时，可以实时从目标框中获取目标的高度像素大小，并实时将距离结果显示在图像上，具有较高的实时性。另外，在采用本发明进行实际的船舶目标测距时，不需要知道所测物体的高度或者宽度，只需要知道相机的内外参，测距准备工作和原理都简单方便，并且泛化能力较强，测距精度高，同时受到外界因素的影响较小。

以上仅描述了本发明的基本原理和优选实施方式，本领域人员可以根据上述描述做出许多变化和改进，这些变化和改进应该属于本发明的保护范围。

Claims (8)

1.一种船载摄像头的单目水面目标分割及单目测距方法，其特征在于，至少包括如下步骤：

S1、从船载摄像头拍摄的视频流中按帧读取图像；

S2、从步骤S1中抽取关键帧，针对抽取的关键帧，对所有出现在视觉范围内的环境进行目标检测，从中筛选出目标；

S3、基于筛选出的目标和实际的应用场景，进行二维边界框框定和图像分割，获取当前视频帧中目标信息；

S4、根据激光测距获取的摄像头到目标底部的距离数据以及步骤S3获取的目标信息，计算目标对应的传感器系数；

S5、建立几何关系测距模型，根据几何关系测距模型，并利用步骤S4得到的目标对应的传感器系数，计算目标与单目摄像头之间的水平距离；

S6、根据步骤S5得到的目标与单目摄像头之间的水平距离，建立视场角优化模型进行视场角优化，获得目标与单目摄像头之间的距离。

2.根据权利要求1所述的方法，其特征在于，步骤S1中，所述船载摄像头的安装位置固定，其视场角和俯仰角可自由调整。

3.根据权利要求1所述的方法，其特征在于，步骤S2中，采用基于深度卷积神经网络的目标检测算法Faster R-CNN处理图像，其网络结构包括RPN和Fast R-CNN两个部分，其中，RPN用于预测输入图像中可能包含目标的候选区域，Fast R-CNN用于分类RPN预测的候选区域。

4.根据权利要求3所述的方法，其特征在于，步骤S2中，通过基于深度卷积神经网络的目标检测算法Faster R-CNN进行目标检测的步骤包括：

1)采用预训练网络模型初始化RPN网络参数，通过随机梯度下降算法和反向传播算法微调RPN网络参数；

2)采用预训练网络模型初始化Faster R-CNN目标检测网络参数，并用步骤1)中的RPN网络提取候选区域，训练目标检测网络；

3)采用步骤2)中训练好的目标检测网络重新初始化并微调RPN网络参数，得到新的RPN网络；

4)采用步骤3)中的RPN网络提取候选区域，并对步骤2)中训练好的目标检测网络参数进行微调；

5)重复步骤3)和步骤4)，直至达到最大迭代次数或网络收敛。

5.根据权利要求1所述的方法，其特征在于，步骤S3中，采用实例分割网络进行图像分割，即基于区域协方差引导的卷积神经网络算法。

6.根据权利要求5所述的方法，其特征在于，基于区域协方差引导的卷积神经网络算法包括如下步骤：

1)以像素为单元提取关键帧的低级特征；

2)以多维特征向量为基础构造区域协方差；

3)以协方差矩阵为训练样本构造卷积神经网络模型；

4)基于局部和全局对比度原则计算图像显著性；

5)框出显著的目标，获取目标信息。

7.根据权利要求5或6所述的方法，其特征在于，步骤S4中，根据实例分割网络获取的目标信息，进行坐标系转换后，再结合激光测距获取的距离数据从而计算出目标对应的传感器系数。

8.根据权利要求1所述的方法，其特征在于，步骤S5中，目标与单目摄像头之间的水平距离计算过程包括如下：

1)获取所述船载摄像头离水平面的高度H和所述船舶摄像头的焦距f；

2)获取所述船载摄像头拍摄目标时的俯仰角pitch；

3)获取所述船载摄像头测量目标在图像中的高度的像素大小h；

4)通过下述公式(1)计算确定所述船载摄像头与目标之间的水平距离：

其中，k为步骤S4中所述的传感器系数。

Images