CN107330377A - 一种桥梁防撞系统中的虚拟航道构建与船舶偏航检测方法 - Google Patents

Abstract

本发明公开了一种桥梁防撞系统中的虚拟航道构建与船舶偏航检测方法，该方法通过在桥梁通航孔安装的摄像机采集图像视频信息，并对采集到的视频信息进行处理，在视频图像上显示出虚拟航道，计算出船舶到虚拟航道的距离，从而判断轮船是否有偏航而撞上桥墩的危险。该方法针对存在航标和没有航标的不同情况用不同的方法构建虚拟航道，并对不同的河道地形构建出不同的虚拟航道，具有较好的适应性。针对结构型河道，能够构建出直线型虚拟航道；针对曲线型河道，能够根据实际地形构建出C型和S型虚拟航道；针对水域中存在突出河岸、小/微型岛屿等障碍物的情况，能够构建出适应实际地形的虚拟航道，绕开障碍物，保证船舶航行安全。

Description

一种桥梁防撞系统中的虚拟航道构建与船舶偏航检测方法

技术领域

本发明涉及图像处理技术领域和船舶偏航检测技术领域，具体涉及一种桥梁防撞系统中的虚拟航道构建与船舶偏航检测方法。

背景技术

随着交通运输业的不断发展，大量跨海、跨江桥梁兴建。这种桥梁本身所处的江、海域大都是繁忙的航道，其水流、波涛、风浪等情况复杂，桥梁不可避免地承担着一定的船舶碰撞的风险，因此研究桥梁防撞的预警方法具有重要的意义。

桥梁防撞设计方法主要有两种：主动防撞和被动防撞。主动防撞是通过对船舶的航行管理和航行轨迹进行干预，避免船舶撞击桥梁事故发生的一种方法；被动防撞是通过桥墩自身的加强或者辅助防撞设施来抵御船舶撞击，进而避免撞击事故发生或降低受损程度的方法。到目前国内外对桥梁的船撞问题研究工作大部分还是集中在被动防撞方面，即从桥梁的角度出发，加强桥梁的抗撞击能力，而忽略了如何避免船只撞击桥梁。此种情况下，一旦有船只偏离航道，发生船撞桥的事故，在船被毁的同时，往往还会造成整座桥梁的坍塌。目前国内外关于主动防撞方面的研究尚不多见，更没有比较成熟的研究成果，但毫无疑问，业内人士对主动防撞日益重视。

通过航道检测实现预警的方法属于主动防撞，该类型的方法目前主要应用于公路交通中的车道检测，车道检测是在公路路面已经存在车道线的前提下，利用结构化车道的像素点特征、纹理特征、颜色特征和光强度检特征等图像信息识别得到车道标识线。对于非结构化车道，可采用基于道路特征和基于道路模型的检测方法加以识别。

然而水路交通中的航道与车道有着本质不同，航道没有类似公路的车道线可供检测，虽然主要大型桥梁航道两边都设有航标，但仍存在船撞桥的风险，例如2007年6月15日发生的广东九江大桥船撞桥事故，就是船长未按规定加强瞭望，直到船舶与桥前的一个航标发生擦碰才意识到船舶已严重偏离主航道，致使船头与桥墩发生触碰，引发桥面坍塌，造成8人死亡。因此研究一种建立虚拟航道的方法实现船舶偏航检测，防止发生船舶撞桥事故显得尤为重要。目前在该领域还未出现可以应用的虚拟航道构建技术和基于虚拟航道的船舶偏航检测方法。

发明内容

本发明的目的是为了能够检测船舶靠近桥梁时是否偏离航道，防止船舶撞击桥梁事故的发生，保障人民生命财产安全，本发明提供了一种桥梁防撞系统中的虚拟航道构建与船舶偏航检测方法，本发明为了适应各种复杂的河道地形，针对不同地形条件构建出直线型和曲线型虚拟航道；为了检测船舶是否偏航，通过计算出船舶到虚拟航道线的距离判断船舶是否存在偏航撞桥的危险。

本发明的目的可以通过采取如下技术方案达到：

a.船舶检测：结合背景差分法和瞬时差分法，从视频序列中识别出运动船舶，并将运动船舶用矩形框标出。利用瞬时差分法得到当前帧中运动目标的信息，在更新背景模型时不更新运动目标轮廓内区域，避免由运动目标引起的背景模型更新误差。

b.利用张正友棋盘格标定法，事先输入25张从不同角度拍摄的棋盘格照片，计算摄像机内参数矩阵、形变参数、平移向量、旋转向量，并存储于XML文件中；将摄像机安装于桥梁通航口上方，其俯仰角为θ，再加载摄像机从俯仰角为θ时拍摄的棋牌格照片，该棋盘格保持水平，与摄像头的垂直距离为h₁，计算指定视图的摄像机外参数矩阵；所述摄像机标定完成后，即可将棋盘格中的三维点投影到图像平面，以棋盘格上点的世界坐标(x,y,0)求取其在图像中的像素坐标(a,b)；配合位于棋盘平面高度的距离传感器测量水面与棋盘面的距离h₃，则摄像机到水面的距离为h₂＝h₃+h₁；若棋盘格长为l₁，将其投射至水面则是虚拟航道长度l₂；若棋盘格宽为d₁,将其投射至水面则是通航孔宽度、也即虚拟航道的宽度d₂，根据相似三角形定理，h₁/h₂＝l₁/l₂＝d₁/d₂；完成所述的标定与投影过程，即可求得检测视觉范围内水面上任意点的图像坐标标。从而可得出虚拟航道四个端点的图像坐标。

c.对于航道两侧存在航标的情况：

对视频图像进行轮廓检测，检测出每个航标的最外层轮廓，提取每一个航标轮廓的第一个像素点的点坐标，对提取出的坐标点进行拟合，在视频图像中显示出由航标点近似拟合成的虚拟航道线。

d.航道不存在航标的情况：

如果桥梁附近为直线型(结构型)河道，则在所获得的四个端点间绘制两条直的航道线构建出一个虚拟航道，此航道宽为通航孔在图像坐标系中的宽度。

如果桥梁附近为曲线型河道，可分为C型和S型曲线，在所获得的端点坐标间利用三阶贝塞尔曲线方程，采用曲线拟合技术拟合出相应航道线构建出曲线型虚拟航道，此航道宽为通航孔在图像坐标系中的宽度。三阶贝塞尔曲线依据四个位置任意的点坐标绘制一条光滑曲线，包括一个起始点P1、两个控制点P2和P3、一个结束点P4，改变控制点的坐标可绘制出不同形状的曲线。对于C型虚拟航道线，控制点P2和P3在曲线的同一侧，P2控制靠近P1端的曲线段的形状，P2点离曲线越远，该曲线段的曲率越大，P2沿y轴上下移动时，也控制曲线顶点A上下移动；P3以同样的方式控制靠近P4端的曲线段的形状。对于S型虚拟航道线，与C型航道线不同的是控制点P2和P3在曲线的不同侧，分别控制着各自端的曲线形状。

e.对于桥梁附近水域地理环境较为复杂的情况，例如存在突出的河岸、小/微型岛屿等障碍物，则船舶需要绕开障碍物航行。对于此类非结构型航道，利用贝塞尔曲线方程在障碍物一侧构建出曲线型虚拟航道线，从而使虚拟航道绕开障碍物。

f.判断船舶是否偏航：对于直线型虚拟航道，首先检测出标记运动船舶的矩形框轮廓，获得矩形框的顶点坐标，又已知虚拟航道线的端点坐标，因此可将计算船舶到虚拟航道线的距离问题转化为求矩形框顶点到直线的距离问题。对于曲线型虚拟航道，首先检测出标记运动船舶的矩形框轮廓，获取矩形框的顶点坐标，提取视频帧中与虚拟航道线相同RGB值的所有像素点，得到虚拟航道线轮廓，获取虚拟航道线轮廓的像素点坐标，利用勾股定理计算出矩形框顶点到虚拟航道线轮廓的像素点之间的距离，取最小距离作为判断船舶是否偏航的参考值。

本发明相对于现有技术具有如下的优点及效果：

1)本发明在桥梁附近的河道中，对于有航标的情况，利用航标点拟合直线，构建出虚拟航道。

2)本发明在桥梁附近的河道中，在没有航道线可供检测的情况下，利用贝塞尔曲线能够构建出虚拟航道，且对各种不同的河道情况具有良好的适应性。针对结构型河道，能够构建出直线型虚拟航道。针对曲线型河道，能够根据实际地形构建出C型和S型虚拟航道。针对水域中存在突出河岸、小/微型岛屿等障碍物的情况，能够构建出适应实际地形的虚拟航道，绕开障碍物，保证船舶航行安全。

3)本发明通过计算船舶到虚拟航道线的距离，能够判断船舶在靠近桥梁的过程中是否偏航，从而达到预警效果，保障交通安全和人民生命财产安全。

附图说明

图1是用于桥梁防撞系统的虚拟航道构建方法具体流程图；

图2是确定虚拟航道端点坐标的原理图；

图3是直线型河道的虚拟航道透视效果图；

图4是C曲线型河道的虚拟航道透视效果图；

图5是S曲线型河道的虚拟航道透视效果图；

图6是河道存在障碍物情况下的虚拟航道透视效果图；

图7是C型曲线形状的控制方法示意图；

图8是S型曲线形状的控制方法示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例公开了一种桥梁防撞系统中的虚拟航道构建与船舶偏航检测方法，本实施例的所有步骤都是基于Microsoft Visual Studio开发环境以及opencv函数库完成的，该方法具体包括下列步骤：

S1、采用张正友棋盘格标定法进行摄像机标定，将给定水面上虚拟航道四端点从世界坐标系转换到图像坐标系，确定虚拟航道线端点坐标；

S101、利用张正友棋盘格标定法，事先输入25张从不同角度拍摄的棋盘格照片，计算摄像机内参数矩阵、形变参数、平移向量、旋转向量，并存储于XML文件中方便下次调用；

S102、将摄像机安装于桥梁通航口上方，其俯仰角为θ，再加载摄像机从俯仰角为θ时拍摄的棋牌格照片，该棋盘格保持水平，与摄像头的垂直距离为h₁，计算指定视图的摄像机外参数矩阵；

S103、所述摄像机标定完成后，即可将棋盘格中的三维点投影到图像平面，以棋盘格上点的世界坐标(x,y,0)求取其在图像中的像素坐标(a,b)；

S104、配合位于棋盘平面高度的距离传感器测量水面与棋盘面的距离h₃，则摄像机到水面的距离为h₂＝h₃+h₁；设棋盘格长为l₁，将其投射至水面则是虚拟航道长度l₂；设棋盘格宽为d₁，将其投射至水面则是通航孔宽度，也即虚拟航道的宽度d₂，根据相似三角形定理，h₁/h₂＝l₁/l₂＝d₁/d₂；完成所述的标定与投影过程，即可求得检测视觉范围内水面上任意点的图像坐标。从而可得出两条虚拟航道线的四个端点的图像坐标。

S2、对摄像机捕获的图像中进行运动船舶的检测；

S201、从摄像机捕获视频帧；

S202、定义高斯背景模型，使用第一帧创建高斯背景模型，使用当前帧更新高斯背景模型，将高斯背景模型的背景图像复制到事先定义的背景图像中；

S203、使用瞬时差分法获得不包含运动区域的当前帧，并更新背景，当前帧与前一帧做差分，并二值化处理；

S204、找到差分图像中的轮廓，得到轮廓的外接矩形，将面积小的矩形视为噪音抛弃，剩下的则为运动目标。

S3、构建虚拟航道，对于航道两侧存在航标的情况，利用航标点拟合直线，构建出虚拟航道，对于航道两侧不存在航标的情况，利用贝塞尔曲线能够构建出虚拟航道。

其中，对于航道两侧存在航标的情况：

对图像进行自适应二值化处理，高斯模糊处理，对图像进行边缘检测，再对图像进行轮廓检测并设定为只检测最外层轮廓，得到各个航标的最外层轮廓，获取每个航标轮廓的第一个像素点的坐标，利用点集的直线拟合函数对获取的坐标点进行拟合，最终在视频上显示由航标点近似拟合成的虚拟航道线。

其中，对于航道两侧不存在航标的情况：

如图3，桥梁附近水域为直线型航道的情况，利用绘图函数绘制连接两个点的线段，从而在四个端点A和B、C和D之间直接绘制出两条直的航道线l_a和l_b，构建出直线型虚拟航道，该虚拟航道的宽度设定为桥梁通航孔的宽度。

如图4，桥梁附近水域地形较为曲折的情况，在获得的端点A和B间用贝赛尔曲线拟合出虚拟航道线c_c，在获得的端点C和D间用贝塞尔曲线拟合出虚拟航道线c_d，虚拟航道线c_c和c_d的形状根据实际地形通过改变控制点坐标调节。为了保证虚拟航道线c_c和c_d平行，坐标点A和C对应的坐标应只有x坐标不同，坐标点B和D对应的坐标应只有x坐标不同，对应的控制点也只应有x坐标不同，且对应x坐标的差值应为通航孔在图像坐标系中对应的宽度。

对于S型的河道，如图5，在获得的A和B间用贝塞尔曲线拟合出虚拟航道线c_e,在获得的端点C和D间用贝塞尔曲线拟合出虚拟航道线c_f,虚拟航道线c_e和c_f的形状根据实际地形通过改变控制点坐标调节。

如果桥梁附近水域中存在突出的水岸或小/微型岛屿等障碍物，如图6，则可在A和B之间直接绘制出直的虚拟航道线l_g，在C和D之间用贝塞尔曲线拟合出虚拟航道线c_h,c_h的控制点坐标可根据障碍物所在的位置适当调节。

曲线型虚拟航道线的控制点坐标调节遵循以下原则：对于C型虚拟航道线，如图7，P2和P3在曲线的同一侧，P2控制靠近P1端的曲线段的形状，P2点离曲线越远，该曲线段的曲率越大，P2沿y轴上下移动时，也控制曲线顶点A上下移动；P3以同样的方式控制靠近P4端的曲线段的形状。对于S型虚拟航道线，如图8，与C型航道线不同的是控制点P2和P3在曲线的不同侧，分别控制着各自端的曲线形状，其控制方式与C型虚拟航道线相同。

S4、通过计算船舶到虚拟航道距离，判断船舶在靠近桥梁的过程中是否偏航。

对于直线型虚拟航道，对视频帧自适应二值化处理，高斯模糊处理，对图像进行边缘检测，再对图像检测轮廓，得到标记运动船舶的矩形框轮廓，从而获得矩形框左上角顶点的坐标(x,y)，则矩形框左下角顶点A的坐标为(x,y+height),右下角顶点B的坐标为(x+width,y+height)，又已知虚拟航道线的端点坐标，可求出虚拟航道线的表达式，利用点到直线的距离公式可求出A到左虚拟航道线的距离和B到右虚拟航道线的距离，根据求出的距离判断船舶是否偏航。

对于曲线型虚拟航道，对视频帧自适应二值化处理，高斯模糊处理，对图像进行边缘检测，再对图像检测轮廓，得到标记运动船舶的矩形框轮廓，从而获得矩形框左上角顶点的坐标(x,y)，则矩形框左下角顶点A的坐标为(x,y+height),右下角顶点B的坐标为(x+width,y+height)。提取视频帧中与虚拟航道线相同的BGR值的所有像素点，本实施例虚拟航道线为黄色，BGR值为(230,255,0)，得到虚拟航道线轮廓，获取虚拟航道线轮廓的所有像素点坐标(x_i,y_i),利用勾股定理分别计算A(x,y+height)和B(x+width,y+height)到(x_i,y_i)的距离，取最小距离作为判断船舶是否偏航的参考值。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种桥梁防撞系统中的虚拟航道构建与船舶偏航检测方法，其特征在于，所述方法包括下列步骤：

S1、采用张正友棋盘格标定法进行摄像机标定，将给定水面上虚拟航道四端点从世界坐标系转换到图像坐标系，确定虚拟航道线端点坐标；

S2、对摄像机捕获的图像中进行运动船舶的检测；

S3、构建虚拟航道，对于航道两侧存在航标的情况，利用航标点拟合直线，构建出虚拟航道，对于航道两侧不存在航标的情况，利用贝塞尔曲线能够构建出虚拟航道；

S4、通过计算船舶到虚拟航道距离，判断船舶在靠近桥梁的过程中是否偏航。

2.根据权利要求1所述的一种桥梁防撞系统中的虚拟航道构建与船舶偏航检测方法，其特征在于，所述步骤S1包括：

S101、利用张正友棋盘格标定法，事先输入25张从不同角度拍摄的棋盘格照片，计算摄像机内参数矩阵、形变参数、平移向量、旋转向量，并存储于XML文件中；

S102、将摄像机安装于桥梁通航口上方，其俯仰角为θ，再加载摄像机从俯仰角为θ时拍摄的棋牌格照片，该棋盘格保持水平，与摄像头的垂直距离为h₁，计算指定视图的摄像机外参数矩阵；

S103、将棋盘格中的三维点投影到图像平面，以棋盘格上点的世界坐标(x,y,0)求取其在图像中的像素坐标(a,b)；

S104、配合位于棋盘平面高度的距离传感器测量水面与棋盘面的距离h₃，则摄像机到水面的距离为h₂＝h₃+h₁，设棋盘格长为l₁，将其投射至水面则是虚拟航道长度l₂，设棋盘格宽为d₁，将其投射至水面则是通航孔宽度，也即虚拟航道的宽度d₂，根据相似三角形定理，h₁/h₂＝l₁/l₂＝d₁/d₂，完成标定与投影过程，即可求得检测视觉范围内水面上任意点的图像坐标，从而可得出两条虚拟航道线的四个端点的图像坐标。

3.根据权利要求1所述的一种桥梁防撞系统中的虚拟航道构建与船舶偏航检测方法，其特征在于，所述步骤S2包括：

S201、从摄像机捕获视频帧；

S202、定义高斯背景模型，使用第一帧创建高斯背景模型，使用当前帧更新高斯背景模型，将高斯背景模型的背景图像复制到事先定义的背景图像中；

S203、使用瞬时差分法获得不包含运动区域的当前帧，并更新背景，当前帧与前一帧做差分，并二值化处理；

S204、找到差分图像中的轮廓，得到轮廓的外接矩形，将面积小的矩形视为噪音抛弃，剩下的则为运动目标。

4.根据权利要求1所述的一种桥梁防撞系统中的虚拟航道构建与船舶偏航检测方法，其特征在于，所述步骤S3中对于航道两侧存在航标的情况，利用航标点拟合直线，构建出虚拟航道的过程如下：

对图像进行自适应二值化处理和高斯模糊处理，对图像进行边缘检测；

对图像进行轮廓检测并设定为只检测最外层轮廓，得到各个航标的最外层轮廓；

获取每个航标轮廓的第一个像素点的坐标，利用点集的直线拟合函数对获取的坐标点进行拟合；

在视频上显示由航标点近似拟合成的虚拟航道线。

5.根据权利要求1所述的一种桥梁防撞系统中的虚拟航道构建与船舶偏航检测方法，其特征在于，所述步骤S3中对于航道两侧不存在航标的情况，利用贝塞尔曲线能够构建出虚拟航道的过程如下：

如果桥梁附近为直线型河道，则在所获得的四个端点间绘制两条直的航道线构建出一个虚拟航道，此航道宽为通航孔在图像坐标系中的宽度；

如果桥梁附近为曲线型河道，所述曲线型包括C型和S型曲线，在所获得的端点坐标间利用三阶贝塞尔曲线方程，采用曲线拟合技术拟合出相应航道线构建出曲线型虚拟航道，此航道宽为通航孔在图像坐标系中的宽度。

6.根据权利要求5所述的一种桥梁防撞系统中的虚拟航道构建与船舶偏航检测方法，其特征在于，如果桥梁附近水域中存在突出的水岸或小/微型岛屿障碍物，利用贝塞尔曲线方程在障碍物一侧构建出曲线型虚拟航道线，从而使虚拟航道绕开障碍物。

7.根据权利要求1至6任一所述的一种桥梁防撞系统中的虚拟航道构建与船舶偏航检测方法，其特征在于，所述步骤S4中对于直线型虚拟航道，通过计算船舶到虚拟航道距离，判断船舶在靠近桥梁的过程中是否偏航的过程如下：

对视频帧自适应二值化处理和高斯模糊处理；

对图像进行边缘检测，再对图像检测轮廓，得到标记运动船舶的矩形框轮廓，从而获得矩形框左上角顶点的坐标(x,y)，则矩形框左下角顶点A的坐标为(x,y+height),右下角顶点B的坐标为(x+width,y+height)，又已知虚拟航道线的端点坐标，可求出虚拟航道线的表达式；

利用点到直线的距离公式可求出矩形框左下角顶点A到左虚拟航道线的距离和矩形框右下角顶点B到右虚拟航道线的距离，根据求出的距离判断船舶是否偏航。

8.根据权利要求1至6任一所述的的一种桥梁防撞系统中的虚拟航道构建与船舶偏航检测方法，其特征在于，所述步骤S4中对于曲线型虚拟航道，通过计算船舶到虚拟航道距离，判断船舶在靠近桥梁的过程中是否偏航的过程如下：

对视频帧自适应二值化处理和高斯模糊处理；

对图像进行边缘检测，再对图像检测轮廓，得到标记运动船舶的矩形框轮廓，从而获得矩形框左上角顶点的坐标(x,y)，则矩形框左下角顶点A的坐标为(x,y+height),右下角顶点B的坐标为(x+width,y+height)；

提取视频帧中与虚拟航道线相同的BGR值的所有像素点，得到虚拟航道线轮廓，获取虚拟航道线轮廓的所有像素点坐标(x_i,y_i),利用勾股定理分别计算矩形框左下角顶点A(x,y+height)和矩形框右下角顶点B(x+width,y+height)到(x_i,y_i)的距离，取最小距离作为判断船舶是否偏航的参考值。