CN107133973B - 一种桥梁防撞系统中的船舶检测方法 - Google Patents

Abstract

本发明公开了一种桥梁防撞系统中的船舶检测方法，包括以下步骤：采用张正友棋盘格标定法进行摄像机标定；图像获取与预处理；绘制虚拟航道；结合混合高斯背景法与三帧差分法检测运动前景；提取运动前景目标的特征值，作为训练深度神经网络DNN的样本数据；搭建、训练、测试深度神经网络DNN；根据完成训练的深度神经网络DNN对实时视频流中的船舶特征进行识别，标志运动船舶；根据标定结果，定时监测船舶航航行状况。本发明设计的基于GMM与三帧差分法的船舶检测方法，克服了传统方法中前景轮廓断裂、目标不完整的问题，利用前景船舶特征对深度神经网络DNN进行训练，可准确、智能地识别船舶，提高了船舶检测的精度、效率、实时性。

Description

一种桥梁防撞系统中的船舶检测方法

技术领域

本发明涉及图像识别技术领域，具体涉及一种桥梁防撞系统中的船舶检测方法。

背景技术

近年来，内河航道的船舶数量日益增长，内河航道拥挤，每年都不可避免地发生了数百起水上交通安全事故，造成不可估量的财产人员损失。桥梁防撞预警系统应运而生，其中运动船舶识别算法在桥梁防撞预警系统中起着相当重要的作用，只有准确识别出船舶，才能实时监测船只航行状况，在船舶不正常航行时，及时发出预警，确保船舶顺利通过桥梁通航口，避免发生船桥碰撞等事故，因此可靠的运动船舶识别算法对船舶航行监测具有重要意义。

目前，国内外在静态背景下对运动目标的检测，主要有三大类方法：基于背景差分法的目标视觉检测算法，帧间差分法，光流法等，但仅采用这三类方法检测船舶，存在着目标不完整、轮廓断裂等问题。针对从远处观察船舶时，由于透视效应，其运动速度显得较慢，视频序列相邻帧间差分值小，导致系统出现漏检的现象。随着深度学习和图像处理技术的发展，检测识别特定物体已经得到实现，目前亟待提出一种用于识别船舶的检测方法，有效排除其他运动前景物体的干扰。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种桥梁防撞系统中的船舶检测方法，该方法应用于桥梁防撞预警系统中的运动船舶检测识别环节，具体应用于运河航道中桥梁防撞预警系统对船舶的识别，通过监测和辅助船舶航行，防止船舶偏航而发生船桥相撞的事故。

本发明的目的可以通过采取如下技术方案达到：

一种桥梁防撞系统中的船舶检测方法，所述方法包括下列步骤：

采用张正友棋盘格标定法对摄像机进行标定，存储对应不同摄像机俯仰角θ的内外标定参数于XML格式文件中；

图像获取与预处理；

根据摄像机的实际俯仰角θ加载存储于XML格式文件中的摄像机内外参数，通过传感器测量棋盘格平面与水平面的距离，以及给定的实际通航口宽度、检测距离，于图像中绘制虚拟航道；

结合混合高斯背景法与三帧差分法检测运动前景；

提取运动前景目标的特征值，作为训练深度神经网络DNN的样本数据；

搭建、训练、测试深度神经网络DNN；

根据完成训练的深度神经网络DNN对实时视频流中的船舶特征进行识别，标志运动船舶；

根据标定结果，定时监测船舶航航行状况。

进一步地，所述的采用张正友棋盘格标定法进行摄像机标定的过程包括：

采用张正友棋盘格标定法对摄像机进行标定，输入25张从不同角度拍摄的棋盘格图片，计算摄像头内参数矩阵、形变参数、平移向量、旋转向量；

调整摄像机的俯仰角θ，拍摄不同θ下的棋盘格图片，计算摄像机对应θ的外参数矩阵，将以上的参数矩阵存储于XML文件中；

以传感器测量棋盘格平面至水面的距离，获取景深；

根据相似三角形定理，给定水面上虚拟航道四点的世界坐标，计算求得棋盘格平面上四点的世界坐标，以XML文件中的参数矩阵，计算虚拟航道四点于图像中的像素坐标。

进一步地，所述的图像获取与预处理的过程包括：

通过以太网络访问摄像机IP地址，实时获取摄像头的视频流；

以默认的帧率提取视频流中的图像帧，将其灰度化、提取感兴趣区域ROI、高斯滤波。

进一步地，所述的虚拟航道绘制的过程包括：

根据用户给定的通航口宽度L、监测距离D，计算虚拟航道四点的世界坐标，以水面为Z＝0的平面，水面左上角为原点，坐标为(0,0,0)、(L,0,0)、(0,D,0)、(L,D,0)；参照所述的采用张正友棋盘格标定法进行摄像机标定的过程，由已知世界坐标计算图像坐标，由所述图像坐标绘制虚拟航道。

进一步地，所述的结合混合高斯背景法与三帧差分法检测运动前景的过程包括：

采用三帧差分法计算相邻预处理图像的帧间差分图像后进行阈值化、形态学处理、与运算，得到运动前景，其中，帧间差分图像计算公式(1)、(2)如下：

D₁(x,y)＝|f_k-1(x,y)-f_k-2(x,y)| (1)

D₂(x,y)＝|f_k(x,y)-f_k-1(x,y)| (2)。

进一步地，所述的结合混合高斯背景法与三帧差分法检测运动前景的过程包括：

S1、输入预处理的图像，根据混合高斯背景模型进行背景建模，对图像中每个像素建立K个高斯模型，像素的混合高斯概率密度函数如下：

式中，K表示GMM中高斯模型的个数，取3～5；X_t表示t时刻像素的RGB值；ω_i,t表示t时刻混合高斯模型的第i个高斯分布权系数估计值，ω_i,t∈[0,1]；μ_i,t是t时刻第i个高斯分布的均值向量；∑it是指t时刻第i个高斯分布的协方差矩阵，其中∑it＝(σ_i,t ²)×I，I是单位矩阵，σ_i,t是t时刻第i个高斯模型的标准差；η是单高斯概率密度函数；

S2、背景选取，根据ω_it/σ_it的比值把每个像素的K个高斯分布从大到小排列，当分布越靠前，则该分布描述背景的可能性越大；反之，该分布描述背景的可能性越小，按阈值H选择前面B个分布为背景像素模型，阈值H一般取经验值0.75，见式(5)：

S3、混合高斯模型参数的更新和前景目标的提取，获取当前帧，使各个像素值分别与所述的K个高斯分布匹配，若满足式(6)，则对应像素匹配成功，更新第一个相匹配的高斯分布参数，见式(7)～(10)，衰减不匹配的其余高斯分布权值，见式(11)；若不满足式(6)，则匹配失败，将权值最小的高斯分布均值修改为当前像素值，赋予其较大的方差和较低的权值，

|X_t+1-μ_i,t|＜2.5σ_i,t (6)

ω_i,t+1＝(1-α)ω_i,t+α (7)

ρ＝α/ω_i,t+1 (8)

μ_i,t+1＝(1-ρ)×μ_i,t+ρ×X_t+1 (10)

ω_i,t+1＝(1-α)ω_i,t (11)

式中，ρ表示权值更新速率，α表示学习速率，α越小，背景更新越慢；α越大，背景更新越快，如果当前帧像素值与前B个高斯分布的任意一个匹配，则为背景像素；如果当前帧像素值与前B个高斯分布都不匹配，则为前景像素；对运动前景进行二值化、形态学处理即得到GMM算法检测结果。

为了滤除三帧差分法处理结果中的多余噪声，本算法对预处理后的图像进行边缘检测、与GMM检测结果与运算，再与三帧差分法检测结果与运算；最终将所述去噪结果和GMM检测结果或运算，由此连接断裂的目标轮廓、获取完整的运动目标，减少空洞现象。

进一步地，所述的提取运动前景目标的特征值的具体过程如下：

提取前景目标轮廓，根据其外接矩形的面积进行初步筛选，滤除船舶以外的部分小面积前景，计算筛选后前景目标的长宽比、离散度、占空比、偏心率、轴方向的几何特征和7个hu不变矩，标注并存储大量特征值，作为深度神经网络DNN的样本数据。

进一步地，所述的搭建、训练、测试深度神经网络DNN的具体过程如下：

Y1、搭建深度神经网络DNN，其中所述深度神经网络DNN分为4层，分别是：输入层、归一化层、隐藏层、输出层；由于采集数据单位不一致，需对数据进行[-1,1]归一化处理，加快训练网络的收敛性，归纳统一样本的统计分布性。归一化层、输入层分别有12个神经元，一个神经元对应一种特征值，输出层仅有一个神经元，若目标为船舶，则输出是1，反之，为0；

Y2、训练深度神经网络，往DNN神经网络输入层输入大量已知样本特征值，每个特征维度对应输入层的一个输入节点，层间权值初始化为(-1,1)内的随机数；神经网络在外接已知样本的刺激下不断调整相邻层间的内部连接权值，使网络的输出不停接近期望的输出值。当DNN神经网络训练次数达到上限或者DNN神经网络预测值与已知输出结果的误差和小于阈值，训练完成，否则重新输入样本数据进行训练，直至训练完成；

Y3、测试深度神经网络：往DNN神经网络输入一套未经标注的已知样本特征值，根据得到的输出值即可判断前景目标是否为船舶。若是船舶，则输出层为1，于图像中为其绘制外接矩形；反之，则输出层为0，不绘制矩形。

进一步地，所述的根据完成训练的深度神经网络DNN对实时视频流中的船舶特征进行识别，标志运动船舶的具体过程如下：

以完成训练的深度神经网络DNN对船舶进行识别，并于图像中为船舶绘制外接矩形；

进一步地，所述的定时监测船舶航航行状况，具体过程如下：

定时检测船舶外接矩形框顶点像素坐标Y在检测周期T内的变化△Y，根据所述标定结果，即可计算船舶在检测周期T内航行的距离X；

根据△Y的大小，调整视频帧率FPS，使FPS与△Y成正比变化，实现自适应三帧差分法；

实时计算船舶外接矩形框底边两个顶点与虚拟航道两边的距离，在该距离小于给定阈值时，系统及时发出预警，警示船员采取应对措施，调整航向，避免发生船桥相撞的事故。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明公开的船舶检测方法采用张正友棋盘格标定法，根据三角形相似定理，借助距离传感器获取图像深度信息，可定时监测船舶航行速度，使得本发明算法更具应用价值。

(2)本发明公开的船舶检测方法结合混合高斯背景模型的背景减除法与三帧差分法，能快速准确地检测运动目标，实时更新背景图像，有效解决前景目标不完整、轮廓断裂、空洞等问题。

(3)本发明公开的船舶检测方法通过计算船舶在图像中的运动速度，调整视频帧率，进行自适应隔帧差分计算，避免由于船舶在桥梁前方远处运动速度慢，视频序列中相邻帧之间的差别小，导致船舶漏检的现象。

(4)本发明公开的船舶检测方法引入深度学习，以已知样本训练深度神经网络DNN，由经过训练的深度神经网络DNN判断前景目标是否为船舶，使系统更准确可靠地识别船舶，提高系统工作性能，保证船舶顺利通航。

(5)本发明公开的船舶检测方法对图像进行ROI、灰度化等预处理，减轻计算机计算负担，加快计算速度，提高系统处理效率，增强实时性、可靠性。

附图说明

图1是本发明的摄像头标定图；

图2是本发明混合高斯背景算法、三帧差分法算法结合的图像处理过程；

图3是本发明的深度神经网络DNN结构图；

图4是本发明公开的桥梁防撞系统中的船舶检测方法的流程步骤图；

图5是本发明的深度神经网络DNN训练流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1所示，Image中的HK、IJ直线为标定得到的虚拟航道；a、b、c、d为水面坐标点A、B、C、D在棋盘格平面上对应的坐标点；H、I、J、K为a、b、c、d经过标定得到的像素坐标点；L2为通航口宽度，D2为监测距离；H1为摄像头至棋盘格平面的距离；H2为摄像头至水面的距离。

本实施例公开的一种摄像机标定与船舶定时测速步骤包括：

R1、通过张正友单平面棋盘格法，从不同角度拍摄25张棋盘格照片，计算摄像机内参数矩阵、形变参数、平移向量、旋转向量等，将其存储与XML文件中，方便下次调用；

R2、将摄像机安装于桥梁通航口正中上方，其俯仰角为θ，再加载摄像机从俯仰角为θ时拍摄的棋牌格照片，该棋盘格保持水平，棋盘格与摄像头距离为H1，计算指定视图的摄像机外参数矩阵；

R3、所述摄像机标定过程完成后，加载以上各参数矩阵，可计算出棋盘格平面上任意点在图像平面内的像素坐标，即以棋盘格内点的世界坐标(X,Y,0)求取其在图像中的像素坐标(a,b)；

R4、借助与棋盘面等高的距离传感器测量水面与棋盘面的距离△H，则摄像机到水面的距离H2＝△H+H1；若棋盘格上两点a、b距离为L1，将a、b投影至水面两点A、B，A、B两点距离为L2，根据相似三角形定理，H1/H2＝L1/L2；若已知水面上监测视觉范围内或者棋盘面上任意点的世界坐标，可计算其对应图像坐标；在采样周期T内计算运动船舶的外接边框顶点Y坐标变化△y，可计算船舶在采样周期T内的实际航行距离S，实时监测船舶航行速度V＝S/T；根据船舶在图像中的航行速度v＝△y/T调整视频帧率，可实现所述的自适应隔帧差分计算。

如图2所示，本实施例的运动前景检测算法结合混合高斯背景减除法与三帧差分法，包括以下步骤：

T1、三帧差分法：从实时视频中读取三帧相邻图像，并将其灰度化，使第K帧与第K-1帧、第K-1帧与第K-2帧进行差分运算，再将其结果二值化、形态学处理、与运算、ROI处理后得到三帧差分运算结果；

T2、混合高斯背景减除法：对当前帧进行灰度化、ROI处理后，根据混合高斯背景模型，建立背景灰度图像，使当前帧与所述的背景图像中的各个像素进行匹配，将当前帧像素分为前景像素集、背景像素集，二值化、形态学处理所得前景图像，即当前帧中的前景目标二值图。

T3、结合过程：将混合高斯背景减除法的检测结果与当前帧的自适应边缘检测图相与，再和三帧差分法的检测结果相与，去除前景噪声。所述的检测结果和混合高斯减除法检测结果相或，连接断裂的目标轮廓。

T4、特征值提取：提取以上所述前景检测算法检测结果的轮廓，计算前景目标的外接矩形面积，根据所述面积初步筛除部分前景，计算其余前景的其他几何特征值、Hu矩等。

如图3所示，本实施例的深度神经网络DNN结构包括4种层：输入层、归一化层、隐藏层、输出层；输入层的每一个神经元节点对应一种样本特征值；归一化层的作用是归纳统一样本的统计分布性，消除数据单位不一致的差异性，加快训练网络的速度，提高其收敛性；隐藏层包括卷积层、完全连接层，卷积层用于提取样本特征值数据的特征，完全连接层根据卷积层的输出判断对应特征值的前景目标是否为船舶；若是船舶，则输出层输出1，否则输出0。

如图4所示，本实施例的公开的桥梁防撞系统中的船舶检测方法的流程步骤图包括：摄像机标定、图像获取及预处理、运动前景检测、前景特征值提取、深度神经网络的训练和测试、标志运动船舶、船舶测速。

如图5所示，本实施例公开一种深度神经网络DNN的训练、测试流程图，包括以下步骤：

(1)在识别船舶之前，神经网络需加载已知样本特征值数据，对深度神经网络DNN进行训练。神经网络在外接已知样本的刺激下自动调整网络的内部连接权值，使其输出越来越接近期望的输出值。当对深度神经网络训练次数达到上限值或者深度神经网络输出的预测值与期望输出结果的误差和小于误差阈值，训练完成；反之，神经网络输入层继续加载已知样本数据，重复以上步骤。

(2)当深度神经网络训练完成后，神经网络加载所述从未知前景目标提取的特征值至输入层，判断前景目标是否为船舶；若前景目标为船舶，输出层为1，为对应船舶目标绘制外接矩形；反之，输出层为0，不绘制矩形。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种桥梁防撞系统中的船舶检测方法，其特征在于，所述方法包括下列步骤：

采用张正友棋盘格标定法进行摄像机标定，所述的采用张正友棋盘格标定法进行摄像机标定的过程包括：

采用张正友棋盘格标定法对摄像机进行标定，输入25张从不同角度拍摄的棋盘格图片，计算摄像头内参数矩阵、形变参数、平移向量、旋转向量；

调整摄像机的俯仰角θ，拍摄不同θ下的棋盘格图片，计算摄像机对应θ的外参数矩阵，将以上的参数矩阵存储于XML文件中；

以传感器测量棋盘格平面至水面的距离，获取景深；

根据相似三角形定理，给定水面上虚拟航道四点的世界坐标，计算求得棋盘格平面上四点的世界坐标，以XML文件中的参数矩阵，计算虚拟航道四点于图像中的像素坐标；

图像获取与预处理；

绘制虚拟航道；

结合混合高斯背景法与三帧差分法检测运动前景；

提取运动前景目标的特征值，作为训练深度神经网络DNN的样本数据；

搭建、训练、测试深度神经网络DNN；

根据完成训练的深度神经网络DNN对实时视频流中的船舶特征进行识别，标志运动船舶；

根据标定结果，定时监测船舶航航行状况。

2.根据权利要求1所述的一种桥梁防撞系统中的船舶检测方法，所述的图像获取与预处理的过程包括：

通过以太网络访问摄像机IP地址，实时获取摄像头的视频流；

以默认的帧率提取视频流中的图像帧，将其灰度化、提取感兴趣区域ROI、高斯滤波。

3.根据权利要求1所述的一种桥梁防撞系统中的船舶检测方法，所述的虚拟航道绘制的过程包括：

根据用户给定的通航口宽度L、监测距离D，计算虚拟航道四点的世界坐标，以水面为Z＝0的平面，水面左上角为原点，坐标为(0,0,0)、(L,0,0)、(0,D,0)、(L,D,0)；参照所述的采用张正友棋盘格标定法进行摄像机标定的过程，由已知世界坐标计算图像坐标，由所述图像坐标绘制虚拟航道。

4.根据权利要求1所述的一种桥梁防撞系统中的船舶检测方法，所述的结合混合高斯背景法与三帧差分法检测运动前景的过程包括：

采用三帧差分法计算相邻预处理图像的帧间差分图像后进行阈值化、形态学处理、与运算，得到运动前景，其中，帧间差分图像计算公式(1)、(2)如下：

D₁(x,y)＝|f_k-1(x,y)-f_k-2(x,y)| (1)

D₂(x,y)＝|f_k(x,y)-f_k-1(x,y)| (2)。

5.根据权利要求1所述的一种桥梁防撞系统中的船舶检测方法，所述的结合混合高斯背景法与三帧差分法检测运动前景的过程包括：

S1、输入预处理的图像，根据混合高斯背景模型进行背景建模，对图像中每个像素建立K个高斯模型，像素的混合高斯概率密度函数如下：

式中，K表示GMM中高斯模型的个数，取3～5；X_t表示t时刻像素的RGB值；ω_i,t表示t时刻混合高斯模型的第i个高斯分布权系数估计值，ω_i,t∈[0,1]；μ_i,t是t时刻第i个高斯分布的均值向量；∑it是指t时刻第i个高斯分布的协方差矩阵，其中∑it＝(σ_i,t ²)×I，I是单位矩阵，σ_i,t是t时刻第i个高斯模型的标准差；η是单高斯概率密度函数；

S2、背景选取，根据ω_it/σ_it的比值把每个像素的K个高斯分布从大到小排列，当分布越靠前，则该分布描述背景的可能性越大；反之，该分布描述背景的可能性越小，按阈值H选择前面B个分布为背景像素模型，阈值H取经验值0.75，见式(5)：

S3、混合高斯模型参数的更新和前景目标的提取，获取当前帧，使各个像素值分别与所述的K个高斯分布匹配，若满足式(6)，则对应像素匹配成功，更新第一个相匹配的高斯分布参数，见式(7)～(10)，衰减不匹配的其余高斯分布权值，见式(11)；若不满足式(6)，则匹配失败，将权值最小的高斯分布均值修改为当前像素值，赋予其较大的方差和较低的权值，

|X_t+1-μ_i,t|＜2.5σ_i,t (6)

ω_i,t+1＝(1-α)ω_i,t+α (7)

ρ＝α/ω_i,t+1 (8)

μ_i,t+1＝(1-ρ)×μ_i,t+ρ×X_t+1 (10)

ω_i,t+1＝(1-α)ω_i,t (11)

式中，ρ表示权值更新速率，α表示学习速率，α越小，背景更新越慢；α越大，背景更新越快，如果当前帧像素值与前B个高斯分布的任意一个匹配，则为背景像素；如果当前帧像素值与前B个高斯分布都不匹配，则为前景像素；对运动前景进行二值化、形态学处理即得到GMM算法检测结果。

6.根据权利要求1所述的一种桥梁防撞系统中的船舶检测方法，所述的，其特征在于，所述的提取运动前景目标的特征值的具体过程如下：

提取前景目标轮廓，根据其外接矩形的面积进行初步筛选，滤除船舶以外的部分小面积前景，计算筛选后前景目标的长宽比、离散度、占空比、偏心率、轴方向的几何特征和7个hu不变矩，标注并存储大量特征值，作为深度神经网络DNN的样本数据。

7.根据权利要求1所述的一种桥梁防撞系统中的船舶检测方法，其特征在于，所述的搭建、训练、测试深度神经网络DNN的具体过程如下：

Y1、搭建深度神经网络DNN，其中所述深度神经网络DNN分为4层，分别是：输入层、归一化层、隐藏层、输出层，所述的归一化层对数据进行[-1,1]归一化处理，所述的归一化层和所述的输入层分别有12个神经元，一个神经元对应一种特征值，输出层仅有一个神经元，若目标为船舶，则输出是1，反之，为0；

Y2、训练深度神经网络DNN，往所述的输入层输入大量已知样本特征值，每个特征维度对应输入层的一个输入节点，层间权值初始化为(-1,1) 内的随机数；深度神经网络DNN在外接已知样本的刺激下不断调整相邻层间的内部连接权值，使网络的输出不停接近期望的输出值，当深度神经网络DNN训练次数达到上限或者深度神经网络DNN预测值与已知输出结果的误差和小于阈值，训练完成，否则重新输入样本数据进行训练，直至训练完成；

Y3、测试深度神经网络DNN，往所述的输入层输入一套未经标注的已知样本特征值，根据得到的输出值即可判断前景目标是否为船舶，若是船舶，则输出层为1，于图像中为其绘制外接矩形；反之，则输出层为0，不绘制矩形。

8.根据权利要求1所述的一种桥梁防撞系统中的船舶检测方法，其特征在于，所述的根据完成训练的深度神经网络DNN对实时视频流中的船舶特征进行识别，标志运动船舶的具体过程如下：

以完成训练的深度神经网络DNN对船舶进行识别，并于图像中为船舶绘制外接矩形。

9.根据权利要求1所述的一种桥梁防撞系统中的船舶检测方法，其特征在于，所述的定时监测船舶航航行状况的具体过程如下：

定时检测船舶外接矩形框顶点像素坐标Y在检测周期T内的变化ΔY，根据所述标定结果，即可计算船舶在检测周期T内航行的距离X；

根据ΔY的大小，调整视频帧率FPS，使FPS与ΔY成正比变化，实现自适应三帧差分法；

实时计算船舶外接矩形框底边两个顶点与虚拟航道两边的距离，在该距离小于给定阈值时，系统及时发出预警，警示船员采取应对措施，调整航向，避免发生船桥相撞的事故。