CN111163290A - 一种夜间航行船舶检测并跟踪的装置和方法 - Google Patents

Abstract

本发明公开了一种夜间航行船舶检测并跟踪的装置，包括摄像头、AIS船台、通信服务器、数据中心以及监控终端，本发明还公开了此种夜间航行船舶检测并跟踪的方法，基于LOG算子进行光斑检测和卡尔曼滤波多目标跟踪算法实现夜间船舶跟踪，并进一步与AIS数据进行融合，提高船舶检测准确性。本发明能够有效应用于夜间船舶的检测和跟踪，增加相关部门关于夜间船舶的检测方法。另外，通过计算机采用所述方法进行计算，可实现实时监测航道的通航情况，供决策人员了解并及时处置，以达到对船舶高效、合理的调度。

Description

一种夜间航行船舶检测并跟踪的装置和方法

技术领域

本发明涉及一种夜间航行船舶检测和跟踪技术领域，更具体的来说是涉及一种基于视频图像、实时AIS和通讯设备的夜间航行船舶检测并跟踪的装置和方法。

背景技术

船舶检测和跟踪技术对于保障船舶安全航行，减少海事事故具有重要意义。船舶检测和跟踪方法和设备多样，例如雷达、AIS以及视频等。特殊环境下，各种类型的监控效果均受到影响。例如夜间环境下，能见度低，视线模糊，虽然雷达能够助航，但雷达目标不够直观，无法判断目标物体种类，AIS信号易丢失且受船载设备的影响。因此，目前应用方法中尚存在不足，利用视频图像、实时AIS进行夜间船舶的检测和跟踪方法研究可进一步提高船舶航行安全。

传统的夜间船舶检测方法可分为三类：首先，利用红外摄像头对夜间、雾天等天气适应能力，进行夜间船舶检测，但红外摄像头费用较昂贵，应用广泛性不高；其次，采用合成孔径雷达SAR进行全天候船舶检测，但由于合成孔径雷达能量消耗较高，难以保证持续监控，同时该方式主要用于渔业监测和漏油管理等方面；最后，采用卫星图像进行渔船检测，最早为操作线性扫描系统，之后发展为可视红外成像辐射系统VIIRS采集DNB数据，但该类夜间船舶检测方法同样主要针对渔船检测，在其他情景中应用较少。

针对当前夜间普通摄像头检测船舶的方法研究较少，如何能够采集到航行船舶的图像特征并实现船舶检测跟踪是亟需解决的问题。考虑到船舶在夜间航行打开船灯，可通过对船灯进行检测并跟踪。基于此，本发明提出了一种夜间航行船舶检测并跟踪的装置和方法。

发明内容

发明目的：本发明的目的在于解决当前夜间普通摄像头检测船舶的方法研究较少，如何能够采集到航行船舶的图像特征并实现船舶检测跟踪是亟需解决的问题。

技术方案：为了实现上述目的，本发明采用如下技术方案：

一种夜间航行船舶检测并跟踪的装置，其特征在于：包括摄像头、AIS船台、通信服务器、数据中心、及数据云端及主控模块监控中心终端界面；具体地：

摄像头：摄像头设立在岸上，夜晚实时采集船舶航行期间的图片，采集目标区域夜间航行船舶视频图像；

AIS船台：AIS船台设置于岸边，采集目标区域内多个通航船舶发送的AIS数据；AIS船台通过通信服务器将AIS数据发送到数据中心和数据云端；之后，在数据中心的AIS信息处理模块对AIS数据进行AIS解码、分析和集成；

AIS信息处理模块：即计算机，计算机对AIS数据进行解码并按照船舶的呼号将AIS相应的信息分类；

通信服务器：将采集的视频数据和AIS数据传输至数据中心以及数据云端；

主控模块监控中心终端界面：由数据中心将船舶检测和跟踪结果传输到主控模块监控中心终端界面，同时可通过主控模块监控中心终端界面(9)实现对摄像头的控制。

一种夜间航行船舶检测并跟踪的方法，包括以下步骤：

1)数据中心获取摄像头采集的图像及视频，并进行灰度化处理；

2)创建多尺度高斯拉普拉斯卷积核作为滤波器对图像进行灯光检测，并在水平方向和垂直方向上均进行高斯卷积运算和高斯-拉普拉斯卷积运算，之后将两个方向上的计算结果进行求和运算；

3)进行光斑阈值判断，过滤非船舶光斑；

4)峰值检测；

5)光斑重叠判断；

6)进行卡尔曼滤波预测；

7)根据距离矩阵采用匈牙利方法对点集进行匹配；

8)卡尔曼滤波更新，并返回步骤6)。

进一步地，所述步骤1)中，根据公式(1)进行图像灰度化：

Grey＝0.299*R+0.587*G+0.114*B。 (1)

进一步地，所述步骤2)中，在水平方向和垂直方向上均进行高斯卷积运算和高斯-拉普拉斯卷积运算，之后将两个方向上的计算结果进行求和运算；

二维高斯核函数如式(2)所示，高斯拉普拉斯算子如式(3)所示；以σ取1进行LOG算子光斑检测为例，具体流程如下：首先对垂直方向进行高斯拉普拉斯卷积运算，之后对水平方向进行高斯卷积运算；再将卷积运算后的图像在垂直方向进行高斯卷积运算，之后在水平方向进行高斯拉普拉斯卷积运算；最后将两个方向上卷积运算结果进行求和运算：

式中，σ卷积核参数，G二维高斯核函数，x水平方向，y垂直方向。

进一步地，所述步骤3)中，具体地，随机取多张图片，分别设置不同的光斑阈值，对比不同光斑阈值下检测效果，通过计算人眼检测的光斑个数η_o和通过光斑阈值检测的结果η，取误差λ平均值最小时对应的光斑阈值。误差计算结果如式(4)对应

式中，η_o为人眼检测光斑个数，η为具体光斑阈值下检测光斑个数，λ光斑检测误差。

进一步地，所述步骤4)中，峰值检测包含三个小步骤：最大值滤波、背景检测以及图像腐蚀，其中：

最大值滤波的实现，若中心像素点的值α_o较周围领域像素点的最大值α_m更大的话，则将最大值α_m替换中心像素点的值α_o，依次进行垂直方向对应水平方向或水平方向对应垂直方向的最大值滤波；

背景检测即判断像素值是否为0，若像素值为0，则为背景；

图像腐蚀操作，采用操作数矩阵扫描图像中的每一个像素，操作数矩阵中每一个像素与覆盖的像素做“与”操作，如果全部为1，则图像中的该像素为1，反之为0。

进一步地，所述步骤5)中，具体地，首先计算两个光斑半径之和r_sum、半径之差的绝对值r_diff以及两个光斑中心点之间距离d，若d＜＝r_diff，说明小光斑位于大光斑圆环内，可不考虑小光斑，若r_sum＜＝d，说明不存在重叠，否则计算两个光斑之间的重叠面积；在此基础上，分别计算重叠区域面积与各光斑面积的比值，若比值大于设定阈值，则认为该光斑存在重叠。

进一步地，所述步骤6)中，具体地，以单个光斑为例，假设x_k、y_k分别表示k时刻光斑中心所在位置，v_x、v_y分别表示x、y方向上的速度，a_x、a_y分别表示x、y方向上的加速度，定义用来描述运动目标状态的向量为：

X_k＝[x_k,y_k,v_x,v_y]^T (4)

观测向量Z_k表示如下：

Z_k＝[x_k,y_k]^T (5)

由此确定状态转移矩阵A，控制输入矩阵B，k时刻对系统的控制量U_k以及系统测量矩阵H如下：

首先对下一刻的状态进行预测并计算协方差矩阵，如式(7)所示：

其中卡尔曼增益计算如式(8)所示：

K_k+1＝P_k+1′*H^T*(HP_k+1′H^T+R)^-1 (8)

依次对前一帧图像中检测到的每一个光斑依次进行预测，并计算对应的协方差矩阵和卡尔曼系数。

进一步地，所述步骤7)中，具体地，计算测量点与观测点各个点之间对应的欧式距离，根据距离矩阵采用匈牙利方法对点集进行匹配；设定距离阈值，通过匹配点之间的距离与阈值进行比较，确定是否为有效的匹配，若测量点与观测点较远，则认为配对无效。

进一步地，所述步骤7)中，距离阈值设置流程如下：当取当前阈值时，连续帧图像中同一光斑多次未被连接，则应减小当前距离阈值；当取当前阈值时，连续帧图像中不同光斑多次被连接起来，则应增大当前距离阈值。

进一步地，所述步骤8)中，具体地，对基于测量值的有效匹配点观测值进行更新，并更新协方差矩阵，如式(9)所示：

式中，X_k+1更新后下一刻目标状态，X_k+1'目标下一刻预测状态，H系统测量矩阵，K_k+1为下一刻卡尔曼增益，Z_k+1为下一刻观测向量，P_k+1更新后下一刻协方差矩阵，P_k+1′下一刻预测协方差矩阵。

有益效果：本发明相对于现有技术而言：本发明能够在夜间对持续获取预设范围内的航道及船舶图像，对预设范围内的船舶信息进行实时的标的，用于辅助船舶监控。

附图说明

图1为本发明夜间航行船舶检测并跟踪装置组成模块；

图2为本发明夜间航行船舶检测并跟踪装置实物图；

图3为本发明夜间航行船舶检测并跟踪方法流程；

图4为本发明实施例中船舶光斑检测流程；

图5为本发明实施例中船舶光斑重叠判断示意图；

图6为本发明实施例中船舶光斑跟踪流程；

图7为实施例步骤2)中，σ取1时高斯拉普拉斯卷积图像；

图8为实施例步骤2)中，σ取3时高斯拉普拉斯卷积图像；

图9为实施例步骤2)中，首先对垂直方向进行高斯拉普拉斯卷积运算，之后对水平方向进行高斯卷积运算后的示意图；

图10为实施例步骤2)中，再将卷积运算后的图像在垂直方向进行高斯卷积运算，之后在水平方向进行高斯拉普拉斯卷积运算后的示意图；

图11为实施例步骤2)中，将两个方向上卷积运算结果进行求和运算后的示意图；

图12为实施例步骤3)中，灰度阈值取90时，得到光斑检测结果示意图；

图13为实施例步骤4)中，经过峰值检测后的结果示意图；

图14为实施例步骤5)中，视频第1、181、361、541、721、901帧图像检测到的光斑结果示意图；

图15为实施例步骤7)中，将阈值设为5对应421帧跟踪结果示意图；

图16为实施例步骤7)中，将阈值设为15时对应871帧图像跟踪结果示意图；

图17为实施例步骤7)中，将阈值设为10时，图14对应的帧图像跟踪结果示意图；

在图2中：1-摄像头，2-AIS船台，3-通航船舶一，4-通航船舶二，5-通航船舶三，6-通信服务器，7-数据中心，8-数据云端，9-主控模块监控中心终端界面。

具体实施方式

下面结合附图将对本发明中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图2所示，一种夜间航行船舶检测并跟踪的装置，包括摄像头1、AIS船台2、通信服务器6、数据中心7、及数据云端8及主控模块监控中心终端界面9；具体地：

摄像头：摄像头1设立在岸上，夜晚实时采集船舶航行期间的图片，采集目标区域夜间航行船舶视频图像；

AIS船台2：AIS船台2设置于岸边，采集目标区域内多个通航船舶发送的AIS数据；AIS船台2通过通信服务器6将AIS数据发送到数据中心7和数据云端8；之后，在数据中心的AIS信息处理模块对AIS数据进行AIS解码、分析和集成；

AIS信息处理模块：即计算机，计算机对AIS数据进行解码并按照船舶的呼号将AIS相应的信息分类；

通信服务器6：将采集的视频数据和AIS数据传输至数据中心7以及数据云端8；

主控模块监控中心终端界面9：由数据中心7将船舶检测和跟踪结果传输到主控模块监控中心终端界面9，同时可通过主控模块监控中心终端界面9实现对摄像头的控制。

根据附图3、4和6的所示流程，通过摄像头和AIS船台分别采集视频图像信息以及船舶AIS数据，分别对视频图像数据和AIS数据进行处理，获取光斑跟踪结果和AIS数据；在对数据完成融合基础上，将最终结果呈现在监控视频中。由于本发明重点在于夜间船舶图像检测方法，因此对该流程进行详述。

第一步光斑检测流程如附图4所示，图像采集单元在夜间视频灰度图像中检测所有可视光斑，由于夜间图像受到岸边建筑物或桥灯灯光的影响，在实现光斑检测后需根据光斑的灰度值对光斑进行过滤，尽可能保留船灯光斑。其具体过程为：

①灰度化。根据公式(1)进行图像灰度化。

Grey＝0.299*R+0.587*G+0.114*B (1)

②滤波器创建。多尺度高斯拉普拉斯卷积核参数确定，由于光斑尺度未确定，通过创建多尺度高斯拉普拉斯卷积核对图像进行灯光检测以保证光斑检测效果，因此进行等间隔向量的构建用于不同尺度滤波器，滤波器尺度取决于卷积核参数σ。

③光斑检测。为了方便计算，在水平方向和垂直方向上均进行高斯卷积运算和高斯-拉普拉斯卷积运算，之后将两个方向上的计算结果进行求和运算。二维高斯核函数如式(2)所示，高斯拉普拉斯算子如式(3)所示。以σ取1进行LOG算子光斑检测为例，具体流程如下：首先对垂直方向进行高斯拉普拉斯卷积运算，之后对水平方向进行高斯卷积运算；将卷积运算后的图像在垂直方向进行高斯卷积运算，之后在水平方向进行高斯拉普拉斯卷积运算；最后将两个方向上卷积运算结果进行求和运算。

式中，σ卷积核参数，G二维高斯核函数，x水平方向，y垂直方向。

④光斑阈值判断。由于夜间内河视频图像中包含了建筑灯光等背景灯光，因此需要将检测到的非船舶光斑进行过滤。通过设置灰度值阈值进行判断，阈值过小，则检测到光斑包含其他类型的灯光且数量过多，难以跟踪；阈值过大，则检测光斑数量过少，无法实现船舶检测及后续跟踪。可采用试验的方法来确定阈值取值，通过随机取多张图片，分别设置不同的光斑阈值，对比不同光斑阈值下检测效果，通过计算人眼检测的光斑个数η_o和通过光斑阈值检测的结果η，取误差λ平均值最小时对应的光斑阈值。误差计算结果如式(4)对应

式中，η_o为人眼检测光斑个数，η为具体光斑阈值下检测光斑个数，λ光斑检测误差。

⑤峰值检测。峰值检测包含三个小步骤：最大值滤波、背景检测以及图像腐蚀，最后得到峰值检测结果。图像阈值判断后图像光斑较小，因此采用最大值滤波增大光斑。同时根据最大值滤波前后图像数据的对比，确定图像背景，对图像背景进行腐蚀。最后将最大值滤波后的结果与腐蚀后背景图像做差，获得峰值检测结果，即获得图像中光斑中心点像素坐标。

最大值滤波和、背景检测和图像腐蚀操作流程如下：最大值滤波实现，若中心像素点的值α_o较周围领域像素点的最大值α_m更大的话，则将最大值α_m替换中心像素点的值α_o，依次进行垂直方向(水平方向)和水平方向(垂直方向)最大值滤波；背景检测即判断像素值是否为0，若像素值为0，则为背景；图像腐蚀操作，采用操作数矩阵扫描图像中的每一个像素，操作数矩阵中每一个像素与覆盖的像素做“与”操作，如果全部为1，则图像中的该像素为1，反之为0。

⑥光斑重叠判断。对检测到的光斑进行重叠判断，判断规则如下：首先计算两个光斑半径之和r_sum、半径之差的绝对值r_diff以及两个光斑中心点之间距离d，若d＜＝r_diff，说明小光斑位于大光斑圆环内，可不考虑小光斑，若r_sum＜＝d，说明不存在重叠，否则计算两个光斑之间的重叠面积，附图5所示为光斑重叠面积计算示意图，其中r₁、r₂以及d分别为两个光斑的半径以及光斑中心间的距离；在此基础上，分别计算重叠区域面积与各光斑面积的比值，若比值大于设定阈值，则认为该光斑存在重叠。

第二步对光斑进行匹配和跟踪，如附图6所示。夜间船舶多光斑跟踪需解决的主要问题包括：首先由于光斑数量较多，需对每一帧图像检测到的光斑进行匹配；其次，由于灯光闪烁的问题，导致光斑检测不稳定，例如同一个光斑相邻帧图像未能均检测到该光斑。同时船舶驶离视频监控区域范围时，需将对应光斑的观测结果进行删除。针对第一个问题，采用匈牙利方法进行光斑匹配；针对第二个问题，首先对上一帧跟踪光斑进行卡尔曼滤波，之后将观测结果与测量结果进行匈牙利匹配，根据匹配的结果以及设定的距离阈值判断光斑是否保留。将未匹配上的新的检测到的光斑作为新的光斑，同时将原有但之后未匹配次数达到阈值的光斑设为已离开视频监控区域的光斑，进行删除。

①卡尔曼滤波预测。以单个光斑为例，假设x_k、y_k分别表示k时刻光斑中心所在位置，v_x、v_y分别表示x、y方向上的速度，a_x、a_y分别表示x、y方向上的加速度，定义用来描述运动目标状态的向量为：

X_k＝[x_k,y_k,v_x,v_y]^T (4)

观测向量Z_k表示如下：

Z_k＝[x_k,y_k]^T (5)

由此确定状态转移矩阵A，控制输入矩阵B，k时刻对系统的控制量U_k以及系统测量矩阵H如下：

首先对下一刻的状态进行预测并计算协方差矩阵，如式(7)所示。

其中卡尔曼增益计算如式(8)所示。

K_k+1＝P_k+1′*H^T*(HP_k+1′H^T+R)^-1 (8)

依次对前一帧图像中检测到的每一个光斑依次进行预测，并计算对应的协方差矩阵和卡尔曼系数。

②光斑匹配。计算测量点与观测点各个点之间对应的欧式距离，根据距离矩阵采用匈牙利方法对点集进行匹配。设定距离阈值，通过匹配点之间的距离与阈值进行比较，确定是否为有效的匹配，若测量点与观测点较远，则认为配对无效。距离阈值设置实验流程如下：当取当前阈值时，连续帧图像中同一光斑多次未被连接，则应减小当前距离阈值；当取当前阈值时，连续帧图像中不同光斑多次被连接起来，则应增大当前距离阈值。

③卡尔曼滤波更新。对基于测量值的有效匹配点观测值进行更新，并更新协方差矩阵，如式(9)所示。

式中，X_k+1更新后下一刻目标状态，X_k+1'目标下一刻预测状态，H系统测量矩阵，K_k+1为下一刻卡尔曼增益，Z_k+1为下一刻观测向量，P_k+1更新后下一刻协方差矩阵，P_k+1′下一刻预测协方差矩阵。

④光斑新增与删除。考虑有新的船舶进入视频监控区域，因此需对新的光斑进行跟踪。在数据匹配过程中，除无效匹配外，还包含了未进行匹配的测量点，被认为是新增的光斑，添加到当前光斑跟踪数据中。同时，在观测点中未匹配上的点进行标记，若标记次数达到阈值，则光斑可能已经离开视频监控区域范围内，则删除该观测点。

循环上述步骤，实现光斑的跟踪，即夜间航行船舶的跟踪。本发明夜视能力强，标物清晰。

案例分析

针对实际案例进行船舶检测和跟踪，具体实施步骤如下：

步骤1：光斑检测。

①图像灰度化，采用公式(1)对图像进行灰度化。

②创建不同尺度的卷积核进行等间隔向量的构建用于不同尺度滤波器，如图7和8所示分别为原始图像及σ取1/3时高斯拉普拉斯卷积图像。

③分别在水平方向和垂直方向上进行高斯卷积运算和高斯-拉普拉斯卷积运算，之后将两个方向上的计算结果进行求和运算。以σ取1进行LOG算子光斑检测为例，具体流程如下：首先对垂直方向进行高斯拉普拉斯卷积运算，之后对水平方向进行高斯卷积运算，结果如图9所示；将卷积运算后的图像在垂直方向进行高斯卷积运算，之后在水平方向进行高斯拉普拉斯卷积运算，结果如图10所示；最后将两个方向上卷积运算结果进行求和运算，结果如图11所示。

④光斑阈值判断。通过光斑检测获得灰度图像，由于夜间内河视频图像中包含了建筑灯光等背景灯光，因此需要将检测到的非船舶光斑进行过滤。通过试验的方法来确定阈值，如图12所示，将灰度阈值分别取90时，得到光斑检测结果，检测到的光斑个数依次为9。由实际试验数据可知，当阈值取值80-100之间时，光斑检测结果较符合期望，本专利取90作为阈值。

⑤峰值检测包含三个步骤：最大值滤波、背景检测以及图像腐蚀，最后得到峰值检测结果。图像阈值判断后图像光斑较小，因此采用最大值滤波增大光斑。同时根据最大值滤波前后图像数据的对比，确定图像背景，对图像背景进行腐蚀。最后将最大值滤波后的结果与腐蚀后背景图像做差，获得峰值检测结果，即获得图像中光斑中心点像素坐标，如图13所示。

⑥光斑重叠判断，对检测到的光斑进行重叠判断，判断规则如上所述，本专利中取值为0.1。

为使船舶跟踪效果明显，在视频中间每隔30帧取一帧图像进行光斑检测和跟踪，实现算法验证。图14所示分别为视频中第1、181、361、541、721、901帧图像检测到的光斑结果。由图可知，光斑检测个数相对稳定，检测到的船舶光斑个数为3至4个，其他光斑为沿岸建筑灯光。由此可确定算法实现光斑检测稳定性较好。

步骤2：光斑匹配和跟踪。

①卡尔曼滤波预测。根据上述卡尔曼滤波各参数对前一帧图像中检测到的所有光斑依次进行预测，并计算协方差矩阵和卡尔曼系数。

②光斑匹配。计算测量点与观测点各个点之间对应的欧式距离，根据距离矩阵采用匈牙利方法对点集进行匹配。采用匈牙利算法对观测数据与跟踪数据进行匹配之后，需要对匹配上的点进行判断，若匹配点之间的距离大于设定的阈值，则认为是无效匹配。本文通过实验的方法对阈值进行取值，图15所示为将阈值为5对应421帧跟踪结果，图16所示为阈值为15时对应871帧图像跟踪结果。由图可知，当阈值取值5时，同一光斑前后帧图像连线被断开，影响跟踪效果；当阈值取值过大为15时，部分无关光斑之间进行了连接，同样影响跟踪效果。因此，本文阈值设置为10，其对应跟踪结果如图17所示。

③卡尔曼滤波更新。对基于测量值的有效匹配点观测值进行更新，并更新协方差矩阵。

④光斑新增与删除。在数据匹配过程中，除无效匹配外，还包含了未进行匹配的测量点，被认为是新增的光斑，添加到当前光斑跟踪数据中。同时，在观测点中未匹配上的点进行标记，若标记次数达到阈值(本专利取6)，则光斑可能已经离开视频监控区域范围内，则删除该观测点。

根据上述卡尔曼滤波多目标跟踪算法流程，对光斑进行跟踪，图14对应的帧图像跟踪结果如图17所示(其中距离阈值为10)，采用有色折线对前后帧图像中的同一光斑进行连接。

本发明提供了一种夜间航行船舶检测并跟踪的装置和方法。以上仅说明本发明的特点和设计思想，为技术人员实施本发明提供参考，在实际应用中，可根据实施环境的变化，灵活改变测量方式。但本发明的保护范围不仅仅在于此，凡根据本发明阐述的原理、设计思路相雷同的或在合理的修改范围内，都属于本发明保护范围内。

Claims (10)

1.一种夜间航行船舶检测并跟踪的装置，其特征在于：包括摄像头(1)、AIS船台(2)、通信服务器(6)、数据中心(7)、及数据云端(8)及主控模块监控中心终端界面(9)；具体地：

摄像头：摄像头(1)设立在岸上，夜晚实时采集船舶航行期间的图片，采集目标区域夜间航行船舶视频图像；

AIS船台(2)：AIS船台(2)设置于岸边，采集目标区域内多个通航船舶发送的AIS数据；AIS船台(2)通过通信服务器(6)将AIS数据发送到数据中心(7)和数据云端(8)；之后，在数据中心的AIS信息处理模块对AIS数据进行AIS解码、分析和集成；

AIS信息处理模块：即计算机，计算机对AIS数据进行解码并按照船舶的呼号将AIS相应的信息分类；

通信服务器(6)：将采集的视频数据和AIS数据传输至数据中心(7)以及数据云端(8)；

主控模块监控中心终端界面(9)：由数据中心(7)将船舶检测和跟踪结果传输到主控模块监控中心终端界面(9)，同时可通过主控模块监控中心终端界面(9)实现对摄像头的控制。

2.一种如权利要求1所述的夜间航行船舶检测并跟踪的方法，其特征在于：包括以下步骤：

1)数据中心获取摄像头采集的图像及视频，并进行灰度化处理；

2)创建多尺度高斯拉普拉斯卷积核作为滤波器对图像进行灯光检测，并在水平方向和垂直方向上均进行高斯卷积运算和高斯-拉普拉斯卷积运算，之后将两个方向上的计算结果进行求和运算；

3)进行光斑阈值判断，过滤非船舶光斑；

4)峰值检测；

5)光斑重叠判断；

6)进行卡尔曼滤波预测；

7)根据距离矩阵采用匈牙利方法对点集进行匹配；

8)卡尔曼滤波更新，并返回步骤6)。

3.根据权利要求2所述的夜间航行船舶检测并跟踪的方法，其特征在于：所述步骤1)中，根据公式(1)进行图像灰度化：

Grey＝0.299*R+0.587*G+0.114*B。(1)

4.根据权利要求2所述的夜间航行船舶检测并跟踪的方法，其特征在于：所述步骤2)中，在水平方向和垂直方向上均进行高斯卷积运算和高斯-拉普拉斯卷积运算，之后将两个方向上的计算结果进行求和运算；

二维高斯核函数如式(2)所示，高斯拉普拉斯算子如式(3)所示；以σ取1进行LOG算子光斑检测为例，具体流程如下：首先对垂直方向进行高斯拉普拉斯卷积运算，之后对水平方向进行高斯卷积运算；再将卷积运算后的图像在垂直方向进行高斯卷积运算，之后在水平方向进行高斯拉普拉斯卷积运算；最后将两个方向上卷积运算结果进行求和运算：

式中，σ卷积核参数，G二维高斯核函数，x水平方向，y垂直方向。

5.根据权利要求2所述的夜间航行船舶检测并跟踪的方法，其特征在于：所述步骤3)中，具体地，随机取多张图片，分别设置不同的光斑阈值，对比不同光斑阈值下检测效果，通过计算人眼检测的光斑个数η_o和通过光斑阈值检测的结果η，取误差λ平均值最小时对应的光斑阈值。误差计算结果如式(4)对应

式中，η_o为人眼检测光斑个数，η为具体光斑阈值下检测光斑个数，λ光斑检测误差。

6.根据权利要求2所述的夜间航行船舶检测并跟踪的方法，其特征在于：所述步骤4)中，峰值检测包含三个小步骤：最大值滤波、背景检测以及图像腐蚀，其中：

最大值滤波的实现，若中心像素点的值α_o较周围领域像素点的最大值α_m更大的话，则将最大值α_m替换中心像素点的值α_o，依次进行垂直方向对应水平方向或水平方向对应垂直方向的最大值滤波；

背景检测即判断像素值是否为0，若像素值为0，则为背景；

图像腐蚀操作，采用操作数矩阵扫描图像中的每一个像素，操作数矩阵中每一个像素与覆盖的像素做“与”操作，如果全部为1，则图像中的该像素为1，反之为0。

7.根据权利要求2所述的夜间航行船舶检测并跟踪的方法，其特征在于：所述步骤5)中，具体地，首先计算两个光斑半径之和r_sum、半径之差的绝对值r_diff以及两个光斑中心点之间距离d，若d＜＝r_diff，说明小光斑位于大光斑圆环内，可不考虑小光斑，若r_sum＜＝d，说明不存在重叠，否则计算两个光斑之间的重叠面积；在此基础上，分别计算重叠区域面积与各光斑面积的比值，若比值大于设定阈值，则认为该光斑存在重叠。

8.根据权利要求2所述的夜间航行船舶检测并跟踪的方法，其特征在于：所述步骤6)中，具体地，以单个光斑为例，假设x_k、y_k分别表示k时刻光斑中心所在位置，v_x、v_y分别表示x、y方向上的速度，a_x、a_y分别表示x、y方向上的加速度，定义用来描述运动目标状态的向量为：

X_k＝[x_k,y_k,v_x,v_y]^T (4)

观测向量Z_k表示如下：

Z_k＝[x_k,y_k]^T (5)

由此确定状态转移矩阵A，控制输入矩阵B，k时刻对系统的控制量U_k以及系统测量矩阵H如下：

首先对下一刻的状态进行预测并计算协方差矩阵，如式(7)所示：

其中卡尔曼增益计算如式(8)所示：

K_k+1＝P_k+1′*H^T*(HP_k+1′H^T+R)^-1 (8)

依次对前一帧图像中检测到的每一个光斑依次进行预测，并计算对应的协方差矩阵和卡尔曼系数。

9.根据权利要求2所述的夜间航行船舶检测并跟踪的方法，其特征在于：所述步骤7)中，具体地，计算测量点与观测点各个点之间对应的欧式距离，根据距离矩阵采用匈牙利方法对点集进行匹配；设定距离阈值，通过匹配点之间的距离与阈值进行比较，确定是否为有效的匹配，若测量点与观测点较远，则认为配对无效；距离阈值设置流程如下：当取当前阈值时，连续帧图像中同一光斑多次未被连接，则应减小当前距离阈值；当取当前阈值时，连续帧图像中不同光斑多次被连接起来，则应增大当前距离阈值。

10.根据权利要求2所述的夜间航行船舶检测并跟踪的方法，其特征在于：所述步骤8)中，具体地，对基于测量值的有效匹配点观测值进行更新，并更新协方差矩阵，如式(9)所示：

式中，X_k+1更新后下一刻目标状态，X_k+1'目标下一刻预测状态，H系统测量矩阵，K_k+1为下一刻卡尔曼增益，Z_k+1为下一刻观测向量，P_k+1更新后下一刻协方差矩阵，P_k+1′下一刻预测协方差矩阵。

Images