CN102968625B - 基于轨迹的船舶识别与跟踪方法 - Google Patents

Abstract

本发明属于智能航运管理技术领域，涉及一种图像识别检测技术，尤其涉及一种基于轨迹的船舶识别与跟踪方法，包括如下步骤：步骤一：对视频采集图像中涉及航道信息的有效识别区域提取船舶特征信息，以识别船舶；步骤二：根据基于网格的船舶分类器识别出的船舶前景和背景，采用灰度直方图相减方法获得消除背景的纯船舶像素累加灰度直方图高斯模型；步骤三：进行连通区域分析，分割并标示船舶对象；步骤四：进行基于船舶检测的后续跟踪分析。本发明通过船舶特征快速的从航道中将船舶识别并进行轨迹跟踪、从而判断航道两侧禁止停泊区域是否有船舶非法停靠事件发生。

Description

基于轨迹的船舶识别与跟踪方法

技术领域

本发明属于智能航运管理技术领域，涉及一种图像识别检测技术，尤其涉及一种基于轨迹的船舶识别与跟踪方法。

背景技术

船舶非法停靠是判断在设定的禁停区域被侵犯的行为，它的基础是船舶的识别和轨迹的跟踪。国内外常用的内河船舶检测方法，是利用计算机图像视觉分析技术、红外技术、射频识别技术和传感器技术。由于基于视频检测的计算机视觉技术具有检测范围大、提供信息丰富、安装维修方便等优点，被认为是最有发展前景的检测方式之一。

目前，在陆上交通领域的智能视频分析技术已有广泛而较为成熟的应用，例如：对车牌的识别、车辆的跨线行驶、逆向行驶、车辆密度的监控、违章停车等。而在水上交通领域，特别是船舶检测，不能简单套用车辆识别的方式和算法，其主要原因在于水面各种光线反射和水纹变化等造成的复杂背景的剔除，以及船舶这样的低速物体运动轨迹的跟踪。

已有的发明有：

同比技术{I}，中国专利公开号CN 102147859A，公开日2011年8月10日，发明名称为《一种船舶监控方法》，该申请公开了目标识别方法和目标跟踪方法，目标识别方法截取实时视频图像与背景图像做差分运算并进行二值化后使用区域生长算法得到船舶目标，对识别到的船舶目标进行目标跟踪及锁定。其采用的背景差法首先选取背景中的一幅或几幅图像的平均作为背景图像，然后把以后的序列图像当前帧和背景图像相减，进行背景消去。若所得到的像素数大于某一阈值，则判定被监视场景中有运动物体，从而得到运动目标。这种差分法对于复杂背景下的运动物体检测效果较好，一般能够提供最完整的特征数据，计算量小，实用价值大。缺点是受光线、天气等外界条件的影响较大，而且只能识别运动中物体，对于静止或运动速度过慢的物体识别效果不好。

发明内容

本发明的目的在于提出一种通过船舶特征快速的从航道中将船舶识别并进行轨迹跟踪、从而判断航道两侧禁止停泊区域是否有船舶非法停靠事件发生的基于轨迹的船舶识别与跟踪方法。

为了实现上述目的，本发明采用的技术方案为：基于轨迹的船舶识别与跟踪方法，其特征在于，包括如下步骤：

步骤一：对视频采集图像中涉及航道信息的有效识别区域提取船舶特征信息，以识别船舶；

步骤二：根据基于网格的船舶分类器识别出的船舶前景和背景，采用灰度直方图相减方法获得消除背景的纯船舶像素累加灰度直方图高斯模型；

步骤三：进行连通区域分析，分割并标示船舶对象；

步骤四：进行基于船舶检测的后续跟踪分析。

前述的基于轨迹的船舶识别与跟踪方法，所述的步骤一具体过程为：

手动标注船舶特征并建立船舶特征库；

通过船舶特征库的正负样本学习训练基于船舶特征的决策树分类器；

通过航道沿岸前端摄像头拍摄获得具有航道船舶信息的视频采集图像，对视频采集图像进行图像分割，过滤非航道信息，保留有效的识别区域的图像信息；

将有效的识别区域的图像信息进行分块特征提取；

采用决策树分类器将提取的分块特征与船舶特征库对比。

前述的基于轨迹的船舶识别与跟踪方法，所述的步骤二具体过程为：

根据基于网格的船舶分类器识别出的船舶前景和背景，分别累加目标区域中船舶区域和非船舶区域的灰度直方图，直方图归一化；

将上述两种直方图相减，剔除背景区域直方图的影响，再进行高斯拟合，得到消除了背景区域影响的纯船舶像素累加灰度直方图高斯模型。

前述的基于轨迹的船舶识别与跟踪方法，所述的步骤三具体过程为：

采用八连通区域提取算法，将二维空间中具有连通性的像素构成的区域作为连通区域，标识航道内船只的个数、位置和大小。

前述的基于轨迹的船舶识别与跟踪方法，所述的步骤四具体过程为：

将当前图像帧检测出来的所有船只全部跟踪为已有船舶轨迹的继续；

将当前图像帧中未被跟踪的检测船只，作为新的一条船舶轨迹的开始；

更新船舶标识量，确定是否为被成功跟踪的有效船舶，跟踪的轨迹长度要大于设定的阈值；

检查当前船舶轨迹列表并更新历史船舶轨迹列表。

前述的基于轨迹的船舶识别与跟踪方法，该方法用于判断航道两侧禁止停泊区域的船舶非法停靠事件，具体包括如下步骤：

分别获取船舶轨迹中第一艘和最后一艘侵犯禁止停泊区域的船舶信息；根据扫描船舶的标示矩形框位置判断船舶是否落在禁止停泊区域内；

统计禁止停泊区域的所在矩形的最短边长，计算第一艘与最后一艘船舶中心坐标之间的欧拉距离，以及欧拉距离相对禁止停泊区域最短边长的比例percentage_of_distance；

计算第一艘与最后一艘船舶之间的船只个数，船只个数相对整个船舶轨迹的比例为percentage_of_trace；

计算第一艘与最后一艘船舶之间的持续时间time_gap；

当percentage_of_distance≤50％、percentage_of_trace≥90％、time_gap超过当前图像帧的处理时间，上述三个条件同时满足时，认定有船舶非法停靠事件的发生。

本发明通过建立船舶特征库、建立范围更小的有效识别区域，将有效识别区域的分块特征与船舶特征库对比，快速识别船舶；通过船舶分类器识别出船舶前景和背景，构建两直方图，获得消除背景区域影响的纯船舶像素累加灰度直方图高斯模型，求解高斯曲线，确定船只的灰度范围，获得船舶检测二值图，再进行船舶对象的分割与标示和船舶轨迹的后续跟踪，从而实时跟踪船舶的活动轨迹，还有利于判断航道两侧禁止停泊区域是否有船舶非法停靠事件发生。

附图说明

图1为船舶的灰度直方图；

图2为河的灰度直方图；

图3为拟合之后的高斯曲线；

图4为船舶检测二值图；

图5为船舶检测结果图。

具体实施方式

下面结合附图对本发明作进一步描述，主要分以下三部分阐述，第一部分阐述船舶的快速识别方法，第二部分阐述船舶轨迹的跟踪方法，第三部分涉及判断船舶非法停靠事件的方法。

1船舶的快速识别方法

船舶快速识别方法，包括如下步骤：

步骤一：手动标注船舶特征并建立船舶特征库；

步骤二：通过船舶特征库的正负样本学习训练基于船舶特征的决策树分类器；

步骤三：通过航道沿岸前端摄像头拍摄获得具有航道船舶信息的视频采集图像，对视频采集图像进行图像分割，过滤非航道信息，保留有效的识别区域的图像信息；

步骤四：将有效的识别区域的图像信息进行分块特征提取；

步骤五：采用决策树分类器将提取的分块特征与船舶特征库对比。

前述的基于特征的船舶快速识别方法，其特征在于上述第一步建立船舶特征库的具体过程如下：

步骤一：从视频中取一帧图像，对图像进行分块，块大小设定为16*16；

步骤二：对于每个图像块的类型进行手动标注，以得到训练样本的监督信息；用红色图像块标注为船的部分，绿色图像块标注为水面部分，蓝色图像块标注为其他部分，不参与计算；

步骤三：将手动标注的结果分别保存为船舶和非船舶的正负样本文件。

前述的基于特征的船舶快速识别方法，其特征在于：

设定4种航道的亮度等级，分别为“晴天”、“阴天”、“最暗”和“最亮”，用以概括一天中所有的光照条件；根据光照条件的不同，需要建立不同光照条件的船舶特征库，并由此训练得出不同光照情况下的决策树分类器。

前述的基于特征的船舶快速识别方法，其特征在于：

在自动识别过程中，定期的根据航道的亮度等级进行分类器选择；统计获取航道河面区域内的32维灰度直方图，直方图归一化，获取直方图中最大柱值的位置，根据直方图最大柱值的位置L，来判断光照条件是否合适和选择不同的分类器；当5<L<＝10时，选择加载“最暗”天气的分类器；当10<L<＝15时，选择加载“阴天”天气的分类器；当15<L<＝20时，选择加载“晴天”天气的分类器；当20<L<＝25时，选择加载“最亮”天气的分类器；当L<＝5或者L>25时，则光照太暗或太亮，条件不满足识别要求。

前述的基于特征的船舶快速识别方法，其特征在于：在步骤五中，当分块特征满足和水特征相似比例超过50％，判定为水，反之继续和船舶特征进行比对；当分块特征满足和船舶特征相似比例超过50％，判断为船舶并将船舶特征存储入船舶特征库，反之即为噪点。

2船舶轨迹的跟踪方法

船舶轨迹的跟踪方法，包括如下步骤，

步骤一：根据基于网格的船舶分类器(即前述的决策树分类器)识别出的船舶前景和背景，分别累加目标区域中船舶区域和非船舶区域的灰度直方图，直方图归一化。图1和图2分别是预测结果为船舶和河的图像块的灰度直方图：

步骤二：将图1和图2的直方图相减，剔除背景区域直方图的影响，再进行高斯拟合，可以得到图3拟合之后的高斯曲线，即消除了背景区域影响的纯船舶像素累加灰度直方图高斯模型。

求出图3所示高斯曲线的均值μ和方差σ²，取灰度范围(μ-3σ，μ+3σ)为船只的灰度范围。

根据船只的灰度范围确定船舶位置、大小，优化完成之后，精度大为增加，获得图4的船舶检测二值图。

步骤三：船舶对象的分割与标示。对图4优化后的结果进行连通域的分析，可以得出航道内船只的个数。连通区域标识的方法很多，这里采用的是八连通区域提取算法，对二维空间中所有具有连通性的像素构成的区域作为一个连通区域。所谓连通性是指在二维图像中，对目标像素周围有m(m≤8)个相邻的像素，如果当前像素灰度与这m个像素中的某一点A的灰度相等，那么称该像素与点A具有连通性。一个连通域用一个矩形表示。图5中的矩形方框标识出了船舶的大小和位置。

步骤四：基于船舶检测的后续跟踪分析。

①尝试将当前图像帧所检测出来的所有船只全部跟踪为已有船舶轨迹的继续。遍历所有已有船舶轨迹，如果当前检测船舶与其中一条船舶轨迹中的最后一条船舶靠得足够的近，那么就将当前船舶扩展为该轨迹的继续。

②将当前图像帧中未被跟踪的检测船只，作为新的一条船舶轨迹的开始。

③更新船舶标识量—是否为有效船舶(被成功跟踪，并且所跟踪的轨迹长度要大于设定的阈值)。

④检查当前船舶轨迹列表并更新历史船舶轨迹列表。

遍历所有已有船只轨迹，如果一个跟踪序列的持续时间长度，换算成处理图像帧数，超过特定的阈值(如1500帧)，那么则终止这个序列的跟踪，并且进行后续的跟踪序列分析。如果当前图像帧的处理时间，与一个跟踪序列中的最后检测船舶的处理时间距离，换算成处理图像帧数，超过特定阈值(如10帧)，那么则终止这个序列的跟踪，并且进行后续的跟踪序列分析。如果一个跟踪序列的持续时间长度，换算成处理图像帧数，小于特定的阈值(如25帧)，那么认为这个跟踪序列属于干扰噪音，则进行永久删除，否则移进历史轨迹序列。

3判断本发明中判断航道两侧禁止停泊区域是否有船舶非法停靠事件发生，

步骤一：分别获取船舶轨迹中第一艘和最后一艘侵犯禁止停泊区域的船舶信息。判断指定河面区域是否被侵犯的方式为扫描船舶的标示矩形框位置是否有落在指定区域内。

步骤二：统计禁止停泊区域的所在矩形的最短边长，计算第一艘与最后一艘船舶中心坐标之间的欧拉距离，以及相对禁停区域边长的比例percentage_of_distance。

步骤三：计算第一艘与最后一艘船舶之间的船只个数，船只个数相对整个船舶轨迹的比例为percentage_of_trace。

步骤四：计算第一艘与最后一艘船舶之间的持续时间time_gap。

步骤五：根据第一艘与最后一艘船舶之间的距离、长度和持续时间，来进行禁止停泊区域侵犯判断。只有当percentage_of_distance≤50％、percentage_of_trace≥90％、time_gap超过当前图像帧的处理时间，三个条件同时满足时，才认定有船舶非法停靠事件的发生。

上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围。

Claims (5)

1.基于轨迹的船舶识别与跟踪方法，其特征在于，包括如下步骤：

步骤一：对视频采集图像中涉及航道信息的有效识别区域提取船舶特征信息，以识别船舶；

步骤二：根据基于网格的船舶分类器识别出的船舶前景和背景，采用灰度直方图相减方法获得消除背景的纯船舶像素累加灰度直方图高斯模型；

步骤三：进行连通区域分析，分割并标示船舶对象；

步骤四：进行基于船舶检测的后续跟踪分析；

该方法用于判断航道两侧禁止停泊区域的船舶非法停靠事件，具体包括如下步骤：

分别获取船舶轨迹中第一艘和最后一艘侵犯禁止停泊区域的船舶信息；根据扫描船舶的标示矩形框位置判断船舶是否落在禁止停泊区域内；

统计禁止停泊区域的所在矩形的最短边长，计算第一艘与最后一艘船舶中心坐标之间的欧拉距离，以及欧拉距离相对禁止停泊区域最短边长的比例percentage_of_distance；

计算第一艘与最后一艘船舶之间的船只个数，船只个数相对整个船舶轨迹的比例为percentage_of_trace；

计算第一艘与最后一艘船舶之间的持续时间time_gap；

当percentage_of_distance≤50％、percentage_of_trace≥90％、time_gap超过当前图像帧的处理时间，上述三个条件同时满足时，认定有船舶非法停靠事件的发生。

2.根据权利要求1所述的基于轨迹的船舶识别与跟踪方法，其特征在于，所述的步骤一具体过程为：

手动标注船舶特征并建立船舶特征库；

通过船舶特征库的正负样本学习训练基于船舶特征的决策树分类器；

通过航道沿岸前端摄像头拍摄获得具有航道船舶信息的视频采集图像，对视频采集图像进行图像分割，过滤非航道信息，保留有效的识别区域的图像信息；

将有效的识别区域的图像信息进行分块特征提取；

采用决策树分类器将提取的分块特征与船舶特征库对比。

3.根据权利要求1所述的基于轨迹的船舶识别与跟踪方法，其特征在于，所述的步骤二具体过程为：

根据基于网格的船舶分类器识别出的船舶前景和背景，分别累加目标区域中船舶区域和非船舶区域的灰度直方图，直方图归一化；

将上述两种直方图相减，剔除背景区域直方图的影响，再进行高斯拟合，得到消除了背景区域影响的纯船舶像素累加灰度直方图高斯模型。

4.根据权利要求1所述的基于轨迹的船舶识别与跟踪方法，其特征在于，所述的步骤三具体过程为：

采用八连通区域提取算法，将二维空间中具有连通性的像素构成的区域作为连通区域，标识航道内船只的个数、位置和大小。

5.根据权利要求1所述的基于轨迹的船舶识别与跟踪方法，其特征在于，所述的步骤四具体过程为：

将当前图像帧检测出来的所有船只全部跟踪为已有船舶轨迹的继续；

将当前图像帧中未被跟踪的检测船只，作为新的一条船舶轨迹的开始；

更新船舶标识量，确定是否为被成功跟踪的有效船舶，跟踪的轨迹长度要大于设定的阈值；

检查当前船舶轨迹列表并更新历史船舶轨迹列表。