CN110060508B - 一种用于内河桥区的船舶自动检测方法 - Google Patents

Abstract

本发明公开了一种用于内河桥区的船舶自动检测方法，包括：1)采集真实内河桥区水域的交通监控视频，获得原始采样图片数据；2)对原始采样图片数据进行人工标注，形成标记图像；3)利用深度卷积神经网络对标记图像进行特征学习，对学习到的特征进行分类，获得经过训练的深度学习模型；4)使用经过训练的深度卷积神经网络模型对真实场景中的船舶进行检测，用矩形框框出船舶的位置，并表示出船舶所属类别。该方法对于不同天气、不同光照条件和夜间黑暗条件都有很好的适应性，可以达到比较高的准确率，处理速度达到实时的要求。

Description

一种用于内河桥区的船舶自动检测方法

技术领域

本发明涉及计算机视觉技术领域和交通监控系统技术领域，具体地指一种用于内河桥区的船舶自动检测方法。

背景技术

水路运输作为一种重要的交通运输方式在国家交通运输体系中占据重要地位，随着国家经济的快速发展，贸易量飞速增长，水路运输的繁忙程度与日俱增。与此同时，越来越多的内河桥梁也证明了国家经济的腾飞。但是，日益增加的内河桥梁在方便陆上交通的同时，也成为了威胁水路交通运输安全的重要因素。一旦船舶与桥梁发生碰撞，轻者造成船舶和桥梁受损，严重时会导致桥梁坍塌、船舶沉没以及大量人员伤亡，不但造成生命和财产的巨大损失，还会同时影响水路和道路交通的正常运行。所以，研究船舶与桥梁的避碰问题显得尤为重要。

目前，船桥避碰主要有主动避碰和被动避碰两种方式。被动避碰是在建设桥梁时加固桥墩结构和增加墩身的防避碰装置，意在降低船桥碰撞后产生的损失，但不能从根本上避免事故的发生。而主动避碰目前主要是通过雷达、船舶识别系统(AIS，AutomaticIdentification System)、船舶交通管理系统(VTS,Vessel Traffic System)等设备获得的信息对船舶航线进行管理，避免船桥碰撞事故的发生。然而，这种方式获得的数据信息不够直观。虽然目前桥梁也安装有监控摄像头，但仍然依赖于人工监视监控视频，在交通流量较大时，如果人因为疲劳、松懈或经验不足等因素产生误判或者漏判，会增加事故发生的几率。所以，亟需一种方法可以更加直观的显示船舶信息和判断船舶航行的风险，从而减少人工的工作量。

发明内容

本发明的目的在于克服现有技术的不足，提出一种用于内河桥区的船舶自动检测方法，该方法对于不同天气、不同光照条件和夜间黑暗条件都有很好的适应性，可以达到比较高的准确率，处理速度达到实时的要求。

为实现上述目的，本发明所设计的一种用于内河桥区的船舶自动检测方法，其特殊之处在于，所述方法包括如下步骤：

1)采集真实内河桥区水域的交通监控视频，获得原始采样图片数据；

2)对原始采样图片数据进行人工标注，形成标记图像；

3)利用深度卷积神经网络对标记图像进行特征学习，对学习到的特征进行分类，获得经过训练的深度学习模型；

4)使用经过训练的深度卷积神经网络模型对真实场景中的船舶进行检测，用矩形框框出船舶的位置，并表示出船舶所属类别。

优选地，所述步骤1)中原始采样图片数据为在内河桥区水域的桥上、两岸等不同位置布置监控摄像头获取不同角度拍摄的监控视频，采集一年内各个月份、不同天气状况、一天内不同时间段的监控视频，并将这些监控视频按照设定的时间间隔采样成图片数据。

优选地，所述步骤2)中分类依据和标注内容包括：按照类型、船长、船宽、吃水的属性将船舶分为渔船、散货船、集装箱船、客船、油船、矿砂船各船舶类别，使用标注软件人工对采样图片进行标注，包括用矩形框框出船舶位置来获得船舶坐标信息和标明船舶所属类别。

优选地，所述步骤3)中深度卷积神经网络包括输入层、卷积层、池化层、上采样层、输出层。

优选地，所述深度卷积神经网络中输入层用于将图片转化为固定像素大小的尺寸，然后将固定尺寸后的图片输入到卷积神经网络中；所述卷积层用于通过多个卷积核对图片进行卷积操作，获得特征图；所述池化层用于对卷积层所得到的特征图进行最大池化操作，降低特征图的维度；所述上采样层用于放大图像，增加特征图的维度，以便对不同大小的船舶目标进行准确检测；所述输出层用于输出检测结果。

优选地，在每一个卷积层中对图片进行批正则化处理，再通过非线性激活函数PReLu，得到特征图。

优选地，所述深度卷积神经网络在三个尺度上进行预测，每个尺度对应三个大小的锚框。

优选地，所述步骤3)中深度卷积神经网络的训练过程中，船舶所属类别，使用softmax函数得到分类概率，softmax函数的公式为：

式中：

表示得到的第i个类别的概率，

表示网络预测的第i个类别的概率，P表示概率。

优选地，所述步骤3)中深度卷积神经网络的训练过程中，计算交并比IOU以检测船舶位置准确程度，当IOU＜上限阈值a时，所预测结果中的锚框被忽略，当IOU≥上限阈值a时，所预测结果中的锚框被作为正样本，IOU的计算公式为：

式中：GT表示人工标注的船舶真实位置信息，DO表示网络预测的船舶位置信息，Area表示面积。

优选地，所述步骤3)中深度卷积神经网络的训练完成后，计算损失函数以衡量网络检测效果，若损失函数loss的值不超过上限值，则训练结束，若损失函数loss的值超过上限值，则调整训练次数，

损失函数为：

loss＝loss_x+loss_y+loss_w+loss_h+loss_conf+loss_cls

对于位置的中心坐标x，y，使用的损失函数为：

对于锚框宽w和高h，使用的损失函数为：

置信度使用的损失函数为：

类别损失函数为：

loss表示损失函数，x,y,w,h分别表示锚框的中心坐标和宽高，conf表示置信度，clc表示类别，c表示人工标注的类别信息，classes表示人工标注的所有类别信息的集合，i表示人工标注的类别信息的索引，object表示有目标的点位，noobject表示没有目标的点位，m表示有目标的点位的数量，n表示没有目标的点位的数量，P表示概率，·表示真实值，

表示预测值。

目前广为流行的深度卷积神经网络可以从庞大数据中自主学习目标的本质特征，训练之后的神经网络可以准确识别船舶类型和检测船舶位置，并且不易受到天气、光照、明暗等外部条件的干扰，具备良好的容错能力、并行处理能力和自学习能力，一些先进的目标检测算法已经能够达到实时检测的要求，所以基于深度卷积神经网络的方法在目标检测领域表现出极大的优势。

本发明利用卷积神经网络学习输入船舶图片的特征，从而实现对船舶的自动检测，该方法对于不同天气、不同光照条件和夜间黑暗条件都有很好的适应性，可以达到比较高的准确率，处理速度达到实时的要求。该方法为目前的内河桥区的船桥避碰主要使用AIS数据方法提供了一种基于计算机视觉的直观图像显示方案，在以后的视频监控中可以极大减少人工的工作量。

本发明的有益效果包括：

(1)可以自主提取输入到卷积神经网络中的图像的特征，而不必人工选取特征；

(2)对雨雪雾天、光照变化、明暗时间段都有很好的适应性，保持较高的准确率；

(3)处理帧率可以达到20FPS(frames per second)以上，达到对船舶的实时检测要求。

附图说明

图1是本发明提出的一种用于内河桥区的船舶自动检测方法的流程图。

图2是本发明提出的卷积神经网络的结构框图。

图3是本发明提出的卷积神经网络的结构原理图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步的详细描述。

如图1所示，本发明所提出的一种用于内河桥区的船舶自动检测方法的具体步骤如下：

1)采集真实内河桥区水域的交通监控视频，获得原始采样图片数据。在内河桥区水域的桥上、两岸等不同位置布置监控摄像头获取不同角度拍摄的监控视频，采集一年内不同月份，晴天、雨天、雪天、雾天等不同天气状况，一天内清晨、上午、中午、下午、傍晚、深夜、凌晨等不同时间段的监控视频，并将这些监控视频按照一定的时间间隔采样成图片数据。

2)对原始采样图片数据进行人工标注，形成标记图像。按照类型、船长、船宽、吃水等属性将船舶分为渔船、散货船、集装箱船、客船、油船、矿砂船等20种类别，使用标注软件人工对采样图片进行标注，包括用矩形框(锚框)框出船舶位置来获得船舶坐标信息和标明船舶所属类别。

3)利用深度卷积神经网络对标记图像进行特征学习，对学习到的特征进行分类，获得经过训练的深度学习模型。

4)使用经过训练的深度卷积神经网络模型对真实场景中的船舶进行检测，用矩形框框出船舶的位置，并表示出船舶所属类别。

结合图2和图3对步骤3)中提出的深度卷积神经网络进行详细描述：该深度卷积神经网络包括输入层、卷积层、池化层、上采样层、输出层。其中：

输入层用于将图片固定尺寸为416×416像素，然后将固定尺寸后的图片输入到所设计的卷积神经网络中。在输入层使用数据增强方法，具体为对输入图像进行翻转、剪切、亮度变化、人工合成雾图、人工合成雨图、人工合成雪图等操作，以达到增强网络的鲁棒性的效果。卷积层使用多个卷积核对图片进行卷积操作，来获得特征图。池化层对卷积层所得到的特征图进行最大池化操作，目的是为了降低特征图的维度。上采样层的目的是放大图像，增加特征图的维度，以便对不同大小的船舶目标进行准确检测。输出层用于输出检测结果。

卷积神经网络的搭建过程为：

3.1)将输入图像固定尺寸为416×416像素，然后将固定尺寸后的图片输入卷积神经网络；

3.2)在每一个卷积层使用批正则化处理，具体操作是将输入数据规范化到均值为0，方差为1的正态分布，目的是为了缓解训练过程中的梯度消失或梯度爆炸问题，同时可以加快收敛速度、降低过拟合。批正则化处理后再使用非线性激活函数PReLu，得到一个特征图，其中PRelu的表达式为：

式中：y表示输出值，x表示输入值，α是一个可以学习的参数向量，i表示特征图的序号。

3.3)为了能够检测不同大小的船舶目标，本发明提出的网络在3个尺度上进行预测，3个尺度分别为13×13、26×26、52×52，如图2与图3所示，将卷积层15所得到的13×13×1024的特征图经过卷积层16的卷积操作和卷积层17的卷积操作，得到13×13×75的向量输出1。将卷积层15所得到的13×13×1024的特征图经过卷积层18的卷积操作，并经过上采样，采样因子为2，得到26×26×1024的特征图，然后该特征图与卷积层12的特征图合并。再经过卷积层19、卷积层20、卷积层21、卷积层22的卷积操作，得到26×26×75的向量输出2。将卷积层20所得到的26×26×1024的特征图经过卷积层23的卷积操作，并经过上采样，采样因子为2，得到52×52×1024的特征图，然后该特征图与卷积层10的特征图合并。再经过卷积层24、卷积层25、卷积层26、卷积层27的卷积操作，得到52×52×75的向量输出3。其中75＝3×(20+4+1)，3表示锚框的数量，20表示船舶类别数，4表示船舶的四个位置信息，四个位置信息分别为中心点坐标x，y，锚框的宽w和高h，1表示1个有无船舶的置信度。

3.4)为了能够准确检测船舶目标，本发明提出的网络使用了9个预先定义的不同大小的锚框，尺寸分别为(10×13)、(16×30)、(33×23)、(30×61)、(62×45)、(59×119)、(116×90)、(156×198)、(373×326)，每个尺度分别使用3个锚框，具体为：13×13尺度使用的锚框为(116×90)、(156×198)、(373×326)，26×26尺度使用的锚框为(30×61)、(62×45)、(59×119)，52×52尺度使用的锚框为(10×13)、(16×30)、(33×23)。所以一张图片一共产生10647个锚框。

3.5)为了能够准确检测船舶目标，本发明提出的网络使用IOU(Intersectionover Union)即船舶真实位置的面积与检测到的船舶位置的面积的交集与船舶真实位置的面积与检测到的船舶位置的面积的并集之比来表示检测到的船舶位置的准确程度，IOU越大，说明检测到的船舶位置的准确度越高。IOU的公式如下：

式中：GT表示人工标注的船舶真实位置信息，DO表示网络预测的船舶位置信息，Area表示面积。

3.6)设置上限阈值a，如果IOU<a，该锚框被忽略，如果IOU≥a，该锚框当做正样本。本发明中上限阈值a取值为0.2，

3.7)为了消除对同一个船舶的重复检测，本发明中使用非最大值抑制算法对正样本锚框样本进行处理，只留下IOU最大的锚框作为检测到的船舶的位置。

3.8)为了预测船舶所属类别，使用softmax函数得到分类概率，softmax函数的公式如下：

式中：

表示得到的第i个类别的概率，

表示网络预测的第i个类别的概率，p表示概率。

3.9)为了衡量本发明设计的网络检测效果，使用损失函数loss，若损失函数loss的值不超过上限值0.3，则训练结束，若损失函数loss的值超过上限值0.3，则调整训练次数直至满足要求。损失函数loss的计算公式如下：

对于位置的中心坐标x，y，使用的损失函数为：

对于锚框宽w和高h，使用的损失函数为：

置信度使用的损失函数为：

类别损失函数为：

总的损失函数为：

loss＝loss_x+loss_y+loss_w+loss_h+loss_conf+loss_cls

上述损失函数中：loss表示损失，x,y,w,h分别表示边界框的中心坐标和宽高，conf表示置信度，clc表示类别，c表示人工标注的类别信息，classes表示人工标注的所有类别信息的集合，i表示人工标注的类别信息的索引，object表示有目标的点位，noobject表示没有目标的点位，m表示有目标的点位的数量，n表示没有目标的点位的数量，P表示概率，·表示真实值，

表示预测值。

最后需要说明的是，以上具体实施方式仅用以说明本专利技术方案而非限制，尽管参照较佳实施例对本专利进行了详细说明，本领域的普通技术人员应当理解，可以对本专利的技术方案进行修改或者等同替换，而不脱离本专利技术方案的精神和范围，其均应涵盖在本专利的权利要求范围当中。

Claims (6)

1.一种用于内河桥区的船舶自动检测方法，其特征在于：所述方法包括如下步骤：

1)采集真实内河桥区水域的交通监控视频，获得原始采样图片数据；

2)对原始采样图片数据进行人工标注，形成标记图像；

3)利用深度卷积神经网络对标记图像进行特征学习，对学习到的特征进行分类，获得经过训练的深度学习模型；深度卷积神经网络的训练过程中，船舶所属类别，使用softmax函数得到分类概率，softmax函数的公式为：

式中：

表示得到的第i个类别的概率，

表示网络预测的第i个类别的概率，P表示概率；

深度卷积神经网络的训练完成后，计算损失函数以衡量网络检测效果，若损失函数loss的值不超过上限值，则训练结束，若损失函数loss的值超过上限值，则调整训练次数，

损失函数为：

loss＝loss_x+loss_y+loss_w+loss_h+loss_conf+loss_cls

对于位置的中心坐标x，y，使用的损失函数为：

对于锚框宽w和高h，使用的损失函数为：

置信度使用的损失函数为：

类别损失函数为：

loss表示损失函数，x,y,w,h分别表示锚框的中心坐标和宽高，conf表示置信度，clc表示类别，c表示人工标注的类别信息，classes表示人工标注的所有类别信息的集合，i表示人工标注的类别信息的索引，object表示有目标的点位，noobject表示没有目标的点位，m表示有目标的点位的数量，n表示没有目标的点位的数量，P表示概率，·表示真实值，

表示预测值；

4)使用经过训练的深度卷积神经网络模型对真实场景中的船舶进行检测，用矩形框框出船舶的位置，并表示出船舶所属类别。

2.根据权利要求1所述的一种用于内河桥区的船舶自动检测方法，其特征在于：所述步骤1)中原始采样图片数据为在内河桥区水域的桥上、两岸等不同位置布置监控摄像头获取不同角度拍摄的监控视频，采集一年内各个月份、不同天气状况、一天内不同时间段的监控视频，并将这些监控视频按照设定的时间间隔采样成图片数据。

3.根据权利要求1所述的一种用于内河桥区的船舶自动检测方法，其特征在于：所述步骤2)中分类依据和标注内容包括：按照类型、船长、船宽、吃水的属性将船舶分为渔船、散货船、集装箱船、客船、油船、矿砂船各船舶类别，使用标注软件人工对采样图片进行标注，包括用矩形框框出船舶位置来获得船舶坐标信息和标明船舶所属类别。

4.根据权利要求1所述的一种用于内河桥区的船舶自动检测方法，其特征在于：在每一个卷积层中对图片进行批正则化处理，再通过非线性激活函数PReLu，得到特征图。

5.根据权利要求1所述的一种用于内河桥区的船舶自动检测方法，其特征在于：所述深度卷积神经网络在三个尺度上进行预测，每个尺度对应三个大小的锚框。

6.根据权利要求1所述的一种用于内河桥区的船舶自动检测方法，其特征在于：所述步骤3)中深度卷积神经网络的训练过程中，计算交并比IOU以检测船舶位置准确程度，当IOU＜上限阈值a时，所预测结果中的锚框被忽略，当IOU≥上限阈值a时，所预测结果中的锚框被作为正样本，IOU的计算公式为：

式中：GT表示人工标注的船舶真实位置信息，DO表示网络预测的船舶位置信息，Area表示面积。

Images