CN109284754A - 基于计算机视觉的桥梁区域船舶几何轮廓自动辨识方法 - Google Patents

Abstract

本发明涉及一种基于计算机视觉的桥梁区域船舶智能定位与几何轮廓自动辨识方法，是为了解决现有的桥梁区域船舶智能定位与几何轮廓自动辨识成本过高以及相应智能算法的缺点而提出的，包括：整理网络上海量的船舶图片作为原始数据，对输入的图像进行降采样，根据人工经验使用矩形框对降采样后的图像中的船舶区域进行标记，获得用于表示矩形框位置和大小的数据；将训练集输入至深度卷积神经网络中进行迁移训练；训练过程中使用的损失函数为多目标优化函数，优化算法为自适应矩估计优化算法；将待识别的桥梁区域船舶通行视频提取关键帧重采样后输入至训练好的神经网络中，得到以矩形框为表示的定位结果；将矩形框定位结果由BGR色彩空间转换到HSV空间，使用形态学运算寻找船舶几何轮廓，得到几何轮廓自动辨识结果。本发明适用于桥梁工程健康监测以及防船撞领域。

Description

基于计算机视觉的桥梁区域船舶几何轮廓自动辨识方法

技术领域

本发明具体涉及一种基于计算机视觉的桥梁区域船舶几何轮廓自动辨识方法。

背景技术

桥梁是交通运输大动脉中的咽喉。近年来，桥梁建设步入高潮，愈来愈多的建成桥梁服役，为提高我国交通运输效率、拉动我国经济快速增长起到了不可忽视的作用。同样，航运随着经济社会的发展，也愈来愈繁荣。随着桥梁的增加以及航运船舶密度的提升，船撞桥事故发生的频率也愈来愈高。经不完全统计，自1959年至2011年，造成人员伤亡和重大财产损失的严重船撞桥事故发生了超过140余起，其中国内发生超过40余起，而2011年以来，发生频率更是大幅度增加。船撞桥虽然是偶然事件，但是一旦发生，不论是对桥梁正常运营还是对于船舶自身安全，都是巨大的威胁，现有措施为在桥梁关键区域如桥墩上方以及主梁下方安装摄像头，通过人工监控的方式来进行船舶撞击桥梁的预警，极大程度地缓解了船撞桥的巨大矛盾。然而，人工监控存在两个不可避免的弱点，一是视觉疲劳，人类集中注意力观察事物会迅速产生视觉疲劳，而视觉疲劳又会极大降低判断的准确性；二是无法克服个体主观性影响，不同技术基础和工作经验的人对于船撞桥的风险评判标准不一。

目前随着计算机视觉的发展，许多学者尝试解决桥梁区域船舶识别的问题，然而这些方法存在两个问题，一是方法传统，鲁棒性不强，无法克服复杂背景及天气条件的影响；二是只进行船舶定位，即用矩形框的形式表示船舶，而无法描述船舶的精准轮廓，这为后期的船舶几何参数识别等工作增加了困难。如何针对现有研究存在的问题提出一个鲁棒性强的可精准识别船舶轮廓的方法，为桥梁区域防船撞提供一个自动化智能化的解决方案，是一个丞待研究的问题。

发明内容

本发明的目的是为了解决现有的桥梁区域船舶智能定位与几何轮廓自动辨识成本过高以及相应智能算法的缺点，提出一种基于计算机视觉的桥梁区域船舶几何轮廓自动辨识方法，实现了对于包含复杂背景干扰信息的桥梁区域船舶定位神经网络模型训练、船舶智能定位、船舶几何轮廓自动辨识、结果展示的全过程自动化处理，为桥梁工程防船撞的自动监测提供了解决方案。

本发明所采用的技术如下：一种基于计算机视觉的桥梁区域船舶几何轮廓自动辨识方法，具体包括如下步骤：

步骤一、整理网络上海量的船舶图片作为原始数据，对输入的图像进行降采样，根据人工经验使用矩形框对降采样后的图像中的船舶区域进行标记，获得用于表示矩形框位置和大小的数据；

步骤二、将训练集输入至深度卷积神经网络中进行迁移训练；训练过程中使用的损失函数为多目标优化函数，优化算法为自适应矩估计优化算法；

步骤三、将待识别的桥梁区域船舶往来视频提取关键帧重采样后输入至训练好的神经网络中，得到以矩形框为表示的定位结果；

步骤四、将矩形框定位结果由BGR色彩空间转换到HSV空间，使用形态学运算寻找船舶几何轮廓，得到几何轮廓自动辨识结果。

本发明还具有如下技术特征：

1、如上所述的步骤一其具体包括：

步骤一一、整理网络上海量的船舶图片，数量500张以上，包括不同背景、光照条件、拍摄角度的船舶图片；

步骤一二、对输入的图像进行降采样，设定两种判定类型，即船舶和背景，用矩形框对降采样后图像中的船舶区域进行人工标记，获得矩形框的左上角坐标及长度、宽度像素值，并对船舶区域打标签，背景为0，船舶为1；

步骤一三、将输入图像水平翻转、垂直翻转、BGR三个通道施加10％的干扰，分别得到翻转或干扰后的图像，并对得到的图像进行进一步的步骤一二的处理。

2、如上所述的步骤二中自适应矩估计优化算法具体为：

式中g_t为第t步的梯度，m_t为第t步的梯度一阶矩，v_t为第t步的梯度二阶矩，β₁为一阶动量衰减系数，β₂为二阶动量衰减系数，ε为数值稳定量，η为学习率，θ_t表示第t步的待优化参数。

3、如上所述的步骤三中，提取关键帧的速率为能够准确描述船舶时序运动为准，重采样的规格为能够符合深度卷积神经网络输入尺寸为准。

4、步骤四中使用像素切割将矩形框定位结果从原图片中裁剪，将该部分变换到HSV色彩空间，并在Saturation通道进行OSTU图像二值化处理，然后进行形态运算；

4、如上所述的步骤四中形态学运算时需进行开运算和闭运算，开运算核尺寸大小为9×9像素，进行一次，闭运算核尺寸大小为9×9像素，进行两次，以11×11像素进行一次。

本发明的有益效果为：本发明便捷、准确，提升了桥梁区域船舶定位的效率以及几何轮廓辨识结果的准确度和稳定性。整个定位与识别过程均为自动化处理，显著降低了检测过程中的人工参与度。本发明还能满足桥梁区域防船撞在线监测预警和实时数据处理需求，即不进行训练集更新，直接对采集到的图像进行识别，结果输出延迟可低至五秒以下。本发明提高了桥梁区域船舶定位与几何轮廓辨识的自动化、智能化、准确性和鲁棒性，为桥梁工程防船撞的自动监测提供了解决方案。

附图说明

图1为本发明的流程示意图；

图2为本发明步骤二的一个实施例的识别结果图；

图3为本发明一个实施例中对输入图像进行BGR到HSV色彩空间变换示意图；其中图3(a)为HSV图像，图3(b)为H通道图像，图3(c)为S通道图像，图3(d)为V通道图像；

图4为本发明步骤四的轮廓识别结果图；其中图4(a)为步骤二定位结果，图4(b)为船舶区域形态学运算结果，图4(c)为最终得到的船舶轮廓图。

具体实施方式

下面根据说明书附图举例对本发明做进一步说明：

实施例1

一种基于计算机视觉的桥梁区域船舶几何轮廓自动辨识方法，包括如下步骤：

步骤一、整理网络上海量的船舶图片作为原始数据，对输入的图像进行降采样，根据人工经验使用矩形框对降采样后的图像中的船舶区域进行标记，获得用于表示矩形框位置和大小的数据；

其中，步骤一具体包括步骤如下：

步骤一一、整理网络上海量的船舶图片，数量500张以上，包括不同背景、光照条件、拍摄角度的船舶图片；

步骤一二、对输入的图像进行降采样，设定两种判定类型，即船舶和背景，用矩形框对降采样后图像中的船舶区域进行人工标记，获得矩形框的左上角坐标及长度、宽度像素值，并对船舶区域打标签，背景为0，船舶为1；

步骤一三、将输入图像水平翻转、垂直翻转、BGR三个通道施加10％的干扰，分别得到翻转或干扰后的图像，并对得到的图像进行进一步的步骤一二的处理。

步骤二、将训练集输入至深度卷积神经网络中进行迁移训练；训练过程中使用的损失函数为多目标优化函数，优化算法为自适应矩估计优化算法，自适应矩估计优化算法具体为：

式中g_t为第t步的梯度，m_t为第t步的梯度一阶矩，v_t为第t步的梯度二阶矩，β₁为一阶动量衰减系数，β₂为二阶动量衰减系数，ε为数值稳定量，η为学习率，θ_t表示第t步的待优化参数；

步骤三、将待识别的桥梁区域船舶往来视频提取关键帧重采样后输入至训练好的神经网络中，得到以矩形框为表示的定位结果，提取关键帧的速率为能够准确描述船舶时序运动为准，即1帧/秒可以满足，重采样的规格为能够符合深度卷积神经网络输入尺寸为准；

步骤四、将矩形框定位结果由BGR色彩空间转换到HSV空间，使用形态学运算寻找船舶几何轮廓，得到几何轮廓自动辨识结果；其中，使用像素切割将矩形框定位结果从原图片中裁剪，将该部分变换到HSV色彩空间，并在Saturation通道进行OSTU图像二值化处理，然后进行形态运算；形态学运算时需进行开运算和闭运算，开运算核尺寸大小为9×9像素，进行一次，闭运算核尺寸大小为9×9像素，进行两次，以11×11像素进行一次。

实施例2

如图1所示，一种基于计算机视觉的桥梁区域船舶几何轮廓自动辨识方法，包括如下步骤：

步骤一、整理网络上海量的船舶图片作为原始数据，对输入的图像进行降采样，根据人工经验使用矩形框对降采样后的图像中的船舶区域进行标记，获得用于表示矩形框位置和大小的数据。

(一)、在一个实施例中，搜集整理网络上海量的船舶图片时，以500张以上为宜，包括不同背景、光照条件、拍摄角度等影响因素的船舶图片；

(二)、将船舶图像降采样至300×300×3像素以减小计算代价；

(三)、生成矩形框标记时可以使用Python开源程序LabelImg；

(四)、预设的检测类型可以包括背景和船舶两类，或者将船舶具体划分为货运船、客运船以及军舰等。

步骤二、将所有经过步骤一处理的图像构成训练集，将训练集输入至深度卷积神经网络中进行迁移训练；训练过程中使用的损失函数为多目标优化函数，优化算法为自适应矩估计优化算法。

(一)、在一个实施例中，训练集除了步骤一涉及到的标记后的图片，还可以是原始图片经过水平翻转、垂直翻转、BGR三个通道施加10％的干扰等得到的图片，再经过步骤一的标记后得到的结果来构成训练集；

(二)、使用深度卷积网络进行迁移训练的初始权重可使用目前主流的深度目标检测网络权重，如在ImageNet上训练完成的VGGNet等；

(三)、使用默认的初始参数进行优化算法的初始化并开始训练。

步骤三、将待识别的桥梁区域船舶往来视频提取关键帧重采样后输入至训练好的神经网络中，得到以矩形框为表示的定位结果。

(一)、提取关键帧的原则为能够准确描述船舶时序运动为宜，即1帧/秒可以满足；

(二)、重采样的目的是使输入给模型的图片符合训练时输入的图片尺寸。例如，如果步骤一图像被降采样至300×300×3像素的尺寸，那么步骤三中也应当重采样至相同的尺寸。识别结果如图2所示。相应算法可以在Python环境下开发，可直接适用于用消费级普通相机拍摄的桥梁区域船舶通行图像，不需要特制的拍摄或检测设备。

步骤四、将矩形框定位结果由BGR色彩空间转换到HSV空间，使用形态学运算寻找船舶几何轮廓，得到几何轮廓自动辨识结果。

(一)、使用像素切割将矩形框定位结果从原图片中裁剪，将该部分变换到HSV色彩空间，如图三所示，并在Saturation通道进行OSTU图像二值化处理，然后进行形态运算；

(二)、然后进行形态学运算，需进行开运算和闭运算，开运算核尺寸大小以9×9像素为宜，进行一次，闭运算核尺寸大小以9×9像素为宜，进行两次，以11×11像素进行一次，结果如图四所示。

(三)、使用轮廓寻找算法进行船舶轮廓的最终识别，可使用OpenCV开源库。

Claims (6)

1.一种基于计算机视觉的桥梁区域船舶几何轮廓自动辨识方法，其特征在于，包括如下步骤：

步骤一、整理网络上海量的船舶图片作为原始数据，对输入的图像进行降采样，根据人工经验使用矩形框对降采样后的图像中的船舶区域进行标记，获得用于表示矩形框位置和大小的数据；

步骤二、将训练集输入至深度卷积神经网络中进行迁移训练；训练过程中使用的损失函数为多目标优化函数，优化算法为自适应矩估计优化算法；

步骤三、将待识别的桥梁区域船舶往来视频提取关键帧重采样后输入至训练好的神经网络中，得到以矩形框为表示的定位结果；

步骤四、将矩形框定位结果由BGR色彩空间转换到HSV空间，使用形态学运算寻找船舶几何轮廓，得到几何轮廓自动辨识结果。

2.根据权利要求1所述的一种基于计算机视觉的桥梁区域船舶几何轮廓自动辨识方法，其特征在于，步骤一具体包括：

步骤一一、整理网络上海量的船舶图片，数量500张以上，包括不同背景、光照条件、拍摄角度的船舶图片；

步骤一二、对输入的图像进行降采样，设定两种判定类型，即船舶和背景，用矩形框对降采样后图像中的船舶区域进行人工标记，获得矩形框的左上角坐标及长度、宽度像素值，并对船舶区域打标签，背景为0，船舶为1；

步骤一三、将输入图像水平翻转、垂直翻转、BGR三个通道施加10％的干扰，分别得到翻转或干扰后的图像，并对得到的图像进行进一步的步骤一二的处理。

3.根据权利要求1所述的一种基于计算机视觉的桥梁区域船舶几何轮廓自动辨识方法，其特征在于，步骤二中自适应矩估计优化算法具体为：

式中g_t为第t步的梯度，m_t为第t步的梯度一阶矩，v_t为第t步的梯度二阶矩，β₁为一阶动量衰减系数，β₂为二阶动量衰减系数，ε为数值稳定量，η为学习率，θ_t表示第t步的待优化参数。

4.根据权利要求1所述的一种基于计算机视觉的桥梁区域船舶几何轮廓自动辨识方法，其特征在于，步骤三中，提取关键帧的速率为能够准确描述船舶时序运动为准，重采样的规格为能够符合深度卷积神经网络输入尺寸为准。

5.根据权利要求1所述的一种基于计算机视觉的桥梁区域船舶几何轮廓自动辨识方法，其特征在于，步骤四中使用像素切割将矩形框定位结果从原图片中裁剪，将该部分变换到HSV色彩空间，并在Saturation通道进行OSTU图像二值化处理，然后进行形态运算。

6.根据权利要求1所述的一种基于计算机视觉的桥梁区域船舶几何轮廓自动辨识方法，其特征在于，步骤四中形态学运算时需进行开运算和闭运算，开运算核尺寸大小为9×9像素，进行一次，闭运算核尺寸大小为9×9像素，进行两次，以11×11像素进行一次。