CN115880642A

CN115880642A - 一种基于机器视觉的海上目标接近程度预警方法及系统

Info

Publication number: CN115880642A
Application number: CN202211716928.0A
Authority: CN
Inventors: 朱昭云; 张铭; 张波
Original assignee: Huaneng Clean Energy Research Institute; Huaneng Offshore Wind Power Science and Technology Research Co Ltd
Current assignee: Huaneng Clean Energy Research Institute; Huaneng Offshore Wind Power Science and Technology Research Co Ltd
Priority date: 2022-12-29
Filing date: 2022-12-29
Publication date: 2023-03-31

Abstract

本发明涉及机器视觉的目标检测技术领域，尤其涉及一种基于机器视觉的海上目标接近程度预警方法及系统，其方法包括以下步骤：构建风电数据集；划分为训练集和测试集；基于YOLOv5s网络构建YOLO海上目标检测模型，并训练，获得海上风电设施检测模型；将视频输入至海上风电设施检测模型，检测出海上风电视频中的风电设施和航行船舶；统计海上风电检测模型输出的风机和船舶边界框数量，同时计算风机和船舶边界框的质心对距离，若计算的质心对距离小于设定的距离阈值，更新船舶边界框颜色，并发出预警提示。本发明通过改进的YOLOv5s检测算法能够实现对复杂环境下的风电设施、船舶小目标的检测及距离预警评估，从而降低航行船舶碰撞海上风电设施的可能性。

Description

一种基于机器视觉的海上目标接近程度预警方法及系统

技术领域

本发明涉及机器视觉的目标检测技术领域，具体为一种基于机器视觉的海上目标接近程度预警方法及系统。

背景技术

近年，随着可再生能源的加速发展，我国海上风电开发建设已进入发展快车道。海上风电行业蓬勃发展的同时，也给海上通航安全带来了全新的挑战。

船舶作为海洋运输主体，如今的海上风电场建设选址往往分布在沿海船舶航行较为集中的水域，无疑占用了大量的通航资源，对航运安全构成了长期的碍航影响。由此随着海上风电产业和装机容量的大规模发展，必然增加了航行船舶碰撞海上风机、损坏海底电缆的可能性，使得海上风电场对于船舶要求更加复杂。因此，开展海上风电设施接近程度预警研究，对提高海上风电场的稳定性、降低航运碍航影响具有重要意义。

海上风电场离岸距离远且长期处于盐雾浓度高、湿度大、光照多变的复杂环境下，人员可进入性差，传统的检测方法多依靠执行人员实地考察、视频监控系统观察和执法船舶巡航，在运维过程中往往会出现人员配置不到位、误判漏判、维护计划缺失和计划设施故障维修不及时的问题，给海上风电运维工作带来了更大的风险。鉴于此，传统的人工检测方式已不能满足海上风电场的特殊性发展需求。近年，随着机器视觉、深度学习方法的飞速发展，使得基于机器视觉的目标检测技术在各领域得以广泛应用，尤其海上目标检测研究成果突出，为海上风电场智能监测管理、海上航运安全运输工作提供技术支持。

现有海上目标检测技术大多应用于船舶检测研究，对海上风电场运维管理、海上风电设施检测关注较少。船舶相较于海上风电设施，由于其目标较小，在海洋复杂环境背景下，检测难度较大。

发明内容

针对现有技术中存在的问题，本发明提供一种基于机器视觉的海上目标接近程度预警方法。

本发明是通过以下技术方案来实现：

一种基于机器视觉的海上目标接近程度预警方法，包括以下步骤：

步骤(1)，将监控摄像头拍摄的海上风电场视频按帧截取图像，筛选其中同时含有海上风机、航行船舶的图像作为目标图像，并对目标图像进行数据扩充，构建风电数据集；

步骤(2)，将风电数据集划分为训练集和测试集；

步骤(3)，基于YOLOv5s网络构建YOLO海上目标检测模型，并利用训练集在YOLO海上目标检测模型上进行训练，获得海上风电设施检测模型；

步骤(4)，截取步骤(1)中拍摄的海上风电场视频四个角点，获取对应的俯视图；

将步骤(1)中拍摄的海上风电场视频输入至海上风电设施检测模型，检测出海上风电视频中的风电设施和航行船舶；

步骤(5)，统计海上风电检测模型输出的风机和船舶边界框数量，同时在俯视图上计算风机和船舶边界框的质心对距离，若计算的质心对距离小于设定的距离阈值，更新船舶边界框颜色，并发出预警提示。

优选的，在步骤(1)中，利用Opencv库中的getRotationMatix2D、warpAfine、clip函数对目标图像以随机旋转、平移、亮度方式进行数据扩充。

优选的，使用LabelImg工具对步骤(1)中构建的风电数据集使用进行标注，生成对应的类别信息、标签信息和位置信息。

优选的，在步骤(2)中，风电数据集按8:2比例标注为训练集和测试集，并存储于Xml文件中，每个文件对应一张图像，包括图像尺寸、目标类别名以及目标位置信息。

优选的，在步骤(3)中，构建YOLO海上目标检测模型时分别在主干网络末端和特征融合阶段施加坐标注意力机制。

优选的，模型的训练过程为：首先在模型训练前期使用迁移学习方法获取初步网络模型，之后在风电数据集上对初步模型进行再次训练。

优选的，训练过程中，保持初步检测模型的系数不变，仅对模型参数进行微调。

优选的，步骤(4)中，应用Opencv中的透视变换技术获得对应的俯视图。

优选的，步骤(5)中，采用距离公式计算目标边界框质心对距离。

一种基于机器视觉的海上目标接近程度预警系统，包括数据获取与处理模块、训练模块、检测分析模块和预警模块，所述数据获取与处理模块用于获取、构建风电数据集和标注数据集，所述训练模块用于训练YOLO海上目标检测模型和获取海上风电设施检测模型，所述检测分析模型用于获取检测目标的边界框、计算质心对距离和更新检测目标的边界框，所述预警模块用于发出警告提示。

与现有技术相比，本发明具有以下有益效果：

本发明一种基于机器视觉的海上目标接近程度预警方法基于深度学习方法，使用增加了注意力机制的YOLO目标检测算法可以检测海上风电设施和过往船舶目标，实现了接近程度预警的目的，用于解决海域复杂环境下的目标检测任务，针对本发明的应用场景需求，该方法提升检测模型对多尺度目标的检测性能，降低了船舶小目标的漏检率，可以自动化地检测出视频中的目标，在海上风电运维工作中节省了人力，提高了效率；

本发明提出的接近程度预警方法，该方法应用Opencv中的透视变换技术，解决了因图像大小不一，无法直接计算目标之间的像素距离问题。根据估算的像素距离能够判断视频中的航行船舶是否靠近风电场附近水域并及时发出预警提示信息，实现了检测目标之间的接近程度预警。

附图说明

图1为本发明一种基于改进YOLOv5s的海上目标接近程度预警流程示意图。

图2为本发明改进YOLOv5s网络所采用的CA模块结构图。

图3为本发明实施例中的海上风电设施检测效果图。

图4为本发明实施例中的海上风电设施接近程度预警效果图。

具体实施方式

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

本发明公开了一种基于机器视觉的海上目标接近程度预警方法，参照图1，包括以下步骤：

步骤(1)，将监控摄像头拍摄的海上风电场视频按帧截取图像，筛选其中同时含有海上风机、航行船舶的图像作为目标图像，利用Opencv库中的getRotationMatix2D、warpAfine、clip函数对目标图像以随机旋转、平移、亮度方式进行数据扩充，构建风电数据集，并使用LabelImg工具对步骤(1)中构建的风电数据集使用进行标注，生成对应的类别信息、标签信息和位置信息。

步骤(2)，风电数据集按8:2比例标注为训练集和测试集，并存储于Xml文件中，每个文件对应一张图像，包括图像尺寸、目标类别名以及目标位置信息。

步骤(3)，基于YOLOv5s网络构建YOLO海上目标检测模型，并利用训练集在YOLO海上目标检测模型上进行训练，获得海上风电设施检测模型。

首先在模型训练前期使用迁移学习方法获取初步网络模型，之后在风电数据集上对初步模型进行再次训练。在训练过程中，保持初步检测模型的系数不变，仅对模型参数进行微调。

构建YOLO海上目标检测模型时，分别在YOLOv5s网络的主干网络末端和特征融合阶段施加坐标注意力机制。

实施例

步骤1：将监控摄像头采集的海上风电场视频，按帧进行抽取，去除单一场景的重复帧，选取风机和船舶两类目标对象，并将其按照8:2划分为训练集和测试集；基于Python语言编写的LabelImg工具对图像中的物体位置进行精准标注，标注信息存储在在Xml文件中，每个文件对应一张图片，其中包括图片的图片尺寸、包含的目标名称、在图片上出现的位置等信息，Xml标签文件的格式和主要参数如下：name：目标名称，风电视频中要检测的目标包含两个类别，Turbine和Ship；bndbox：物体真实框，包含xmin、xmax、ymin、ymax参数信息，分别对应着检测框的坐标值。

同时利用数据增强手段，将目标图像进行旋转、裁剪与缩放等方式来扩充数据，使训练出的模型具有高鲁棒性；最终按照8:2的比例划分生成最终的train.txt、val.txt、test.txt，其中train.txt是训练集图片，val.txt是验证集图，test.txt是最终的测试集图片。

步骤2：参照图2，基于YOLOv5s网络，将CA(Coord Attention)注意力机制分别施加在YOLOv5s网络主干末端和Neck层，CA注意力机制将通道注意力分解为两个沿着不同方向聚合特征的1D特征编码过程，形成一对方向感知和位置敏感的特征图，可以互补地应用到输入特征图来增强感兴趣的目标的表示。

应用改进的YOLOv5s模型(即YOLO海上目标检测模型)在风电训练集上进行训练，从而获得海上风电设施检测模型。

步骤3：参照图3、4，在风电场内部水域检测到目标船舶的最后一步是使用摄像头监控来确定船舶与海上风机之间的距离。若直接计算两者之间的距离，边界框大小会影响计算结果，导致接近程度预警结果差别较大。

为了解决上述问题，本实施例中使用透视变换来推导这种接近程度，变换过程需要四个步骤：首先是获取相机的内部参数和畸变模型，其次获取图像中四个已知点的像素坐标，计算变换矩阵，最后生产变换的俯视图像。变换的透视图为原始图像中的点与新观察平面的坐标关系，其变换矩阵形式如下：

其中，

是实现线性表示(如缩放、剪切或者旋转)平移和透视变换的操作矩阵，a_(11-33)为变换系数；[u,v]为原始图像中选取的点坐标；[x′,y′]为原始图像的佼正坐标；w′为转换比例因子。

步骤4：通过计算船舶与风机之间的质心对距离，并将其与设定的接近程度预警阈值进行比较；若质心对之间的距离小于设定的阈值则更新检测框颜色为黄色，发出警告(Alter)信息提示；若质心对之间的距离大于设定的阈值则检测边界框颜色仍为绿色，并标记为安全(Safe)。

本发明还公开了一种基于机器视觉的海上目标接近程度预警系统，包括数据获取与处理模块、训练模块、检测分析模块和预警模块，所述数据获取与处理模块用于获取、构建风电数据集和标注数据集，所述训练模块用于训练YOLO海上目标检测模型和获取海上风电设施检测模型，所述检测分析模型用于获取检测目标的边界框、计算质心对距离和更新检测目标的边界框，所述预警模块用于发出警告提示。

以上所述的仅仅是本发明的较佳实施例，并不用以对本发明的技术方案进行任何限制，本领域技术人员应当理解的是，在不脱离本发明精神和原则的前提下，该技术方案还可以进行若干简单的修改和替换，这些修改和替换也均属于权利要求书所涵盖的保护范围之内。

Claims

1.一种基于机器视觉的海上目标接近程度预警方法，其特征在于，包括以下步骤：

步骤(2)，将风电数据集划分为训练集和测试集；

2.根据权利要求1所述的基于机器视觉的海上目标接近程度预警方法，其特征在于，在步骤(1)中，利用Opencv库中的getRotationMatix2D、warpAfine、clip函数对目标图像以随机旋转、平移、亮度方式进行数据扩充。

3.根据权利要求1所述的基于机器视觉的海上目标接近程度预警方法，其特征在于，使用LabelImg工具对步骤(1)中构建的风电数据集使用进行标注，生成对应的类别信息、标签信息和位置信息。

4.根据权利要求1所述的基于机器视觉的海上目标接近程度预警方法，其特征在于，在步骤(2)中，风电数据集按8:2比例标注为训练集和测试集，并存储于Xml文件中，每个文件对应一张图像，包括图像尺寸、目标类别名以及目标位置信息。

5.根据权利要求1所述的基于机器视觉的海上目标接近程度预警方法，其特征在于，在步骤(3)中，构建YOLO海上目标检测模型时分别在主干网络末端和特征融合阶段施加坐标注意力机制。

6.根据权利要求1所述的基于机器视觉的海上目标接近程度预警方法，其特征在于，在步骤(3)中，模型的训练过程为：首先在模型训练前期使用迁移学习方法获取初步网络模型，之后在风电数据集上对初步模型进行再次训练。

7.根据权利要求5所述的基于机器视觉的海上目标接近程度预警方法，其特征在于，训练过程中，保持初步检测模型的系数不变，仅对模型参数进行微调。

8.根据权利要求1所述的基于机器视觉的海上目标接近程度预警方法，其特征在于，训练过程中，步骤(4)中，应用Opencv中的透视变换技术获得对应的俯视图。

9.根据权利要求1所述的基于机器视觉的海上目标接近程度预警方法，其特征在于，在步骤(5)中，采用距离公式计算目标边界框质心对距离。

10.一种基于机器视觉的海上目标接近程度预警系统，其特征在于，包括数据获取与处理模块、训练模块、检测分析模块和预警模块，所述数据获取与处理模块用于获取、构建风电数据集和标注数据集，所述训练模块用于训练YOLO海上目标检测模型和获取海上风电设施检测模型，所述检测分析模型用于获取检测目标的边界框、计算质心对距离和更新检测目标的边界框，所述预警模块用于发出警告提示。