CN115761316B - 基于yolo自动识别的水电站平板闸门启闭方法 - Google Patents

Abstract

一种基于YOLO自动识别的水电站平板闸门启闭方法，通过训练单节闸门图像，建立训练集，接收门式起重机主钩编码器数据，判断主起升状态，接收门式起重机上摄像机的图像，进行预处理，根据已预处理的图片与训练集数据进行匹配，计算特征值符合度，持续观测目标并迭代，结合主起升状态、起吊重量，判断是吊入闸门还是吊出闸门，实时更新数据库，基于YOLO的神经网络架构，实时监测门式起重机启闭闸门的视频图像，结合门机位置、主钩状态以及起吊载重量信息，实时自主识别闸门型号、编号，并自动记录，使水电站智能门机自主作业。

Description

基于YOLO自动识别的水电站平板闸门启闭方法

技术领域

本发明属于水电站闸门启闭技术领域，涉及一种基于YOLO自动识别的水电站平板闸门启闭方法。

背景技术

水电站闸门是挡水金结设备，基本构建多由平直面板、构架、支撑行走部件、吊具和止水等部件组成，在门槽内直升直降运动；门机种类根据安装位置或功能的不同，分为机组进水口工作门、机组进水口检修门、机组尾水工作门、机组尾水检修门等；不同水电站，根据机组台数、装机容量不同，可能会有几十或几百节闸门，水电站闸门的特点是形式确定、尺寸大、数量多，有通用闸门和专用闸门，因此，每一节都有唯一编号，以便于水电站运行管理。

目前，在水电站闸门启闭或者位置异动后，由现场作业人员观察并记录闸门位置变化情况，不能实现智能门机自主作业。

发明内容

本发明所要解决的技术问题是提供一种基于YOLO自动识别的水电站平板闸门启闭方法，通过训练单节闸门图像，建立训练集，接收门式起重机主钩编码器数据，判断主起升状态，接收门式起重机上摄像机的图像，进行预处理，根据已预处理的图片与训练集数据进行匹配，计算特征值符合度，持续观测目标并迭代，结合主起升状态、起吊重量，判断是吊入闸门还是吊出闸门，实时更新数据库，基于YOLO的神经网络架构，实时监测门式起重机启闭闸门的视频图像，结合门机位置、主钩状态以及起吊载重量信息，实时自主识别闸门型号、编号，并自动记录，使水电站智能门机自主作业。

为解决上述技术问题，本发明所采用的技术方案是：一种基于YOLO自动识别的水电站平板闸门启闭方法，它包括如下步骤：

步骤1，训练单节闸门图像，建立训练集；利用由YOLO构成的多层神经网络进行训练，检测，矫正，形成可供比对的训练集；

步骤2，接收主钩编码器数据，判断主起升状态；

步骤3，接收摄像机的图像，进行预处理；

步骤4，根据已预处理的图片与训练集数据进行匹配，计算特征值符合度；

步骤5，持续观测目标，迭代步骤3、步骤4，结合主起升状态、起吊重量，判断是吊入闸门还是吊出闸门，实时更新数据库。

在步骤1中，

步骤1-1，定位闸门，利用图像标注软件对收集到的包含水电站闸门的图像样本进行处理，生成闸门图像样本数据集，利用图像数据集训练基于深度学习的目标检测模型，并利用训练好的目标检测模型对输入的视频帧图像中的闸门目标进行定位，获取闸门目标的边界框预测参数，基于闸门目标的边界框预测参数，从视频帧图像中裁剪出闸门区域，得到闸门区域的RGB彩色图像，即闸门图像；

步骤1-2，定位闸门号牌，对闸门图像进行倾斜校正；利用图像标注软件对收集到的包含水电站闸门编号牌的图像样本进行处理，生成闸门编号牌图像样本数据集，利用图像数据集训练基于深度学习的目标检测模型，并利用训练好的目标检测模型对输入的视频帧图像中的闸门编号牌目标进行定位，获取闸门编号牌目标的边界框预测参数，基于闸门编号牌目标的边界框预测参数，从视频帧图像中裁剪出闸门编号牌区域，得到闸门编号牌区域的RGB彩色图像，即闸门编号牌图像；

步骤1-3，识别闸门编号，对校正后的闸门编号牌图像进行二值化等预处理，利用训练好的目标检测模型识别闸门编号牌图像中的所有字符并记录。

在步骤2中，

步骤2-1，建立门式起重机坐标系，大车运动方向为x轴，小车运动方向为y轴，主起升运动方向为z轴；

步骤2-2，测量闸门门槽在门机坐标系内的坐标值，建立门槽向量组与坐标值的映射关系，门槽对应于Location（x，y）；

步骤2-3，根据主起升吊钩在z轴运动方向的变化确定闸门是处于上升还是下降状态。

在步骤3中，

步骤3-1，在门式起重机适当位置装设摄像机；

步骤3-2，当检测到门式起重机动作后，摄像机实时拍摄吊装区域图像；

步骤3-3，利用投影变换算法对图像进行图像几何矫正、利用直方图均衡化算法对图像灰度值进行矫正，使之符合算子提取前，建立统一计算框架的要求；

步骤3-4，利用FFT、小波变换对图像进行降噪处理。

在步骤4中，

步骤4-1，对预处理后的图像，利用BackBone推理策略，检测目标图像和训练结果集的匹配程度，并提供高符合度的提取结果；

步骤4-2，对于符合预期的图像，提取图像区块的纹理特征，形成Mosaic对比基准，并在视频帧中予以对比，将纹理特征符合的目标合并为同一目标的时序运动。

在步骤5中，

步骤5-1，采用基于以太网的IEEE1588时钟同步协议，确保传感器及图像识别等模块时间同步；

步骤5-2，如果检测到主起升向上运动，同时检测到有闸门图像，判断有闸门吊出，通过大小车定位模块得到门机实时位置，更改相应门槽内闸门信息；

步骤5-3，如果检测到主起升向上下运动，同时检测到有闸门图像，判断有闸门吊入，通过大小车定位模块得到门机实时位置，更改相应门槽内闸门信息。

本发明的主要有益效果在于：

基于YOLO的神经网络架构，实时监测门式起重机启闭闸门的视频图像，结合门机位置、主钩状态以及起吊载重量等信息，能够实时自主识别闸门型号、编号，并自动记录。

实现了水电站智能门机自主作业。

结合主起升状态、起吊重量，判断是吊入闸门还是吊出闸门。

综合利用图像处理技术和深度学习技术实现了水电站闸门的实时动态精准识别，为水电站金结设备数字化管理奠定了技术基础。

附图说明

下面结合附图和实施例对本发明作进一步说明：

图1为本发明的流程图。

图2为本发明闸门启闭状态图。

图3为本发明门式起重机构建的坐标系运动方向图。

图4为本发明智能控制系统简图。

具体实施方式

如图1~图4中，一种基于YOLO自动识别的水电站平板闸门启闭方法，它包括如下步骤：

步骤1，训练单节闸门图像，建立训练集；利用由YOLO构成的多层神经网络进行训练，检测，矫正，形成可供比对的训练集；

步骤2，接收主钩编码器数据，判断主起升状态；

步骤3，接收摄像机的图像，进行预处理；

步骤4，根据已预处理的图片与训练集数据进行匹配，计算特征值符合度；

步骤5，持续观测目标，迭代步骤3、步骤4，结合主起升状态、起吊重量，判断是吊入闸门还是吊出闸门，实时更新数据库。

优选地，YOLO即是YouOnlyLookOnce的缩写，是一种基于深度神经网络的对象识别和定位算法，其最大的特点是运行速度快，YOLOV1的检测速率可以达到45帧/秒，可以用于实时系统；闸门的特点是尺寸大，长宽尺寸在“米”数量级，门机启闭闸门的速度在2米/秒左右，刚好与足YOLO大目标、快速的应用目标场景相吻合。

优选地，搭设基于YOLO的神经网络架构，实时监测门式起重机启闭闸门的视频图像，结合门机位置、主钩状态以及起吊载重量等信息，能够实时自主识别闸门型号、编号，并自动记录。

优选的方案中，在步骤1中，

步骤1-1，定位闸门，利用图像标注软件对收集到的包含水电站闸门的图像样本进行处理，生成闸门图像样本数据集，利用图像数据集训练基于深度学习的目标检测模型，并利用训练好的目标检测模型对输入的视频帧图像中的闸门目标进行定位，获取闸门目标的边界框预测参数，基于闸门目标的边界框预测参数，从视频帧图像中裁剪出闸门区域，得到闸门区域的RGB彩色图像，即闸门图像；

步骤1-2，定位闸门号牌，对闸门图像进行倾斜校正；利用图像标注软件对收集到的包含水电站闸门编号牌的图像样本进行处理，生成闸门编号牌图像样本数据集，利用图像数据集训练基于深度学习的目标检测模型，并利用训练好的目标检测模型对输入的视频帧图像中的闸门编号牌目标进行定位，获取闸门编号牌目标的边界框预测参数，基于闸门编号牌目标的边界框预测参数，从视频帧图像中裁剪出闸门编号牌区域，得到闸门编号牌区域的RGB彩色图像，即闸门编号牌图像；

步骤1-3，识别闸门编号，对校正后的闸门编号牌图像进行二值化等预处理，利用训练好的目标检测模型识别闸门编号牌图像中的所有字符并记录。

优选的方案中，在步骤2中，

步骤2-1，建立门式起重机坐标系，大车运动方向为x轴，小车运动方向为y轴，主起升运动方向为z轴；

步骤2-2，测量闸门门槽在门机坐标系内的坐标值，建立门槽向量组与坐标值的映射关系，门槽对应于Location（x，y）；

步骤2-3，根据主起升吊钩在z轴运动方向的变化确定闸门是处于上升还是下降状态。

优选的方案中，在步骤3中，

步骤3-1，在门式起重机适当位置装设摄像机；

步骤3-2，当检测到门式起重机动作后，摄像机实时拍摄吊装区域图像；

步骤3-3，利用投影变换算法对图像进行图像几何矫正、利用直方图均衡化算法对图像灰度值进行矫正，使之符合算子提取前，建立统一计算框架的要求；

步骤3-4，利用FFT、小波变换对图像进行降噪处理。

优选的方案中，在步骤4中，

步骤4-1，对预处理后的图像，利用BackBone推理策略，检测目标图像和训练结果集的匹配程度，并提供高符合度的提取结果；

步骤4-2，对于符合预期的图像，提取图像区块的纹理特征，形成Mosaic对比基准，并在视频帧中予以对比，将纹理特征符合的目标合并为同一目标的时序运动。

优选的方案中，在步骤5中，

步骤5-1，采用基于以太网的IEEE1588时钟同步协议，确保传感器及图像识别等模块时间同步；

步骤5-2，如果检测到主起升向上运动，同时检测到有闸门图像，判断有闸门吊出，通过大小车定位模块得到门机实时位置，更改相应门槽内闸门信息；

步骤5-3，如果检测到主起升向下运动，同时检测到有闸门图像，判断有闸门吊入，通过大小车定位模块得到门机实时位置，更改相应门槽内闸门信息；

优选地，智能控制系统的门机系统主要包括主起升变频器、大车变频器和小车变频器，主起升变频器与起升编码器电性连接，大车变频器与大车定位模块电性连接，小车变频器与小车定位模块连接。

上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本申请中的实施例及实施例中的特征在不冲突的情况下，可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。

Claims (2)

1.一种基于YOLO自动识别的水电站平板闸门启闭方法，其特征是，它包括如下步骤：

步骤1，训练单节闸门图像，建立训练集；利用由YOLO构成的多层神经网络进行训练，检测，矫正，形成可供比对的训练集；

步骤2，接收主钩编码器数据，判断主起升状态；

步骤3，接收摄像机的图像，进行预处理；

步骤4，根据已预处理的图片与训练集数据进行匹配，计算特征值符合度；

步骤5，持续观测目标，迭代步骤3、步骤4，结合主起升状态、起吊重量，判断是吊入闸门还是吊出闸门，实时更新数据库；

在步骤1中，

步骤1-1，定位闸门，利用图像标注软件对收集到的包含水电站闸门的图像样本进行处理，生成闸门图像样本数据集，利用图像数据集训练基于深度学习的目标检测模型，并利用训练好的目标检测模型对输入的视频帧图像中的闸门目标进行定位，获取闸门目标的边界框预测参数，基于闸门目标的边界框预测参数，从视频帧图像中裁剪出闸门区域，得到闸门区域的RGB彩色图像，即闸门图像；

步骤1-2，定位闸门号牌，对闸门图像进行倾斜校正；利用图像标注软件对收集到的包含水电站闸门编号牌的图像样本进行处理，生成闸门编号牌图像样本数据集，利用图像数据集训练基于深度学习的目标检测模型，并利用训练好的目标检测模型对输入的视频帧图像中的闸门编号牌目标进行定位，获取闸门编号牌目标的边界框预测参数，基于闸门编号牌目标的边界框预测参数，从视频帧图像中裁剪出闸门编号牌区域，得到闸门编号牌区域的RGB彩色图像，即闸门编号牌图像；

步骤1-3，识别闸门编号，对校正后的闸门编号牌图像进行二值化预处理，利用训练好的目标检测模型识别闸门编号牌图像中的所有字符并记录；

在步骤2中，

步骤2-1，建立门式起重机坐标系，大车运动方向为x轴，小车运动方向为y轴，主起升运动方向为z轴；

步骤2-2，测量闸门门槽在门机坐标系内的坐标值，建立门槽向量组与坐标值的映射关系，门槽对应于Location（x，y）；

步骤2-3，根据主起升吊钩在z轴运动方向的变化确定闸门是处于上升还是下降状态；

在步骤3中，

步骤3-1，在门式起重机适当位置装设摄像机；

步骤3-2，当检测到门式起重机动作后，摄像机实时拍摄吊装区域图像；

步骤3-3，利用投影变换算法对图像进行图像几何矫正、利用直方图均衡化算法对图像灰度值进行矫正，使之符合算子提取前，建立统一计算框架的要求；

步骤3-4，利用FFT、小波变换对图像进行降噪处理；

在步骤4中，

步骤4-1，对预处理后的图像，利用BackBone推理策略，检测目标图像和训练结果集的匹配程度，并提供高符合度的提取结果；

步骤4-2，对于符合预期的图像，提取图像区块的纹理特征，形成Mosaic对比基准，并在视频帧中予以对比，将纹理特征符合的目标合并为同一目标的时序运动。

2.根据权利要求1所述的基于YOLO自动识别的水电站平板闸门启闭方法，其特征是，在步骤5中，

步骤5-1，采用基于以太网的IEEE1588时钟同步协议，确保传感器及图像识别模块时间同步；

步骤5-2，如果检测到主起升向上运动，同时检测到有闸门图像，判断有闸门吊出，通过大小车定位模块得到门机实时位置，更改相应门槽内闸门信息；

步骤5-3，如果检测到主起升向上下运动，同时检测到有闸门图像，判断有闸门吊入，通过大小车定位模块得到门机实时位置，更改相应门槽内闸门信息。