CN107966994B - 一种基于机器视觉的大型水工门机自动定位系统及方法 - Google Patents

Abstract

本发明涉及一种基于机器视觉的大型水工门机自动定位系统，其特征在于：包括现场设备、与现场设备相连的现场管理子系统、通过企业局域网与现场管理子系统相连的远程管理子系统。所述的现场设备包括传感器信号采集设备、工业相机与镜头、辅助照明设备、变频驱动器以及伺服电机。所述的现场管理子系统包括现场数据库、信号采集模块、数据处理模块、门机调度与闸门状态监控模块、PLC控制模块以及数据转换与发布Web服务模块。所述远程管理子系统包括远程数据库、综合监控模块和远程控制模块。本发明与现有技术相比具有远程监控可视化、控制自主化、操作管理网络化等特点，同时还具有误差自校正功能。

Description

一种基于机器视觉的大型水工门机自动定位系统及方法

技术领域

本发明涉及门机智能控制领域，尤其涉及一种基于机器视觉的大型水工门机自动定位系统及方法。

背景技术

水工门机是大型水电站不可或缺的关键设备，承担着日常的大型设备安装以及闸门启闭的操作。现有的水工门机控制系统自动化程度低、运动定位误差大、操作效率低。

201410490894.7专利提供了一种坝顶门机自动定位装置，通过在门机行走大梁上设置接近开关和绝对值编码器，在每个闸门孔两侧轨道旁设置接近开关对位感应块，通过自动控制系统程序处理，实现坝顶门机行走的自动对位，具有对位精度高、自动消除行程误差等特点。201620391781.6专利公开了一种水电站门机行走全行程精确定位系统，包括设置在水工建筑物轨道上的门机，在门机运行机构的车轮轮轴端部安装绝对型旋转编码器，门机的门架上安装有接近传感器，绝对型旋转编码器和接近传感器的信号输出端分别通过信号电缆与门机的PLC电气控制柜信号输入端电气连接；沿水工建筑轨道的一侧设置多组由三个金属传感体构成的定位组件，每组定位组件分别位于对应的一个闸门上方并沿该闸门的横向排列设置，中间的金属感应体位于对应的中线位置。上述两个专利均是采用传统的传感器控制方式，具有成本较低的特点，其缺点是传感器在恶劣的工况下容易老化而产生安全问题，其次是此类控制方法无法反应现场情况以及多孔位定位。与此类传统的控制方式相比，本发明具有远程可视化、操作自动化的特点，便于接入企业信息网，而且通过远程调度系统可以很方便地实现多孔位定位。

201010293379.1专利公开了一种带有机器视觉、定位系统的智能起重机，由机器视觉、定位系统和智能控制系统组成；机械部分主要由行走大车、行走小车、主梁、端梁、立柱、底座等组成，电控系统为：图像采集利用工业CCD采集图像，将得到的图像模拟电压信号输入到图像采集卡中，转换为便于计算机处理的数字信号；智能控制系统由机械系统及电控系统组成，采用改进的PID控制策略实现起重机的系统的快速准确定位。201010293379.1专利与本发明有以下显著的区别：1)应用领域不同。前者这要是工厂内部的桁架起重机，而本发明则是用于野外工作环境的大坝。2)算法复杂度不同。前者的工作环境可控性更强，而本发明的工况非常复杂，需要克服野外的各种环境变化，处理算法比前者更加复杂。3)相机布置位置。前者的相机安装于小车之上，而本发明的相机则是安装于门机的门架之上。4)主要用途不同。前者主要目的是辅助操作人员进行观察现场环境，而本发明则是采用机器视觉进行门机的自动控制。

201310462213.1专利公开了一种基于双目的起重机障碍物监测及预警方法及系统，包括构建双目视觉模型，实时获取图像并进行预处理，特征提取，区分前景与后景，三维重建并识别前景和障碍物，最后进行结果分析并输出预警信息。201310462213.1专利与本发明的主要区别在于：1)解决问题不同，前者是为了解决起重机运行过程中的安全隐患问题，本发明则主要是解决门机基于视觉的自动控制与状态跟踪；2)所采用的方法不同，前者采用的双目视觉和三维重建，本发明所采用的是单目视觉和图像匹配与测距。因此，在水工门机自动控制领域，本发明是首个采用机器视觉系统实现门机的自动定位控制。

与以上专利相比，本发明还具有以下几点优势：1)所提出的控制方法能够在不使用额外传感器的情况下有效地克服门机运动惯性带来的定位误差。2)能够动态控制与跟踪门机调度的执行状态，可以实现多位置自主定位。3)具有误差修正功能，控制精度更高，能够适应复杂的工作环境。4)可以监控所提升闸门的工作状态。

发明内容

本发明是为了解决现有水工门机控制系统智能化程度低、定位误差大的问题，提出了一种基于机器视觉的大型水工门机自动定位系统及方法。

本发明的上述目的通过以下技术方案来实现：包括现场设备、与现场设备相连的现场管理子系统、通过企业局域网与现场管理子系统相连的远程管理子系统。所述的现场设备包括传感器信号采集设备、工业相机与镜头、辅助照明设备、变频驱动器以及伺服电机。所述的现场管理子系统包括现场数据库、信号采集模块、数据处理模块、门机调度与闸门状态监控模块、PLC控制模块以及数据转换与发布Web服务模块。所述远程管理子系统包括远程数据库、综合监控模块和远程控制模块。

在本方案的优选示例中，所述的基于机器视觉的大型水工门机自动定位系统，所述的信号采集模块由传感器信号采集与图像数据采集组成。

在本方案的优选示例中，所述的基于机器视觉的大型水工门机自动定位系统，所述的数据处理模块由传感器信号处理与图像数据处理组成。

在本方案的优选示例中，所述的基于机器视觉的大型水工门机自动定位系统，所述的状态监测与故障诊断模块由门机调度模式切换、门机调度跟踪监控、误差修正、闸门状态监控、显示与控制组成。

在本方案的优选示例中，所述的基于机器视觉的大型水工门机自动定位系统，所述的综合监控模块由状态监测、声光预警、数据显示组成。

在本方案的优选示例中，所述的基于机器视觉的大型水工门机自动定位系统，所述的远程控制模块由辅助控制、紧急处理、模式转换组成。

一种基于机器视觉的大型水工门机自动定位方法，所述方法包括以下步骤：

步骤一：传感器信号与图像数据采集步骤，通过所述信号采集模块，由现场设备中传感器设备与工业相机实时采集门机在运行过程中预先放置有目标的区域数字图像以及速度传感器信号和照度传感器信号，并将采集的两种传感器信号和数字图像信号传输到现场数据库以待下一步处理。

步骤二：信号预处理步骤，所述的数据处理模块，将传感器信号进行模数转换并计算差值以获取速度差值和照度差值，通过速度差值/计算得到当前加速度a，以用于门机的运动控制；将照度差值反馈到PLC控制模块，进而控制照明设备，以适应现场不断变化的光照环境。将数字图像进行预处理，降低数据传输和环境变换引起的噪声干扰，并对图像进行归一化处理。

步骤三：目标定位步骤，所述的数据处理模块对预处理后的图像进行图像匹配，确定目标状态，并对匹配到的目标进行定位，以便进一步结合当前加速度a通过所述的PLC控制模块对门机的运动进行控制。

其中，所述的目标状态分为目标未出现、目标未出现在数字图像中间区域和目标出现在数字图像中间区域，所述的定位是指目标的中心坐标。

步骤四：门机运动控制步骤，所述的PLC控制模块按照目标状态控制变频驱动器，进而控制伺服电机的转速以实现门机的运动控制的目标。

其中，所述的目标状态为目标未出现时，所述的PLC控制模块根据计算得到的加速度a控制变频驱动器，保持电机转速，使门机匀速运动；所述的目标状态为目标未出现在数字图像中间区域时，所述的PLC控制模块根据计算得到的加速度a控制变频驱动器，降低电机转速，使门机减速；所述的目标状态为目标出现在数字图像中间区域时，所述的PLC控制模块根据计算得到的加速度a控制变频驱动器，并发出停车指令，通过图像测距算法判断目标是否准确停车在指定区域，如果没有则进行微调，直到满足要求为止。

本发明的工作原理是：门机运行前，选择门机运动的目标闸口对应的目标模板，同时开启的传感器自动检测速度以及光照并对相应的参数进行控制。门机沿着轨道运行时，固定安装在门机上的相机以及传感器也会随着门机一起运动，从而可以实时获取闸口一侧指定范围内的实时图像，通过图像匹配、图像测距等算法，可以准确地检测出当前位置是否存在目标以及目标的具体位置。并根据目标不存在、目标存在但不在指定位置区域以及目标存在并在指定位置区域分别进行匀速、减速、停车控制。通过速度传感器以及图像测距算法，可以实时地对减速度进行修正，从而消除门机运动惯性带来的定位误差。

本发明与现有技术相比的优点是：能够实现门机的自动定位控制，并通过实时反馈对门机的运动状态进行修正；能够实现远程可视化地监控，有利于企业信息网的集成。此外，本发明采用可变照明设备与照度传感器相结合，能够有效地适应复杂的室外工作环境，有效地降低了环境光线变化对识别精度的影响，提高了定位精度。

附图说明

图1是本发明系统框架图。

图2是本发明相机安装示意图，其中，1为轨道，2为运动执行部件，3为电机驱动模块，4为图像采集模块，5为门机机架，6为传感器设备，7为辅助光源，8为现场管理处理器，9为通信模块。

图3是本发明图像处理算法流程图。

具体实施方式

下面结合附图对本发明进一步详述：

如图1所示，一种基于机器视觉的大型水工门机自动定位系统，包括现场设备、与现场设备相连的现场管理子系统、通过企业局域网与现场管理子系统相连的远程管理子系统。所述的现场设备包括传感器信号采集设备、工业相机与镜头、辅助照明设备、变频驱动器以及伺服电机。所述的现场管理子系统包括现场数据库、信号采集模块、数据处理模块、状态监测与故障诊断模块、PLC控制模块以及数据转换与发布Web服务模块。所述远程管理子系统包括远程数据库、综合监控模块和远程控制模块。

如图2所示，为本发明的一个优选示例，包括现场管理系统的主要设备，包括门机5，所述门机上安装有工业相机4、PLC控制模块3、运动执行部件2、传感器设备6、现场处理器8以及通信设备9，所述工业相机配有辅助光源7。

在本方案的优选示例中，所述的基于机器视觉的大型水工门机自动定位系统，所述的信号采集模块由传感器信号采集与图像数据采集组成。

在本方案的优选示例中，所述的基于机器视觉的大型水工门机自动定位系统，所述的数据处理模块由传感器信号处理与图像数据处理组成。

在本方案的优选示例中，所述的基于机器视觉的大型水工门机自动定位系统，所述的状态监测与故障诊断模块由门机的调度模式切换、门机调度跟踪监控、误差修正、闸门状态监控、显示与控制组成。

在本方案的优选示例中，所述的基于机器视觉的大型水工门机自动定位系统，所述的综合监控模块由状态监测、声光预警、数据显示组成。

在本方案的优选示例中，所述的基于机器视觉的大型水工门机自动定位系统，所述的远程控制模块由辅助控制、紧急处理、模式转换组成。

如图3所示，系统定位方法的执行步骤包括：

步骤一：传感器信号与图像数据采集步骤，通过所述信号采集模块，由现场设备中传感器设备与工业相机实时采集门机在运行过程中预先放置有目标的区域数字图像以及速度传感器信号和照度传感器信号，并将采集的两种传感器信号和数字图像信号传输到现场数据库以待下一步处理。

步骤二：信号预处理步骤，所述的数据处理模块，将传感器信号进行模数转换并计算差值以获取速度差值和照度差值，通过速度差值/计算得到当前加速度a，以用于门机的运动控制；将照度差值反馈到PLC控制模块，进而控制照明设备，以适应现场不断变化的光照环境。将数字图像进行预处理，降低数据传输和环境变换引起的噪声干扰，并对图像进行归一化处理。

步骤三：目标定位步骤，所述的数据处理模块对预处理后的图像进行图像匹配，确定目标状态，并对匹配到的目标进行定位，以便进一步结合当前加速度a通过所述的PLC控制模块对门机的运动进行控制。

其中，所述的目标状态分为目标未出现、目标未出现在数字图像中间区域和目标出现在数字图像中间区域，所述的定位是指目标的中心坐标。

步骤四：门机运动控制步骤，所述的PLC控制模块按照目标状态控制变频驱动器，进而控制伺服电机的转速以实现门机的运动控制的目标。

其中，所述的目标状态为目标未出现时，所述的PLC控制模块根据计算得到的加速度a控制变频驱动器，保持电机转速，使门机匀速运动；所述的目标状态为目标未出现在数字图像中间区域时，所述的PLC控制模块根据计算得到的加速度a控制变频驱动器，降低电机转速，使门机减速；所述的目标状态为目标出现在数字图像中间区域时，所述的PLC控制模块根据计算得到的加速度a控制变频驱动器，并发出停车指令，通过图像测距算法判断目标是否准确停车在指定区域，如果没有则进行微调，直到满足要求为止。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于机器视觉的大型水工门机自动定位系统，其特征在于：包括现场设备、与现场设备相连的现场管理子系统、通过企业局域网与现场管理子系统相连的远程管理子系统；所述的现场设备包括传感器信号采集设备、工业相机与镜头、辅助照明设备、变频驱动器以及伺服电机；所述的现场管理子系统包括现场数据库、信号采集模块、数据处理模块、门机调度与闸门状态监控模块、PLC控制模块以及数据转换与发布Web服务模块；所述信号采集模块用于：在现场设备中传感器设备与工业相机实时采集门机在运行过程中，预先放置有目标的区域数字图像以及速度传感器信号和照度传感器信号，并将采集的两种传感器信号和数字图像信号传输到现场数据库以待下一步处理；所述数据处理模块用于：将传感器信号进行模数转换并计算差值以获取速度差值ΔV和照度差值ΔL，通过速度差值ΔV/ΔL计算得到当前加速度a，以待用于门机的运动控制，将照度差值ΔL反馈到PLC控制模块，进而控制照明设备，以适应现场不断变化的光照环境，将数字图像进行预处理，降低数据传输和环境变换引起的噪声干扰，并对图像进行归一化处，并对预处理后的图像进行图像匹配，确定目标状态，并对匹配到的目标进行定位，以便进一步结合当前加速度a通过所述PLC控制模块对门机的运动进行控制，其中，所述的目标状态分为目标未出现、目标未出现在数字图像中间区域和目标出现在数字图像中间区域，所述的定位是指目标的中心坐标；所述PLC控制模块用于：按照目标状态控制变频驱动器，进而控制伺服电机的转速以实现门机运动控制的目标，其中，所述的目标状态为目标未出现时，所述PLC控制模块根据计算得到的加速度a控制变频驱动器，保持电机转速，使门机匀速运动，所述的目标状态为目标未出现在数字图像中间区域时，所述PLC控制模块根据计算得到的加速度a控制变频驱动器，降低电机转速，使门机减速，所述的目标状态为目标出现在数字图像中间区域时，所述PLC控制模块根据计算得到的加速度a控制变频驱动器，并发出停车指令，通过图像测距算法判断目标是否准确停车在指定区域，如果没有则进行微调，直到满足要求为止；所述远程管理子系统包括远程数据库、综合监控模块和远程控制模块。

2.根据权利要求1所述的基于机器视觉的大型水工门机自动定位系统，其特征在于，所述的信号采集模块由传感器信号采集与图像数据采集组成。

3.根据权利要求1所述的基于机器视觉的大型水工门机自动定位系统，其特征在于，所述的数据处理模块由传感器信号处理与图像数据处理组成。

4.根据权利要求1所述的基于机器视觉的大型水工门机自动定位系统，其特征在于，所述的门机调度与闸门状态监控模块由门机调度模式切换、门机调度跟踪监控、误差修正、闸门状态监控、显示与控制组成。

5.根据权利要求1所述的基于机器视觉的大型水工门机自动定位系统，其特征在于，所述的综合监控模块由状态监测、声光预警、数据显示组成。

6.根据权利要求1所述的基于机器视觉的大型水工门机自动定位系统，其特征在于，所述的远程控制模块由辅助控制、紧急处理、模式转换组成。

7.一种根据权利要求1所述的基于机器视觉的大型水工门机自动定位系统的自动定位方法，其特征在于：所述方法包括以下步骤：

步骤一：传感器信号与图像数据采集步骤，通过所述信号采集模块，由现场设备中传感器设备与工业相机实时采集门机在运行过程中预先放置有目标的区域数字图像以及速度传感器信号和照度传感器信号，并将采集的两种传感器信号和数字图像信号传输到现场数据库以待下一步处理；

步骤二：信号预处理步骤，所述的数据处理模块，将传感器信号进行模数转换并计算差值以获取速度差值ΔV和照度差值ΔL，通过速度差值ΔV/ΔL计算得到当前加速度a，以待用于门机的运动控制；将照度差值ΔL反馈到PLC控制模块，进而控制照明设备，以适应现场不断变化的光照环境；

将数字图像进行预处理，降低数据传输和环境变换引起的噪声干扰，并对图像进行归一化处；

步骤三：目标定位步骤，所述的数据处理模块对预处理后的图像进行图像匹配，确定目标状态，并对匹配到的目标进行定位，以便进一步结合当前加速度a通过所述的PLC控制模块对门机的运动进行控制；

其中，所述的目标状态分为目标未出现、目标未出现在数字图像中间区域和目标出现在数字图像中间区域，所述的定位是指目标的中心坐标；

步骤四：门机运动控制步骤，所述的PLC控制模块按照目标状态控制变频驱动器，进而控制伺服电机的转速以实现门机运动控制的目标；

其中，所述的目标状态为目标未出现时，所述的PLC控制模块根据计算得到的加速度a控制变频驱动器，保持电机转速，使门机匀速运动；所述的目标状态为目标未出现在数字图像中间区域时，所述的PLC控制模块根据计算得到的加速度a控制变频驱动器，降低电机转速，使门机减速；所述的目标状态为目标出现在数字图像中间区域时，所述的PLC控制模块根据计算得到的加速度a控制变频驱动器，并发出停车指令，通过图像测距算法判断目标是否准确停车在指定区域，如果没有则进行微调，直到满足要求为止。