CN107572373A - 基于机器视觉的新型起重机主动防斜拉控制系统及其控制方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的新型起重机主动防斜拉控制系统及其控制方法，其装置包括可沿支架轨道运行的移动大车和可沿大车导轨运行的移动小车，所述移动小车机构上设有吊绳，所述吊绳的底端设有吊具，还包括设置在移动小车上的图像处理中心工控机和控制中心PLC、设置在移动小车底部的图像传感器和设置在吊具上的靶标，所述图像处理中心工控机与图像传感器连通，所述控制中心PLC与移动小车驱动机构连通。本发明的优点在于：其基于机器视觉来精确测量吊钩斜拉的角度，传递吊钩斜拉角度值和位置信息至PLC中，通过PLC控制大小车及起升机构运行，保证货物起吊时吊钩倾斜角度在阈值范围内，从而避免货物斜拉，具有自动化程度高、精度高、效率高、安装方便、实时性强等优点。

Description

基于机器视觉的新型起重机主动防斜拉控制系统及其控制 方法

技术领域

本发明涉及起重机安全控制技术领域，具体涉及一种基于机器视觉的新型 起重机主动防斜拉控制系统及其控制方法。

背景技术

在工业领域里起重机作为一种工程机械，作用广大，随着近些年来自动化 技术的迅速发展，已成为合理组织、成批生产和机械化流水作业的基础，是现 代化生产的重要标志之一。起重机广泛应用于各类生产车间，在实际吊装过程 中，经常处于长时间的工作循环，因此，作业人员注意力不集中，或者因其他 客观条件的限制等，造成起重机在起升货物时歪拉斜吊的现象普遍存在。货物 在起升过程中一旦出现这一种情况，由于惯性的影响不仅在竖直方向上运动， 水平方向上也会运动，极容易与水平方向生产线上的工人或者其他货物发生碰 撞，不仅给工人的生命安全带来严重威胁，而且还会造成巨大的财产损失。因此，在生产过程中起重机需要时刻避免货物斜拉，以免造成严重的生产事故。

目前，市面上针对起重机防斜拉的方法主要有两种：机械式和电子式。例 如：专利号ZL201320607098.8公开了一种机械式的防斜拉装置，通过在起重 机卷筒上增添限位开关和导绳器圈来防止导绳器出现斜拉斜吊。这种方法成本 较为低廉、结构简单，具有较好的防斜拉斜吊功能，但是存在着故障率较高的 不足；专利号ZL 201520083435.7公开了一种桥式起重机防斜拉控制装置，通 过六路继电器的输出电路上的触点开关来控制小车、大车和起重钢丝绳使其均 不得向斜拉的不利方向运动，该装置安装简单、工作可靠，使用安全，可以有 效地防止斜拉事件的产生，但大小车不能自动对正，需要多次调解大小车位置，生产效率不高；专利号ZL 201620043764.3公开了一种电动单梁起重机防斜拉 保护装置，通过一个摆动传感器测量吊钩斜拉的角度，当斜拉角度超限时及时 切断控制电路，防止生产事故的发生。其优点是测量简单，操作方便，但精度 不高，工作效率较低。

发明内容

本发明的目的就是要针对现有装置的不足，提供一种基于机器视觉的新型 起重机主动防斜拉控制系统及其控制方法，其通过图像处理技术检测货物起吊 时的斜拉角度并在PLC中控制起重机起升机构及大小车机构运行，纠正起吊 货物时起重机起升机构与货物的相对位置，实现起重机主动防斜拉。

为实现上述目的，本发明所涉及的一种基于机器视觉的新型起重机主动防 斜拉控制系统及其控制方法，其装置包括可沿支架轨道运行的移动大车和可沿 大车导轨运行的移动小车，所述移动小车上设有吊绳，所述吊绳的底端设有吊 具，还包括设置在移动小车上的图像处理中心工控机和控制中心PLC、设置在 移动小车底部的图像传感器和设置在吊具上的靶标，所述控制中心PLC分别 与图像传感器、移动大车和移动小车驱动机构连通，所述图像处理中心工控机 与图像传感器连通。

进一步地，所述移动小车底部还设有与图像传感器配合使用的光源。

更进一步地，所述吊具包括吊钩平台、吊钩支架和吊钩，所述吊钩通过吊 钩支架与吊钩平台铰接，所述靶标设置在吊钩平台上与图像传感器相对。

其控制方法包括如下步骤：

步骤1：靶标深度信息的获取；

步骤2：像素当量的标定；

步骤3：吊绳角度的计算；

步骤4：移动大车和移动小车运动控制。

进一步地，所述步骤1中：所述靶标深度信息的获取方法为：

靶标由一系列同心正六边形组成，正六边形最小外接圆半径从外到内等比 例减小，保证靶标在一定的高度内上下移动时，图像传感器仍然能够拍摄到一 个成像最为清晰的正六边形，即最优正六边形。依据图像传感器与地面的高度， 以起吊负载高度的变化范围作为靶标的高度变换范围并将其分为若干段Δd_i (i＝1,2,3…),由于小孔成像近大远小的特点，在距离图像传感器越近的高度 范围里，图像传感器拍摄到的最优正六边形面积越大，即负载高度和靶标面积 之间存在对应的关系，本发明中通过将负载高度变化范围分为多段，每段分别 进行标定得到靶标面积与负载斜拉高度之间的关系，具体步骤如下：

通过将负载变化高度按照一定的关系分为多段，每段高度变化范围为Δd_i， 图像传感器在每段高度变化范围内采集靶标图像，并计算得到靶标图像面积 S_i，同时测量得到负载斜拉高度H_i，最后通过拟合得到靶标面积与负载斜拉高 度之间的关系H＝f(S)。

负载斜拉高度的测量过程：图像传感器采集靶标图像，并传输至图像处理 中心工控机中进行图像分析计算得到靶标正六边形面积大小，根据靶标面积与 负载高度之间的拟合关系式可以得到当前靶标所在的高度H。

进一步地，所述步骤2中：所述像素当量的标定方法为：

当吊钩垂直悬空并处于静止状态时，图像传感器采集吊钩上靶标的图像信 息，传输至图像处理中心工控机后确定吊钩静止悬空时靶标中心的像素坐标 P₀，起吊货物时，通过图像传感器和图像处理中心工控机确定实时吊钩的靶标 中心的像素坐标P₁，计算像素距离S₀＝|P₀P₁|，其中S₀是像素坐标系下的距离， 为了转换成实际距离，做如下推导：

当吊钩垂直悬空并处于静止状态时，图像传感器采集吊钩上靶标的图像信 息，传输至图像处理中心工控机，经过图像处理后得到吊钩静止悬空时靶标中 心的像素坐标P₀。负载起升过程中，通过图像传感器和图像处理中心工控机 确定实时吊钩的靶标中心的像素坐标P₁，计算像素距离S₀＝|P₀P₁|，其中S₀是像 素坐标系下的距离，为了转换成实际距离，做如下推导：

设图像传感器坐标系下的任意一点P_c对应于图像像素坐标系下一点P_uv， 两者之间的坐标转换关系为：

标定像素当量过程中吊钩在图像传感器坐标系Z轴方向下坐标Z_c由步骤 一中获取的深度H确定；

对于图像像素坐标系下两点之间距离S₀与对应在摄像机坐标系下距离 S有如下关系：

因此，像素当量为：

更进一步地，所述步骤3中：所述吊绳角度的计算方法为：

当吊钩在运动中时，根据灰度定位实时找到吊钩上靶标的中心点，并计算 出中心点偏移静止悬空时点的距离S，根据之前标定出的像素当量K计算出实 际偏移距离以及拟合的深度信息H，得出吊钩实时偏离角 度：

更进一步地，所述步骤4中：所述移动大车和移动小车运动控制方法为：

尽管靶标跟随吊钩在三维空间运动，但是吊具始终相对于图像传感器运 动，因此对测量到吊钩的靶标实时图像像素坐标P₀进行坐标转换可以得到在 以摄像机光心为原点，摄像机平面为XY面，垂直摄像机的方向为Z轴的图像 传感器标系下，对应坐标P₁；

将系统测量得到的实时角度信息和位置信息传输到控制中心PLC中，控 制中心PLC判断实时角度是否超过设定的阈值：

当实时角度θ不超过阈值时，说明此时货物斜拉角度很小，可忽略不计， 起升机构正常起吊货物；

当实时角度θ超过门限值时，控制中心PLC输出信号到变频器，禁止起升 机构运行并调整移动大车和移动小车的位置，自动向靶标所在位置对正，实现 主动防斜拉。

本发明的优点在于：其基于机器视觉来精确测量吊钩斜拉的角度，传递吊 钩斜拉角度值和位置信息至PLC中，通过PLC控制大小车及起升机构运行， 保证货物起吊时吊钩倾斜角度在阈值范围内，从而避免货物斜拉，具有自动化 程度高、精度高、效率高、安装方便、实时性强等优点。本发明不仅可以有效 预防斜拉事故的发生，而且当货物斜拉时，大小车还能够自动纠偏，对工业生 产具有重要意义，具有广阔的市场前景。

附图说明

图1为本发明装置的结构示意图；

图2为吊钩的结构示意图；

图3为靶标示意图；

图4为本发明的运行流程图。

图中：移动小车1、吊绳2、吊具3、控制中心PLC 4、图像传感器5、靶 标6、光源7、吊钩平台8、吊钩支架9、吊钩10、移动大车11、图像处理中 心工控机12。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细描述：

如图1～4所示的一种基于机器视觉的新型起重机主动防斜拉控制系统，其 装置包括可沿支架轨道运行的移动大车11和可沿大车导轨运行的移动小车1， 所述移动小车1上设有吊绳2，所述吊绳2的底端设有吊具3，还包括设置在 移动小车1上的图像处理中心工控机12和控制中心PLC4、设置在移动小车1 底部的图像传感器5和设置在吊具3上的靶标6，所述控制中心PLC 4分别与 图像传感器5、移动小车1、移动大车11驱动机构连通，所述图像处理中心工 控机12与图像传感器5连通。所述移动小车1底部还设有与图像传感器5配 合使用的光源7。所述吊具3包括吊钩平台8、吊钩支架9和吊钩10，所述吊 钩10通过吊钩支架9与吊钩平台8铰接，所述靶标6设置在吊钩平台8上与 图像传感器5相对。

其控制方法包括如下步骤：

步骤1：靶标6深度信息的获取：

靶标6由一系列同心正六边形组成，正六边形最小外接圆半径从外到内等 比例减小，保证靶标6在一定的高度内上下移动时，图像传感器5仍然能够拍 摄到一个成像最为清晰的正六边形，即最优正六边形。依据图像传感器5与地 面的高度，以起吊负载高度的变化范围作为靶标的高度变换范围并将其分为若 干段Δd_i(i＝1,2,3…),由于小孔成像近大远小的特点，在距离图像传感器5越 近的高度范围里，图像传感器5拍摄到的最优正六边形面积越大，即负载高度 和靶标面积之间存在对应的关系，本发明中通过将负载高度变化范围分为多 段，每段分别进行标定得到靶标面积与负载斜拉高度之间的关系，具体步骤如下：

通过将负载变化高度按照一定的关系分为多段，每段高度变化范围为Δd_i， 图像传感器5在每段高度变化范围内采集靶标图像，并计算得到靶标图像面积 S_i，同时测量得到负载斜拉高度H_i，最后通过拟合得到靶标面积与负载斜拉高 度之间的关系H＝f(S)。

负载斜拉高度的测量过程：图像传感器5采集靶标图像，并传输至图像处 理中心工控机12中进行图像分析计算得到靶标正六边形面积大小，根据靶标 面积与负载高度之间的拟合关系式可以得到当前靶标所在的高度H。

步骤2：像素当量的标定：

当吊钩10垂直悬空并处于静止状态时，图像传感器5采集吊钩10上靶标 6的图像信息，传输至图像处理中心工控机12，经过图像处理后得到吊钩10 静止悬空时靶标6中心的像素坐标P₀。负载起升过程中，通过图像传感器5 和图像处理中心工控机12确定实时吊钩10的靶标6中心的像素坐标P₁，计 算像素距离S₀＝|P₀P₁|，其中S₀是像素坐标系下的距离，为了转换成实际距离， 做如下推导：

设图像传感器5坐标系下的任意一点P_c(X_c，Y_c，Z_c)对应于图像像素坐 标系下一点P_uv(u，v)，两者之间的坐标转换关系为：

标定像素当量过程中吊钩在图像传感器坐标系Z轴方向下坐标Z_c由步骤 一中获取的深度H确定；

对于图像像素坐标系下两点之间距离S与对应在摄像机坐标系下距离S 有如下关系：

因此，像素当量为：

步骤3：吊绳2角度的计算：

当吊钩10在运动中时，根据灰度定位实时找到吊钩10上靶标6的中心点， 并计算出中心点偏移静止悬空时点的距离S，根据之前标定出的像素当量K计 算出实际偏移距离以及拟合的深度信息H，得出吊钩实时偏离角度：

步骤4：移动大车11和移动小车1运动控制：

尽管靶标6跟随吊钩10在三维空间运动，但是吊具3始终相对于图像传 感器5运动，因此对测量到吊钩10的靶标6实时图像像素坐标P₀(u，v)进 行坐标转换可以得到在以摄像机光心为原点，摄像机平面为XY面，垂直摄像 机的方向为Z轴的图像传感器5标系下，对应坐标P₁(x，y，z)；

将系统测量得到的实时角度信息和位置信息传输到控制中心PLC 4中，控 制中心PLC 4判断实时角度是否超过设定的阈值：

当实时角度θ不超过阈值时，说明此时货物斜拉角度很小，可忽略不计， 起升机构正常起吊货物；

当实时角度θ超过门限值时，控制中心PLC 4输出信号到变频器，禁止起 升机构运行并调整移动大车11和移动小车1的位置，自动向靶标6所在位置 对正，实现主动防斜拉。

本发明实际使用时：

起重机主动防斜拉系统由控制中心PLC 4、图像处理中心工控机12、大小 车电机、变频器组成，起升货物时，测重传感器测量钢丝绳上拉力的大小，当 拉力大于设定的阈值时，图像传感器5采集吊具3上的靶标6图像，图像处理 中心工控机12根据吊具3的像素坐标信息计算大车运行方向和小车运行方向 上的运行距离并将其传递至控制中心PLC 4里。Q₀(u_o，v_o)是在无斜拉工况 下靶标在相机内的像点，Q₁(u₁，v₁)是靶标6的实时像点。

l_x＝K*S_x和l_y＝K*S_y(K为像素当量，S_x为投影在XZ平面的像素 距离，S_y为投影在YZ平面的像素距离)，为了使大小车到达对应的位置，必 须控制小车行驶l_x，大车行驶l_y。纠偏模块在纠正大小车位置的过程中，大小 车必然经历一个匀加速-匀速-匀减速过程，设加速时间t₀，匀速时间t₁,以及减 速时间t₂，最大速度v，这三段时间行驶的总路程：

控制t₀、t₁、t₂的大小，使得总路程等于大小车偏移的位移。当大小车运 行结束时再次采集靶标6图像进行处理得到当前靶标6所在位置并计算斜拉角 度，若斜拉角度大于设定的阈值，纠偏程序继续执行直到靶标6模块位于防斜 拉系统可以接受的阈值范围之内。

最后，应当指出，以上实施例仅是本发明较有代表性的例子。显然，本发 明不限于上述实施例，还可以有许多变形。凡依据本发明的技术实质对以上实 施例所做的任何简单修改、等同变化及修饰，均应认为属于本发明的保护范围。

Claims (8)

1.一种基于机器视觉的新型起重机主动防斜拉控制系统，其装置包括可沿支架轨道运行的移动大车和可沿大车导轨运行的移动小车，所述移动小车(1)上设有吊绳(2)，所述吊绳(2)的底端设有吊具(3)，其特征在于：还包括设置在移动小车(1)上的图像处理中心工控机(12)和控制中心PLC(4)、设置在移动小车(1)底部的图像传感器(5)和设置在吊具(3)上的靶标(6)，所述控制中心PLC(4)分别与图像传感器(5)、移动大车(11)和移动小车(1)连通，所述图像处理中心工控机(12)与图像传感器(5)连通。

2.根据权利要求1所述的一种基于机器视觉的新型起重机主动防斜拉控制系统，其特征在于：所述移动小车(1)底部还设有与图像传感器(5)配合使用的光源(7)。

3.根据权利要求1～2中任意一项所述的一种基于机器视觉的新型起重机主动防斜拉控制系统，其特征在于：所述吊具(3)包括吊钩平台(8)、吊钩支架(9)和吊钩(10)，所述吊钩(10)通过吊钩支架(9)与吊钩平台(8)铰接，所述靶标(6)设置在吊钩平台(8)上与图像传感器(5)相对。

4.一种基于机器视觉的新型起重机主动防斜拉控制系统的控制方法，其特征在于：包括如下步骤：

步骤1：靶标(6)深度信息的获取；

步骤2：像素当量的标定；

步骤3：吊绳(2)角度的计算；

步骤4：移动大车(11)和移动小车(1)运动控制。

5.根据权利要求4所述的一种基于机器视觉的新型起重机主动防斜拉控制系统，其特征在于：所述步骤1中：所述靶标(6)深度信息的获取方法为：

靶标(6)由一系列同心正六边形组成，正六边形最小外接圆半径从外到内等比例减小，保证靶标(6)在一定的高度内上下移动时，图像传感器(5)仍然能够拍摄到一个成像最为清晰的正六边形，即最优正六边形。依据图像传感器(5)与地面的高度，以起吊负载高度的变化范围作为靶标的高度变换范围并将其分为若干段Δd_i(i＝1,2,3…),由于小孔成像近大远小的特点，在距离图像传感器(5)越近的高度范围里，图像传感器(5)拍摄到的最优正六边形面积越大，即负载高度和靶标面积之间存在对应的关系，本发明中通过将负载高度变化范围分为多段，每段分别进行标定得到靶标面积与负载斜拉高度之间的关系，具体步骤如下：

通过将负载变化高度按照一定的关系分为多段，每段高度变化范围为Δd_i，图像传感器(5)在每段高度变化范围内采集靶标图像，并计算得到靶标图像面积S_i，同时测量得到负载斜拉高度H_i，最后通过拟合得到靶标面积与负载斜拉高度之间的关系H＝f(S)。

负载斜拉高度的测量过程：图像传感器(5)采集靶标图像，并传输至图像处理中心工控机(12)中进行图像分析计算得到靶标正六边形面积大小，根据靶标面积与负载高度之间的拟合关系式可以得到当前靶标所在的高度H。

6.根据权利要求5所述的一种基于机器视觉的新型起重机主动防斜拉控制系统，其特征在于：所述步骤2中：所述像素当量的标定方法为：

当吊钩(10)垂直悬空并处于静止状态时，图像传感器(5)采集吊钩(10)上靶标(6)的图像信息，传输至图像处理中心工控机(12)，经过图像处理后得到吊钩(10)静止悬空时靶标(6)中心的像素坐标P₀。负载起升过程中，通过图像传感器(5)和图像处理中心工控机(12)确定实时吊钩(10)的靶标(6)中心的像素坐标P₁，计算像素距离S₀＝|P₀P₁|，其中S₀是像素坐标系下的距离，为了转换成实际距离，做如下推导：

设传图像感器(5)坐标系下的任意一点P_c(X_c，Y_c，Z_c)对应于图像像素坐标系下一点P_uv(u，v)，两者之间的坐标转换关系为：

标定像素当量过程中吊钩(10)在图像传感器(5)坐标系Z轴方向下坐标Z_c由步骤一中获取的深度H确定；

对于图像像素坐标系下两点之间距离S₀与对应在摄像机坐标系下距离S有如下关系：

<mrow> <msub> <mi>S</mi> <mn>0</mn> </msub> <mo>=</mo> <mfrac> <mi>f</mi> <mrow> <mi>d</mi> <mi>X</mi> <mo>*</mo> <mi>H</mi> </mrow> </mfrac> <mo>*</mo> <mi>S</mi> <mo>+</mo> <msub> <mi>u</mi> <mn>0</mn> </msub> </mrow>

因此，像素当量为：

<mrow> <mi>K</mi> <mo>=</mo> <mfrac> <mi>f</mi> <mrow> <mi>d</mi> <mi>X</mi> <mo>*</mo> <mi>H</mi> </mrow> </mfrac> </mrow>

7.根据权利要求6所述的一种基于机器视觉的新型起重机主动防斜拉控制系统，其特征在于：所述步骤3中：所述吊绳(2)角度的计算方法为：

当吊钩(10)在运动中时，根据灰度定位实时找到吊钩(10)上靶标(6)的中心点，并计算出中心点偏移静止悬空时点的距离S，根据之前标定出的像素当量K计算出实际偏移距离以及拟合的深度信息H，得出吊钩实时偏离角度：

8.根据权利要求4～7中任意一项所述的一种基于机器视觉的新型起重机主动防斜拉控制系统，其特征在于：所述步骤4中：所述移动大车(11)和移动小车(1)运动控制方法为：

尽管靶标(6)跟随吊钩(10)在三维空间运动，但是吊具(3)始终相对于图像传感器(5)运动，因此对测量到吊钩(10)的靶标(6)实时图像像素坐标P₀(u，v)进行坐标转换可以得到在以摄像机光心为原点，摄像机平面为XY面，垂直摄像机的方向为Z轴的图像传感器(5)坐标系下，对应坐标P₁(x，y，z)；

将系统测量得到的实时角度信息和位置信息传输到控制中心PLC(4)中，控制中心PLC(4)判断实时角度是否超过设定的阈值：

当实时角度θ不超过阈值时，说明此时货物斜拉角度很小，可忽略不计，起升机构正常起吊货物；

当实时角度θ超过门限值时，控制中心PLC(4)输出信号到变频器，禁止起升机构运行并调整移动大车(11)和移动小车(1)的位置，自动向靶标(6)所在位置对正，实现主动防斜拉。