CN110745702A - 基于单目相机的起重机工作空间多信息测量方法及系统 - Google Patents

Abstract

本发明提供一种基于单目相机的起重机工作空间多信息测量方法及系统，起重机的吊钩上设有第一靶标，每个障碍物顶部均设有第二靶标；负载一端顶部设有第三靶标，将吊钩降低到最底端，控制起升机构根据分层公式使得吊钩分层上升，吊钩在每层位置上，单目相机均采集第一靶标的图像；根据分层标定结果，得到负载起升高度的拟合方程和起吊中心的像素坐标拟合方程；当有负载实际起吊时，根据负载起升高度的拟合方程和起吊中心的像素坐标拟合方程，以及空间几何分析，计算工作空间的信息。本发明仅采用单目相机，匹配特定的单目相机分层标定方法，结合起重机工作空间的空间几何分析，从而实现起重机工作空间多信息的测量。

Description

基于单目相机的起重机工作空间多信息测量方法及系统

技术领域

本发明属于起重机领域和视觉测量领域，具体涉及一种基于单目相机的起重机工作空间多信息测量方法及系统。

背景技术

起重机作为重要的货物搬运工具，广泛应用于生产车间、货物仓库、冶金制造、垃圾处理等工业场所。然而，目前起重机通过操作工人进行手动操作，操作过程中工人难免会出现操作失误，且长时间工作会造成操作疲劳，这些均可能导致起重机安全事故。因此实现起重机的智能控制和安全监控显得尤为重要，而信息的测量是前提。

目前起重机上的测量方法主要包括预测估计、接触式测量和非接触测量三种。其中预测估计方法根据建立的精确起重机模型，实现负载摆动角度的预测估计。其测量精度与起重机模型的准确度有关，而考虑起重机工业应用情况时补偿误差通常难以确定。接触式测量方式利用高精度传感器，实现特定物理量的精确测量。例如通过加速度计和陀螺仪、编码器、力传感器等可以实现负载偏心角度的测量。通过安装在卷筒一端的编码器可以实现负载起升高度的测量。接触式测量方式可以实现高精度的测量，但是当需要测量多个物理量时，通常需要安装多个传感器，增加了系统的成本。非接触式测量主要包括超声波传感器和光学传感器两种。其中超声波传感器可以实现距离的测量，但通常测量距离较小。光学传感器中的激光传感器利用激光传感器同样可以实现距离的测量，同样会存在测量物理量单一的问题。视觉测量作为一种重要的非接触测量方式，广泛应用于工业控制的各个领域。视觉测量在起重机的应用主要分为单目、双目和多目三种测量方式。其中双目和多目测量方式通过两幅或多幅图像的匹配，可以测量目标物体的深度信息，但复杂的图像处理算法限制了其应用。因此单目相机测量技术在起重机上的应用开始受到广泛关注，但目前单目视觉测量系统通常根据特定的起重机功能设计，测量物理量单一。

发明内容

本发明要解决的技术问题是：提供一种基于单目相机的起重机工作空间多信息测量方法，只需要一个单目相机，即可实现起重机工作空间中多信息的测量。

本发明为解决上述技术问题所采取的技术方案为：一种基于单目相机的起重机工作空间多信息测量方法，其特征在于：起重机的吊钩上设有用于单目相机识别负载的第一靶标，每个障碍物顶部均设有用于被单目相机识别的第二靶标；第一靶标和第二靶标上均设有两个特征点，两个特征点之间的距离为S；负载一端顶部设有用于测量负载旋转角度的第三靶标，第三靶标包含位于靶标中心的一个特征点；通过对单目相机采集起重机工作空间的图像进行图像处理，得到工作空间的信息，并控制起重机的大车和小车；

本方法包括以下步骤：

S1、单目相机的分层标定：

输入负载距离单目相机的最大距离D_n和负载的最大偏心角度θ_max；将吊钩降低到最底端，控制起升机构根据分层公式使得吊钩分层上升，吊钩在每层位置上，单目相机均采集第一靶标的图像；所述的分层公式为Δh_i为第i层与第i-1层之间的高度，n为总层数，Hi为第i层吊钩的起升高度，Di为第i层的吊钩与单目相机之间的距离，Di-1为第i-1层的吊钩与单目相机之间的距离；

根据单目相机采集的第一靶标的图像，得到第一靶标的特征点之间的像素距离和每层第一靶标中心的像素坐标；根据每层的第一靶标高度和第一靶标的特征点之间的像素距离，得到求解负载起升高度的拟合方程；

当吊钩竖直起升时，第一靶标中心即为起吊中心，分析每层第一靶标中心的像素坐标，得到起吊中心的像素坐标拟合方程；

S2、工作空间的信息测量：

当有负载实际起吊时，起重机的吊钩位置即为负载位置；

利用单目相机实时采集第一靶标和第二靶标的图像，根据S1得到的负载起升高度的拟合方程和起吊中心的像素坐标拟合方程，以及空间几何分析，计算工作空间的信息；

所述的工作空间的信息包括负载偏心角度、负载偏心位移、负载旋转角度、负载与障碍物距离和障碍物高度。

按上述方法，所述的S2具体为：

2.1、负载偏心角度和偏心位移的测量：

实时采集第一靶标的图像，得到第一靶标中心的像素坐标(u_b,v_b)和第一靶标的特征点之间的像素距离ΔS，根据所述的负载起升高度的拟合方程，得到负载的起升高度H；然后根据所述的起吊中心的像素坐标拟合方程，计算得到起吊中心像素坐标(u_q,v_q)；从而在大车和小车方向上负载偏移起吊中心的像素距离为

Δu、Δv分别为负载在小车和大车运动方向上偏离起吊中心的像素距离；

根据公式计算负载在小车方向和大车方向的偏移距离为ΔX、ΔY；

进而有负载的偏心角度为

2.2、负载旋转角度的测量：

负载旋转角度

其中u_f、v_f为第三靶标特征点的行列像素坐标；

2.3、负载与障碍物距离和障碍物高度的测量：

当有障碍物进入单目相机视野范围内，单目相机将采集置于该障碍物顶部的第二靶标的图像，并根据第二靶标的特征点像素坐标计算得到第二靶标的中心像素坐标(u_z,v_z)，进而根据第一靶标中心的像素坐标(u_b,v_b)得到负载与障碍物在小车和大车运动方向上的距离D_x和D_d分别为

根据第二靶标的特征点之间的像素距离，根据负载起升高度的拟合方程计算得到障碍物的高度H_z。

按上述方法，所述的负载起升高度的拟合方程为：

H＝P₁ΔS

式中，ΔS＝[ΔS² ΔS 1]^T为第一靶标的特征点之间的像素距离，P₁＝[P₁ ² P₁ ¹P₁ ⁰]为拟合方程的系数。

按上述方法，所述的起吊中心的像素坐标拟合方程为：

式中，u_q、v_q为起吊中心的行像素坐标和列像素坐标，H＝[H² H 1]^T为负载起升高度，P₂和P₃分别为行像素坐标和列像素坐标拟合方程的系数，其中

P₃＝[P₃ ²P₃ ¹ P₃ ⁰]。

一种用于完成所述的测量方法的系统，其特征在于：本系统包括靶标、单目相机、数据处理器和起重机控制器；其中，

所述的靶标包括起重机的吊钩上设置的用于单目相机识别负载的第一靶标，每个障碍物顶部设置的用于被单目相机识别的第二靶标；第一靶标和第二靶标上均设有两个特征点，两个特征点之间的距离为S，以及设置在负载一端顶部用于测量负载旋转角度的第三靶标，第三靶标包含位于靶标中心的一个特征点；

单目相机用于采集起重机工作空间的图像，数据处理器通过对单目相机采集的图像处理后，得到工作空间的信息，并通过起重机控制器控制起重机的大车和小车。

按上述系统，所述的单目相机设置在小车的底部。

按上述系统，本系统还包括光源，用于给工作空间照明。

按上述系统，本系统还包括人机交互界面，用于输入参数和显示工作空间的信息。

本发明的有益效果为：仅采用单目相机，匹配特定的单目相机分层标定方法，并结合起重机工作空间的空间几何分析，从而实现起重机工作空间多信息的测量；结构简单，减小了传感器的数量和硬件成本，算法简单，易于实施。

附图说明

图1为本发明一实施例的系统框图。

图2为起重机工作空间信息示意图。

图3为单目相机的安装示意图。

图4为起升高度的分层示意图。

图中：1-小车，2-大车，3-负载，4-单目相机，5-障碍物。

具体实施方式

下面结合具体实例和附图对本发明做进一步说明。

本发明提供一种基于单目相机的起重机工作空间多信息测量系统，如图1至4所示，包括靶标、单目相机4、数据处理器和起重机控制器；其中，所述的靶标包括起重机的吊钩上设置的用于单目相机识别负载3的第一靶标，每个障碍物5顶部设置的用于被单目相机识别的第二靶标；第一靶标和第二靶标上均设有两个特征点，两个特征点之间的距离为S；设置在负载一端顶部用于测量负载旋转角度的第三靶标，第三靶标包含位于靶标中心的一个特征点。单目相机用于采集起重机工作空间的图像，数据处理器通过对单目相机采集的图像处理后，得到工作空间的信息，并通过起重机控制器控制起重机的大车2和小车1。本实施例中，单目相机4设置在小车1的底部。本系统还包括光源，用于给工作空间照明，可以增强靶标图像质量。本系统还包括人机交互界面，用于输入参数和显示工作空间的信息，实现起重机空间信息的实时监控和辅助完成单目相机的分层标定。靶标由靶标板和特征点组成，其中特征点具有反光特性，两个特征点对角分布且距离固定。

利用上述系统，本发明还提供一种基于单目相机的起重机工作空间多信息测量方法，包括以下步骤：

S1、单目相机的分层标定：

在数据处理器中输入负载距离单目相机的最大距离D_n和负载的最大偏心角度θ_max；将吊钩降低到最底端，控制起升机构根据分层公式使得吊钩分层上升，吊钩在每层位置上，单目相机均采集第一靶标的图像；考虑到相机景深的变化规律，设计分层标定策略实现基于单目相机采集图像的深度测量，所述的分层公式为Δh_i为第i层与第i-1层之间的高度，n为总层数，Hi为第i层吊钩的起升高度，Di为第i层的吊钩与单目相机之间的距离，Di-1为第i-1层的吊钩与单目相机之间的距离。

根据单目相机采集的第一靶标的图像，得到第一靶标的特征点之间的像素距离和每层第一靶标中心的像素坐标；根据每层的第一靶标高度和第一靶标的特征点之间的像素距离，得到求解负载起升高度的拟合方程；

具体地为，根据分层标定公式将起升高度分为多层。标定过程中，负载在无摆动状态下沿竖直方向起升，每次负载起升高度由分层标定公式确定。则有通过分析每层高度第一靶标特征点之间的距离可以建立求解负载起升高度的拟合方程H＝P₁ΔS，式中，ΔS＝[ΔS² ΔS 1]^T为第一靶标特征点之间的像素距离，P₁＝[P₁ ² P₁ ¹ P₁ ⁰]为拟合方程的系数。本实施例中，负载起升高度的拟合方程为H＝0.007ΔS²-8.785ΔS-1281.519。

当吊钩竖直起升时，第一靶标中心即为起吊中心，分析每层第一靶标中心的像素坐标，得到起吊中心的像素坐标拟合方程。

起重机的工作过程包括大车和小车的相互垂直平动和负载的竖直起升。因此负载和周围障碍物的位置可以简化为其相对于负载竖直起吊中心的位置。同时，考虑到单目相机安装在负载正上方的对心难度，本发明为简化相机的安装步骤，不需将单目相机安装在负载的正上方。同样，利用分层标定策略建立不同层高度和竖直起吊中心像素坐标的拟合方程。当负载竖直起升时，第一靶标中心即为起吊中心，则有通过分析每层高度第一靶标中心的像素坐标，可以得到竖直起吊中心像素坐标的拟合方程

式中，(u_q,v_q)为起吊中心的行像素坐标和列像素坐标。H＝[H² H 1]^T为负载起升高度，P₂和P₃分别为行像素坐标和列像素坐标拟合方程的系数，其中

P₃＝[P₃ ² P₃ ¹ P₃ ⁰]。本实施例中，起吊中心的像素坐标拟合方程为

S2、工作空间的信息测量：

当有负载实际起吊时，起重机的吊钩位置即为负载位置；利用单目相机实时采集第一靶标和第二靶标的图像，根据S1得到的负载起升高度的拟合方程和起吊中心的像素坐标拟合方程，以及空间几何分析，计算工作空间的信息。

所述的工作空间的信息包括负载偏心角度、负载偏心位移、负载旋转角度、负载与障碍物距离和障碍物高度。其中负载的起升高度H为负载距离地面的高度。负载的偏心角度θ_p为负载偏离竖直起吊中心的角度，即在负载起吊时表现为负载的斜拉角度；在负载起吊后，表现为负载的摆动角度。负载的旋转角度θ_x为负载绕负载中心水平转动的角度。障碍物的高度H_z是障碍物底部距离地面的距离。障碍物和负载之间的水平距离为D。

所述的S2具体为：

2.1、负载偏心角度和偏心位移的测量：

实时采集第一靶标的图像，得到第一靶标中心的像素坐标(u_b,v_b)和第一靶标的特征点之间的像素距离ΔS，根据所述的负载起升高度的拟合方程，得到负载的起升高度H；然后根据所述的起吊中心的像素坐标拟合方程，计算得到起吊中心像素坐标(u_q,v_q)；从而在大车和小车方向上负载偏移起吊中心的像素距离为Δu、Δv分别为负载在小车和大车运动方向上偏离起吊中心的像素距离；

根据公式计算负载在小车方向和大车方向的偏移距离为ΔX、ΔY；

进而有负载的偏心角度为

2.2、负载旋转角度的测量：

长型负载，如型材、棒材等，在起吊时的旋转将严重影响起重机的工作效率。为实现起吊负载旋转角度的实时测量和监控，建立负载旋转角度的单目相机测量模型。具体的为，包含一个特征点的第三靶标板置于负载一端顶部。利用负载上靶标中心的像素坐标(u_b,v_b)和吊钩上靶标中心的像素坐标(u_f,v_f)，基于几何关系可得负载旋转角度θ_x的计算公式为

此外，将靶标板固定于吊具一端顶部，也可以实现吊具旋转角度的测量。

2.3、负载与障碍物距离和障碍物高度的测量：

当有障碍物进入单目相机视野范围内，单目相机将采集置于该障碍物顶部的第二靶标的图像，并根据第二靶标的特征点像素坐标计算得到第二靶标的中心像素坐标(u_z,v_z)，进而根据第一靶标中心的像素坐标(u_b,v_b)得到负载与障碍物在小车和大车运动方向上的距离D_x和D_d分别为

固定在吊钩上的靶标与置于障碍物顶部的靶标相同，则有根据拟合方程H＝P₁ΔS，利用置于障碍物顶部靶标特征点之间的像素距离，可以得到障碍物的高度H_z。

本发明基于单目相机测量的起重机工作空间信息，将促进起重机的智能控制和安全监控技术的发展。例如在负载起升过程，利用实时测量的负载斜拉角度，可以实现起重机的自动对心控制，防止斜拉歪吊；在负载运输过程中，实时追踪的负载摆动角度和起升高度可以实现闭环防摆；起吊负载的自动旋转控制可以根据实时测量的旋转角度来实现；旋转机构的负载的起升高、度障碍物的高度和负载与障碍物的距离可以用来设计自动避障控制系统，实现起重机的自动避障，提高起重机的运输安全性。同时，单目相机可以实现起重机运动状态的实时监控，实现起重机工作空间的实时显示，有助于远程监控的实现。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (8)

1.一种基于单目相机的起重机工作空间多信息测量方法，其特征在于：起重机的吊钩上设有用于单目相机识别负载的第一靶标，每个障碍物顶部均设有用于被单目相机识别的第二靶标；第一靶标和第二靶标上均设有两个特征点，两个特征点之间的距离为S；负载一端顶部设有用于测量负载旋转角度的第三靶标，第三靶标包含位于靶标中心的一个特征点；通过对单目相机采集起重机工作空间的图像进行图像处理，得到工作空间的信息，并控制起重机的大车和小车；

本方法包括以下步骤：

S1、单目相机的分层标定：

输入负载距离单目相机的最大距离D_n和负载的最大偏心角度θ_max；将吊钩降低到最底端，控制起升机构根据分层公式使得吊钩分层上升，吊钩在每层位置上，单目相机均采集第一靶标的图像；所述的分层公式为

Δh_i为第i层与第i-1层之间的高度，n为总层数，Hi为第i层吊钩的起升高度，Di为第i层的吊钩与单目相机之间的距离，Di-1为第i-1层的吊钩与单目相机之间的距离；

根据单目相机采集的第一靶标的图像，得到第一靶标的特征点之间的像素距离和每层第一靶标中心的像素坐标；根据每层的第一靶标高度和第一靶标的特征点之间的像素距离，得到求解负载起升高度的拟合方程；

当吊钩竖直起升时，第一靶标中心即为起吊中心，分析每层第一靶标中心的像素坐标，得到起吊中心的像素坐标拟合方程；

S2、工作空间的信息测量：

当有负载实际起吊时，起重机的吊钩位置即为负载位置；

利用单目相机实时采集第一靶标和第二靶标的图像，根据S1得到的负载起升高度的拟合方程和起吊中心的像素坐标拟合方程，以及空间几何分析，计算工作空间的信息；

所述的工作空间的信息包括负载偏心角度、负载偏心位移、负载旋转角度、负载与障碍物距离和障碍物高度。

2.根据权利要求1所述的测量方法，其特征在于：所述的S2具体为：

2.1、负载偏心角度和偏心位移的测量：

实时采集第一靶标的图像，得到第一靶标中心的像素坐标(u_b,v_b)和第一靶标的特征点之间的像素距离ΔS，根据所述的负载起升高度的拟合方程，得到负载的起升高度H；然后根据所述的起吊中心的像素坐标拟合方程，计算得到起吊中心像素坐标(u_q,v_q)；从而在大车和小车方向上负载偏移起吊中心的像素距离为

Δu、Δv分别为负载在小车和大车运动方向上偏离起吊中心的像素距离；

根据公式

计算负载在小车方向和大车方向的偏移距离为ΔX、ΔY；

进而有负载的偏心角度为

2.2、负载旋转角度的测量：

负载旋转角度其中u_f、v_f为第三靶标特征点的行列像素坐标；

2.3、负载与障碍物距离和障碍物高度的测量：

当有障碍物进入单目相机视野范围内，单目相机将采集置于该障碍物顶部的第二靶标的图像，并根据第二靶标的特征点像素坐标计算得到第二靶标的中心像素坐标(u_z,v_z)，进而根据第一靶标中心的像素坐标(u_b,v_b)得到负载与障碍物在小车和大车运动方向上的距离D_x和D_d分别为

根据第二靶标的特征点之间的像素距离，根据负载起升高度的拟合方程计算得到障碍物的高度H_z。

3.根据权利要求2所述的测量方法，其特征在于：所述的负载起升高度的拟合方程为：

H＝P₁ΔS

式中，ΔS＝[ΔS² ΔS 1]^T为第一靶标的特征点之间的像素距离，P₁＝[P₁ ² P₁ ¹ P₁ ⁰]为拟合方程的系数。

4.根据权利要求3所述的测量方法，其特征在于：所述的起吊中心的像素坐标拟合方程为：

式中，u_q、v_q为起吊中心的行像素坐标和列像素坐标，H＝[H² H 1]^T为负载起升高度，P₂和P₃分别为行像素坐标和列像素坐标拟合方程的系数，其中

P₃＝[P₃ ² P₃ ¹P₃ ⁰]。

5.一种用于完成权利要求1至4中任意一项所述的测量方法的系统，其特征在于：本系统包括靶标、单目相机、数据处理器和起重机控制器；其中，

所述的靶标包括起重机的吊钩上设置的用于单目相机识别负载的第一靶标，每个障碍物顶部设置的用于被单目相机识别的第二靶标；第一靶标和第二靶标上均设有两个特征点，两个特征点之间的距离为S，以及设置在负载一端顶部用于测量负载旋转角度的第三靶标，第三靶标包含位于靶标中心的一个特征点；

单目相机用于采集起重机工作空间的图像，数据处理器通过对单目相机采集的图像处理后，得到工作空间的信息，并通过起重机控制器控制起重机的大车和小车。

6.根据权利要求5所述的系统，其特征在于：所述的单目相机设置在小车的底部。

7.根据权利要求5所述的系统，其特征在于：本系统还包括光源，用于给工作空间照明。

8.根据权利要求5所述的系统，其特征在于：本系统还包括人机交互界面，用于输入参数和显示工作空间的信息。

Images