CN112379605A - 基于视觉伺服的桥式起重机半实物仿真控制实验系统及方法 - Google Patents

Abstract

本发明提供的一种基于视觉伺服的桥式起重机自动控制实验系统及方法，包括半实物模拟装置、双目图像采集与分析系统以及控制系统，其中，半实物模拟装置用于模拟实际工业现场使用的桥式起重机的机械机构；所述双目图像采集与分析系统用于实时采集半实物模拟装置工作状态下的目标物体的运动图像，并对运动图像进行处理，得到目标物体的实时状态，之后将目标物体的实时状态发送给控制系统；控制系统用于根据接收到的目标物体的实时状态控制半实物模拟装置按照设定的轨迹运行；本发明解决了现有的桥式起重机自动控制实验系统存在的机械结构设计的复杂度高、稳定性和可靠性差的缺陷。

Description

基于视觉伺服的桥式起重机半实物仿真控制实验系统及方法

技术领域

本发明属非线性欠驱动系统自动控制领域，特别涉及一种基于视觉伺服的桥式起重机自动控制实验系统及方法。

背景技术

桥式起重机作为一种常用的装配运输设备，以其负载能力强、操作灵活、能耗低、占地资源少等优势，目前被广泛应用于港口、仓库、重工业生产车间、建筑工地等需要装配运输的领域场景中。

起重机在工作过程中，桥架上的台车能够沿桥架直线运动，桥架也能沿两侧轨道直线运动，同时台车上配备的卷轴电机则可以完成吊钩吊绳的升降运动。通过台车和桥架在两个方向上的运动，再加上起升操作就可以将负载运输至任意指定位置。

但由于吊钩负载通过吊绳连接至台车上的卷筒，故系统呈现欠驱动特性，桥架和台车的运动均会引起负载的摆动，这就使其可能与周围其他物体或人员发生碰撞，造成危险，缩短钢丝绳使用寿命；尤其在桥架及台车到达指定位置停止运动后，负载的残余摆动不仅会降低运输过程的效率，同时还有很大的安全风险。

因此，在操作吊车时，一方面需要实现台车的快速准确定位，以满足运送负载的要求；另一方面，则需要有效地抑制负载的摆动，实现“无摆”或者“微摆”操作。特别是当台车到达指定位置时，必须尽可能地减小负载的残余摆动，以期提高起重机的运送效率。

虽然到目前为止国内外自动化领域的许多学者针对桥式起重机系统开展了大量的研究，也针对这样的前驱动系统提出了许多控制方法，同时也设计出了一些较为可靠方便的桥式起重机自动控制实验系统，但仍需要人工设置准确的目标位置才能使负载被运送至指定位置，并且系统需要设置多种接触式传感器采集必要的状态量，这也大大增加了系统机械结构设计的复杂度，同时降低了系统的稳定性和可靠性。

近年来，随着摄像设备性能价格比和计算机信息处理速度的提高，以及有关理论的日益完善，视觉伺服已具备实际应用的技术条件，相关的技术问题也成为当前研究的热点。在工业领域，视觉传感器主要是指工业相机，除了图像检测外，在工业上的最主要应用就是视觉伺服。它是利用相机所提取到的图像特征作为反馈来控制机器平台的运动。从最初处理简单的抓取放置任务，到现代能实时完成复杂的任务，视觉伺服技术的研究经历了多年的发展，其形式多种多样。将视觉传感器引入到机器平台的控制环节中来不仅能提高机器的灵活性和精度，而且还可以使机器代替人类去完成那些枯燥或危险的工作。

然而，现有的并未将视觉伺服应用到桥式起重机系统中。

发明内容

本发明的目的在于提供一种基于视觉伺服的桥式起重机自动控制实验系统及方法，解决了现有的桥式起重机自动控制实验系统需要人工设置准确的目标位置才能使负载被运送至指定位置，使得该系统存在机械结构设计的复杂度高、稳定性和可靠性差的缺陷。

为了达到上述目的，本发明采用的技术方案是：

本发明提供的一种基于视觉伺服的桥式起重机自动控制实验系统，包括半实物模拟装置、双目图像采集与分析系统以及控制系统，其中，半实物模拟装置用于模拟实际工业现场使用的桥式起重机的机械机构；所述双目图像采集与分析系统用于实时采集半实物模拟装置工作状态下的目标物体的运动图像，并对运动图像进行处理，得到目标物体的实时状态，之后将目标物体的实时状态发送给控制系统；控制系统用于根据接收到的目标物体的实时状态控制半实物模拟装置按照设定的轨迹运行。

优选地，所述半实物模拟装置包括整体框架、桥架、台车、第一直线模组、第二直线模组、起升机构和驱动装置，其中，所述桥架安装在整体框架上；所述台车安装在桥架上；

所述桥架通过第一直线模组与驱动装置连接，用以实现桥架能够在整体框架上来回移动；

所述台车通过第二直线模组与驱动装置连接，用以实现台车能够在桥架上来回移动；

所述起升机构设置在台车上，且与驱动装置连接，用于对负载进行起吊。

优选地，所述驱动装置包括第一交流伺服电机、第二交流伺服电机和第三交流伺服电机，其中，第一交流伺服电机依次通过减速器、联轴器与桥架连接；所述第二交流伺服电机依次通过减速器、联轴器与台车连接，能够实现台车在x轴方向、以及台车与桥架在y轴方向的水平动作；

所述第三交流伺服电机连接起升机构，实现吊物在z轴方向的升降动作。

优选地，所述起升机构包括卷筒，所述第三交流伺服电机的输出轴通过联轴器与卷筒连接，所述卷筒上缠绕有钢丝绳，所述钢丝绳的自由端设置有吊钩。

优选地，所述钢丝绳的自由端经过导向滑轮与吊钩连接，所述导向滑轮固定在台车上。

优选地，所述双目图像采集与分析系统包括采集单元和处理单元，其中，采集单元用于采集半实物模拟装置的实时状态，并将采集到的实时状态传输至处理单元进行处理，得到目标物体的实时状态。

优选地，采集单元包括两个相机，其中，两个相机平行安装在半实物模拟装置中的整体框架上；两个相机的光轴互相平行；两个相机均用于采集负载与吊钩的实时工作图像，并将采集到的实时工作图像传输至处理单元。

优选地，所述处理单元对接收到的负载与吊钩的实时工作图像进行处理，得到目标物体的实时状态，具体方法是：

步骤1，对采集到的图像进行预处理，得到预处理后的图像；

步骤2，对步骤1中得到的预处理后的图像进行特征提取，得到特征点；

步骤3，对步骤2得到的特征点进行立体匹配，得到特征点对；

步骤4，根据步骤3得到的特征点对构建视差图；

步骤5，根据步骤4得到的视差图进行三维重构，得到目标物体的三维点云信息；

步骤6，根据步骤5得到的三维点云信息计算得到目标物体的实时状态。

基于视觉伺服的桥式起重机半实物仿真控制实验方法，基于所述的基于视觉伺服的桥式起重机半实物仿真控制实验系统，包括以下步骤：

步骤1，搭建半实物模拟装置；

步骤2，采集半实物模拟装置工作状态下的负载和吊具的运动图像；

步骤3，对采集到的运动图像进行处理，目标物体的实时状态；

步骤4，根据接收到的目标物体的实时状态控制半实物模拟装置按照设定的轨迹运行。

与现有技术相比，本发明的有益效果是：

本发明提供的基于视觉伺服的桥式起重机半实物仿真控制实验系统，通过引入双目图像采集与分析系统获取半实物模拟装置的多个状态量信息，包括立体信息，不仅降低了整体实验平台的设计复杂度，同时具有测量范围大、测量精度高等优势，提高了整套系统的稳定性，由于图像包含了更加丰富的信息，能够获取更多传统传感器无法采集的信息，为后续设备功能的拓展提供了平台，也为机器视觉在非线性欠驱动系统控制领域的应用研究创造实验条件；解决了现有的桥式起重机自动控制实验系统存在的机械结构设计的复杂度高、稳定性和可靠性差的缺陷。

进一步的，本发明还将直线模组应用于半实物模拟装置中，大大提高了台车的定位精度。

进一步的，采用导向滑轮解决了钢丝绳卷绕时产生的轴向移动影响测量精度的问题。

附图说明

图1是本发明涉及的实验系统结构示意图；

图2是整体框架结构示意图；

图3是起升机构结构示意图；

图4是半实物模拟装置的结构示意图；

图5是处理单元的基本原理图；

图6是负载摆动角度示意图；

图7是双目立体视觉状态量解算流程图；

图8是控制系统的结构示意图。

具体实施方式

下面结合附图，对本发明进一步详细说明。

如图1至图8所示，本发明提供的一种基于视觉伺服的桥式起重机自动控制实验系统，包括半实物模拟装置、双目图像采集与分析系统以及控制系统，其中，半实物模拟装置用于模拟实际工业现场使用的桥式起重机的机械机构，这部分是该半实物仿真实验系统的控制对象；所述双目图像采集与分析系统用于实时采集负载和吊具的运动图像，图像经上位机软件处理分析后，得到负载的位置、摆角等运动信息，并发送给起重机控制系统；控制系统用于接收双目图像采集与分析系统和编码器、传感器、限位开关等测量的系统状态量信息，并在上位机中构建基于MATLAB/Simulink环境编程、编译环境，按照控制算法实时计算出当前状态下对应的控制信号，然后将控制信号通过下位机发送至半实物的桥式起重机模拟装置，从而使实验平台按照设定的轨迹运行。

所述半实物模拟装置包括整体框架1、桥架2、台车3、直线模组、起升机构和驱动装置，其中，所述桥架2安装在整体框架1上；所述台车3安装在桥架2上。

所述桥架2通过第一直线模组连接有驱动装置，通过驱动装置带动桥架1在整体框架1上来回移动。

所述桥架2之间通过联杆10连接。

所述台车3通过第二直线模组与驱动装置连接，通过驱动装置带动台车在桥架2上来回移动。

所述起升机构设置在台车上，且与驱动装置连接，用于对负载进行起吊。

所述驱动装置包括第一交流伺服电机8、第二交流伺服电机9和第三交流伺服电机6，其中，第一交流伺服电机依次通过减速器、联轴器与桥架2连接；所述第二交流伺服电机依次通过减速器、联轴器与台车连接，实现台车在x轴方向、以及台车与桥架在y轴方向的水平动作。

所述第三交流伺服电机连接起升机构，实现吊物在z轴方向的升降动作。

所述起升机构包括卷筒5，所述第三交流伺服电机6的输出轴通过联轴器与卷筒5连接，所述卷筒上缠绕有钢丝绳，所述钢丝绳的自由端设置有吊钩。

所述钢丝绳的自由端经过导向滑轮7与吊钩连接，所述导向滑轮固定在台车上，该结构用于避免钢丝绳沿着卷轴产生相对于轴向的平移。

所述整体框架1和桥架2上均设置有限位开关，用于防止在控制失灵或误操作时，桥架或台车冲出轨道造成危险事故。

所述第一交流伺服电机、第二交流伺服电机和第三交流伺服电机上均设置有伺服电机驱动器。

所述双目图像采集与分析系统包括采集单元和处理单元，其中，采集单元用于采集半实物模拟装置的实时状态，并将采集到的实时状态传输至处理单元进行处理。

如图7、图8所示，所述实时状态包括负载的位置信息(x,y,z)、负载的速度信息

以及负载的摆动情况(θ_x，θ_y)。

采集单元包括两个相机4，其中，两个相机4平行安装在钢架结构X方向中部横梁上，镜头朝向Y方向，具体放置位置如图2所示。

所述两个相机4的光轴互相平行。

所述两个相机4用于采集负载与吊钩的实时状态。

处理单元的基本原理如图5所示，利用两台相机从不同视点对同一目标物体(负载和吊具)进行观察，得到目标物体的立体图像对，再通过立体匹配得到若干对同名像点，计算出各对同名像点的视差，最后由三角测量原理算出目标物体的深度坐标，从而恢复出该物体的三维信息和摆动信息；具体方法是：

步骤1，相机标定，得到相机的内外参数；

相机标定是通过实验确定相机在成像几何模型中的内外参数的过程，其中，内参数是指相机固有的几何和光学特性参数，而外参数则是相机坐标系相对于世界坐标系的位置和方向。得到内外参数后，就可以确定世界坐标系中的物体点在相机图像坐标系中的位置。在实际进行双目标定时，需要使两个相机对同一标定板进行多次取图，分别标定出各自的内参和相对于标定板的外参，然后便可计算出两相机位置间的关系，如式(10)、(11)所示：

R＝R_r(R_l)T (10)

T＝T_r-RT_l (11)

其中，R为两摄像头间的旋转矩阵，T为两摄像头间的平移矩阵。R_r为右摄像头经过张氏标定得到的相对标定物的旋转矩阵，T_r为右摄像头通过张氏标定得到的相对标定物的平移向量。R_l为左摄像头经过张氏标定得到的相对相同标定物的旋转矩阵，T_l为左摄像头经过张氏标定得到的相对相同标定物的平移向量。

本发明中，综合考虑实际使用情况，选取了具有如下表(1)所示参数的两套完全相同的相机和镜头。

表1选取相机及镜头参数

本发明中，双目相机采用平行模式放置，相机之间间距应保持合适，能够实时采集的左右两幅图像中均包含负载与吊钩，且不影响定位精度。

步骤2，对采集到的图像信息进行预处理，得到预处理后的图像；

图像预处理方法主要有图像滤波、图像对比度增强、图像锐化、边缘提取和立体校正。

其中，采用极线约束对立体校正进行处理，使同一特征点位于左右相机两张图像水平方向的同一条直线上，即“把实际中非共面行对准的两幅图像，校正成共面行对准”。同时在这个过程中也会进行畸变校正。利用极线约束进行立体校正后，可以使特征点在两幅图像中都位于极线上，这样在进行特征点匹配时仅需要在极线上进行搜索而不需要在整个二维图像上进行搜索，可大大减少计算量，提高代码运行效率。

步骤3，对步骤2中得到的预处理后的图像进行特征提取；

利用SURF算法对步骤2中得到的预处理后图像进行特征点检测，得到特征点，该过程包括5个步骤：

1.空间的极值检测：搜索所有尺度空间上的图像，通过Hessian来识别潜在的对尺度和选择不变的兴趣点；

2.特征点过滤并进行精确定位；

3.特征方向赋值：统计特征点圆形邻域内的Harr小波特征。即在60度扇形内，每次将60度扇形区域旋转0.2弧度进行统计，将值最大的那个扇形的方向作为该特征点的主方向；

4.特征点描述：沿着特征点主方向周围的邻域内，取4×4个矩形小区域，统计每个小区域的Har特征，然后每个区域得到一个4维的特征向量。一个特征点共有64维的特征向量作为SURF特征的描述子；

5、特征点匹配：SURF通过计算两个特征点间特征向量的欧氏距离来确定匹配度，欧式距离越短，代表两个特征点的匹配度越好。

步骤4，根据步骤3得到的特征点进行立体匹配，得到特征点对；

利用区域匹配、特征匹配或相位匹配对步骤3中得到的特征点进行立体匹配，得到特征点对；

步骤5，利用八点法对特征点对进行处理，得到视差图；

步骤6，根据步骤5得到的视差图对目标物进行三维重构，得到目标物的三维点云信息；具体地：

根据步骤1得到的相机的内外参数、步骤5得到的视差图，结合下式恢复出视差图对应点的深度：

其中，d_p＝disp(u,v)，disp(u,v)代表视差图对应点的坐标值，f为焦距；b为基线长度。

利用遍历图像法对得到的对应点的深度进行处理，得到深度图；

根据小孔成像模型，已知深度Z和相机内参，可计算出三维点坐标，从而生成三维点云，如下式(13)所示：

其中，(X_w,Y_w,Z_w)为匹配点在世界坐标下的三维坐标值；(u，v)为匹配点在二维图像下的坐标值；(c_x，c_y)为图像中心点坐标值。

步骤7，根据步骤6中得到的目标物的三维点云信息，得到目标物体的实时状态，即负载的位置信息(X_w,Y_w,Z_w)、负载的速度信息

和负载的摆动信息(θ_x,θ_y)；具体地：

将作为负载的砝码与吊钩看做是一个整体，不考虑二者之间的二级摆特性，因此可以通过检测吊钩几何中心的世界坐标值来代替负载的三维坐标。由于负载的三维坐标是通过每一帧图像解算出的离散值，因此，负载的速度

可通过相邻帧间的负载坐标值求差分获得。而摆动信息则需要通过另外提取吊绳上的两点A(X_aw,Y_aw,Z_aw)和B(X_bw,Y_bw,Z_bw)以及吊钩几何中心坐标，两两之间分别计算在x和y两个方向上的夹角，如下式(14)所示，最后取平均值作为两个方向上的摆动信息：

其中，△x,△y，△z为两个点分别在x,y,z三个方向上坐标的差值。

本发明中的控制系统采用了基于PC机的实时控制方案，该方案具有控制器编程简单，算法更改简便，易于反复对算法进行测试，适合研究工作展开的特点。另外，由于使用了PC机，故该平台在进行半实物仿真实验之前，可在上位机先用MATLAB/Simulink搭建整体仿真模型进行模拟仿真实验，验证算法的可行性，这在一定程度上为半实物仿真实验提供了可行性依据和安全性保障。

本方案的控制系统包括上位机和下位机，其中，上位机又称为主控计算机，运行在Windows操作系统上，完成人机交互和系统模型的开发/编译工作，主要是基于MATLAB/Simulink环境，可以使用Simulink各种工具箱中的模块方便的完成控制器的搭建，而MATLAB也同时用于开发图像处理和三维重构的例程，获取的状态变量则直接用于控制器的反馈过程；下位机又称为实时仿真目标机，运行在VxWorks操作系统上，其中包括CPU卡、总线卡、运动控制卡。下位机的主要功能是接收主控计算机编译的控制模型以及视觉测量系统反馈的数据，并对仿真模型进行实时解算。最后将解算结果，即控制量的信号通过硬件I/O端口通道发送至驱动器，即与外部设备实现数据交互，进而驱动电机运动，达到仿真控制算法的目的。上下位机之间通过以太网连接，仿真机和信号适配器则通过电缆连接，该连接方案具有传输信号速度快、延迟小、信号稳定的特点，控制系统架构如下图8所示。

由于本发明中还留有一些硬件I/O端口，所以可以接入编码器、拉线式传感器、激光测距仪等传感设备进行系统状态量的测量，故该平台还具有一定的扩展性和自校正特性，为以后平台功能的进一步拓展提供了保证。

本发明旨在提供一种基于视觉伺服的桥式起重机自动控制实验系统，在保证能够真实反映桥式起重机的运动学、动力学特性的前提下，能够对现有各种不同起重机控制方法的实际效果进行验证；系统中开创性地采用了双目视觉系统作为感知传感器，实时采集运输过程中负载、吊钩以及吊绳的图像。

以上所述仅为本发明的实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，可以对该平台做出改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.基于视觉伺服的桥式起重机半实物仿真控制实验系统，其特征在于，包括半实物模拟装置、双目图像采集与分析系统以及控制系统，其中，半实物模拟装置用于模拟实际工业现场使用的桥式起重机的机械机构；所述双目图像采集与分析系统用于实时采集半实物模拟装置工作状态下的目标物体的运动图像，并对运动图像进行处理，得到目标物体的实时状态，之后将目标物体的实时状态发送给控制系统；控制系统用于根据接收到的目标物体的实时状态控制半实物模拟装置按照设定的轨迹运行。

2.根据权利要求1所述的基于视觉伺服的桥式起重机半实物仿真控制实验系统，其特征在于，所述半实物模拟装置包括整体框架(1)、桥架(2)、台车(3)、第一直线模组、第二直线模组、起升机构和驱动装置，其中，所述桥架(2)安装在整体框架(1)上；所述台车(3)安装在桥架(2)上；

所述桥架(2)通过第一直线模组与驱动装置连接，用以实现桥架(1)能够在整体框架(1)上来回移动；

所述台车(3)通过第二直线模组与驱动装置连接，用以实现台车能够在桥架(2)上来回移动；

所述起升机构设置在台车上，且与驱动装置连接，用于对负载进行起吊。

3.根据权利要求2所述的基于视觉伺服的桥式起重机半实物仿真控制实验系统，其特征在于，所述驱动装置包括第一交流伺服电机、第二交流伺服电机和第三交流伺服电机，其中，第一交流伺服电机依次通过减速器、联轴器与桥架(2)连接；所述第二交流伺服电机依次通过减速器、联轴器与台车(3)连接，能够实现台车在x轴方向、以及台车与桥架在y轴方向的水平动作；

所述第三交流伺服电机连接起升机构，实现吊物在z轴方向的升降动作。

4.根据权利要求2所述的基于视觉伺服的桥式起重机半实物仿真控制实验系统，其特征在于，所述起升机构包括卷筒，所述第三交流伺服电机的输出轴通过联轴器与卷筒连接，所述卷筒上缠绕有钢丝绳，所述钢丝绳的自由端设置有吊钩。

5.根据权利要求4所述的基于视觉伺服的桥式起重机半实物仿真控制实验系统，其特征在于，所述钢丝绳的自由端经过导向滑轮(7)与吊钩连接，所述导向滑轮固定在台车上。

6.根据权利要求1所述的基于视觉伺服的桥式起重机半实物仿真控制实验系统，其特征在于，所述双目图像采集与分析系统包括采集单元和处理单元，其中，采集单元用于采集半实物模拟装置的实时状态，并将采集到的实时状态传输至处理单元进行处理，得到目标物体的实时状态。

7.根据权利要求6所述的基于视觉伺服的桥式起重机半实物仿真控制实验系统，其特征在于，采集单元包括两个相机，其中，两个相机平行安装在半实物模拟装置中的整体框架(1)上；两个相机的光轴互相平行；两个相机均用于采集负载与吊钩的实时工作图像，并将采集到的实时工作图像传输至处理单元。

8.根据权利要求6所述的基于视觉伺服的桥式起重机半实物仿真控制实验系统，其特征在于，所述处理单元对接收到的负载与吊钩的实时工作图像进行处理，得到目标物体的实时状态，具体方法是：

步骤1，对采集到的图像进行预处理，得到预处理后的图像；

步骤2，对步骤1中得到的预处理后的图像进行特征提取，得到特征点；

步骤3，对步骤2得到的特征点进行立体匹配，得到特征点对；

步骤4，根据步骤3得到的特征点对构建视差图；

步骤5，根据步骤4得到的视差图进行三维重构，得到目标物体的三维点云信息；

步骤6，根据步骤5得到的三维点云信息计算得到目标物体的实时状态。

9.基于视觉伺服的桥式起重机半实物仿真控制实验方法，其特征在于，基于权利要求1-8中任一项所述的基于视觉伺服的桥式起重机半实物仿真控制实验系统，包括以下步骤：

步骤1，搭建半实物模拟装置；

步骤2，采集半实物模拟装置工作状态下的负载和吊具的运动图像；

步骤3，对采集到的运动图像进行处理，目标物体的实时状态；

步骤4，根据接收到的目标物体的实时状态控制半实物模拟装置按照设定的轨迹运行。

Images