CN105565167A - 一种起重机小车方向定位用视觉检测系统及实现方法 - Google Patents

Abstract

本发明提供一种起重机小车方向定位用视觉检测系统及实现方法,包括有主控机，主控机与摄像设备以及控制起重机小车系统的PLC控制器信号连接，摄像设备用于拍摄目标物的实时画面，并传输至主控机，主控机通过图像处理软件获取摄取的目标物的小车行进方向的实时位置，并与理论基准位置相比，得出目标物的坐标修正值，PLC控制器根据修正值控制小车行走机构或者吊具横移机构完成精确定位。其优点在于：设备简单，成本低廉，维护方便，能够大大提高起重机小车定位效率。

Description

一种起重机小车方向定位用视觉检测系统及实现方法

技术领域

本发明涉及集装箱码头或堆场的桥式及龙门式集装箱起重机小车定位技术领域，尤其涉及一种起重机小车方向定位用视觉检测系统及实现方法。

背景技术

视觉检测就是用机器代替人眼来做测量和判断。视觉检测系统是指通过图像摄取装置（分CMOS和CCD两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像处理系统对这些信号进行各种运算来抽取目标的特征，进而进行识别、测量、判别，并根据测量判别的结果来控制现场的设备动作。

目前集装箱码头或堆场的桥式或龙门式起重机作业时，为满足堆箱质量或准确抓放箱，集装箱起重机小车方向定位精度通常要求达到±3.0CM以内，即当集装箱起重机小车上吊具中心点在小车行进方向与需对位的目标物（5）（待吊箱或待放箱列为顶部集装箱或地面箱位标识线、集卡车板）的中心在地球绝对坐标系里完全重合，才能确保准确抓箱或精准放箱，此时从固定在起重机上的相机坐标系测得的目标物（5）在小车行进方向的坐标值为理论基准坐标值。集装箱起重机小车方向定位的实质就是通过小车或吊具横向移动，实现吊具中心在小车行进方向的坐标与目标物（5）（包括待吊箱或待放箱列为顶部集装箱或地面箱位标识线、集卡车板）坐标小于等于允许偏差。由于相机及吊具均固定在小车架上，二者位置相对不变，因此小车方向定位等同于在摄像设备的坐标系内，目标物（5）实测值与理论基准值偏差小于等于允许偏差值（通常为3CM）。

由于起重机下方船舶摇晃、或堆场地面箱角线画线存在偏差、或底面箱码放不齐、或起重机跑偏等因素存在，实现该精度定位，靠起重机自身无法自动实现。

为实现起重机小车方向自动准确定位，现有方案通常是通过在起重机上加装激光扫描仪来实现。其原理是通过2D或3D激光扫描仪对起重机下堆放的各列集装箱断面进行扫描，来测量起重机下待吊列集装箱中心线与小车上吊具中心线的实测距离，进而引导小车精确定位。为避免遮挡，通常需装2套或多套激光扫描仪，且为确保定位及测量精度，扫描仪的角度分辨率要求很高，而高精度激光扫描仪代价十分高昂，这就造成自动化硬件成本十分高昂；且堆放的集装箱箱号是否正确，无复核措施，可能装错船吊错箱。一种设计简单，成本低廉又能实现起重机小车方向自动准确定位的检测系统及定位实现方法成了业界的潜在需求。

发明内容

本发明所要解决的技术问题是针对现有技术的现状，提供一种起重机小车方向定位用视觉检测系统及实现方法，其利用视觉图像检测技术，对目标物的实时位置与理论基准位置进行比较后发出定位指令，设备简单，成本低廉，维护方便，大大提高了起重机小车方向的定位效率。

本发明提供一种起重机小车方向定位用视觉检测系统，其特征在于：其包括：摄像设备，用于拍摄目标物的实时画面，并将拍摄的实时画面传输至主控机；

主控机，分别与摄像设备以及PLC控制器信号连接，所述主控机通过图像处理软件获取摄取的目标物的小车行进方向的实时坐标位置，并将其与理论基准位置进行比较，得出目标物的坐标修正值，并将该坐标修正值传输至PLC控制器；

PLC控制器，所述PLC控制器根据收到的坐标修正值控制小车行走机构或吊具横移机构沿小车行进方向移动，完成起重机小车方向准确定位。

所述摄像设备为单目摄像设备或者双目摄像设备，双目摄像设备为双镜头的主动摄像设备或者成对的单镜头主动摄像设备，所述摄像设备上可设置有补光装置。

所述视觉监测系统还设有服务器，与主控机信号连接，用于存储集装箱箱号信息，主控机根据所述摄像设备摄取的集装箱箱号与从所述服务器获取的正确集装箱箱号进行箱号对比。

所述服务器与主控机通过数据I/O接口连接配合。

所述的目标物为待抓箱或待放箱列位顶部集装箱或待放箱列位地面的箱位标识线、待放箱的集卡车板，目标物的目标特征可为集装箱箱角、集装箱顶部轮廓线、地面箱角线、拖板轮廓线、拖板锁头、拖板上易于图像识别的标志物。

所述小车行走机构包括小车变频器、马达、译码器、联轴器、减速箱、小车车轮。

所述吊具横移机构包括吊具上架上沿小车行进方向布置的滑轨、悬吊滑轮及沿小车轨道方向布置的推杆。

所述吊具横移机构包括吊具与吊具上架件及其二者间的柔性连接件。

一种基于于上述的视觉监测系统的起重机小车方向定位的实现方法，包括以下步骤：

步骤一、起重机接到作业指令，大车停至目标贝位后，小车行驶到接近目标列位的位置进行粗定位，确认目标物进入摄像设备的拍摄范围内；

步骤二、所述的摄像设备启动并进行实时拍摄，并将含有目标物的实时画面传输至主控机；

步骤三、所述的主控机通过图像处理软件根据目标特征识别目标物，并测量目标物的实时位置，推算出目标物中心点在小车行进方向的实时坐标位置，并且将该中心点的实时位置与理论基准坐标位置相对比，得出目标物的坐标修正值，并将该坐标修正值传输至PLC控制器；

步骤四、所述的PLC控制器根据所获得的坐标修正值控制小车行走机构或者吊具横移机构沿小车行进方向横移相应的距离，完成起重机小车方向的精确定位。

为确保不发生误操作，在起重机抓箱前往往需对待抓集装箱上的箱号进行识别、复核，此时目标物为待抓箱，因此还公开一种用于上述的视觉检测系统的视觉检测系统的起重机小车方向定位的实现方法，包括以下步骤：

步骤一、起重机接到作业指令，大车停至目标贝位后，小车行驶到接近目标列位的位置进行粗定位，确认目标物进入摄像设备的拍摄范围内；

步骤二、所述的摄像设备对目标物上的集装箱箱号进行拍摄，并传输至主控机，通过主控机中安装的字符识别软件获得实测的集装箱箱号；

步骤三、所述的主控机将获得的实测的集装箱箱号与从服务器中获取的正确的集装箱箱号进行对比，箱号错误操作停止，箱号正确操作继续；

步骤四、所述的摄像设备继续进行实时拍摄，并将含有目标物的实时画面传输至主控机；

步骤五、所述的主控机通过图像处理软件根据目标特征识别目标物，并测量目标物的目标特征的实时位置，推算出目标物中心点的实时坐标位置，并且将该中心点在小车方向的实时坐标位置与理论基准位置相对比，得出目标物的坐标修正值，并将该坐标修正值传输至PLC控制器；

步骤六、所述的PLC控制器根据所获得的坐标修正值控制小车行走机构或者吊具横移机构沿小车行进方向横移相应的距离，移动完成后重复步骤四、步骤五得到新的坐标修正值；

步骤七、将步骤六中获得的坐标修正值与设定的误差允许值进行比较，大于误差允许值则重复步骤六，小于或者等于误差允许值则停止循环，完成起重机小车方向精确定位。

本发明利用视觉图像检测技术，由摄像设备拍摄实时图像并传输至主控机，由主控机内安装的图像识别软件获取目标物小车方向的实时坐标位置，并与理论基准位置相比较，得到目标物的坐标偏差值，PLC控制器根据坐标修正值控制小车行走机构或者吊具横移机构完成精确定位；其设备简单，成本低廉，维护方便，能够大大提高了起重机小车的定位效率。

另外，由主控机内安装的识别图像识别软件对拍摄含集装箱箱号的目标物的图像进行处理，获取集装箱实测箱号，将获取的集装箱箱号与从服务器中获得的正确的集装箱箱号进行验证，确认箱号正确后再进行后续操作；通过集装箱箱号功能的设置，保证了抓箱的正确率。

附图说明

图1是本发明的框架示意图；

图2是本发明的定位系统完成起重机小车定位的流程图；

图3是本发明的装置安装示意图；

图4是图3的俯视图。

图5为吊具横移装置的实施例1。

图6位吊具横移装置的实施例2。

1、主控机，2、摄像设备，21、补光装置，3、PLC控制器，4、小车行走机构，41、吊具横移机构，5、集装箱，6、起重机小车车架，7、服务器，71、数据I/O接口。

具体实施方式

下面结合附图对本发明实施例作进一步说明：

如图1、图2、图3和图4所示，本发明提供一种起重机小车方向定位用视觉检测系统及定位实现方法，包括有主控机1，主控机1与摄像设备2以及起重机小车系统的PLC控制器3信号连接，摄像设备2用于拍摄目标物5的实时画面，并传输至主控机1，摄像设备2安装于起重机小车车架6上或者大梁上，PLC控制器3用于控制小车行走机构4或者吊具横移机构41；主控机1根据所述摄像设备2摄取的目标物5小车方向的实时坐标位置，并将该实时位置与理论基准位置相比，得出目标物5的坐标修正值，并将该坐标修正值传输至PLC控制器3，由PLC控制器3根据坐标修正值控制小车行走机构4或者吊具横移机构41完成精确定位。

所述的摄像设备2为单目摄像设备或者双目摄像设备，所述的双目摄像设备为双镜头的主动摄像设备或者成对的单镜头主动摄像设备。

当摄像设备2安装于大梁上时，为保证起重器下方的列位全部覆盖，需要安装至少2套摄像设备，也可每个列位上方装1套摄像设备。

如图5所示，所述的吊具横移机构41包括吊具上架41.1、与吊具41.2之间的柔性连接件以及推杆41.3，推杆连接于所述吊具上架41.1和吊具41.2之间，柔性连接件为连杆或者吊链41.4，在吊具上架不动的情况下，通过推杆伸缩实现吊具在小车方向的横向移动。

如图6所示，吊具上架41.1上的滑轨41.5与悬吊轮41.6连接，推杆固定在吊具上架与悬吊轮间，吊具移动时通过推杆41.3的伸缩完成。

由于大车的移动会引起吊具的晃动，因此在30cm范围内移动时，尽可能选择吊具横移机构8完成精确定位

本小车方向定位用视觉检测系统主要用于起重机自动或者半自动驾驶模式。

一种基于上述视觉检测系统的起重机小车方向定位实现方法，包括以下步骤：

步骤一、起重机接到作业指令，起重机停至目标贝位后，小车6行驶到接近目标列位的位置进行粗定位，确认目标物5进入摄像设备2的拍摄范围内；

步骤二、摄像设备2启动进行实时拍摄，并将含有目标物5的实时画面传输至主控机1；

步骤三、主控机1用图像处理软件根据目标特征识别目标物5，并测量目标物5的目标特征的实时位置，推算出目标物5中心点小车方向的实时坐标位置，并且将该中心点的实时位置与理论基准位置相对比，得出目标物5的坐标修正值，并将该坐标修正值传输至PLC控制器3；

步骤四、PLC控制器3将所获得的坐标修正值与预先设定的误差允许值进行比较，如果修正值小于等于允许值，定位完成；如修正值大如果大于允许值，控制小车行走机构4或者吊具横移机构41沿小车行进方向横移相应的距离，完成起重机小车方向的精确定位。

定位用目标物5为集卡车拖板或拖板上的集装箱、目标列位堆在顶部的集装箱、目标列位地面箱位画线，对应的目标物5的目标特征为拖板轮廓线、拖板锁头、易于图像识别的标志物、集装箱箱角、集装箱顶部轮廓线或者地面箱角线。由于目标物5尺寸均有相关标准，所以这些目标特征与目标物5的中心距离存在着一一对应关系，测得目标特征坐标值，即可推算出目标物5中心的坐标值。

在进行目标特征匹配时，由主控机1内安装的图像识别软件对目标物5上的目标特征进行识别，从而确定目标特征；这里会出现以下几种情况，不同情况下目标特征有所不同：

1.从集卡车上抓取集装箱:目标物5为待抓集装箱，目标特征为该集装箱箱角、锁孔或者箱顶轮廓线；

2.将集装箱放于堆场中：目标物5为所放列位上顶层的集装箱，目标特征为该集装箱的箱角、锁孔或者箱顶轮廓线，如所在列位未堆存集装箱，则目标物5为目标列位地面箱位画线，目标特征为画于地面箱角线；

3.从堆场中抓取集装箱：目标物5为待抓集装箱，目标特征为该集装箱箱角、锁孔或者箱顶轮廓线；

4.将集装箱放于集卡车上：目标物5为集卡车拖板，目标特征为集卡拖板轮廓线或锁头、锁孔，或者是安装于集卡车拖板上易于识别的其它标识物。

根据所提取的目标特征，测量出目标特征中心的坐标，进而推算出目标物5中心点的坐标。

在上述起重机小车精确定位系统的基础上，进行改进和拓展：

实施例中，主控机1与服务器7信号连接，服务器7用于存储集装箱箱号信息，主控机1根据所述摄像设备2摄取的目标物5上的集装箱箱号与从所述服务器7获取的正确集装箱箱号进行箱号对比。

主控机1为工业电脑或者单片机。

摄像设备2为工业相机或者监控相机，摄像设备2上设置有补光装置21。

实施例中，主控机1与所述服务器7之间通过数据I/O接口71连接配合。

实施例中，小车行走机构4包括小车变频器、马达、译码器、联轴器、减速箱、小车车轮。

无论将集装箱从集卡车上抓取放于堆场中，还是从堆场中抓取放于集卡车，都存在抓箱和放箱两个动作，因此将抓箱和放箱视为完整的一套动作。在抓箱前对待抓箱的集装箱箱号进行比较确认（此时定位目标物为待抓箱），以保证所抓的集装箱是正确的，避免因箱号错误而造成的误操作。

为防止误发箱，如图2所示的流程图，上述基于视觉图像检测技术的起重机小车方向定位实现方法，包括以下步骤：

步骤一、起重机接到作业指令，起重机停至目标贝位后，小车6行驶到接近目标列位的位置进行粗定位，此时目标物5进入摄像设备2的拍摄范围内；

步骤二、摄像设备2对目标物5顶部的集装箱箱号进行拍摄，并传输至主控机1，由主控机1中安装的字符识别软件识别获得实测的集装箱箱号；

步骤三、主控机1将获得的实测的集装箱箱号与从服务器7中获取的正确的集装箱箱号进行对比，箱号错误操作停止，箱号正确操作继续；

步骤四、摄像设备2继续进行实时拍摄，并将含有目标物5的实时画面传输至主控机1；

步骤五、主控机1用图像处理软件根据目标特征识别目标物5，并测量目标物5的目标特征的实时位置，推算出目标物5中心点的实时坐标位置，并且将该中心点小车方向的实时坐标位置与理论基准位置相对比，得出目标物5的坐标修正值，并将该坐标修正值传输至PLC控制器3；

步骤六、所述的PLC控制器3根据所获得的坐标修正值控制小车行走机构4或者吊具横移机构41沿小车行进方向横移相应的距离，移动完成后重复步骤四、步骤五得到新的坐标修正值；

步骤七、将步骤六中获得的坐标修正值与设定的误差允许值进行比较，大于误差允许值则重复步骤六，小于或者等于误差允许值则停止循环，完成起重机小车方向精确定位。

在测量目标特征的实时位置的时候，同时对目标特征的层高(Z轴)作了测量，避免了因层位错位而存在的安全隐患。

本起重机小车方向定位的视觉检测系统及定位实现方法在龙门式起重机和桥式起重机中均适用。

实施例不应视为对本发明的限制，但任何基于本发明的精神所作的改进，都应在本发明的保护范围之内。

Claims (10)

1.一种起重机小车方向定位用视觉检测系统，其特征在于：其包括：摄像设备（2），用于拍摄目标物（5）的实时画面，并将拍摄的实时画面传输至主控机；

主控机（1），分别与摄像设备（2）以及PLC控制器（3）信号连接，所述主控机通过图像处理软件获取摄取的目标物（5）的小车行进方向的实时坐标位置，并将其与理论基准位置进行比较，得出目标物（5）的坐标修正值，并将该坐标修正值传输至PLC控制器；

PLC控制器（3），所述PLC控制器（3）根据收到的坐标修正值控制小车行走机构（4）或吊具横移机构（41）沿小车行进方向移动，完成起重机小车方向准确定位。

2.根据权利要求1所述的一种起重机小车方向定位用视觉检测系统，其特征在于：所述摄像设备(2)为单目摄像设备或者双目摄像设备，双目摄像设备(2)为双镜头的主动摄像设备或者成对的单镜头主动摄像设备，所述摄像设备(2)上可设置有补光装置。

3.根据权利要求1所述的一种起重机小车方向定位用视觉检测系统，其特征在于，所述视觉监测系统还设有服务器（7），与主控机（1）信号连接，用于存储集装箱箱号信息，主控机（1）根据所述摄像设备摄取(2)的集装箱箱号与从所述服务器(7)获取的正确集装箱箱号进行箱号对比。

4.根据权利要求3所述的一种起重机小车方向定位用视觉检测系统，其特征在于，所述服务器(7)与主控机(1)通过数据I/O接口连接配合。

5.根据权利要求1所述的一种起重机小车方向定位用视觉检测系统，其特征在于：所述的目标物（5）为待抓箱或待放箱列位顶部集装箱或待放箱列位地面的箱位标识线、待放箱的集卡车板，目标物（5）的目标特征可为集装箱箱角、集装箱顶部轮廓线、地面箱角线、拖板轮廓线、拖板锁头、拖板上易于图像识别的标志物。

6.根据权利要求1所述的一种起重机小车方向定位用视觉检测系统，其特征在于，所述小车行走机构（4）包括小车变频器、马达、译码器、联轴器、减速箱、小车车轮。

7.根据权利要求1所述的一种起重机小车方向定位用视觉检测系统，其特征在于，所述吊具横移机构（41）包括吊具上架上沿小车行进方向布置的滑轨、悬吊滑轮及沿小车轨道方向布置的推杆。

8.根据权利要求1所述的一种起重机小车方向定位用视觉检测系统，其特征在于，所述吊具横移机构包括吊具与吊具上架件及其二者间的柔性连接件。

9.一种基于权利要求1所述的视觉检测系统的起重机小车方向定位的实现方法，其特征在于：

包括以下步骤：

步骤一、起重机接到作业指令，大车停至目标贝位后，小车行驶到接近目标列位的位置进行粗定位，确认目标物（5）进入摄像设备（2）的拍摄范围内；

步骤二、所述的摄像设备（2）启动并进行实时拍摄，并将含有目标物（5）的实时画面传输至主控机（1）；

步骤三、所述的主控机（1）通过图像处理软件根据目标特征识别目标物（5），并测量目标物（5）的实时位置，推算出目标物（5）中心点在小车行进方向的实时坐标位置，并且将该中心点的实时位置与理论基准坐标位置相对比，得出目标物（5）的坐标修正值，并将该坐标修正值传输至PLC控制器（3）；

步骤四、所述的PLC控制器（3）根据所获得的坐标修正值控制小车行走机构（4）或者吊具横移机构（41）沿小车行进方向横移相应的距离，完成起重机小车方向的精确定位。

10.一种基于权利要求3所述的视觉检测系统的起重机小车方向定位的实现方法，其特征在于：

包括以下步骤：

步骤一、起重机接到作业指令，大车停至目标贝位后，小车行驶到接近目标列位的位置进行粗定位，确认目标物（5）进入摄像设备（2）的拍摄范围内；

步骤二、所述的摄像设备（2）对目标物（5）上的集装箱箱号进行拍摄，并传输至主控机（1），通过主控机（1）中安装的字符识别软件获得实测的集装箱箱号；

步骤三、所述的主控机（1）将获得的实测的集装箱箱号与从服务器（7）中获取的正确的集装箱箱号进行对比，箱号错误操作停止，箱号正确操作继续；

步骤四、所述的摄像设备（2）继续进行实时拍摄，并将含有目标物（5）的实时画面传输至主控机（1）；

步骤五、所述的主控机（1）通过图像处理软件根据目标特征识别目标物（5），并测量目标物（5）的目标特征的实时位置，推算出目标物（5）中心点的实时坐标位置，并且将该中心点在小车方向的实时坐标位置与理论基准位置相对比，得出目标物（5）的坐标修正值，并将该坐标修正值传输至PLC控制器（3）；

步骤六、所述的PLC控制器（3）根据所获得的坐标修正值控制小车行走机构（4）或者吊具横移机构（41）沿小车行进方向横移相应的距离，移动完成后重复步骤四、步骤五得到新的坐标修正值；

步骤七、将步骤六中获得的坐标修正值与设定的误差允许值进行比较，大于误差允许值则重复步骤六，小于或者等于误差允许值则停止循环，完成起重机小车方向精确定位。