CN117689644A - 一种基于伪双目定位检测的鹤管自动对位系统及对位方法 - Google Patents

Abstract

本发明公开了一种基于伪双目定位检测的鹤管自动对位系统及对位方法，该系统包括输送液态物料的鹤管、安装有轨道的平台、可沿轨道进行前后左右运动的小车、可上下运动的升降装置、运动控制模块、单目摄像头、图像识别模块、伪双目定位模块。鹤管上部与升降装置连接，升降装置及单目摄像头安装在小车上，摄像头光轴与升降装置平行。运动控制模块驱动小车运动至两个固定位置拍照，单目摄像头就构建了伪双目系统。图像识别模块检测罐口中心像素坐标，伪双目定位模块基于三角定位检测罐口中心空间坐标。运动控制模块驱动小车与升降装置，使鹤管自动运动与罐口中心对齐。本发明实现鹤管无人自动对位，避免人工误操作，也降低人工劳动强度。

Description

一种基于伪双目定位检测的鹤管自动对位系统及对位方法

技术领域

本发明属于鹤管技术领域，涉及一种鹤管自动对位系统及对位方法。

背景技术

鹤管是流体装卸作业过程中的专业设备，装液时鹤管需要与油罐车的罐口对齐。目前已有技术常用的作业方式是：依靠人工将鹤管拖拽到罐口上方，鹤管再下降升入罐口之中进行装液。这种作业方式存在劳动强度大等问题。为实现鹤管自动对位以解决劳动强度大的问题，中国专利CN209128027公开了一种基于3D机器视觉的汽车桁架装车鹤管，使用3D深度相机结合机器视觉技术检测罐口的空间坐标，实现自动引导鹤管对位；中国专利CN218025436公开了一种基于单目摄像头的鹤管自动对位系统，它通过比对罐口与鹤管密封帽边缘的像素距离判断是否对位成功，这种方式难以适应车辆高度的变化；中国专利CN111977602公开了一种远程鹤管系统，它没有实现罐口的自动定位，通过人工观看远程视频由人工确认是否对位成功；中国专利CN111994865公开了一种鹤管视频对位系统，它没有实现罐口的自动定位，工作人员参照回传的图像手工操作鹤管对位；中国专利CN114436197公开了一种基于定位检测的鹤管自动装车控制系统，它使用整排的激光测距器来实现对罐口的定位；中国专利CN115818552同时使用深度相机与单目摄像头实现对罐口的定位；中国专利CN112782686同时使用深度相机与单目摄像头实现对罐口的定位。

总而言之，目前已有技术单目摄像头主要用于回传视频引导人工光远程操作鹤管，尚未实现自动对位；目前的自动鹤管对位系统通常使用3D深度相机、阵列式激光测距器和激光雷达来实现对罐口的定位。然而，3D深度相机、阵列式激光测距器和激光雷达存在成本高、安装所需空间大等缺陷。

发明内容

为了克服上述现有技术的不足，本发明旨在提供一种基于伪双目定位检测的鹤管自动对位系统及方法，在仅使用单目摄像头的情况下，完成罐口的自动定位及鹤管自动对位，降低成本，降低人工劳动强度。

为了达到上述目的，本发明采用以下技术方案：

一种基于伪双目定位检测的鹤管自动对位系统，包括输送液态物料的鹤管、安装有轨道的平台、可沿轨道进行前后左右运动的小车、可上下运动的升降装置、运动控制模块、单目摄像头、图像识别模块、伪双目定位模块；所述鹤管的上部与升降装置连接且鹤管垂直向下安装；所述单目摄像头安装在小车上且单目摄像头的光轴与鹤管平行，单目摄像头用于随升降装置在不同位置拍摄灌口图片；所述运动控制模块通过对伺服电机进行控制驱动小车和升降装置运动，以提高对小车、鹤管、摄像头的位置控制精度；所述图像识别模块用于检测图像中罐口的中心坐标并将中心坐标发送给伪双目定位模块；伪双目定位模块基于三角定位检测罐口中心空间坐标，依据罐口中心空间坐标，运动控制模块再驱动小车到达平台指定位置，驱动鹤管下降到指定高度，自动完成鹤管与罐口的对位。

一种基于伪双目定位检测的鹤管自动对位系统的鹤管自动对位方法，包括以下步骤：

步骤S1：罐车停车到位，司机打开罐口；

步骤S2：运动控制模块驱动小车抵达位置A，单目摄像头拍照；

步骤S3：运动控制模块驱动小车抵达位置B，单目摄像头拍照；

步骤S4：图像识别模块检测两张图片中的罐口，将罐口中心像素坐标传给伪双目定位模块；

步骤S5：伪双目定位模块使用标定好的内参、外参和两幅图像中的罐口中心像素坐标，基于三角定位法确定罐口中心的空间坐标，将空间坐标传输给运动控制模块；

步骤S6：运动控制模块驱动小车以及升降机构，使鹤管自动运动与罐口中心对齐。

本发明与现有技术相比，具有如下优点和有益效果：1）采用单目摄像头构建伪双目系统实现罐口中心定位，成本小、所需安装面积小、定位模块的视野不易被鹤管干扰；2）采用了对单目摄像头进行内外参标定再结合三角定位方法实现罐口中心定位，该方法不受罐车的高度变化影响，稳定性强；3）本发明采用了深度神经网络来检测罐口，相比较于边缘检测等方法，本方法不受罐口的明亮程度，是否有异物等因素影响，稳定性强；4）得益于多种技术的结合，本发明具有鲁棒性强、系统部署成本低等优点，同时也降低了人工劳动强度。

附图说明

图1为发明优选实施例的系统实施示意图。

图2为发明优选实施例的方法流程图。

图中：1.流体鹤管；2.Z轴升降电缸；3.钢构平台；4.移动小车；5.摄像头；位置A与位置B是单目摄像头两次拍照时小车的所在位置。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

图1所示，一种基于伪双目定位检测的鹤管自动对位系统，包括输送液态物料的鹤管、安装有轨道的平台、可沿轨道进行前后左右运动的小车、可上下运动的升降装置、运动控制模块、单目摄像头、图像识别模块、伪双目定位模块。

本实施例中，小车与升降装置采用伺服电机驱动，鹤管上部与升降装置连接，单目摄像头用于在罐口停稳之后拍摄罐口图片，单目摄像头采用全局曝光，鹤管与单目摄像头固定安装在小车上，鹤管垂直向下，单目摄像头光轴与鹤管垂直，且鹤管未遮挡单目摄像头的视野，图像识别模块使用训练完成的基于深度神经网络的目标检测模型识别罐口的中心像素坐标，伪双目定位模块使用标定完成的伪双目系统内参、外参和图像识别模块输出的罐口中心坐标，使用三角定位方法，检测罐口中心的空间坐标，运动控制模块通过控制伺服电机使得小车、鹤管、摄像头抵达指定位置，完成鹤管自动对位。

图2所示，一种基于伪双目定位检测的鹤管自动对位方法，包括离线过程的方法和在线过程的方法，包括下述步骤：

步骤S1：罐车停车到位，司机打开罐口；

步骤S2：运动控制模块驱动小车抵达位置A，单目摄像头拍照；

步骤S3：运动控制模块驱动小车抵达位置B，单目摄像头拍照；

步骤S4：图像识别模块检测两张图片中的罐口，将罐口中心像素坐标传给伪双目定位模块；

步骤S5：伪双目定位模块使用标定好的内参、外参和两幅图像中的罐口中心像素坐标，基于三角定位法确定罐口中心的空间坐标，将空间坐标传输给运动控制模块；

步骤S6：运动控制模块驱动小车以及升降机构，使鹤管自动运动与罐口中心对齐。

作为优选的技术方案，所述步骤S2中的位置A通常选取为小车的待机位，即罐车停车到位，司机打开罐口即可进行第一次拍照无需移动小车，节省鹤管自动对位的时间。

作为优选的技术方案，所述步骤S3中的位置A与步骤S2中的位置B相距不宜过近，二者之间的距离即为双目视觉系统中的基线距离，基线距离越大，对罐口的定位精度越高。

作为优选的技术方案，所述步骤S4包括在线过程的罐口检测和离线过程的罐口检测，其中在线过程就是图像识别模块投入使用后的实际工作流程；离线过程就是图像识别模块设备安装完成后，采集一段时间的样本数据进行人工标注，随后构建COCO类型数据集，最后进行目标检测的模型训练得到深度神经网络模型（如ppyoloe-s模型），其中训练得到深度神经网络模型用于在线过程中的罐口识别。

作为优选的技术方案，所述步骤S5包括在线过程的罐口中心定位和离线过程的伪双目定位，其中离线过程就是伪双目定位模块设备安装完成后，驱动小车分别在位置A与位置B对同一个双目视觉的标定板（一般选用棋盘格标定板）进行拍照采图，重复多次，再依据采集到的图片完成伪双目系统的相机内参与外参的标定，注意在该伪双目系统中，伪左侧相机与伪右侧相机的内参是一样的；其中在线过程就是就是伪双目定位模块投入使用后的实际工作流程，即依据离线过程中标定完成的双目系统内参和外参，使用三角定位将图像识别模块传输的罐口中心像素坐标转换为空间坐标。

实施过程中，先进行离线过程的鹤管自动对位，再进行在线过程的鹤管自动对位。离线过程主要目的有两点。其一，完成图像识别模块中神经网络的训练，用于检测识别罐口的中心像素坐标，具体来说方法如下：采集一段时间的样本数据（驱动小车分别在位置A和位置B对罐车进行拍照），人工标注图片中罐口的位置，随后构建COCO类型数据集，最后进行目标检测的模型训练得到深度神经网络模型，本实施例选用的模型是ppyoloe-s模型，其中训练得到的深度神经网络模型用于在线过程中的罐口识别。

其二，完成伪双目定位模块中摄像头内参与外参的标定，具体来说方法如下：驱动小车分别在位置A与位置B对同一个棋盘格标定板进行拍照采图，重复多次，再依据采集到的图片完成伪双目系统的相机内参与外参的标定。先标定内参，内参的标定方法可用opencv或者matlab的工具包，本实施例使用matlab工具包对摄像头的内参进行标定。内参标定完成后，再标定外参，外参的标定方法可用opencv或者matlab的工具包，本实施例使用matlab工具包对摄像头的外参进行标定。需要特别注意，外参标定过程中，左侧相机与右侧相机应选用相同的内参，因为本发明构建的伪双目系统中左侧相机与右侧相机是同一个相机。

完成离线过程中的模型训练与伪双目视觉系统的内参外参标定之后，即可进行在线过程的鹤管自动对位，具体来说包括以下步骤。首先，罐车停车到位，司机将罐口打开。然后，运动控制模块驱动小车抵达位置A，单目摄像头拍照。然后，运动控制模块驱动小车抵达位置B，单目摄像头拍照。本实施例中，位置A与位置B相距500mm,且位置A与位置B的连线与罐车倒车方向平行。然后图像识别模块使用训练后的ppyoloe-s模型检测罐口所在的矩形区域，再计算矩形区域的中心像素坐标，作为罐口中心的像素坐标。然后伪双目定位模块基于标定的伪双目系统的内参外参使用三角定位方法将罐口中心像素坐标转换为罐口中心的空间位置坐标。最后，运动控制模块依据当前小车所在位置、罐口中心的空间位置、鹤管与相机的相对位置，计算XYZ三个方向的移动量，驱动小车和升降装置，使鹤管自动运动与罐口中心对齐。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.一种基于伪双目定位检测的鹤管自动对位系统，其特征在于：包括输送液态物料的鹤管、安装有轨道的平台、可沿轨道进行前后左右运动的小车、可上下运动的升降装置、运动控制模块、单目摄像头、图像识别模块、伪双目定位模块；所述鹤管的上部与升降装置连接且鹤管垂直向下安装；所述单目摄像头安装在小车上且单目摄像头的光轴与鹤管平行，单目摄像头用于随升降装置在不同位置拍摄灌口图片；所述运动控制模块通过对伺服电机进行控制驱动小车和升降装置运动，以提高对小车、鹤管、摄像头的位置控制精度；所述图像识别模块用于检测图像中罐口的中心坐标并将中心坐标发送给伪双目定位模块；所述的伪双目定位模块检测罐口中心空间坐标，依据罐口中心空间坐标，运动控制模块再驱动小车到达平台指定位置，驱动鹤管下降到指定高度，自动完成鹤管与罐口的对位。

2.使用权利要求1的一种基于伪双目定位检测的鹤管自动对位系统的鹤管自动对位方法，其特征在于包括以下步骤：

步骤S1：罐车停车到位，司机打开罐口；

步骤S2：运动控制模块驱动小车抵达位置A，单目摄像头拍照；

步骤S3：运动控制模块驱动小车抵达位置B，单目摄像头拍照；

步骤S4：图像识别模块检测两张图片中的罐口，将罐口中心像素坐标传给伪双目定位模块；

步骤S5：伪双目定位模块使用标定好的内参、外参和两幅图像中的罐口中心像素坐标，基于三角定位法确定罐口中心的空间坐标，将空间坐标传输给运动控制模块；

步骤S6：运动控制模块驱动小车以及升降机构，使鹤管自动运动与罐口中心对齐。