CN114092811A - 一种基于机器视觉的自动灌装系统及方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的自动灌装系统及方法。该系统包括：摄像头支架、摄像头、可移动管道、塞子、鹤管、处理控制器；所述摄像头通过所述摄像头支架固定在所述可移动管道的上方，所述塞子的一端设置在所述可移动管道上，所述塞子的另一端设置有鹤管。本发明在车顶上方的龙门架处，安装一个斜角摄像头，与机械臂对立，通过摄像头采集图像，利用图像处理技术来自动识别车辆灌口和机械臂垂管底部位置，通过垂管下放、校准、下放、再校准的识别方式逐步精确的将垂管插入到灌口，实现自动灌装。

Description

一种基于机器视觉的自动灌装系统及方法

技术领域

本发明涉及灌装技术领域，特别是涉及一种基于机器视觉的自动灌装系统及方法。

背景技术

在工业输送领域中，如液体运输，需要人工将液体输入管道(鹤管)手动插入到运输车辆的灌口，才能进行液体输入装车。这种工作操作麻烦，需要多位人员把控，一人开关、一人爬上车顶，将管道插入灌口，操作麻烦且效率低下，而且存在极大的安全隐患，如腐蚀性液体、化工用品等。现如今有通过机械臂，手动控制，将管道插入到灌口，但仍然需要人员操作，无法实现自动化。另有通过TOF相机，获取灌口深度信息进行自动化可控制机械臂去插入灌口，当天气发生变化时，TOF相机会出现失效状况，无法识别到深度信息，而导致管道插入错误；而在好的实验室环境下，TOF相机精准度与识别距离关系较大，当TOF相机与车辆灌口距离超过2米时非常难识别，误差导致管道插入错误，如果进行灌输，将引起灾难性后果。

发明内容

本发明的目的是提供一种基于机器视觉的自动灌装系统及方法，用以精准识别灌口位置，实现自动化灌装。

为实现上述目的，本发明提供了如下方案：

一种基于机器视觉的自动灌装系统，包括：摄像头支架、摄像头、可移动管道、塞子、鹤管、处理控制器；所述摄像头通过所述摄像头支架固定在所述可移动管道的上方，所述塞子的一端设置在所述可移动管道上，所述塞子的另一端设置有鹤管；

所述摄像头用于采集运输车辆的灌口图像和鹤管图像；所述处理控制器分别与所述摄像头和所述可移动管道连接，用于根据所述灌口图像识别灌口位置，根据所述鹤管图像识别鹤管的底部中心位置，并根据灌口位置和鹤管的底部中心位置控制所述可移动管道进行移动，将所述鹤管移动到运输车辆的灌口内，使所述塞子封住灌口。

可选地，所述摄像头支架为龙门架。

可选地，所述可移动管道包括可水平移动的机械臂以及垂直固定所述机械臂上的垂管；所述塞子的一端设置在所述垂管上。

本发明还提供了一种基于机器视觉的自动灌装方法，所述自动灌装方法应用于上述自动灌装系统，所述方法包括：

采集运输车辆的灌口图像和鹤管图像；

基于所述灌口图像，采用训练好的第一目标检测模型识别灌口的感兴趣区域；

基于所述灌口的感兴趣区域确定灌口中心位置；

基于所述鹤管图像，采用训练好的第二目标检测模型识别鹤管的底部中心位置；

根据所述灌口中心位置和所述鹤管的底部位置，将鹤管移动到灌口中，使塞子封住灌口。

可选地，在基于所述灌口的感兴趣区域确定灌口中心位置之后，还包括：

将灌口中心位置的坐标转换为极坐标。

可选地，所述基于所述鹤管图像，采用训练好的第二目标检测模型识别鹤管的底部中心位置，具体包括：

基于所述鹤管图像，采用训练好的第二目标检测模型识别鹤管的包围盒位置；所述包围盒下边中心点为鹤管底部中心点位置。

可选地，所述根据所述灌口中心位置和所述鹤管的底部位置，将鹤管移动到灌口中，使塞子封住灌口，具体包括：

根据所述灌口中心位置和所述鹤管的底部位置，将鹤管移动到预设位置；

判断所述鹤管的直径和所述灌口的直径比是否符合预设比例；

若否，则再次识别灌口的中心位置；

否是，则移动所述鹤管与罐口的中心重合，判断鹤管的底部是否被遮挡；

若是，则再次识别灌口的中心位置；

若否，则将鹤管移动到灌口中，使塞子封住灌口。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

(1)不存在遮挡情况，摄像头与机械臂斜对，且能识别到鹤管底部位置，更精准的把控机械臂位置；

(2)精准识别灌口位置，无需识别灌口与机械臂、灌口与地面的高度信息；

(3)鹤管缓慢下降逐步将鹤管插入到灌口，实现全自动化，无需人工介入；

(4)本发明方法适应性较广，插入精准，可满足管道插入灌口的相关及类似的操作情况，场景可多变、光线可多变、高度可多变、灌口可多变、机械臂可多变。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例基于机器视觉的自动灌装系统的示意图；

图2为本发明实施例基于机器视觉的自动灌装系统的应用示意图；

图3为本发明实施例基于机器视觉的自动灌装方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于机器视觉的自动灌装系统及方法，用以精准识别灌口位置，实现自动化灌装。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1-2所示，本发明提供的基于机器视觉的自动灌装系统，包括：摄像头支架、摄像头、可移动管道、塞子、鹤管、处理控制器(图中未示出)。所述摄像头通过所述摄像头支架固定在所述可移动管道的上方，摄像头在可移动管道的斜对面位置，且高于可移动管道。摄像头可以看到灌口和鹤管位置；所述塞子的一端设置在所述可移动管道上，所述塞子的另一端设置有鹤管。所述摄像头用于采集运输车辆的灌口图像和鹤管图像；所述处理控制器分别与所述摄像头和所述可移动管道连接，用于根据所述灌口图像识别灌口位置，根据所述鹤管图像识别鹤管的底部中心位置，并根据灌口位置和鹤管的底部中心位置控制所述可移动管道进行移动，将所述鹤管移动到运输车辆的灌口内，使所述塞子封住灌口。

作为一个具体的实施例，所述摄像头支架为龙门架。

作为一个具体的实施例，所述可移动管道包括可水平移动的机械臂以及垂直固定所述机械臂上的垂管；所述塞子的一端设置在所述垂管上。

如图2所示，车辆高度不固定，但是鹤管(管道)高于最高车辆。摄像头的成像需要清晰看到鹤管底部，可以是对立面，也可以是同一面。摄像头高度以清晰看到鹤管底部与灌口为最好视角。

本发明在车顶上方的龙门架处，安装一个斜角摄像头，与机械臂对立，通过摄像头采集图像，利用图像处理技术来自动识别车辆灌口和机械臂垂管底部位置，通过垂管下放、校准、下放、再校准的识别方式逐步精确的将垂管插入到灌口。

本发明还提供了一种基于机器视觉的自动灌装方法，所述自动灌装方法应用于上述自动灌装系统。所述方法包括：

步骤10：采集运输车辆的灌口图像和鹤管图像。

步骤20：基于所述灌口图像，采用训练好的第一目标检测模型识别灌口的感兴趣区域。

步骤30：基于所述灌口的感兴趣区域确定灌口中心位置。

步骤40：基于所述鹤管图像，采用训练好的第二目标检测模型识别鹤管的底部中心位置。

步骤50：根据所述灌口中心位置和所述鹤管的底部位置，将鹤管移动到灌口中，使塞子封住灌口。

其中，步骤50具体包括：

根据所述灌口中心位置和所述鹤管的底部位置，将鹤管移动到预设位置；

判断所述鹤管的直径和所述灌口的直径比是否符合预设比例；

若否，则再次识别灌口的中心位置；

否是，则移动所述鹤管与罐口的中心重合，判断鹤管的底部是否被遮挡；

若是，则再次识别灌口的中心位置；

若否，则将鹤管移动到灌口中，使塞子封住灌口。

具体的操作步骤如图3所示：

1、机械臂原位等待：在最初始状态时，机械臂归位，上升到制高点，等待车辆进入待识别区域。

2、车辆进入龙门架下：车辆进入龙门架处，灌口位于摄像头成像区域

3、算法识别罐口区域：通过网络摄像头或者USB摄像头获取RGB图像，算法识别灌口区域并获得灌口中心点位置，此时的识别位置为大致位置，只是用于标记，方便机械臂的移动。灌口获取方式：通过摄像头获取实时视频帧，视频帧输入第一目标检测模型(如efficientdet/SSD/Yolo系列等)中进行灌口计算识别，然后获取灌口的感兴趣区域。

4、识别罐口中心位置：在上一步中获取的感兴趣区域为矩形，获取中心点坐标为(Xc，Yc)，此时的坐标为笛卡尔坐标，而机械臂为极坐标，需要将(Xc，Yc)转换为极坐标点(Dc，Tc)。

5、算法识别管道底部中心坐标：在初步获取到灌口中心点之后，通过第二目标检测模型(如efficientdet/SSD/Yolo系列等)识别鹤管的box位置，取box下边中心点为鹤管底部中心点位置。

6、移动管道，使管道底部中心与罐口中心重合：将上两步识别到的鹤管位置与罐口的相对位置计算出鹤管需要运动的方向与距离，将鹤管在水平面上进行调节，将鹤管底部中心移动到灌口中心位置。

7、下降管道一定高度：在水平位置上已经移动到鹤管底部与罐口中心重合后，再缓慢下降鹤管一定高度。

8、管道直径/罐口直径符合比例：当鹤管下降一定高度后，此时由于灌口与鹤管还不是同一高度，只是在2D屏幕中心对准(即x，y对准，z轴没对准，实际存在偏差)，当鹤管水平位置不动，不移动时，将鹤管下降一定高度，而下降过程会出现新的x和y的偏差，这个x和y的偏差是由于z轴发生移动导致在2D平面出现的位置差。下降过程中持续检测位置差，当位置差达到设定的阈值时，停止下降。重复步骤5-7，继续调整鹤管底部中心到灌口中的位置。

9、放大图像，精准识别管道底部与罐口中心位置：当鹤管下降到设定阈值时，需要放大原始RGB图像进行再度精准定位灌口位置与鹤管位置。此时鹤管接近灌口，但是还有一定的高度，需进行图像放大与增强，再度检测灌口与鹤管位置。

10、移动管道与罐口中心点重合：在放大图像的基础上重新定位管道中心点与罐口位置，持续移动管道与罐口中心重合。

11、下降管道更小高度：由于现阶段的管道与罐口高度比较接近，但还未完全吻合，继续小幅度下降鹤管。

12、管道底部被遮挡：持续9-11步骤，直到管道上方的塞子遮挡住管道底部。

13、下降管道底部与塞子的固定高度：当管道底部被遮挡时，此时的管道底部已经达到罐口中心位置，再下降管道底部与塞子的高度，则正好封住塞子。

14、塞子与罐口重合：下降管道底部与塞子的固定高度后实现了塞子与罐口的重合，则此时可以实现化工品自动灌装。

本发明有益效果为：

1、不存在遮挡情况，摄像头与机械臂斜对，且能识别到鹤管底部位置，更精准的把控机械臂位置。

2、精准识别灌口位置，无需识别灌口与机械臂、灌口与地面的高度信息。

3、鹤管缓慢下降逐步将鹤管插入到灌口，实现全自动化，无需人工介入。

4、本发明方法适应性较广，插入精准，可满足管道插入灌口的相关及类似的操作情况，场景可多变、光线可多变、高度可多变、灌口可多变、机械臂可多变。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于机器视觉的自动灌装系统，其特征在于，包括：摄像头支架、摄像头、可移动管道、塞子、鹤管、处理控制器；所述摄像头通过所述摄像头支架固定在所述可移动管道的上方，所述塞子的一端设置在所述可移动管道上，所述塞子的另一端设置有鹤管；

所述摄像头用于采集运输车辆的灌口图像和鹤管图像；所述处理控制器分别与所述摄像头和所述可移动管道连接，用于根据所述灌口图像识别灌口位置，根据所述鹤管图像识别鹤管的底部中心位置，并根据灌口位置和鹤管的底部中心位置控制所述可移动管道进行移动，将所述鹤管移动到运输车辆的灌口内，使所述塞子封住灌口。

2.根据权利要求1所述的基于机器视觉的自动灌装系统，其特征在于，所述摄像头支架为龙门架。

3.根据权利要求1所述的基于机器视觉的自动灌装系统，其特征在于，所述可移动管道包括可水平移动的机械臂以及垂直固定所述机械臂上的垂管；所述塞子的一端设置在所述垂管上。

4.一种基于机器视觉的自动灌装方法，其特征在于，所述自动灌装方法应用于权利要求1-3任意一项所述的自动灌装系统，所述方法包括：

采集运输车辆的灌口图像和鹤管图像；

基于所述灌口图像，采用训练好的第一目标检测模型识别灌口的感兴趣区域；

基于所述灌口的感兴趣区域确定灌口中心位置；

基于所述鹤管图像，采用训练好的第二目标检测模型识别鹤管的底部中心位置；

根据所述灌口中心位置和所述鹤管的底部位置，将鹤管移动到灌口中，使塞子封住灌口。

5.根据权利要求4所述的基于机器视觉的自动灌装方法，其特征在于，在基于所述灌口的感兴趣区域确定灌口中心位置之后，还包括：

将灌口中心位置的坐标转换为极坐标。

6.根据权利要求4所述的基于机器视觉的自动灌装方法，其特征在于，所述基于所述鹤管图像，采用训练好的第二目标检测模型识别鹤管的底部中心位置，具体包括：

基于所述鹤管图像，采用训练好的第二目标检测模型识别鹤管的包围盒位置；所述包围盒下边中心点为鹤管底部中心点位置。

7.根据权利要求4所述的基于机器视觉的自动灌装方法，其特征在于，所述根据所述灌口中心位置和所述鹤管的底部位置，将鹤管移动到灌口中，使塞子封住灌口，具体包括：

根据所述灌口中心位置和所述鹤管的底部位置，将鹤管移动到预设位置；

判断所述鹤管的直径和所述灌口的直径比是否符合预设比例；

若否，则再次识别灌口的中心位置；

否是，则移动所述鹤管与罐口的中心重合，判断鹤管的底部是否被遮挡；

若是，则再次识别灌口的中心位置；

若否，则将鹤管移动到灌口中，使塞子封住灌口。

Images