CN115159149B - 一种基于视觉定位的取料卸货方法及其装置 - Google Patents

Abstract

本发明涉及物流生产技术领域，特别涉及一种基于视觉定位的取料卸货方法及其装置。其方法包括以下步骤：S1.通过粗定位视觉设备对视野范围内的目标物进行图像数据获取；S2.对目标物的图像数据进行计算并划分出工作区，再计算出单个工作区内目标物的几何中心坐标；S3.机器臂携带精定位视觉设备移动到单个工作区处，获取工作区内目标物的图像数据；S4.计算工作区内目标物的轮廓及位置，输出目标物几何坐标；S5.机器臂运到目标物精确位置取下目标物并进行卸货。通过视觉定位引导机器臂自动进行精准取料的问题，通过粗定位视觉设备和精定位视觉设备的综合使用，可实现在大视野内自动识别目标物体并进行精定位的功能。

Description

一种基于视觉定位的取料卸货方法及其装置

技术领域

本发明涉及物流生产技术领域，特别涉及一种基于视觉定位的取料卸货方法及其装置。

背景技术

随着现代物流行业发展得越来越高效，自动化设备在物流的装卸货过程中也开始普遍被应用。装卸设备在实现自动化作业的过程，需要搭配视觉定位技术来对货物进行定位来引导机器臂操作，现有视觉定位的虽然可以识别所需的物体，但是仅能提供一个大概的坐标位置，使机器臂只能对某一大致区域进行卸货作业，对于精度要求高的卸货操作，该视觉定位方式则存在一定的局限性。

发明内容

本发明提供一种基于视觉定位的取料卸货方法及其装置，旨在解决现有视觉定位精度低，卸货操作不利于高效作业的问题。

本发明提供一种基于视觉定位的取料卸货方法，包括以下步骤：

S1.通过粗定位视觉设备对视野范围内的目标物进行图像数据获取；

S2.对目标物的图像数据进行计算并划分出工作区，再计算出单个工作区内目标物的几何中心坐标；

S3.机器臂携带精定位视觉设备移动到单个工作区处，获取工作区内目标物的图像数据；

S4.计算工作区内目标物的轮廓及位置，输出目标物几何坐标；

S5.机器臂运到目标物精确位置取下目标物并进行卸货。

作为本发明的进一步改进，所述步骤S1具体包括：

S11.通过粗定位视觉设备中雷达扫描目标物形成3D成像；

S12.通过粗定位视觉设备中2D相机获取目标物的2D图像。

作为本发明的进一步改进，所述步骤S2具体包括：

融合3D成像的点云数据和2D图像数据，识别出单个目标物品的3D位置分布，并以指定的规则划分工作区，计算并输出单个工作区几何中心的三维坐标，并以此作为机器臂取料的粗定位位置。

作为本发明的进一步改进，所述划分工作区的指定规则包括：

按照单个物品划分为一个工作区；或按照多个物品为一组划分为一个工作区；或按照设定面积大小划分为一个工作区。

作为本发明的进一步改进，所述步骤S3具体包括：

设定精定位视觉设备中3D结构光相机与目标物的拍照距离，机器臂取料端移动到单个工作区内目标物的几何中心坐标处，并与目标物保持设定的拍照距离，3D结构光相机拍摄获取目标物的图像。

作为本发明的进一步改进，所述步骤S4具体包括：

3D结构光相机识别目标物的精确轮廓及相对距离，计算并输出精确的取料三维坐标。

作为本发明的进一步改进，所述步骤S5具体包括：

传送带摆动至待取目标物所在的位置，机器臂的取料端抓取目标物拖曳到传送带上，传送带输送目标物并完成卸货。

作为本发明的进一步改进，执行步骤S1之前，还包括：

对粗定位视觉设备中的雷达和机器臂的位置进行统一视觉标定，视觉标定内容包括：雷达和机器臂的坐标系原点统一；坐标系中X/Y/Z/θ轴的方向统一；以及雷达、机器臂坐标与空间的实际映射关系统一。

作为本发明的进一步改进，执行该方法之前，还包括：

对粗定位视觉设备、精定位视觉设备的内置程序进行视觉训练：输入大量图片数据进行学习识别目标物的轮廓，图片数据包括单一类别的目标物图片或多个类别的目标物图片。

作为本发明的进一步改进，执行基于视觉定位的取料卸货方法，包括

粗定位视觉设备，用于对视野范围内的目标物进行粗定位成像，并划分工作区；

精定位视觉设备，用于对工作区内的目标物进行精定位成像；

机器臂，设置有取料端，根据粗定位的结果运动到待取目标物附近，根据精定位的结果获取目标物并执行拖曳动作；

传送带，根据精定位的结果摆动到待取目标物所在的位置，承接机器臂拖曳出的目标物，并输送目标物进行卸货。

本发明的有益效果是：

（1）通过视觉定位引导机器臂自动进行精准取料的问题，通过雷达+2D相机+3D结构光相机的综合使用，可实现在大视野内自动识别目标物体并进行精定位的功能；

（2）采用侧面拖拽+流水线摆动承接的方式，可将“提起货物”改为“拖动货物”，仅需克服货物摩擦力，从而使搬运货物的重量得到大幅提升。

附图说明

图1是本发明基于视觉定位的取料卸货方法的流程图；

图2是本发明视觉定位中视野内目标物的示意图；

图3是本发明取料卸货装置的结构图；

图4是本发明取料卸货装置的结构侧视图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

实施例一：

如图1至图4所示，本发明的一种基于视觉定位的取料卸货方法，其执行方式如下：

对粗定位视觉设备6、精定位视觉设备7的内置程序进行视觉训练：输入大量图片数据进行学习识别目标物的轮廓，图片数据包括单一类别的目标物图片或多个类别的目标物图片。通过大量图片数据使视觉定位程序学习识别某一类或某几类目标物品的轮廓，以使粗定位视觉设备6、精定位视觉设备7在图像数据采集时能更快地识别出对应的物品数据，并快速得出物体的空间位置坐标及轮廓，来反馈给机器臂3和传送带2执行摆动作业。

对粗定位视觉设备6中的雷达和机器臂3的位置进行统一视觉标定，视觉标定内容包括：雷达和机器臂3的坐标系原点统一；坐标系中X/Y/Z/θ轴的方向统一；以及雷达、机器臂3坐标与空间的实际映射关系统一。雷达和机器臂3会提前做好视觉标定，达到二者坐标统一，避免雷达得出的位置数据和机器臂3的真实位置存在偏差，影响机器臂3的准确取料。

完成以上前期操作后，如图1和图2，再执行以下步骤：

S1.开始工作时，整机停在合适的位置，通过粗定位视觉设备6对视野范围内的目标物进行图像数据获取。

步骤S1具体包括：

S11.通过粗定位视觉设备6中雷达扫描目标物形成3D成像；

S12.通过粗定位视觉设备6中2D相机获取目标物的2D图像。

S2.对目标物的图像数据进行计算并划分出工作区，再计算出单个工作区内目标物的几何中心坐标，进行粗定位。

步骤S2具体包括：融合雷达3D成像的点云数据和2D相机的2D图像数据，识别出单个目标物品的3D位置分布，并以指定的规则划分工作区，计算并输出单个工作区几何中心的三维坐标，并以此作为机器臂3取料的粗定位位置。

融合雷达3D成像的点云数据和2D相机的2D图像数据具体为：

以雷达3D低精度点云数据坐标（Xa、Ya、Za）中的Xa、Ya与2D相机中的高精度坐标Xb、Yb进行相似度匹配，匹配后建立对应关系，并进行数据替换融合，最终得到高精度的X、Y和低精度Z组合的数据：（Xb、Yb、Za）。此方法可大大改善3D雷达精度差和2D相机只有二维数据的缺陷，得到高精度的三维数据。

划分工作区的指定规则包括：按照单个物品划分为一个工作区；或按照多个物品为一组划分为一个工作区；或按照设定面积大小划分为一个工作区。划分工作区的规则不局限于此三种方式，也可以根据实际作业需要进行更改，以满足多样化的取料需求。

S3.机器臂3携带精定位视觉设备7移动到单个工作区处，获取工作区内目标物的图像数据。机器臂3的取料端4运行到离粗定位坐标值一定距离的位置，该距离值可以事先进行设定，该位置即3D结构光相机的拍照位。

步骤S3具体包括：设定精定位视觉设备7中3D结构光相机与目标物的拍照距离，机器臂3取料端4移动到单个工作区内目标物的几何中心坐标处，并与目标物保持设定的拍照距离，3D结构光相机拍摄获取目标物的图像。

3D结构光相机拍照，因其各个方向的精度高，可识别目标物品的精确轮廓及距离，输出更为准确的取料三维坐标。

S4.计算工作区内目标物的轮廓及位置，输出目标物几何坐标，进行精定位。

步骤S4具体包括：3D结构光相机识别目标物的精确轮廓及相对距离，计算并输出精确的取料三维坐标。

雷达和2D相机的特点：视野广，精度略低，可以用于从大视野中定位到指定工作区的图像数据采集；3D结构光相机的特点：视野小，精度高，可以用于对确定的工作区内目标物进行获取物体具体轮廓和精确位置坐标的操作。

S5.机器臂3运到目标物精确位置取下目标物并进行卸货。

步骤S5具体包括：

传送带2摆动至待取目标物所在的位置，机器臂3的取料端4获取目标物拖曳到传送带2上，传送带2输送目标物并完成卸货。传送带2的接料端的位置可以与货物底部平齐或略低与货物底部，机器臂3只需克服货物间的摩擦力即可把货物拉出并落入传送带2上，相比传统需要提起移动再放置的方式，该拖曳的取料方式减少了机器臂3的移动距离，节省了取料的时间，也使搬运货物的重量得到大幅提升。

实施例二：

如图3和图4所示，本发明的一种基于视觉定位的取料卸货装置，用于执行实施例中的取料卸货方法，该取料卸货装置包括：

粗定位视觉设备6，用于对视野范围内的目标物进行粗定位成像，并划分工作区；粗定位视觉设备6包括扫描并形成3D成像的雷达和获取2D图像的2D相机。

精定位视觉设备7，用于对工作区内的目标物进行精定位成像；精定位视觉设备7包括3D结构光相机。

机器臂3，设置有取料端4，根据粗定位的结果运动到待取目标物附近，根据精定位的结果抓取目标物并执行拖曳动作；机器臂3优选为多轴机器人，其取料端4优选为带吸头的吸盘结构，吸盘连接在多轴机器人的末端。取料端4不限于吸盘结构，也可以是夹具结构，也可以是其他起到抓取货物作用的取料载具。

传送带2，根据精定位的结果摆动到待取目标物所在的位置，承接机器臂3拖曳出的目标物，并输送目标物进行卸货。

设备底座1，雷达和2D相机可以通过支架连接在设备底座1上，以从高处对视野内的目标物进行图像采集，机器臂3的云台连接在设备底座1上，以云台为中心进行摆动，并通过吸盘结构对指定的目标物进行抓取。3D结构光相机连接在机器臂3的取料端4，以从取料端4的视角采集目标物的图像数据，并获取目标物的具体轮廓和具体位置坐标，进而完成精确机器臂3的定位取料。

传送带2的一端铰接在设备底座1上，其另一端在伸缩动力装置的作用下完成升降摆动，伸缩动力装置一端固定在设备底座1、另一端连接传送带2。传送带2的进料端位于机器臂3的摆动范围内，以使传送带2可以和机器臂3的取料端4对接完成卸货作业。

当要取指定高度的货物时，伸缩动力装置带动传送带2的接料端举升或下降到目标货物处，此传送带2的接料端会与货物底部平齐或略低与货物底部，这样机器臂3只需带动吸盘结构将目标货物从码垛的货物中拖出到传送带2上即可，减少了机器臂3的移动距离，而且拖曳的方式只需要克服货物之间的摩擦力，不用克服货物本身的重力，使得机器臂3可以抓取拖曳体积或重量更大的货物，从而满足更多场合的卸货作业。

取料卸货装置还包括移动机构5，移动机构5连接在设备框架底部，移动机构5作为AGV小车，是整机的移动部件，可以通过程序自动化控制移动机构5，也可以手动控制移动机构5，使整机的移动方式更加可控灵活。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于视觉定位的取料卸货方法，其特征在于，包括以下步骤：

S1.通过粗定位视觉设备对视野范围内的目标物进行图像数据获取；

S2.对目标物的图像数据进行计算并划分出工作区，再计算出单个工作区内目标物的几何中心坐标；

S3.机器臂携带精定位视觉设备移动到单个工作区处，获取工作区内目标物的图像数据；

S4.计算工作区内目标物的轮廓及位置，输出目标物几何坐标；

S5.机器臂运到目标物精确位置取下目标物并进行卸货；

所述步骤S1具体包括：

S11.通过粗定位视觉设备中雷达扫描目标物形成3D成像；

S12.通过粗定位视觉设备中2D相机获取目标物的2D图像；

所述步骤S2具体包括：

融合3D成像的点云数据和2D图像数据，识别出单个目标物品的3D位置分布，并以指定的规则划分工作区，计算并输出单个工作区几何中心的三维坐标，并以此作为机器臂取料的粗定位位置；

融合雷达3D成像的点云数据和2D相机的2D图像数据具体为：

以雷达3D低精度点云数据坐标（Xa、Ya、Za）中的Xa、Ya与2D相机中的高精度坐标Xb、Yb进行相似度匹配，匹配后建立对应关系，并进行数据替换融合，最终得到高精度的X、Y和低精度Z组合的数据：（Xb、Yb、Za）。

2.根据权利要求1所述基于视觉定位的取料卸货方法，其特征在于，所述划分工作区的指定规则包括：

按照单个物品划分为一个工作区；或按照多个物品为一组划分为一个工作区；或按照设定面积大小划分为一个工作区。

3.根据权利要求1所述基于视觉定位的取料卸货方法，其特征在于，所述步骤S3具体包括：

设定精定位视觉设备中3D结构光相机与目标物的拍照距离，机器臂取料端移动到单个工作区内目标物的几何中心坐标处，并与目标物保持设定的拍照距离，3D结构光相机拍摄获取目标物的图像。

4.根据权利要求3所述基于视觉定位的取料卸货方法，其特征在于，所述步骤S4具体包括：

3D结构光相机识别目标物的精确轮廓及相对距离，计算并输出精确的取料三维坐标。

5.根据权利要求1所述基于视觉定位的取料卸货方法，其特征在于，所述步骤S5具体包括：

传送带摆动至待取目标物所在的位置，机器臂的取料端抓取目标物拖曳到传送带上，传送带输送目标物并完成卸货。

6.根据权利要求1所述基于视觉定位的取料卸货方法，其特征在于，执行步骤S1之前，还包括：

对粗定位视觉设备中的雷达和机器臂的位置进行统一视觉标定，视觉标定内容包括：雷达和机器臂的坐标系原点统一；坐标系中X/Y/Z/θ轴的方向统一；以及雷达、机器臂坐标与空间的实际映射关系统一。

7.根据权利要求1所述基于视觉定位的取料卸货方法，其特征在于，执行该方法之前，还包括：

对粗定位视觉设备、精定位视觉设备的内置程序进行视觉训练：输入大量图片数据进行学习识别目标物的轮廓，图片数据包括单一类别的目标物图片或多个类别的目标物图片。

8.一种基于视觉定位的取料卸货装置，其特征在于，执行如权利要求1至7任一项基于视觉定位的取料卸货方法，包括

粗定位视觉设备，用于对视野范围内的目标物进行粗定位成像，并划分工作区；

精定位视觉设备，用于对工作区内的目标物进行精定位成像；

机器臂，设置有取料端，根据粗定位的结果运动到待取目标物附近，根据精定位的结果获取目标物并执行拖曳动作；

传送带，根据精定位的结果摆动到待取目标物所在的位置，承接机器臂拖曳出的目标物，并输送目标物进行卸货。