CN112047113B - 一种基于人工智能技术的3d视觉码垛系统及方法 - Google Patents

Abstract

本发明公开了一种基于人工智能技术的3D视觉码垛系统及方法，包括：3D结构光相机、输送线、机械臂、移动平台、控制处理单元；机械臂安装于移动平台上部，末端安装有3D结构光相机和抓取装置；输送线安装有二维码检测装置；控制处理单元包括图像处理模块、控制模块、运算模块；控制模块与机械臂、移动平台、抓取装置、输送线的电控单元连接；运算模块与图像处理模块、控制模块连接；运算模块内置人工神经网络；本发明通过物品的二维码可快速读取包装信息，推导出抓取路径，实现快速抓取，并结合物品信息知晓码垛区域位置，提升了整体码垛效率，并结合3D图像采集、人工神经网络判别，进一步提升了码垛精度及速度，提升了稳定性和安全性。

Description

一种基于人工智能技术的3D视觉码垛系统及方法

技术领域

本发明涉及工业机器人设计领域，尤其涉及一种基于人工智能技术的3D视觉码垛系统及方法。

背景技术

随着人工智能的快速发展，机器视觉检测越来越多的应用于工业的各个领域。在传统的码垛行业，现阶段还存在大量人工码垛的情况，不仅效率低下，且成本极高，长时间工作后会出现堆放差错，且面对较重的包装箱时，人为差错可能导致事故的发生，不利于安全生产。

基于上述问题，经过近年机器视觉技术不断成熟并投入应用，涌现出大量码垛机器人，并采用基于视觉引导机器人码垛，可以完全替代人工进行码垛，而且码垛速度更快，质量更高、更安全，也更加稳定。企业的人工成本得以快速下降，码垛质量快速提升。

中国专利CN111359915A公开了一种基于机器视觉的物料分选方法及系统，其中物料分选方法包括：首先，通过相机获取输送线上待分选物料的RGB图片，然后将图片导入通过训练获得的深度学习模型中，通过实例分割算法得到物料的轮廓和材质类型；接着，通过轮廓计算出与当前物料对应的抓取位置和姿态，并将抓取位置、姿态和材质类型传输给设置在输送线附近的抓取机器人；抓取机器人根据抓取位置和姿态调整对该物料的抓取动作，执行对物料的抓取工作，抓取机器人根据材质类型将所抓取到的物料放置到对应的分区中。上述技术方案还提供了基于机器视觉的物料分选系统，结合方法解决了物料抓取问题，但是并没有对应的解决码垛问题，且上述技术方案仍选用二维照片进行位置比对，缺少三维信息，不能高效确定空间位置，影响抓取效率及精度。

中国专利CN111331607A公开了一种基于机械臂的自主抓取与码垛方法及系统，获取有待码垛物体的抓取区域和码放区域的图像，将图像输入至自动抓取码放网络；自动抓取码放网络根据已学习的抓取策略和码放策略预测抓取位置和码放位置；自动抓取码放网络结合深度强化学习时，采用最大化未来奖励的期望总和的最优策略；机械臂根据预测结果选择抓取区域中所需的物体并将其抓取码放在当前和将来的状态中合适的位置。上述技术方案解决了码垛问题，但是关于进料端抓取并没有给出一个高效的方案，且图像也为二维图像，缺少三维信息，影响效率及摆放精度。

中国专利CN111360847A和CN111232664A分别公开了一种自动存取物料的配送机器人和工业机器人应用软包拆垛卸车码垛装置及拆垛卸车码垛的方法，其中均采用了3D视觉采集装置，提升了抓取/摆放效率及精度，但是上述两个技术方案均采取全程三维图像采集，导致运算量大，对硬件需求较高，如果降低硬件标准，又导致运算速度跟不上，影响执行效率。

发明内容

有鉴于此，本发明提供一种基于人工智能技术的3D视觉码垛系统及方法，能够解决上述问题。

为此目的，本发明由如下技术方案实施。

一种基于人工智能技术的3D视觉码垛系统，包括：3D结构光相机、输送线、机械臂、移动平台、控制处理单元；

所述机械臂安装于所述移动平台上部；所述机械臂末端安装有所述3D结构光相机和抓取装置；

所述输送线用于输送待码垛物品，所述输送线还安装有二维码检测装置；所述输送线输送的物品在顶面喷涂或黏贴有二维码，所述二维码至少包含外包装形状、尺寸信息及物品信息；

所述控制处理单元包括图像处理模块、控制模块、运算模块；所述图像处理模块与所述3D结构光相机连接；所述二维码检测装置与所述运算模块连接；所述控制模块与所述机械臂、移动平台、抓取装置、输送线的电控单元连接；所述运算模块与所述图像处理模块、控制模块连接；

所述运算模块内置人工神经网络，用于调整所述机械臂和所述抓取装置进行产品抓取及码垛。

进一步，所述输送线为滚筒输送线，并在输送方向的上方安装有二维码扫描器；所述滚筒输送线在输送方向的末端安装有挡板。

进一步，所述抓取装置为阵列式真空吸盘机械手，通过导气管连接真空泵；所述真空泵连接所述控制处理单元。

进一步，所述移动平台为RGV或AGV小车。

更进一步，所述图像处理模块和所述运算模块设置于上位机内，所述上位机通过图像采集卡连接所述3D结构光相机；所述上位机连接所述二维码检测装置。

更进一步，所述控制模块设置于PLC控制器中，所述PLC控制器与所述上位机连接。

另一方面，本发明还提供一种基于人工智能技术的3D视觉码垛方法，具体码垛步骤如下：

S1、待码垛物品沿输送线向下游输送，并通过二维码扫码装置下方，所述二维码扫码装置扫描待码垛物品顶部的二维码，获得外包装尺寸、形状及物品信息，并将信息传输至运算模块；

S2、待码垛物品到达指定位置后，所述运算模块根据所述S1中的物品信息结合抓取算法进行抓取计算，并向控制模块发送调整指令，控制移动平台按指定路径移动到靠近待码垛物品的区域，并按所述运算模块的计算结果改变机械臂姿态，使抓取装置抓取待码垛物品；

S3、所述移动平台按所述运算模块的计算路径移动至指定码垛区域，并通过3D结构光相机拍摄码垛区域，并将拍摄的图像信息传输至图像处理模块，经过图像处理后信息传输至运算模块；由所述运算模块内置的人工神经网络分析当前码垛区域可供放置位置，并对比待码垛物品外形及尺寸，选取最合适放置位置，并计算出放置路径；之后将位置信息及放置路径发送至所述控制模块；

S4、所述控制模块根据所述S3中的位置信息，调整所述机械臂姿态，将待码垛物品放置于指定位置，并控制所述抓取装置释放待码垛物品，完成一次码垛操作；

S5、所述控制模块发出复位指令，使所述移动平台移动至初始位置，所述机械臂恢复初始姿态，等待下一次码垛操作。

进一步，在所述S2中，所述抓取装置抓取待码垛物品过程中，所述3D结构光相机拍摄至少一次待码垛物品，获得点云信息，并通过所述图像处理模块处理后，传输至所述运算模块，所述运算模块对点云信息进行三维重建，进而与预设三维信息进行比较，将比较结果转化为偏移量，并将其发送至所述控制模块，由所述控制模块对所述机械臂的末端运动轨迹进行改变，以补偿所述抓取装置的运动路径偏差。

进一步，在所述S3中，码垛区域拍摄图像为点云信息，通过所述图像处理模块进行降噪、特征提取处理后，传输至所述运算模块；所述运算模块对接收到的所述点云信息进行三维重建，之后由内置的人工神经网络对三维模型进行分析。

本发明具有如下优点：

1.本发明通过物品顶部设置的二维码可快速读取物品包装信息及物品信息，利用已知包装尺寸及空间坐标推导出抓取路径，实现快速抓取，并结合物品信息知晓码垛区域位置，提升了整体码垛效率。

2.本发明通过3D图像采集，结合人工神经网络判别，进一步提升了码垛精度及速度，保证了高效的同时，提升了稳定性和安全性。

附图说明

图中：

图1为本发明系统图；

图2为本发明工作位立体示意图；

图3为本发明方法流程图。

1-滚筒输送线；2-待码垛物品；3-挡板；4-二维码扫描器；5-滑轨；6-RGV小车；7-3D结构光相机；8-机械臂；9-阵列式真空吸盘机械手。

具体实施方式

需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面将结合附图，对本发明做进一步说明。

基于人工智能技术的3D视觉码垛系统，如图1所示，主要包括：3D结构光相机7、输送线、机械臂、移动平台、控制处理单元；

结合图2所示，机械臂8安装于移动平台上部；优选地，为了更高的移动，移动平台选用RGV小车6，不仅承载量更大，且运行轨迹更加易于监控。如图2所示，RGV小车6安放于滑轨5中，滑轨5与输送线设置位置可不局限于图中垂直设置，也可根据具体场地需要选择平行设置或相交叉设置。机械臂8末端安装有3D结构光相机7和抓取装置；优选地，抓取装置为阵列式真空吸盘机械手9，通过导气管连接真空泵；真空泵连接控制处理单元。

输送线用于输送待码垛物品2，优选地，如图2所示，输送线为滚筒输送线1，并在输送线中部安装有龙门结构，龙门结构顶部安装有二维码扫描器4；系统还包括，输送线输送的物品在顶面喷涂或黏贴有二维码标签，二维码包含外包装形状、尺寸信息及物品信息；二维码扫描器4的扫描方向向下，用来扫描包装箱顶部的二维码。滚筒输送线1在输送方向的末端安装有挡板3，用来挡住待码垛物品2，放置其掉落于输送线外，同时也相当于给物品一个确定的空间位置。

控制处理单元包括图像处理模块、控制模块、运算模块；优选地，图像处理模块和运算模块设置于上位机内，具体由处理器、存储器和上位机内置算法组成。上位机通过图像采集卡连接3D结构光相机7；上位机连接二维码检测扫描器4。

控制模块设置于PLC控制器中，PLC控制器与上位机连接，并与机械臂8、RGV小车6、阵列式真空吸盘机械手9、滚筒输送线1的电控单元连接。

运算模块内置人工神经网络，用于调整机械臂和抓取装置进行产品抓取及码垛。

另一方面，本发明基于上述3D视觉码垛系统还提供了一种码垛方法，结合图3所示，具体码垛步骤如下：

S1、待码垛物品2沿滚筒输送线1上向下游运动，期间通过龙门结构时，上方的二维码扫描器4扫描待码垛物品2顶部的二维码，获得外包装尺寸、形状及物品信息，并将上述信息传输至上位机中，由运算模块接收后开始解析产品信息，得出具体码垛区域，并经过尺寸计算，得出物品最终到达挡板3时，其顶部中心处的空间位置；

S2、待码垛物品2到达挡板3后，上位机根据S1中的物品信息结合抓取算法进行抓取计算，并向控制模块发送调整指令，控制RGV小车6按指定路径移动到靠近待码垛物品2的区域(如图2中滑轨5的末端)，并按运算模块的计算结果改变机械臂8的姿态，使阵列式真空吸盘机械手9接触待码垛物品2顶部中心处，启动真空泵，吸盘吸住待码垛物品2，完成抓取待码垛物品；优选地，在抓取待码垛物品2的过程中，真空吸盘机械手9临侧的3D结构光相机拍摄多次待码垛物品2的表面，获得其点云信息，通过图像采集卡传送回上位机，并通过图像处理模块处理后，传输至运算模块，运算模块对点云信息进行三维重建，测算出包装箱顶部中心处的空间位置，并与S1中的数值进行比较，将比较结果转化为偏移量，并将其发送至PLC控制器，由PLC控制器对机械臂的末端运动轨迹进行改变，以补偿机械臂8运动过程中末端误差累积或箱体在输送线上传动导致的位置偏差。

S3、RGV小车6按运算模块的计算路径移动至指定码垛区域，并通过3D结构光相机7拍摄码垛区域，并将拍摄的图像信息传输至上位机，由图像处理模块接收并处理；经过图像处理后信息传输至运算模块；由运算模块内置的人工神经网络分析当前码垛区域可供放置位置，并对比待码垛物品2的外形及尺寸，选取最合适放置位置，并计算出放置路径；之后将位置信息及放置路径发送至PLC控制器；优选地，码垛区域拍摄图像为点云信息，通过图像处理模块进行降噪、特征提取处理后，传输至运算模块；运算模块对接收到的点云信息进行三维重建，之后由内置的人工神经网络对三维模型进行分析。

S4、PLC控制器根据S3中上位机发送的的位置信息，调整机械臂8的姿态，将待码垛物品2放置于指定位置，并控制真空泵停止工作，吸盘释放待码垛物品，进而完成一次码垛操作。

S5、PLC控制器发出复位指令，使RGV小车6移动至初始位置，机械臂8恢复初始姿态，等待下一次码垛操作。

以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于人工智能技术的3D视觉码垛系统，其特征在于，包括：3D结构光相机、输送线、机械臂、移动平台、控制处理单元；

所述机械臂安装于所述移动平台上部；所述机械臂末端安装有所述3D结构光相机和抓取装置；

所述输送线用于输送待码垛物品，所述输送线还安装有二维码检测装置；所述输送线输送的物品在顶面喷涂或黏贴有二维码，所述二维码至少包含外包装形状、尺寸信息及物品信息；

所述控制处理单元包括图像处理模块、控制模块、运算模块；所述图像处理模块与所述3D结构光相机连接；所述二维码检测装置与所述运算模块连接；所述控制模块与所述机械臂、移动平台、抓取装置、输送线的电控单元连接；所述运算模块与所述图像处理模块、控制模块连接；

所述运算模块内置人工神经网络，用于根据所述二维码的信息解析产品信息，预计包装箱到位后顶部中心处的空间位置，并且在抓取码垛过程中实时计算包装箱顶部中心处的空间位置，将二者比较结果转化为偏移量，调整所述机械臂以补偿末端累计误差或位置偏差；所述运算模块还用于调整所述抓取装置进行产品抓取及码垛。

2.根据权利要求1所述的3D视觉码垛系统，其特征在于，所述输送线为滚筒输送线，并在输送方向的上方安装有二维码扫描器；所述滚筒输送线在输送方向的末端安装有挡板。

3.根据权利要求1所述的3D视觉码垛系统，其特征在于，所述抓取装置为阵列式真空吸盘机械手，通过导气管连接真空泵；所述真空泵连接所述控制处理单元。

4.根据权利要求1所述的3D视觉码垛系统，其特征在于，所述移动平台为RGV或AGV小车。

5.根据权利要求1或2所述的3D视觉码垛系统，其特征在于，所述图像处理模块和所述运算模块设置于上位机内，所述上位机通过图像采集卡连接所述3D结构光相机；所述上位机连接所述二维码检测装置。

6.根据权利要求5所述的3D视觉码垛系统，其特征在于，所述控制模块设置于PLC控制器中，所述PLC控制器与所述上位机连接。

7.一种基于人工智能技术的3D视觉码垛方法，其特征在于，具体码垛步骤如下：

S1、待码垛物品沿输送线向下游输送，并通过二维码扫码装置下方，所述二维码扫码装置扫描待码垛物品顶部的二维码，获得外包装尺寸、形状及物品信息，并将信息传输至运算模块；

S2、待码垛物品到达指定位置后，所述运算模块根据所述S1中的物品信息结合抓取算法进行抓取计算，并向控制模块发送调整指令，控制移动平台按指定路径移动到靠近待码垛物品的区域，并按所述运算模块的计算结果改变机械臂姿态，使抓取装置抓取待码垛物品；所述抓取装置抓取待码垛物品过程中，3D结构光相机拍摄至少一次待码垛物品，获得点云信息，并通过图像处理模块处理后，传输至所述运算模块，所述运算模块对点云信息进行三维重建，进而与预设三维信息进行比较，将比较结果转化为偏移量，并将其发送至所述控制模块，由所述控制模块对所述机械臂的末端运动轨迹进行改变，以补偿所述抓取装置的运动路径偏差；

S3、所述移动平台按所述运算模块的计算路径移动至指定码垛区域，并通过所述3D结构光相机拍摄码垛区域，并将拍摄的图像信息传输至所述图像处理模块，经过图像处理后信息传输至所述运算模块；由所述运算模块内置的人工神经网络分析当前码垛区域可供放置位置，并对比待码垛物品外形及尺寸，选取最合适放置位置，并计算出放置路径；之后将位置信息及放置路径发送至所述控制模块；

S4、所述控制模块根据所述S3中的位置信息，调整所述机械臂姿态，将待码垛物品放置于指定位置，并控制所述抓取装置释放待码垛物品，完成一次码垛操作；

S5、所述控制模块发出复位指令，使所述移动平台移动至初始位置，所述机械臂恢复初始姿态，等待下一次码垛操作。

8.根据权利要求7所述的3D视觉码垛方法，其特征在于，在所述S3中，码垛区域拍摄图像为点云信息，通过所述图像处理模块进行降噪、特征提取处理后，传输至所述运算模块；所述运算模块对接收到的所述点云信息进行三维重建，之后由内置的人工神经网络对三维模型进行分析。

Images