CN110524539B - 一种基于视觉多传感的电磁吸式搬运码放装置 - Google Patents

Abstract

本发明公开一种基于视觉多传感的电磁吸式搬运码放装置，物理机械结构包括电磁吸盘，并在物理机械结构的基础上搭建视觉多传感系统；其中深度相机用于检测目标物体的位置姿态、颜色和深度信息，和机器人机械臂配合形成视觉闭环，进行视觉伺服搬运码放操作。触碰开关用于检测目标物体和电磁吸式末端执行器之间的接触；激光测距传感器用于目标物体码放任务中码放精度的提升，通过两侧激光测距传感器配合检测目标物体和码垛堆的位置偏差，配合机械臂做出相应的位置调整。力传感器用于检测整个装置重力的变化，对吸取目标物体操作实现力闭环，加快操作检测速度，本发明通过视觉、激光、触觉的多传感融合提升电磁吸式末端执行器的操作精度以及操作效率。

Description

一种基于视觉多传感的电磁吸式搬运码放装置

技术领域

本发明属于机器人学、机械设计等领域，涉及一种机器人末端执行器，具体来说是一种基于视觉多传感的电磁吸式搬运码放装置。

背景技术

机器人末端执行器是完成机器人操作任务重要的执行部件。针对机器人码放搬运的作业任务，机器人末端执行器通常可以按照驱动以及操作形式可以分为四类：气动吸取式、气动夹持式、电动机械夹持式和电磁吸附式。气动吸取式末端执行器主要包括气动吸盘，气动夹持式主要包括气动夹爪，当前这两种形式的典型代表是日本SMC公司生产的气动执行元器件。气动吸取式和气动夹持式末端执行器具有结构简单、干净无污染、成本低的优点，但是气动形式末端执行器因为空气具有压缩性，具有位置控制精度较低的缺点，同时存在速度控制效果不理想、中间停止困难的缺点。电动机械夹持式末端执行器主要包括专用机械夹持器和类人多指灵巧手。专用机械夹持器具有结构简单、成本较低、控制简单可靠的优点。多指机械灵巧手由于自由度多，能够完成多种多样的操作任务，但是具有结构复杂、控制困难、成本昂贵的缺点。电动机械夹持式末端执行器典型代表是Robotiq公司生产的两指和三指机械手爪。电磁吸式末端执行器主要使用电磁吸盘进行铁磁性物体吸附操作。电磁吸式末端执行器具有结构简单、成本低的优点，并且成本相比于气动执行装置和电动机械夹持末端执行器更低。

在日常生活中，很多机械零件和容器的材料是碳钢这类的铁磁性材料，在面向铁磁性物体进行操作时，电磁吸式末端执行器具有吸附稳固、吸附速度快的优点，操作速度要快于机械夹持式装置，同时在对重型铁磁性物体进行操作时，铁磁吸式末端执行器的吸力要大于气吸式末端执行器。因此，在对铁磁性物体进行吸取时，铁磁吸式末端执行器相对于其他末端执行器具有明显的优势。

在工业领域，机器人搬运码放装置的典型代表是日本Mujin公司，Mujin公司提供了基于视觉的搬运码放装置的产品方案，基于视觉可以保证操作的精度。但是他们的解决的方案一般是基于气动形式，同时只能针对指定的操作任务场景，同时，Mujin公司的自动搬运码放装置产品价格比较昂贵。

在工业物料运输环节、机械装配环节，需要执行大量的对碳钢零件、型钢的搬运码放作业任务，不但需要保证搬运码放和机械装配的高效率，而且需要保证搬运码放具有较高的精度。因此面对高精度和高效率的钢制零件以及型钢的搬运码放任务，对于基于视觉多传感的电磁吸式末端执行器具有很大的需求。

发明内容

针对上述问题，本发明提出了一种基于视觉多传感的电磁吸式搬运码放装置，通过视觉、激光、触觉的多传感融合提升电磁吸式末端执行器的操作精度以及操作效率。

本发明基于视觉多传感的电磁吸式搬运码放装置，包括安装板、电磁吸盘、力传感器与视觉多传感系统。

所述安装板上表面安装力传感器，力传感器安装于机械臂末端，用于检测整个装置重力的变化，对吸取目标物体操作实现力闭环，加快操作检测速度。安装板下表面安装电磁吸盘，电磁吸盘用于吸取目标物品。

所述视觉多传感系统包括触碰开关、测距传感器与深度相机；触碰开关安装于电磁吸盘前后位置，以及安装板后侧面上；测距传感器安装于安装板下表面前端以及安装板后侧面下端；深度相机通过支撑件支撑于安装板顶部；深度相继镜头朝下。

其中，深度相机用于检测目标物体的位置姿态、颜色和深度信息，用于和机器人机械臂配合形成视觉闭环，进行视觉伺服搬运码放操作。

触碰开关用于检测目标物体和电磁吸式末端执行器之间的接触，这是由于电磁吸盘的缘故造成的，电磁吸盘的最佳操作区是物体与电磁铁之间贴合，同时配合装置顶部的2个触碰开关以及后侧的2个触碰开关实现目标物体吸取的定位作用，当操作任务对目标物体的姿态有严格要求时，4个触碰开关配合装置本身的安装板可以实现对目标物体良好的定位和限位作用。

测距传感器主要用于目标物体码放任务中码放精度的提升，前侧和后侧的测距传感器分别检测目标物体和码垛堆的前后位置偏差，当检测到位置偏差时，配合机械臂做出相应的位置调整，从而提升物体的码放精度。

本发明的优点在于：

1、本发明基于视觉多传感的电磁吸式搬运码放装置，在保证电磁吸取功能前提下，配合深度相机、微型触碰开关、微型测距开关、力传感器等多传感器，从视觉伺服操作、力闭环操作提升整个装置的操作精度，同时配合电磁铁吸取可以提升搬运和码放的速度。

2、本发明基于视觉多传感的电磁吸式搬运码放装置，可以在未知环境中执行操作任务，配合深度相机可以进行对未知环境的感知，从而实现吸取目标物体操作任务，同时能够满足多任务环境的要求，适用性强。并且配合相关视觉深度学习、强化学习算法，可以实现自主操作，使整个装置智能化、自主化。

3、本发明基于视觉多传感的电磁吸式搬运码放装置，采用L型限位安装板，可方便微型激光测距传感器、微型触碰开关在其顶部和前侧的安装，满足对目标物体的定位和限位的需求；同时相比于包络型的结构能够在实际进行搬运码放操作任务中加快搬运码放效率。

4、本发明基于视觉多传感的电磁吸式搬运码放装置，整体结构紧凑，结构上多处采用镂空设计，在保证结构刚度强度前提下，减少装置自重，从而提升机器人操作任务的有效载荷。

5、本发明一种基于视觉多传感的电磁吸式搬运码放装置具有成本低的优势，便于推广。

附图说明

图1为本发明基于视觉多传感的电磁吸式搬运码放装置整体结构图；

图2为本发明基于视觉多传感的电磁吸式搬运码放装置正视图；

图3为本发明基于视觉多传感的电磁吸式搬运码放装置剖视图；

图4为本发明基于视觉多传感的电磁吸式搬运码放装置俯视图。

图中：

1-限位安装板 2-电磁吸盘 3-力传感器

4-顶部微型触碰开关 5-后侧微型触碰开关 6-顶部微型激光测距传感器

7-后侧微型激光测距传感器 8-深度相机

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明基于视觉多传感的电磁吸式搬运码放装置，包括限位安装板1、电磁吸盘2、力传感器3与视觉多传感系统，如图1～3所示。

其中，限位安装板1作为本发明搬运码放装置的主体安装平台，为了方便搬运和码放操作任务，设计为具有顶面与后侧面的L型板件，其顶面的下表面中部安装有电磁吸盘2。电磁吸盘2用于吸取目标物品，本发明设计电磁吸盘2由多个电磁铁组成电磁吸盘2。另电磁铁数量为n个，n大于4，且n个电磁铁外形采用圆柱状，尺寸相同。n个电磁铁中具有一个中心电磁铁2a与n-1个外围电磁铁2b；其中四个外围电磁铁2b以中心电磁铁2a为中心周向均布，使中心电磁铁2a被四个外围电磁铁2b包围，进而使n个电磁铁呈圆形包络安装。本实施方式中，选取n＝5，即4个外围电磁铁2b包围1个中心电磁铁。因为针对异形件的电磁吸式搬运，电磁吸盘2作用贴合面积不固定，因此采用上述电磁铁包络安装的电磁吸盘，方便均匀分配磁吸载荷，同时提升搬运码放装置的适应性要求，可以满足不同异形件的吸取搬运任务。

所述力传感器3一面通过连接件安装在限位安装板1顶面中部，另一面连接机械臂末端。力传感器3用于测量整个搬运码放装置沿电磁铁吸盘2轴向的拉力信息；当电磁吸盘2完成吸取物体后，力传感器3检测到的拉力信息会发生突变，实现宏观上的力闭环，方便对于目标物体搬运和码放任务完成情况进行判断。

所述视觉多传感系统包括顶部微型触碰开关4、后侧微型触碰开关5、顶部微型激光测距传感器6、后侧微型激光测距传感器7与深度相机8，均安装于限位安装板1上。

其中，顶部微型触碰开关4为两个，通过连接件安装于限位安装板1顶面下表面，位于电磁吸盘2前后两侧，且距电磁吸盘2距离相等；后侧微型触碰开关5同为两个，通过连接件安装于限位安装板1后侧面外壁上。通过顶部微型触碰开关4与后侧微型触碰开关5，用于在目标物体吸取阶段，测量目标物体与限位安装板1顶面及后侧面的接触，用于对目标物体的顶面及后侧面方向进行限位和定位；且在限位安装板1各侧面采用两个微型触碰开关，可防止采用单个微型触碰开关时，目标物体倾斜触发，导致误认为目标物体已经平面限位。

顶部微型激光测距传感器6通过连接件与限位安装板1顶面上表面连接，位于限位安装板1顶面前侧边缘位置，且位于顶面在竖直平面投影外。后侧微型激光测距传感器7通过连接件与限位安装板1后侧面外壁连接，位于限位安装板1后侧面外壁下边缘位置。顶部微型激光测距传感器6与后侧微型激光测距传感器7用于在目标物体码放阶段，测量顶部微型激光测距传感器6与后侧微型激光测距传感器7与限位安装板1底部码放物体之间的高度信息，进而间接判断搬运码放装置与底部码放物体之间前后方向的位置偏差，如果测量高度信息与码堆物体高度误差在允许范围内，则搬运码放装置与底部码放物体之间前后方向的位置偏差满足要求，如果测量高度信息与码堆物体高度误差不在允许范围内，则搬运码放装置与底部码放物体之间前后方向的位置偏差超出允许范围。

深度相机8通过U型板8a、纵向支架8b以及T型连接板8c实现与限位安装板1间的固定，如图1、图4所示。其中，U型板8a作为深度相机8的安装底座，安装于限位安装板1顶面上表面中部，两侧边与限位安装板1顶面上表面固定，采用U型设计使得安装时，两侧边可避开限位安装板1顶面上表面安装的力传感器3，同时达到减重目的。U型板8a安装完毕后，U型板8a的底边位于限位安装板1顶面在竖直平面投影外，位于限位安装板1前侧边前方。纵向支架8b垂直于限位安装板1顶面设置，底端固定安装于U型板8a底边上。T型连接板8c的底端固定于纵向支架8b顶端，深度相机8安装于T型连接板8c横边下表面，镜头方向向下设置。上述U型板8a安装后，使U型板8a底边位置靠近限位安装板1前侧边，使搬运码放装置整体结构紧凑。

上述深度相机8的安装高度由深度相机8的最短有效视野距离决定，通过U型板8a、纵向支架8b以及T型连接板8c进行深度相机8与限位安装板1间的连接，降低了机械加工成本，且可确保深度相机8视野平面正视于电磁吸盘2安装平面，保证对于目标物体的深度、位姿、颜色信息的识别，配合机器人机械臂，从而实现在未知环境中对于目标物体的检测识别抓取任务，能够满足更一般的任务需求。

本发明基于视觉多传感的电磁吸式搬运码放装置，在未知环境实现对目标物体的搬运码放的具体实现方式是：

A、利用机器人机械臂上安装的全局相机检测目标物体在世界坐标系的位置和姿态，使机器人机械臂上的电磁吸式搬运码放装置移动到指定位置(目标物体正上方附近)。随后利用深度相机8对目标物体在未知环境中进行检测识别，计算得到目标物体相对于相机坐标系的位姿和深度以及颜色信息，通过相机坐标系到电磁吸式搬运码放装置工具坐标系再到机器人机械臂坐标系的转换，从而指导实现机器人机械臂上的电磁吸式搬运码放装置向目标物体的视觉伺服靠近运动。

B、当电磁吸式搬运码放装置到达目标位置后，需要检测目标物体的姿态是否满足定位和限位的要求，需要检测两个顶部微型触碰开关4和后侧的两个后侧微型触碰开关5的开关信号是否触发，如果四个开关信号都同时触发，配合限位安装板1本身的限位作用，可以判断目标物体的位姿满足定位要求，如果某个微型触碰开关没有触发，则指导机械臂引导搬运码放装置向未触发开关方向进行相应位姿微调，使四个触碰开关同时触发，同时配合力传感器3的拉力信号的改变，判断是否吸取成功，实现对于目标物体的定位电磁吸取搬运的作用。

C、当实现对目标物体的吸取搬运后，进入码放阶段。利用机器人机械臂上自带的全局相机检测码放区域的位置和姿态，以及检测码放过程中目标物体与码放区域之间的左右位置偏差，使机器人机械臂上的电磁吸式搬运码放装置移动到指定位置(目标码放位置)。利用深度相机1对于码放区域识别，计算出目标码放区域的位姿和深度信息，引导机械臂带动电磁吸式装置实现视觉伺服靠近运动。当到达目标码放位置后，进行多层码放时，由于此时搬运码放装置装置自身的深度相机可能会由于目标物体的遮挡存在视野盲区，因此需要使用前后布置的两个微型激光测距传感器检测目标物体和底部码放物体之间的前后相对位置偏差关系，保证码放精度满足码放任务要求。当两个微型激光测距传感器返回的距离信息与码放物体层数高度信息吻合时，则认为前后位置偏差信息满足要求；当某一侧微型激光测距传感器返回的距离信息与码放层数高度信息不吻合时，说明这一侧已经位于底层码放物体区域内部，需要引导机械臂带动电磁吸式装置向这一侧位置进行微调，使两个的微型激光测距传感器返回的距离信息满足要求，此时对电磁铁进行断电，即可实现保证码放精度的目标物体码放作业。同时配合力传感器的力信号变化，作为码放成功的标志信号，标志码放任务完成。

重复上述操作，即可实现在未知环境下对于目标物体的连续电磁吸式搬运码放作业任务。

Claims (3)

1.一种基于视觉多传感的电磁吸式搬运码放装置，其特征在于：包括安装板、电磁吸盘、力传感器与视觉多传感系统；

所述安装板上表面安装力传感器，力传感器安装于机械臂末端；安装板下表面安装电磁吸盘；

所述视觉多传感系统包括触碰开关、测距传感器与深度相机；触碰开关安装于电磁吸盘前后位置，以及安装板后侧面上；测距传感器安装于安装板下表面前端以及安装板后侧面下端；深度相机通过支撑件支撑于安装板顶部；深度相机镜头朝下；

在进行搬运码放时：A、利用深度相机对目标物体在未知环境中进行检测识别，计算得到目标物体相对于相机坐标系的位姿和深度以及颜色信息，通过相机坐标系到电磁吸式搬运码放装置工具坐标系再到机器人机械臂坐标系的转换，从而指导实现机器人机械臂上的电磁吸式搬运码放装置向目标物体的视觉伺服靠近运动；

B、当电磁吸式搬运码放装置到达目标位置后，需要检测目标物体的姿态是否满足定位和限位的要求，需要检测两个顶部微型触碰开关和后侧的两个后侧微型触碰开关的开关信号是否触发，如果4个开关信号都同时触发，目标物体的位姿满足定位要求；如果某个微型触碰开关没有触发，则指导机械臂引导搬运码放装置向未触发开关方向进行相应位姿微调，使四个触碰开关同时触发，同时配合力传感器的拉力信号的改变，判断是否吸取成功，实现对于目标物体的定位电磁吸取搬运的作用；

C、当到达目标码放位置后，进行多层码放时，使用前后布置的两个测距传感器检测目标物体和底部码放物体码放精度满足码放任务要求；当两个微型激光测距传感器返回的距离信息与码放物体层数高度信息吻合时，则认为前后位置偏差信息满足要求；当某一侧微型激光测距传感器返回的距离信息与码放层数高度信息不吻合时，说明这一侧已经位于底层码放物体区域内部，需要引导机械臂带动电磁吸式搬运码放装置向这一侧位置进行微调，使两个微型激光测距传感器返回的距离信息满足要求，此时对电磁铁进行断电，实现保证码放精度的目标物体码放作业；

重复上述操作，实现在未知环境下对于目标物体的连续电磁吸式搬运码放作业任务。

2.如权利要求1所述一种基于视觉多传感的电磁吸式搬运码放装置，其特征在于：电磁吸盘由n个电磁铁组成，n为正整数，大于4；n个电磁铁中具有一个中心电磁铁与n-1个外围电磁铁；其中四个外围电磁铁以中心电磁铁为中心周向均布。

3.如权利要求1所述一种基于视觉多传感的电磁吸式搬运码放装置，其特征在于：支撑件包括U型板、纵向支架以及T型连接板；其中，U型板固定于安装板顶面，力传感器位于U型板两侧边之间；纵向支架垂直于安装板顶面设置，底端固定安装于U型板底边上；T型连接板的底端固定于纵向支架顶端，深度相机安装于T型连接板横边下表面。

Images