CN110281231A - 无人化fdm增材制造的移动机器人三维视觉抓取方法 - Google Patents

Abstract

本发明公开了一种无人化FDM增材制造的移动机器人三维视觉抓取方法。采用基于SLAM的同步导航与定位技术方案，大大降低移动方案的成本，并且增加了移动抓取方案的可扩展性，采用基于视觉SLAM同步导航与定位技术对移动平台与打印机平台的位置的进行粗定位；机械臂固定在移动平台上，采用基于RGBD三维视觉的匹配方法，通过二维的RGB图与三维的深度信息进行匹配运算，实现待抓取三维打印零件的精确二次定位，从而完成打印零件的抓取。本发明提升了FDM打印与入库的自动化程度，提高了抓取的鲁棒性、自适应性和可扩展性，能实现无人化三维打印，应用广泛。

Description

无人化FDM增材制造的移动机器人三维视觉抓取方法

技术领域

本发明涉及增材制造生产线柔性化与自动化，机器人三维视觉与感知， 移动机器人领域，是一套适用于无人化三维打印工厂的抓取技术解决方案。

背景技术

随着科学技术的发展，人类社会对产品的个性化与定制化的要求越来越 高，产品更新换代的周期越来越短，产品的复杂程度也随之增大，增材制造 作为一种新兴的无需过多中间环节的制造工艺引起了大家的广泛关注。增材 制造通过层层叠加的工艺方法，可以制造复杂形状的零部件，因而可以大大 节省人力；联网后的打印机也可通过基于B/S的服务模式响应远程客户端的 服务，从而实现打印零部件的自动化。

然而，解决了打印自动化响应的问题，打印完成后零件的自动卸料仍然 没有找到较为良好的解决方案。目前较为常用的方法是采用人力进行打印件 的卸料与零件的入库。而使用固定于打印机旁的机械臂抓取虽然可以增加打 印零件卸料的自动化水平，但同时又会大大增加设备成本，每台打印机旁均 备份一台机械臂无疑是巨大的成本开销。

为了提升FDM三维打印工艺过程中的柔性与智能化，可使用手眼脚协 调移动机器人代替人力进行打印零件的卸料；传统机械臂移动抓取方案基于 滑动导轨实现机械臂的水平移动，通过繁杂的手工示教可以实现机械臂移动 位置的精确定位并完成固定位置的零件的抓取，但实现方案成本高并且移动 导轨的铺设受场地环境限制，并且被抓取物体位置的移动或者姿态改变都会 影响抓取的准确性；基于AGV智能小车并于地面铺设磁条、二维码的技术 方案相比于铺设滑动导轨的移动方案可以显著降低移动机器人的配置成本，降低对环境的要求，但打印机数量的可扩展性依然会受到已经铺设好磁条轨 迹的限制从而影响到整个打印体系的可扩展性。

因此，基于FDM三维打印的工艺链条中抓取方案的柔性、智能化、可 扩展性愈发成为三维打印工艺链条中的关键性问题。

发明内容

针对上述移动抓取方案的扩展性和自适应性问题，本发明提供无人化 FDM增材制造的移动机器人三维视觉抓取方法，移动机人手眼脚协同两步 定位进行抓取，以进行打印件的抓取与入库。本发明的技术方案可完成分布 于不同位置的多台打印机的卸料与零件入库工作。

本发明提供的基于手眼脚协调的机械臂移动抓取过程如图2所示， 技术方案主要包括以下步骤：

所述移动机器人三维抓取方法包括：移动机器人平台、基于SLAM移动 导航定位技术实现机器人平台抓取位置的粗定位方案、结合FDM三维打印 特点，基于STL模型生成模型多视角位姿图片的模板匹配方法进行匹配以实 现抓取的精确定位；从而实现分两步定位抓取放置三维打印件。

所述移动机器人三维视觉抓取方法包含以下步骤：

步骤1)移动平台粗定位阶段：

移动平台上设有机械臂，移动平台利用激光即时定位与地图构建方法 (SLAM)移动到FDM三维打印机位置附近；

步骤2)深度相机精定位准备阶段：

拍摄获得一系列CAD物体模型不同位姿的模板图像，模板图像包含 RGB模板图像和深度图模板图像，对RGB模板图像提取边缘和边缘梯度， 再对边缘梯度进行提取和放大获得梯度主成分，对梯度主成分进行梯度扩 散，得到RGB模板图像扩散后的主梯度模板；对深度图模板图像提取物体 表面的法矢信息，再对法矢进行提取和放大获得法矢主成分，对法矢主成分 进行梯度扩散，得到深度图模板图像扩散后的主法矢模板，将扩散后的主梯度模板和主法矢模板合并为双通道的模板，得到用于匹配的模板图像，具体 为：

本发明获得的用于匹配的双通道模板在进行聚类时具有这样一个特性： 不同位姿的同一个物体在欧式空间中聚集，不同物体的任意位姿在欧式空间 远离。

采用计算机内部仿真中的深度相机对多个不同物体类别的三维打印物 体的已知CAD物体模型(为已知模型且数量已知)从不同视角下均拍摄生 成一系列对应不同位姿CAD物体模型拍摄的模板图像，将待打印的CAD模 型基于多个视角生成多个视角的深度图和RGB图的位姿模板，这一过程可 以在三维仿真软件中完成。模板图像包括RGB模板图像和深度模板图像：

2.a)针对RGB模板图像，对采集到的各个视角的RGB模板图像提取 图像的边缘获得边缘图像，再对边缘图像处理得到边缘梯度图像，对所有边 缘梯度的方向转化处理为5个主梯度方向，并对转化主梯度方向后的边缘梯 度图像的梯度进行梯度扩散和梯度编码，得到RGB图扩散后的主梯度模板 图像，并作为匹配图像之一；

5个主梯度方向为将0到180°角度区间均匀等分为五个角度区间，取 每个角度区间的中间角度的矢量方向作为主梯度方向，五个主梯度方向与x 轴夹角分别为18°、54°、90°、126°、162°；

梯度编码采用以下方式：将扩散后的边缘梯度图的像素点五个主梯度方 向分别对应字长为5的二进制数的每一位，其中第一个主梯度方向对应二进 制数从右往左数第1位，第二个主梯度方向对应对应二进制数从右往左数第 2位，第三个主梯度方向对应对应二进制数从右往左数第3位，第四个主梯 度方向对应对应二进制数从右往左数第4位，第无个主梯度方向对应对应二 进制数从右往左数第5位；基于此，将扩散后的边缘梯度图进行梯度编码。

本发明采用主梯度方向量化各个方向的梯度，并进行扩散和编码，能增 加匹配的鲁棒性和抗干扰性。

2.b)针对深度图模板图像中的每个像素点，建立以每一个像素点为中心 的5x5矩形块，矩形块中的其他像素点作为该像素的近邻点，由近邻点构成 的近邻切平面，由近邻切平面的法向作为该像素点的法向矢量，从而构建获 得法矢图；将法矢图中所有像素点的法向矢量转化处理为八个主要法矢方 向，并对转化为主法矢方向后的法矢图进行法矢扩散和法矢编码，得到法矢 图扩散后的主法矢模板图像，并作为匹配图像之二；

将空间以z轴为轴心等分为八个扇形区域，z轴为平行于于图像法向的 方向，八个法矢方向分别指代处于空间8个扇形区间的法向量(其中法向量 起点位于原点)，通过判定深度图法矢端点处于空间中扇形区域的位置从而 将法矢转换为主法矢方向，其中八个扇形区域分别为0°-45°区域、45°-90°、 90°-135°、135°-180°区域、180°-225°区域、225°-270°区域、270°-315° 区域、315°-360°区域、主法矢方向处于图像所在的xy平面，x轴为图像横 向方向，y轴为图像纵向方向，分别与x轴逆时针方向成22.5°、67.5°、 112.5°、157.5°、202.5°、247.5°、292.5°、337.5°；从而将深度图的法向量转 化为8个主法矢方向。

法矢扩散具体为：与RGD梯度扩散过程一致，针对每个像素点，由像 素点向自身周围的八邻域进行扩散，得到扩散后的主法矢图。

法矢编码采用以下方式：将八个主法矢方向进行编码，对应八位二进制 数，针对处理得到的扩散后的主法矢图的每个像素进行分析：若存在主法矢 方向与x轴夹角为22.5°，则8位二进制数从右往左第1位为1，反之则为 0；若存在主法矢方向与x轴夹角为67.5°，则8位二进制数从右往左第2 位为1，反之则为0；若存在主法矢方向与x轴夹角为112.5°，则8位二进 制数从右往左第3位为1，反之则为0；若存在主法矢方向与x轴夹角为157.5°，则8位二进制数从右往左第4位为1，反之则为0；若存在主法矢 方向与x轴夹角为202.5°，则8位二进制数从右往左第5位为1，反之则为 0；若存在主法矢方向与x轴夹角为247.5°，则8位二进制数从右往左第6 位为1，反之则为0；若存在主法矢方向与x轴夹角为292.5°，则8位二进 制数从右往左第7位为1，反之则为0；若存在主法矢方向与x轴夹角为337.5°，则8位二进制数从右往左第8位为1，反之则为0；x轴为图像横向 方向；通过上述操作处理，从而将扩散后的法矢图进行梯度编码。

本发明采用主要法矢方向量化各个方向的法矢量，并进行扩散和编码， 能增加深度图匹配的鲁棒性和抗干扰性。

本发明方法上述步骤可以针对特定CAD打印模型生成多个视角的二维 仿真RGB图模板和深度图模板，通过深度图和RGB图的双通道模板进行匹 配，以实现抓取位置姿态的确定，该方法与三维打印的特点联系十分紧密。

步骤3)深度相机精定位试施阶段：

针对多个不同的待抓取物体，通过深度相机采集得到实际场景深度图像 和实际场景RGB图像，对实际场景深度图像和实际场景RGB图像重复上述 相同步骤2)获得扩散后的主梯度图像和主法矢图像，合并主梯度图像和主 法矢图像得到双通道图像，使用滑动窗口法对实际场景的双通道图像和制成 的双通道模板进行匹配，以最匹配的双通道模板对应的位姿作为待抓取物体 的精确位姿，从而得到待抓取物体的抓取位置和空间姿态信息，使用机械臂 完成抓取任务。

步骤4)抓取阶段：

确定待抓取物体的位姿后，移动平台固定不动，根据待抓取物体的抓取 位置和空间姿态信息进行路径规划并抓取，并放置货架内，完成抓取过程。

所述方法采用移动机器人三维抓取的移动平台，所述移动平台包括移动 平台和固定于移动平台上的激光雷达、固定于移动平台的机械臂、固定于机 械臂末端的深度相机和抓手，其中深度相机已完成手眼标定。

所述步骤1)具体为：

使用激光即时定位与地图构建方法(SLAM)构建打印机周围环境的导 航地图，并且在构建的导航地图中标注有FDM三维打印机位置，移动平台 通过构建的导航地图并确定自身当前相对于环境的位置，并做出路径规划移 动到FDM三维打印机位置附近。

所述步骤1的移动平台粗定位方案，包含室内SLAM构图和基于激光 SLAM同步导航与定位技术以实现室内移动平台的初步抓取位置定位，无需 移动导轨的铺设，无需先验性的知识，移动平台扩展性强。

所述的待抓取物体不是形状规则的物体，为FMD三维打印零件，需提 供STL模型来实现模型的匹配定位。

本发明方法针对增材制造场景，是一种非常适用的抓取方案。

所述深度相机为RGBD深度相机，具有很强的实时性，改善了机 器人与外界环境的交互情况。

所述的打印机联网，所述移动平台接收来自服务器端的远程控制信 号。

本发明融合了柔性移动方案(步骤2)，基于双通道模板的视觉匹配算 法(步骤4,步骤5)，采用粗定位和精定位两步定位的方案，实现机械臂移 动抓取。

与现有技术相比，本发明具有如下优点：

(1)本发明采用的激光SLAM移动平台进行移动抓取的粗定位，可以 避免提高多台打印机打印件自动化抓取时，因固定机械臂与打印机位置而造 成对机械臂的数量上的要求，因移动导轨的铺设或者磁条二维码的布置产生 的对外界环境的要求，降低了三维打印智能化工厂的实现成本。

(2)本发明的抓取移动方案可以大大避免因AGV小车和磁条方案和移 动轨道方案而产生的可扩展性差的问题，改善了移动导轨和磁条铺设受场地 限制的情况，方便打印机的扩展。

(3)本发明的装置采用基于RGB图和深度图扩散后的主梯度图进行图 像模板匹配，匹配精度高，鲁棒性强，采用基于TOF原理的Kinect深度相 机原理测距，实时性好。

(4)本发明提供的用于基于模型的图像匹配方法进行机械臂抓取，能 够主动学习到待抓取物体的位置和姿态，提高抓取的成功率，提高了机械臂 抓取的自适应性与柔性，避免了机械臂手工示教的冗杂工作。

(5)本发明适用于打印件大批量打印机打印三维打印件的自动化抓取 与入库，提升了FDM打印与入库的自动化程度，提高了抓取的鲁棒性、自 适应性和可扩展性，能实现无人化三维打印，也可以用在工业自动化生产 线上，有广泛的应用前景。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本 发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中方法抓取方案的流程图。

图2为本发明装置结构图。

图3为多视角模板的生成方式示意图。

图4(a)为实施例5个主梯度方向的表示示意图。

图4(b)为实施例8个主要法矢方向的表示示意图。

图5为梯度和法矢的扩散和编码的表示示意图。

图6为滑动窗口的模板匹配过程示意图。

图7为本发明中的模型在多个视角生成模板组合在欧式空间中示意图。

图8为本发明中的实际抓取式拍摄图片位姿检测在欧式空间中的表示图

图9为本发明中的位姿估计检验实时性结果的示意图。

图10为本发明中位姿估计检验正确率统计图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述 的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为一种移动机械臂手眼脚协同两步定位抓取方案流程图，以进行多 台FDM三维打印机打印件的抓取与入库。如图1所示，包括：

本发明提供的种移动机械臂手眼脚协同两步定位抓取方案，包括：

步骤S101、多台三维打印机和移动机械人已实现与主服务器进行通信， 联网的打印机可以响应相应零件的打印指令，打印完成后，返回响应的打印 机编号以及打印零件模型的型号及打印机的位置信息；

步骤S102、服务器主控端发送打印机编号与位置给移动机械人以完成 抓取操作。

步骤S103、移动机器人接收抓取信号与打印机的位置信息以及待取得 零件信息，通过移动机器人激光SLAM技术实现同步导航与定位，进行打印 机的粗定位，将机械臂移动至打印机的抓取标定位置，并将机械臂正对抓取 工件，使得RGBD相机位于待抓取工件一侧；

步骤S104、视觉模块接受RGBD相机发送的图像信息，通过图像处理 识别待抓取物体的位姿信息发送给机械臂控制模块。

步骤S105、机械臂模块获取抓取信息，通过机械臂轨迹规划进行机械 臂的抓取，并将抓取成功与否的结果反馈回机械臂控制系统。

步骤S106、若机械臂一次抓取失败，可能移动平台的位置欠佳使得待 抓取工件诶之位于机械臂工作空间范围以外或者机械臂的抓取力过小是的 抓取松动，应重新调整移动机器人位置并调整抓取力再次进行抓取。

步骤S107、移动机器人抓取完毕后，将打印零件放置到移动机器人平 台，并托运至货架，将其放置于对应的货架位置。完成柔性抓取过程后，移 动机器人回归工作原点，以待响应下一次工作指令。

由于打印件的形状大小不规则，因此难以通过固定的程序设计来得到合 适的抓取位置和抓取力量，因此限制了FDM三维打印制造中的自动化程度， 而本发明可以确定多种打印件不同位置的的抓取，以提高抓取的柔性与自适 应性，为FDM打印机批量打印过程中的去人化提供了技术支持。

本发明采用基于SLAM的同步导航与定位技术方案，大大降低移动方案 的成本，并且增加了移动抓取方案的可扩展性。为了简化抓取学习的成本， 在本发明的避免了基于深度学习中的数据采集的工作，可直接基于CAD模 型进行训练，降低了训练的成本，采用扩散后的主梯度模板和主法矢模板相 较于采用图像的边缘模板进行匹配，大大增加了匹配的鲁棒性。

如图1所示，本发明实施例及其实施过程如下：

如图2所示，实施例采用移动机器人三维抓取的移动平台，移动平台包 括移动小车0和固定于移动小车0上的激光雷达、固定于移动平台的机械臂、 固定于机械臂1末端的深度相机2和抓手3，待抓取物体4置于地面上，其 中深度相机已完成手眼标定。手眼角协调运动完成打印零件的抓取粗定位和 精确空间位姿估计，增加抓取的鲁棒性。

移动机器人三维视觉抓取过程包含以下步骤：

步骤1)移动平台粗定位阶段：

通过激光雷达使用激光即时定位与地图构建方法(SLAM)构建打印机 周围环境的导航地图，并且在构建的导航地图中标注有FDM三维打印机位 置，从而实现移动平台相对打印机位置的粗略估计，移动平台通过构建的导 航地图并确定自身当前相对于环境的位置，并做出路径规划移动到FDM三 维打印机位置附近。通过SLAM地图的构建，可实现移动平台相对位置的确 定。在ROS仿真环境中构建出当前环境的模型，通过SLAM技术构建导航 地图，从而实现移动平台相对于环境位置的确定。

步骤2)深度相机精定位准备阶段：

如图3所示，拍摄获得一系列CAD物体模型不同位姿的模板图像，模 板图像包括RGB模板图像和深度图模板图像，对RGB模板图像和深度图模 板图像提取分别提取主梯度图和主法矢图，再对梯度图与法矢图进行提取和 放大获得梯度主成分与法矢主成分，对梯度主成分与法矢主成分进行扩散， 得到匹配模板图像，本发明获得的匹配图像在进行聚类时具有这样一个特 性：不同位姿的同一个物体在欧式空间中聚集，不同物体的任意位姿在欧式 空间远离。具体为：

采用计算机内部的深度相机对多个不同物体类别的三维打印物体的已 知CAD物体模型(为已知模型且数量已知)从不同视角下均拍摄生成一系 列对应不同位姿CAD物体模型拍摄的模板图像，将打印的CAD模型基于多 个视角生成多个视角的深度图位姿模板和RGB图的位姿模板，这一过程可 以在三维仿真软件中完成。如图6所示，1,2,3分别为在仿真环境中得到小黄 鸭在空间不同位姿的模板图像，将RGB模板图像和深度图模板图像合并为双通道模板图像，该模板图像在欧式空间中聚集，4为仿真环境中猫在空间 不同位资的模板图像，5为弥勒佛在空间中不同位资的模板图像，不同类别 物体的双通道模板在欧式空间中远离。

其中模板图像包括RGB模板图像和深度模板图像：

2.a)针对RGB模板图像，对采集到的各个视角的RGB模板图像提取 图像的边缘获得边缘图像，再对边缘图像处理得到边缘梯度图像，对所有边 缘梯度的方向转化处理为5个主梯度方向，5个主梯度方向如图4(a)中5 个带箭头的矢量所示，具体过程为：将0到180°角度区间均匀等分为五个 角度区间，取每个角度区间的中间角度的矢量方向作为主梯度方向，五个主 梯度方向与x轴夹角分别为18°、54°、90°、126°、162°。其中主梯度方向 处于0到180°区间内，只有大小没有正负，因此所有角度均可转化至五个 主梯度方向。并对转化主梯度方向后的边缘梯度图像的梯度进行梯度扩散和 梯度编码，得到RGB图扩散后的主梯度模板图像，并作为匹配图像之一；

梯度扩散具体为：如图5所示，针对每个边缘像素点，由像素点向自身 周围的八邻域进行扩散，针对每个像素点均做梯度扩散操作，如图5(a)(b) 所示，a为对边缘处理得到的主梯度方向，图b中1为边缘像素点对应的主 梯度方向为90°竖直向上，对该像素点周围的八个邻域进行梯度扩散，如图b所示，1指定的像素点周围八个邻域均扩散得到竖直向上的主梯度方向。 针对其他边缘像素点做同样的处理，得到RGB图扩散后的主梯度模板图像。

梯度编码采用以下方式：

将扩散后的边缘梯度图的像素点五个主梯度方向分别对应字长为5的二 进制数的每一位，其中18°对应二进制数从右往左数第1位，54°对应对应 二进制数从右往左数第2位，90°对应对应二进制数从右往左数第3位， 126°对应对应二进制数从右往左数第4位，162°对应对应二进制数从右往 左数第5位。基于此，将扩散后的边缘梯度图进行梯度编码。

如图5b、图5c所示，b中1指定的像素主梯度方向为90°方向和54°， 因此对应的梯度编码为00110。如图5c中2位置处梯度编码。

本发明采用主梯度方向量化各个方向的梯度，并进行扩散和编码，能增 加匹配的鲁棒性和抗干扰性。

2.b)针对深度模板图像中的每个像素点，建立以每一个像素点为中心的 5x5矩形块，矩形块中的其他像素点作为该像素的近邻点，由近邻点构成的 近邻切平面，由近邻切平面的法向作为该像素点的法向矢量，从而构建获得 法矢图；将法矢图中所有像素点的法向矢量转化处理为八个主要法矢方向， 如图4b所示，将空间以z轴为轴心等分为八个扇形区域，八个法矢方向分 别指代处于空间8个扇形区间的法向量(其中法向量起点位于原点)，其中 八个扇形区域分别为0°-45°区域、45°-90°、90°-135°、135°-180°区域、 180°-225°区域、225°-270°区域、270°-315°区域、315°-360°区域、主法 矢方向处于xy平面，分别与x轴逆时针方向成22.5°、67.5°、112.5°、157.5°、 202.5°、247.5°、292.5°、337.5°。可通过判定深度图法矢端点处于空间中扇 形区域的位置从而将法矢转换为主法矢方向，从而将深度图的法向量转化为 8个主法矢方向。再对法矢图转化得到主法矢图进行法矢扩散和法矢编码， 得到法矢图图扩散后的主法矢模板图像，并作为匹配图像之二；

如图5所示，法矢扩散具体为：与RGD梯度扩散过程一致，针对每个 像素点，由像素点向自身周围的八邻域进行扩散，得到扩散后的主法矢图。

法矢编码采用以下方式：

将八个主法矢方向进行编码，对应八位二进制数。针对处理得到的扩散 后的主法矢图的每个像素进行分析：

若存在主法矢方向与x轴夹角为22.5°，则8位二进制数从右往左第1 位为1，反之则为0。

若存在主法矢方向与x轴夹角为67.5°°，则8位二进制数从右往左第 2位为1，反之则为0。

若存在主法矢方向与x轴夹角为112.5°，则8位二进制数从右往左第 3位为1，反之则为0。

若存在主法矢方向与x轴夹角为157.5°，则8位二进制数从右往左第 4位为1，反之则为0。

若存在主法矢方向与x轴夹角为202.5°，则8位二进制数从右往左第5 位为1，反之则为0。

若存在主法矢方向与x轴夹角为247.5°，则8位二进制数从右往左第6 位为1，反之则为0。

若存在主法矢方向与x轴夹角为292.5°，则8位二进制数从右往左第7 位为1，反之则为0。

若存在主法矢方向与x轴夹角为337.5°，则8位二进制数从右往左第8 位为1，反之则为0。

基于上述操作处理，从而将扩散后的法矢图进行梯度编码。

将编码后的RGB模板图像和深度图模板图像合并为双通道模板图像， 该双通道模板图像具有此特性，不同位姿的同一个物体的双通道模板图像在 欧式空间中聚集，不同物体的任意位姿双通道模板图像在欧式空间远离。

本发明采用主要法矢方向量化各个方向的法矢量，并进行扩散和编码， 能增加深度图匹配的鲁棒性和抗干扰性。

本发明方法上述步骤可以针对特定CAD打印模型生成多个视角的二维 仿真RGB图模板和深度图模板，通过深度图和RGB图的双通道模板匹配， 以实现抓取位置姿态的确定，该方法与三维打印的特点联系十分紧密。

步骤3)深度相机精定位试施阶段：

如图8所示，针对多个不同的待抓取物体1、2、3、4、5，通过深度相 机采集得到实际场景深度图像和实际场景RGB图像，对实际场景深度图像 和实际场景RGB图像重复上述相同步骤2)获得扩散后的主梯度图像和主 法矢图像，合并待抓取物体的主梯度图像和主法矢图像得到实际场景的双通 道图像。

如图7所示，然后使用滑动窗口法对制成的双通道模板图像和实际场景 的双通道图像进行匹配，其中1为制成的双通道模板简略示意图，箭头2为 双通道模板滑动方向，其中同一类物体多个角度的双通道模板构成双通道模 板簇，对双通道模板簇求均值，得到双通道模板的欧几里得中心。沿着双通 道模板滑动方向，采用K近邻算法(KNN)，将实际场景中的双通道图像 对双通道模板簇的均值进行聚类分析，计算实际场景中双通道模板滑动区域 内的双通道图像与双通道模板的欧式距离，设定阈值，欧氏距离小于阈值为 则实际场景的滑动窗口区域为感兴趣区域ROI，该ROI反应实际场景中物体 的类别信息；如图8中1、2、3所示，实际场景同一物体不同位姿的双通道 图像在欧式空间中与该物体的的双通道模板图像聚为一簇，如图8中4、5 所示，实际场景中不同物体的双通道图像在欧式空间中与不同物体的双通道 模板图像之间远离，该组图并展示了使用双通道模板判断得到实际场景中物 体的类别。得到具体的ROI区域后，以该ROI区域对应的类别物体在空间 不同位姿角度的双通道模板进行匹配，以最匹配的双通道模板图像图像对应 的位姿作为待抓取物体的精确位姿，从而得到待抓取物体的抓取位置和空间 姿态信息，使用机械臂完成抓取任务。

步骤3中，OpenGL仿真程序接口中的光源设置应与实际情况相同，使 模板图像中的零件的情况接近真实的情况，从而增加匹配的准确度。

步骤4)抓取阶段：

确定待抓取物体的位姿后，移动平台固定不动，根据待抓取物体的抓取 位置和空间姿态信息进行路径规划并抓取，并放置货架内，完成抓取过程。

如图7所示，实施例在实际场景中的准确度测试结果，可以看出方法具 有匹配准确度高，位姿估计准确等的特点。

步骤3、步骤4中，采用双通道模板模板匹配算法进行匹配，根据摄像 头收集到的RGBD图像与CAD模型生成的多个视角的模板进行二维主梯度模 板和三维主法矢模板匹配，并将匹配得到的位置姿态结果发送至移动平台主 控单元；移动平台判断待抓取物体的位置是否位于机械臂抓手的工作空间范 围内。如若不在机械臂抓手的工作空间范围，可通过调整移动平台二次精确 定位。

具体实施过程中还采用基于RGB图边缘梯度的LIN2D算法基于深度图 法向量的LINE3D算法以及HOG算法DOT算法Steger算法和TLD算法等，如 图9所示，基于双模板匹配的LINMOD方法是具有实时性的，可在20帧每秒 的实时视频中解析超过3000个模板，并且随着模板数量的上升，检测时间 基本保持不变。如图10所示，针对六类物体的进行检测，其中每类物体的 模板数量如下表第一列所示，在针对特定场景中的实时视频下帧频的下检验 的正确率做统计可知，与基于单模板匹配的LINE3D和LINE2D方法对比，基 于LINEMOD的双模板匹配的方法具有高的真阳性率TPR和低的假阳性率FPR， 因而具有高的识别准确率。

综上所述，本发明采用基于SLAM的同步导航与定位技术方案，大大降 低移动方案的成本，并且增加了移动抓取方案的可扩展性，该方案采用基于 视觉SLAM同步导航与定位技术对移动平台与打印机平台的位置的进行粗 定位；机械臂固定在移动平台达到19上，采用基于RGBD三维视觉的匹配 方法，通过二维的RGB图与三维的深度信息进行匹配运算，实现待抓取三 维打印零件的精确二次定位，从而完成打印零件的抓取。

Claims (5)

1.一种无人化FDM增材制造的移动机器人三维视觉抓取方法，其特征在于：包含以下步骤：

步骤1)移动平台粗定位阶段：移动平台上设有机械臂，移动平台利用激光即时定位与地图构建方法(SLAM)移动到FDM三维打印机位置附近；

步骤2)深度相机精定位准备阶段：

拍摄获得一系列CAD物体模型不同位姿的模板图像，模板图像包含RGB模板图像和深度图模板图像，对RGB模板图像提取边缘和边缘梯度，再对边缘梯度进行提取和放大获得梯度主成分，对梯度主成分进行梯度扩散，得到RGB模板图像扩散后的主梯度模板；对深度图模板图像提取物体表面的法矢信息，再对法矢进行提取和放大获得法矢主成分，对法矢主成分进行梯度扩散，得到深度图模板图像扩散后的主法矢模板，将扩散后的主梯度模板和主法矢模板合并为双通道的模板，得到用于匹配的模板图像，具体为：

采用计算机内部仿真中的深度相机对多个不同物体类别的三维打印物体的已知CAD物体模型从不同视角下均拍摄生成一系列对应不同位姿CAD物体模型拍摄的模板图像，模板图像包括RGB模板图像和深度模板图像：

2.a)针对RGB模板图像，对采集到的各个视角的RGB模板图像提取图像的边缘获得边缘图像，再对边缘图像处理得到边缘梯度图像，对所有边缘梯度的方向转化处理为5个主梯度方向，并对转化主梯度方向后的边缘梯度图像的梯度进行梯度扩散和梯度编码，得到RGB图扩散后的主梯度模板图像，并作为匹配图像之一；

5个主梯度方向为将0到180°角度区间均匀等分为五个角度区间，取每个角度区间的中间角度的矢量方向作为主梯度方向，五个主梯度方向与x轴夹角分别为18°、54°、90°、126°、162°；

梯度编码采用以下方式：将扩散后的边缘梯度图的像素点五个主梯度方向分别对应字长为5的二进制数的每一位，其中第一个主梯度方向对应二进制数从右往左数第1位，第二个主梯度方向对应对应二进制数从右往左数第2位，第三个主梯度方向对应对应二进制数从右往左数第3位，第四个主梯度方向对应对应二进制数从右往左数第4位，第无个主梯度方向对应对应二进制数从右往左数第5位；

2.b)针对深度图模板图像中的每个像素点，建立以每一个像素点为中心的5x5矩形块，矩形块中的其他像素点作为该像素的近邻点，由近邻点构成的近邻切平面，由近邻切平面的法向作为该像素点的法向矢量，从而构建获得法矢图；将法矢图中所有像素点的法向矢量转化处理为八个主要法矢方向，并对转化为主法矢方向后的法矢图进行法矢扩散和法矢编码，得到法矢图扩散后的主法矢模板图像，并作为匹配图像之二；

将空间以z轴为轴心等分为八个扇形区域，z轴为平行于于图像法向的方向，八个法矢方向分别指代处于空间8个扇形区间的法向量，通过判定深度图法矢端点处于空间中扇形区域的位置从而将法矢转换为主法矢方向，其中八个扇形区域分别为0°-45°区域、45°-90°、90°-135°、135°-180°区域、180°-225°区域、225°-270°区域、270°-315°区域、315°-360°区域、主法矢方向处于图像所在的xy平面，x轴为图像横向方向，y轴为图像纵向方向，分别与x轴逆时针方向成22.5°、67.5°、112.5°、157.5°、202.5°、247.5°、292.5°、337.5°；

法矢编码采用以下方式：将八个主法矢方向进行编码，对应八位二进制数，针对处理得到的扩散后的主法矢图的每个像素进行分析：若存在主法矢方向与x轴夹角为22.5°，则8位二进制数从右往左第1位为1，反之则为0；若存在主法矢方向与x轴夹角为67.5°，则8位二进制数从右往左第2位为1，反之则为0；若存在主法矢方向与x轴夹角为112.5°，则8位二进制数从右往左第3位为1，反之则为0；若存在主法矢方向与x轴夹角为157.5°，则8位二进制数从右往左第4位为1，反之则为0；若存在主法矢方向与x轴夹角为202.5°，则8位二进制数从右往左第5位为1，反之则为0；若存在主法矢方向与x轴夹角为247.5°，则8位二进制数从右往左第6位为1，反之则为0；若存在主法矢方向与x轴夹角为292.5°，则8位二进制数从右往左第7位为1，反之则为0；若存在主法矢方向与x轴夹角为337.5°，则8位二进制数从右往左第8位为1，反之则为0；x轴为图像横向方向；

步骤3)深度相机精定位试施阶段：针对多个不同的待抓取物体，通过深度相机采集得到实际场景深度图像和实际场景RGB图像，对实际场景深度图像和实际场景RGB图像重复上述相同步骤2)获得扩散后的主梯度图像和主法矢图像，合并主梯度图像和主法矢图像得到双通道图像，使用滑动窗口法对实际场景的双通道图像和制成的双通道模板进行匹配，以最匹配的双通道模板对应的位姿作为待抓取物体的精确位姿，从而得到待抓取物体的抓取位置和空间姿态信息，使用机械臂完成抓取任务。

步骤4)抓取阶段：确定待抓取物体的位姿后，移动平台固定不动，根据待抓取物体的抓取位置和空间姿态信息进行路径规划并抓取，并放置货架内，完成抓取过程。

2.根据权利要求1所述的一种无人化FDM增材制造的移动机器人三维视觉抓取方法，其特征在于：所述方法采用移动机器人三维抓取的移动平台，所述移动平台包括移动平台和固定于移动平台上的激光雷达、固定于移动平台的机械臂、固定于机械臂末端的深度相机和抓手。

3.根据权利要求1所述的一种无人化FDM增材制造的移动机器人三维视觉抓取方法，其特征在于：所述步骤1)具体为：使用激光即时定位与地图构建方法(SLAM)构建打印机周围环境的导航地图，并且在构建的导航地图中标注有FDM三维打印机位置，移动平台通过构建的导航地图并确定自身当前相对于环境的位置，并做出路径规划移动到FDM三维打印机位置附近。

4.根据权利要求1所述的一种无人化FDM增材制造的移动机器人三维视觉抓取方法，其特征在于：所述的待抓取物体不是形状规则的物体，为FMD三维打印零件。

5.根据权利要求1所述的一种无人化FDM增材制造的移动机器人三维视觉抓取方法，其特征在于：所述深度相机为RGBD深度相机。