CN114248086B - 一种柔性化三维视觉引导的机器人对位系统及方法 - Google Patents

Abstract

本发明公开了一种柔性化三维视觉引导的机器人对位系统及方法，包括机器人、三维扫描单元和特征操作单元，所述三维扫描单元包括第二工业相机和投影仪，所述投影仪用于向所述工件投射编码结构光，所述第二工业相机用于拍照捕获投射在所述工件表面的编码结构光并发送至所述机器人控制柜，所述机器人控制柜还用于根据所述第二工业相机的图像信息计算得到所述工件的表面形状、在所述工件表面的目标位置和目标位置的姿态信息；机械臂移动并通过变换位姿将所述工件的目标位置对准所述特征操作头。可实现不同产品、不同特征操作等自适应精准对位操作，适应产线产品的变化、操作特征的变化而无需示教的操作。

Description

一种柔性化三维视觉引导的机器人对位系统及方法

技术领域

本发明涉及机器人对位技术领域，尤其涉及一种柔性化三维视觉引导的机器人对位系统及方法。

背景技术

随着3C电子产业的迅猛发展，电子产品更新迭代速度加快，产品趋于复杂化和精细化，电子产品生产过程中涉及种类繁多、工序不同的自动化生产，例如螺丝锁付、点胶、零件插装等，对机器人的柔性、精准操作提出了高要求。目前，基于机器人操作的螺丝锁付机、点胶机、和插装设备等，经人工示教操作和人工装夹零件可实现相对固定产品与操作特征的对位与操作。当产品发生变化或操作特征位置发生变化，该机器人的操作则需要重新示教，而当产品或操作特征自身存在偏差或因运动精度不高而造成的位置误差，则会造成机器人的操作失败，如导致螺丝锁歪，甚至发生强行锁付损坏设备与工件的情况。点胶机与自动插装设备也存在相同的问题，无法适应产品装夹偏差以及目标特征位置误差或不同特征的操作。因此,我们提出一种柔性三维视觉引导的机器人精准对位操作方法及设备，使机器人具有柔性化操作能力，可实现不同产品、不同特征操作等自适应精准对位操作，适应产线产品的变化、操作特征的变化而无需示教的操作，如完成螺丝锁付、点胶、零件插装等操作的自适应精准对位。

发明内容

本发明的一个目的在于提出一种柔性化三维视觉引导的机器人对位系统，使机器人具有柔性化操作能力，可实现不同产品、不同特征操作等自适应精准对位操作，适应产线产品的变化、操作特征的变化而无需示教的操作，以克服现有技术中的不足之处。

本发明的另一个目的在于提出一种柔性化三维视觉引导的机器人对位方法，使机器人具有柔性化操作能力，可实现不同产品、不同特征操作等自适应精准对位操作，适应产线产品的变化、操作特征的变化而无需示教的操作，以克服现有技术中的不足之处。

为达此目的，本发明采用以下技术方案：

一种柔性化三维视觉引导的机器人对位系统，包括机器人、三维扫描单元和特征操作单元，所述三维扫描单元和特征操作单元均靠近所述机器人设置；

所述机器人包括机械臂、夹取装置和机器人控制柜，所述夹取装置安装于所述机械臂的末端；

所述机器人控制柜用于控制所述机械臂的运动和夹取装置的动作，以夹取工件并控制所述机械臂的末端移动至所述三维扫描单元；

所述三维扫描单元包括第二工业相机和投影仪，所述投影仪用于向所述工件投射编码结构光，所述第二工业相机用于拍照捕获投射在所述工件表面的编码结构光并发送至所述机器人控制柜，所述机器人控制柜还用于根据所述第二工业相机的图像信息计算得到所述工件的表面形状、在所述工件表面的目标位置和目标位置的姿态信息；

所述特征操作单元设有特征操作头，所述机器人控制柜还用于根据所述工件的目标位置的姿态信息，计算实现特征操作所需的机械臂变化位姿，以驱动所述机械臂移动并通过变换位姿将所述工件的目标位置对准所述特征操作头；所述特征操作单元用于待所述工件的目标位置对准所述特征操作头后，驱动所述特征操作头执行对应的特征操作。

优选地，所述机器人控制柜设有工件特征提取模块，所述工件特征提取模块用于根据所述第二工业相机拍摄的投射有编码结构光的工件图像获取所述工件的二维图像和第一深度图，然后对所述第一深度图的z轴方向进行归一化，对z轴方向归一化后的第一深度图进行边缘检测，获取包含目标位置的边缘点集的像素坐标，通过所述像素坐标一一对应获取所述目标位置的边缘点集的三维点坐标，并通过位姿计算获取所述目标位置的中心点坐标和法矢信息。

优选地，所述机器人控制柜还设有变化位姿生成模块，所述变化位姿生成模块用于通过手眼标定将机械臂、三维扫描单元和特征操作头的坐标信息统一到同一个坐标系统，然后根据所述工件的目标位置的中心点坐标和法矢信息，计算出将所述工件的目标位置对准所述特征操作头所需的机械臂运动的变化位姿。

优选地，所述夹取装置设有夹爪和第一工业相机；

所述第一工业相机用于对工件进行拍照后识别其位置信息，并将所述工件的位置信息发送至所述机器人控制柜，以驱动所述夹爪夹取所述工件并控制所述机械臂的末端移动至所述三维扫描单元。

优选地，所述三维扫描单元还用于对执行特征操作后的工件进行拍照并将拍摄的图像信息发送至所述机器人控制柜；

所述机器人控制柜还设有质量检测模块，所述质量检测模块用于根据所述三维扫描单元拍摄的执行特征操作后的工件图像获取执行特征操作后的工件的第二深度图，通过所述第二深度图提取所述工件的特征操作区域平面信息和工件表面平面信息，分别计算所述特征操作区域平面和工件表面平面的平行度、高度及面积；

然后逐一对所述特征操作区域平面和工件表面平面之间的平行度、高度及面积进行比较并一一获得对应的差异值，判断各个所述差异值是否在对应的预设范围内：若是则判断所述执行特征操作后的工件为合格品，若不是则判断所述执行特征操作后的工件为不合格品。

优选地，还包括工作台，所述机器人为六轴工业机器人，所述机械臂安装于所述工作台的表面，所述机器人控制柜安装于所述工作台的底部，所述三维扫描单元和特征操作单元设置于所述工作台的表面并分别靠近所述机械臂的两侧设置；

所述特征操作单元包括螺丝锁付装置，所述螺丝锁付装置通过第一安装支架竖直安装于所述工作台的表面，所述螺丝锁付装置包括驱动气缸、导轨、电动螺丝刀、螺丝供料模块、第一滑块、连接杆、第二滑块、弹簧和转接板，所述转接板竖直安装于所述第一安装支架，所述驱动气缸竖直安装于所述转接板并且所述驱动气缸的活塞杆朝下，所述导轨设置于所述转接板并和所述驱动气缸的活塞杆平行，所述电动螺丝刀通过第一滑块滑动安装于所述导轨，所述驱动气缸的活塞杆和所述第一滑块连接，所述螺丝供料模块通过第二滑块滑动安装于所述导轨，所述第一滑块通过连接杆和第二滑块螺纹连接，所述连接杆套接有所述弹簧，所述电动螺丝刀的螺丝刀头插装于所述螺丝供料模块，所述螺丝刀头为所述螺丝锁付装置的特征操作头。

优选地，所述特征操作单元还包括零件插装装置和点胶装置，所述零件插装装置通过第二安装支架竖直安装于所述工作台的表面，所述零件插装装置设有零件自动出料头，所述零件自动出料头的出料方向竖直朝下，所述零件自动出料头为所述零件插装装置的所述特征操作头；

所述点胶装置通过第三安装支架竖直安装于所述工作台的表面，所述点胶装置设有点胶枪，所述点胶枪的枪头竖直朝下，所述点胶枪的枪头为所述点胶装置的所述特征操作头。

优选地，所述柔性化三维视觉引导的机器人对位系统的对位方法，包括以下步骤：

夹取扫描步骤，机器人夹取工件并将工件移动至所述三维扫描单元，所述三维扫描单元对工件投射编码结构光并进行拍摄，生成投射有编码结构光的工件图像并发送至所述机器人控制柜；

工件特征提取步骤，所述机器人控制柜根据所述工件图像的图像信息计算得到所述工件的表面形状、在所述工件表面的目标位置和目标位置的姿态信息；

变化位姿生成步骤，所述机器人控制柜根据所述工件的目标位置的姿态信息，生成实现特征操作所需的机械臂变化位姿；

特征对准和操作步骤，所述机器人控制柜根据所述机械臂变化位姿驱动所述机械臂移动并通过变换位姿将所述工件的目标位置对准所述特征操作头，然后所述特征操作头执行对应的特征操作。

优选地，所述工件特征提取步骤包括：

步骤A1，根据所述第二工业相机拍摄的投射有编码结构光的工件图像获取所述工件的二维图像和第一深度图；

步骤A2，对所述第一深度图的z轴方向进行归一化；

步骤A3，对z轴方向归一化后的第一深度图进行边缘检测，获取包含目标位置的边缘点集的像素坐标；

步骤A4，通过所述像素坐标一一对应获取所述目标位置的边缘点集的三维点坐标，并通过位姿计算获取所述目标位置的中心点坐标和法矢信息；

所述变化位姿生成步骤包括：

步骤B1，通过手眼标定将机械臂、三维扫描单元和特征操作头的坐标信息统一到同一个坐标系统；

步骤B2，根据所述步骤A4得到的目标位置的中心点坐标和法矢信息，计算出将所述工件的目标位置对准所述特征操作头所需的机械臂运动的变化位姿。

优选地，还包括质量检测步骤：

步骤C1，所述机器人将执行特征操作后的工件移送至所述三维扫描单元, 所述三维扫描单元对执行特征操作后的工件进行拍照并将拍摄的图像信息发送至所述机器人控制柜；

步骤C2，所述机器人控制柜根据所述三维扫描单元拍摄的执行特征操作后的工件图像获取执行特征操作后的工件的第二深度图，并从所述第二深度图提取所述工件的特征操作区域平面信息和工件表面平面信息；

步骤C3，所述机器人控制柜根据所述工件的特征操作区域平面信息和工件表面平面信息，分别计算所述特征操作区域平面和工件表面平面的平行度、高度及面积；

步骤C4，所述机器人控制柜逐一对所述特征操作区域平面和工件表面平面之间的平行度、高度及面积进行比较并一一获得对应的差异值；

步骤C5，所述机器人控制柜判断所述步骤C4得到的各个所述差异值是否在对应的预设范围内：

若是则判断所述执行特征操作后的工件为合格品，若不是则判断所述执行特征操作后的工件为不合格品。

本申请提供的技术方案可以包括以下有益效果：

所述柔性化三维视觉引导的机器人对位系统及方法使机器人具有柔性化操作能力，可实现不同产品、不同特征操作等自适应精准对位操作，适应产线产品的变化、操作特征的变化而无需示教的操作，如完成螺丝锁付、点胶、零件插装等操作的自适应精准对位。

所述质量检测模块在完成工件的特征操作后，按照原来的路径将工件移动至三维扫描单元下方，通过电脑控制双面结构光获取工件的表面三维信息及二维图像，例如通过螺丝的二维坐标索引到三维信息，进而判断螺丝是否出现漏锁，锁歪等情况。同理，在完成工件的点胶及零件插装后，可以此判断工件的点胶位置是否出现漏点、多胶、少胶等情况、以及零件插装位置处是否发生漏插、插歪、插装不到位等情况。

通过二维图像提取螺丝、点胶位置、插装零件的边缘特征索引到相应的三维信息，从而对零件的螺丝锁付质量、点胶质量、插装质量进行检测，提供了二维图像无法检测相应位置的三维特征及三维点云，难以快速定位检测区域的难题的一种解决方案。

附图说明

图1是本发明其中一个实施例的柔性化三维视觉引导的机器人对位系统的结构示意图。

图2是本发明其中一个实施例的夹取装置的结构示意图。

图3是本发明其中一个实施例的螺丝锁付装置的结构示意图。

图4是本发明其中一个实施例的柔性化三维视觉引导的机器人对位方法的流程示意图。

其中：机器人1；三维扫描单元2；特征操作单元3；机械臂11；夹取装置12；机器人控制柜13；第二工业相机21；投影仪22；夹爪121；第一工业相机 122；工作台4；螺丝锁付装置31；驱动气缸311；导轨312；电动螺丝刀313；螺丝供料模块314；第一滑块315；连接杆316；第二滑块317；弹簧318；转接板319；零件插装装置32；点胶装置33；流水线5。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“上”、“下”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，用于区别描述特征，无顺序之分，无轻重之分。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本技术方案提供了柔性化三维视觉引导的机器人对位系统，如图1所示，包括机器人1、三维扫描单元2和特征操作单元3，所述三维扫描单元2和特征操作单元3均靠近所述机器人1设置；

所述机器人1包括机械臂11、夹取装置12和机器人控制柜13，所述夹取装置12安装于所述机械臂11的末端；

所述机器人控制柜13用于控制所述机械臂11的运动和夹取装置12的动作，以夹取工件并控制所述机械臂11的末端移动至所述三维扫描单元2；

所述三维扫描单元2包括第二工业相机21和投影仪22，所述投影仪22用于向所述工件投射编码结构光，所述第二工业相机21用于拍照捕获投射在所述工件表面的编码结构光并发送至所述机器人控制柜13，所述机器人控制柜13还用于根据所述第二工业相机21的图像信息计算得到所述工件的表面形状、在所述工件表面的目标位置和目标位置的姿态信息；

所述特征操作单元3设有特征操作头，所述机器人控制柜13还用于根据所述工件的目标位置的姿态信息，计算实现特征操作所需的机械臂变化位姿，以驱动所述机械臂11移动并通过变换位姿将所述工件的目标位置对准所述特征操作头；所述特征操作单元3用于待所述工件的目标位置对准所述特征操作头后，驱动所述特征操作头执行对应的特征操作。

针对自动化生产过程中传统自动化设备无法适应产品装夹偏差以及目标特征位置误差或不同特征的操作需求，本实施例提成一种所述柔性化三维视觉引导的机器人对位系统使机器人具有柔性化操作能力，可实现不同产品、不同特征操作等自适应精准对位操作，适应产线产品的变化、操作特征的变化而无需示教的操作，如完成螺丝锁付、点胶、零件插装等操作的自适应精准对位。

所述机器人1具有六轴，进行夹取和放置；所述三维扫描单元2中，投影仪22的固定位置较高，用于竖直向下投影编码结构光，第二工业相机21及其镜头的固定位置较低且往投影仪22的方向倾斜，避免其视野被投影仪22所遮挡及获得良好的成像效果。当机器人1夹取工件移动到所述三维扫描单元2后，触发投影仪22投射结构光，接着第二工业相机21拍照捕获来自投影仪22投在工件表面的编码结构光，通过对图像信息的计算得到工件的表面形状及在工件表面上的目标位置和目标位置的姿态信息。

当机器人1夹持工件完成在所述三维扫描单元2的扫描之后，通过程序可实现不同产品的特征提取，从而得到目标位置的姿态信息，例如螺丝锁付的螺纹孔位置、点胶操作的待点胶区域、零件插装的待插装位置。在识别出该特征所对应的特征操作后，所述机器人控制柜13会计算实现该特征操作所需机械臂变化位姿，机械臂11移动到特征操作单元3通过变换位姿将工件上的目标位置精确对准相应特征操作头并控制相应设备执行相应特征操作。

优选地，所述机器人控制柜13设有工件特征提取模块，所述工件特征提取模块用于根据所述第二工业相机21拍摄的投射有编码结构光的工件图像获取所述工件的二维图像和第一深度图，然后对所述第一深度图的z轴方向进行归一化，对z轴方向归一化后的第一深度图进行边缘检测，获取包含目标位置的边缘点集的像素坐标，通过所述像素坐标一一对应获取所述目标位置的边缘点集的三维点坐标，并通过位姿计算获取所述目标位置的中心点坐标和法矢信息。

机器臂11夹取工件移动至三维扫描单元2，三维扫描单元2安装有第二工业相机21和投影仪22组成结构扫描系统，能获取工件的二维图像和三维有序点云，该点云信息由于是面阵相机拍摄投射有编码结构光的工件图像计算而来，因此可以获取第一深度图，对第一深度图的z方向进行归一化，结合二维图像和z方向归一化的第一深度图的信息可实现对目标特征的提取，例如通过螺纹孔区域存在z方向的高度变化，因此可对归一化后的第一深度图进行边缘检测，得到包含螺纹孔边缘点集的像素坐标，再利用该像素坐标一一对应获取螺纹孔边缘点集的三维点坐标，对该点集信息进行位姿计算即可获取螺纹的中心点坐标及相应法矢信息，同理，可以获取点胶区域和待插装区域的特征三维信息和法矢。

优选地，所述机器人控制柜13还设有变化位姿生成模块，所述变化位姿生成模块用于通过手眼标定将机械臂11、三维扫描单元2和特征操作头的坐标信息统一到同一个坐标系统，然后根据所述工件的目标位置的中心点坐标和法矢信息，计算出将所述工件的目标位置对准所述特征操作头所需的机械臂11运动的变化位姿。

通过手眼标定，可将机械臂11、三维扫描单元2和特征操作头(包括螺丝刀头、点胶枪、零件自动出料头)末端的坐标信息统一到同一个坐标系统，在上一步获取目标特征的中心坐标和法矢信息后，即可计算出将该目标特征对齐相应特征操作头末端所需要机械臂11运动的变化位姿，机器人控制柜13操控机械臂11将工件的目标特征与相应特征操作头末端进行精准对位，电脑控制相应设备执行相应特征操作。

优选地，所述夹取装置12设有夹爪121和第一工业相机122，如图2所示；

所述第一工业相机122用于对工件进行拍照后识别其位置信息，并将所述工件的位置信息发送至所述机器人控制柜13，以驱动所述夹爪121夹取所述工件并控制所述机械臂11的末端移动至所述三维扫描单元2。

对待加工工件进行夹取时机器人1的末端移动到工件取放区，由安装在机器人1末端的第一工业相机122对工件进行图像信息的识别定位，得到工件的位置信息后机器人1移动到工件上方，由同样安装在机器人末端的夹爪121进行夹取。

工作时，机械臂11在机器人控制柜13的控制下移动到流水线5的上方，通过移动多个位姿，控制夹取装置12上的第一工业相机122拍摄多幅不同角度的工件的二维图像，通过二维图像匹配算法找到不同图像中的对应点，获取不同角度的机械臂11末端的变化矩阵，结合提前标定好的机械臂11末端到第一工业相机122的坐标系的变化矩阵，可计算出不同角度之间的第一工业相机122 的坐标系的相对变化矩阵T，再结合标定好的第一工业相机122的内部参数，即可对对应点进行三维坐标结算，最终计算工件适合抓取的三维位姿，再利用机械臂11末端上安装的夹爪121对工件进行抓取。

六自由度的工业机器人即机器人1通过变换其末端的夹爪121的位置和姿态使工件任意表面上的螺纹孔都能与螺丝刀准确对应，能够对一些有着复杂曲面的工件进行精准操作，解决传统自动螺丝机无法对这类工件进行操作的问题，提高了生产线的自动化水平，大幅度提高设备的柔性化。

优选地，所述三维扫描单元2还用于对执行特征操作后的工件进行拍照并将拍摄的图像信息发送至所述机器人控制柜13；

所述机器人控制柜13还设有质量检测模块，所述质量检测模块用于根据所述三维扫描单元2拍摄的执行特征操作后的工件图像获取执行特征操作后的工件的第二深度图，通过所述第二深度图提取所述工件的特征操作区域平面信息和工件表面平面信息，分别计算所述特征操作区域平面和工件表面平面的平行度、高度及面积；

然后逐一对所述特征操作区域平面和工件表面平面之间的平行度、高度及面积进行比较并一一获得对应的差异值，判断各个所述差异值是否在对应的预设范围内：若是则判断所述执行特征操作后的工件为合格品，若不是则判断所述执行特征操作后的工件为不合格品。

所述质量检测模块在完成工件的特征操作后，按照原来的路径将工件移动至三维扫描单元2下方，通过电脑控制双面结构光获取工件的表面三维信息及二维图像，例如通过螺丝的二维坐标索引到三维信息，进而判断螺丝是否出现漏锁，锁歪等情况。同理，在完成工件的点胶及零件插装后，可以此判断工件的点胶位置是否出现漏点、多胶、少胶等情况、以及零件插装位置处是否发生漏插、插歪、插装不到位等情况。

完成相应特征操作的工件由机械臂11夹持运动至三维扫描单元2，对执行特征操作的区域进行三维扫描，获取相应的第二深度图，通过对第二深度图提取特征操作区域(例如锁付的螺丝、点胶区、插装的零件)表面信息和工件表面信息，对其进行平面拟合，计算两平面之间的平行度、高度信息及面积大小，实现相应的特征操作质量检查，并放置于相应区域，例如螺丝表面与工件表面不平行，即该螺丝拧偏，若螺丝表面与工件表面高度相差过大，即螺丝未拧到位，此时将工件放置于不合格品区域，否则将工件放置于合格品区域。点胶区域中若未检出点胶区域，即工件发生漏点的情况、若胶体高度过低，面积过小，即工件出现少胶缺陷、相反高度过高，面积过大则出现多胶缺陷、以上情况即工件点胶质量不合格，将工件放置于不合格品区域，否则将工件放置于合格品区域。插装操作中插装零件表面与工件表面不平行，即该零件插装插歪，若插装零件表面与工件表面高度相差过大，即该零件插装未到位，此时将工件放置于不合格品区域，否则将工件放置于合格品区域。

通过二维图像提取螺丝、点胶位置、插装零件的边缘特征索引到相应的三维信息，从而对零件的螺丝锁付质量、点胶质量、插装质量进行检测，提供了二维图像无法检测相应位置的三维特征及三维点云，难以快速定位检测区域的难题的一种解决方案。

优选地，还包括工作台4，如图1所示，所述机器人1为六轴工业机器人，所述机械臂11安装于所述工作台4的表面，所述机器人控制柜13安装于所述工作台4的底部，所述三维扫描单元2和特征操作单元3设置于所述工作台4 的表面并分别靠近所述机械臂11的两侧设置；

如图3所示，所述特征操作单元3包括螺丝锁付装置31，所述螺丝锁付装置31通过第一安装支架竖直安装于所述工作台4的表面，所述螺丝锁付装置31 包括驱动气缸311、导轨312、电动螺丝刀313、螺丝供料模块314、第一滑块 315、连接杆316、第二滑块317、弹簧318和转接板319，所述转接板319竖直安装于所述第一安装支架，所述驱动气缸311竖直安装于所述转接板319并且所述驱动气缸311的活塞杆朝下，所述导轨312设置于所述转接板319并和所述驱动气缸311的活塞杆平行，所述电动螺丝刀313通过第一滑块315滑动安装于所述导轨312，所述驱动气缸311的活塞杆和所述第一滑块315连接，所述螺丝供料模块314通过第二滑块317滑动安装于所述导轨312，所述第一滑块 315通过连接杆316和第二滑块317螺纹连接，所述连接杆316套接有所述弹簧 318，所述电动螺丝刀313的螺丝刀头插装于所述螺丝供料模块314，所述螺丝刀头为所述螺丝锁付装置31的特征操作头。

工作台4上可设置有工件取放区、三维扫描区、执行操作区，工作台4内有用于数据处理的计算机、机器人控制柜13。工件取放区用于放置待加工工件以及加工好的工件，由六轴的机器人1进行夹取和放置；三维扫描区设置在工作台一侧，包括三维扫描单元2；执行操作区与三维扫描区相对，设在工作台的另一侧，执行操作区可按照需求设置不同的特征操作单元3，例如设置若干个不同规格的大小螺丝的锁付区域、点胶区域、零件插装区域。进行螺丝锁付操作时，锁付区包括螺丝锁付装置31。点胶区域放置着点胶装置33、零件插装区域放置有零件插装装置32。

实现螺丝锁付中，螺丝刀头的前端配有螺丝供料模块314，锁付时驱动气缸 311向前推动电动螺丝刀313，电动螺丝刀313将螺丝供料模块314中的螺丝带出并压在螺纹孔上，随后电动螺丝刀313进行旋转将螺丝锁入螺纹孔，重复以上步骤逐一将工件表面的螺纹孔进行锁付，锁付工序完成后，将工件叠放在工件取放区指定位置。

由流水线5将待加工工件放置在工件取放区，使用了由视觉引导的六自由度工业机器人——机器人1夹取工件，允许工件的位置在一定范围内浮动，而不需要额外设计制造专用夹具对工件进行准确定位，使得设备柔性化程度大幅增加，提高生产设备利用率，降低生产成本。

工件如需同时锁付多种不同规格的螺丝，只需在锁付区增加其它规格的电动螺丝刀313，满足不同规格螺丝的加工需求，相比传统的螺丝机只能锁付单一规格的螺丝，使得设备利用率大幅提高，降低设备成本。

优选地，如图1所示，所述特征操作单元3还包括零件插装装置32和点胶装置33，所述零件插装装置32通过第二安装支架竖直安装于所述工作台4的表面，所述零件插装装置32设有零件自动出料头，所述零件自动出料头的出料方向竖直朝下，所述零件自动出料头为所述零件插装装置32的所述特征操作头；

所述点胶装置33通过第三安装支架竖直安装于所述工作台4的表面，所述点胶装置33设有点胶枪，所述点胶枪的枪头竖直朝下，所述点胶枪的枪头为所述点胶装置33的所述特征操作头。

实现点胶操作中，电脑控制点胶装置33的点胶枪出胶，完成点胶操作，将工件叠放在工件取放区指定位置。实现零件插装操作中，零件插装装置32将零件以固定位姿传送到零件自动出料头上，在机械臂11将目标工件对齐零件时，通过控制零件自动出料头的Z轴向下运动，完成零件插装。将工件叠放在工件取放区指定位置。

柔性化三维视觉引导的机器人对位系统可同时满足对零件的螺丝锁付、点胶、零件插装的需求，与现有的专用设备的单一功能相比，使得设备功能性得到大幅改善、设备更具有柔性化。

优选地，所述柔性化三维视觉引导的机器人对位系统的对位方法，如图4 所示，包括以下步骤：

夹取扫描步骤，机器人1夹取工件并将工件移动至所述三维扫描单元2，所述三维扫描单元2对工件投射编码结构光并进行拍摄，生成投射有编码结构光的工件图像并发送至所述机器人控制柜13；

工件特征提取步骤，所述机器人控制柜13根据所述工件图像的图像信息计算得到所述工件的表面形状、在所述工件表面的目标位置和目标位置的姿态信息；

变化位姿生成步骤，所述机器人控制柜13根据所述工件的目标位置的姿态信息，生成实现特征操作所需的机械臂变化位姿；

特征对准和操作步骤，所述机器人控制柜13根据所述机械臂变化位姿驱动所述机械臂11移动并通过变换位姿将所述工件的目标位置对准所述特征操作头，然后所述特征操作头执行对应的特征操作。

所述柔性化三维视觉引导的机器人对位系统的对位方法，由机械臂11上的第一工业相机122多角度拍摄工件进而进行三维解算并抓取工件、编码结构光获取工件表面三维信息、二维图像提取特征索引目标区域三维信息、机械臂11 移动工件对齐目标区域与执行器，是一种柔性化视觉引导方法。

优选地，所述工件特征提取步骤包括：

步骤A1，根据所述第二工业相机21拍摄的投射有编码结构光的工件图像获取所述工件的二维图像和第一深度图；

步骤A2，对所述第一深度图的z轴方向进行归一化；

步骤A3，对z轴方向归一化后的第一深度图进行边缘检测，获取包含目标位置的边缘点集的像素坐标；

步骤A4，通过所述像素坐标一一对应获取所述目标位置的边缘点集的三维点坐标，并通过位姿计算获取所述目标位置的中心点坐标和法矢信息；

所述变化位姿生成步骤包括：

步骤B1，通过手眼标定将机械臂11、三维扫描单元2和特征操作头的坐标信息统一到同一个坐标系统；

步骤B2，根据所述步骤A4得到的目标位置的中心点坐标和法矢信息，计算出将所述工件的目标位置对准所述特征操作头所需的机械臂11运动的变化位姿。

优选地，还包括质量检测步骤：

步骤C1，所述机器人将执行特征操作后的工件移送至所述三维扫描单元2, 所述三维扫描单元2对执行特征操作后的工件进行拍照并将拍摄的图像信息发送至所述机器人控制柜13；

步骤C2，所述机器人控制柜13根据所述三维扫描单元2拍摄的执行特征操作后的工件图像获取执行特征操作后的工件的第二深度图，并从所述第二深度图提取所述工件的特征操作区域平面信息和工件表面平面信息；

步骤C3，所述机器人控制柜13根据所述工件的特征操作区域平面信息和工件表面平面信息，分别计算所述特征操作区域平面和工件表面平面的平行度、高度及面积；

步骤C4，所述机器人控制柜13逐一对所述特征操作区域平面和工件表面平面之间的平行度、高度及面积进行比较并一一获得对应的差异值；

步骤C5，所述机器人控制柜13判断所述步骤C4得到的各个所述差异值是否在对应的预设范围内：

若是则判断所述执行特征操作后的工件为合格品，若不是则判断所述执行特征操作后的工件为不合格品。

质量检测步骤通过二维图像提取螺丝、点胶位置、插装零件的边缘特征索引到相应的三维信息，从而对零件的螺丝锁付质量、点胶质量、插装质量进行检测的方法。

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。

Claims (9)

1.一种柔性化三维视觉引导的机器人对位系统的对位方法，其对位系统包括机器人、三维扫描单元和特征操作单元，所述三维扫描单元和特征操作单元均靠近所述机器人设置，其特征在于：

所述机器人包括机械臂、夹取装置和机器人控制柜，所述夹取装置安装于所述机械臂的末端；

所述机器人控制柜用于控制所述机械臂的运动和夹取装置的动作，以夹取工件并控制所述机械臂的末端移动至所述三维扫描单元；

所述三维扫描单元包括第二工业相机和投影仪，所述投影仪用于向所述工件投射编码结构光，所述第二工业相机用于拍照捕获投射在所述工件表面的编码结构光并发送至所述机器人控制柜，所述机器人控制柜还用于根据所述第二工业相机的图像信息计算得到所述工件的表面形状、在所述工件表面的目标位置和目标位置的姿态信息；

所述特征操作单元设有特征操作头，所述机器人控制柜还用于根据所述工件的目标位置的姿态信息，计算实现特征操作所需的机械臂变化位姿，以驱动所述机械臂移动并通过变换位姿将所述工件的目标位置对准所述特征操作头；所述特征操作单元用于待所述工件的目标位置对准所述特征操作头后，驱动所述特征操作头执行对应的特征操作；

包括以下步骤：

夹取扫描步骤，机器人夹取工件并将工件移动至所述三维扫描单元，所述三维扫描单元对工件投射编码结构光并进行拍摄，生成投射有编码结构光的工件图像并发送至所述机器人控制柜；

工件特征提取步骤，所述机器人控制柜根据所述工件图像的图像信息计算得到所述工件的表面形状、在所述工件表面的目标位置和目标位置的姿态信息；

变化位姿生成步骤，所述机器人控制柜根据所述工件的目标位置的姿态信息，生成实现特征操作所需的机械臂变化位姿；

特征对准和操作步骤，所述机器人控制柜根据所述机械臂变化位姿驱动所述机械臂移动并通过变换位姿将所述工件的目标位置对准所述特征操作头，然后所述特征操作头执行对应的特征操作。

2.根据权利要求1所述的柔性化三维视觉引导的机器人对位系统的对位方法，其特征在于：所述机器人控制柜设有工件特征提取模块，所述工件特征提取模块用于根据所述第二工业相机拍摄的投射有编码结构光的工件图像获取所述工件的二维图像和第一深度图，然后对所述第一深度图的z轴方向进行归一化，对z轴方向归一化后的第一深度图进行边缘检测，获取包含目标位置的边缘点集的像素坐标，通过所述像素坐标一一对应获取所述目标位置的边缘点集的三维点坐标，并通过位姿计算获取所述目标位置的中心点坐标和法矢信息。

3.根据权利要求2所述的柔性化三维视觉引导的机器人对位系统的对位方法，其特征在于：所述机器人控制柜还设有变化位姿生成模块，所述变化位姿生成模块用于通过手眼标定将机械臂、三维扫描单元和特征操作头的坐标信息统一到同一个坐标系统，然后根据所述工件的目标位置的中心点坐标和法矢信息，计算出将所述工件的目标位置对准所述特征操作头所需的机械臂运动的变化位姿。

4.根据权利要求1所述的柔性化三维视觉引导的机器人对位系统的对位方法，其特征在于：所述夹取装置设有夹爪和第一工业相机；

所述第一工业相机用于对工件进行拍照后识别其位置信息，并将所述工件的位置信息发送至所述机器人控制柜，以驱动所述夹爪夹取所述工件并控制所述机械臂的末端移动至所述三维扫描单元。

5.根据权利要求2所述的柔性化三维视觉引导的机器人对位系统的对位方法，其特征在于：所述三维扫描单元还用于对执行特征操作后的工件进行拍照并将拍摄的图像信息发送至所述机器人控制柜；

所述机器人控制柜还设有质量检测模块，所述质量检测模块用于根据所述三维扫描单元拍摄的执行特征操作后的工件图像获取执行特征操作后的工件的第二深度图，通过所述第二深度图提取所述工件的特征操作区域平面信息和工件表面平面信息，分别计算所述特征操作区域平面和工件表面平面的平行度、高度及面积；

然后逐一对所述特征操作区域平面和工件表面平面之间的平行度、高度及面积进行比较并一一获得对应的差异值，判断各个所述差异值是否在对应的预设范围内：若是则判断所述执行特征操作后的工件为合格品，若不是则判断所述执行特征操作后的工件为不合格品。

6.根据权利要求1所述的柔性化三维视觉引导的机器人对位系统的对位方法，其特征在于：还包括工作台，所述机器人为六轴工业机器人，所述机械臂安装于所述工作台的表面，所述机器人控制柜安装于所述工作台的底部，所述三维扫描单元和特征操作单元设置于所述工作台的表面并分别靠近所述机械臂的两侧设置；

所述特征操作单元包括螺丝锁付装置，所述螺丝锁付装置通过第一安装支架竖直安装于所述工作台的表面，所述螺丝锁付装置包括驱动气缸、导轨、电动螺丝刀、螺丝供料模块、第一滑块、连接杆、第二滑块、弹簧和转接板，所述转接板竖直安装于所述第一安装支架，所述驱动气缸竖直安装于所述转接板并且所述驱动气缸的活塞杆朝下，所述导轨设置于所述转接板并和所述驱动气缸的活塞杆平行，所述电动螺丝刀通过第一滑块滑动安装于所述导轨，所述驱动气缸的活塞杆和所述第一滑块连接，所述螺丝供料模块通过第二滑块滑动安装于所述导轨，所述第一滑块通过连接杆和第二滑块螺纹连接，所述连接杆套接有所述弹簧，所述电动螺丝刀的螺丝刀头插装于所述螺丝供料模块，所述螺丝刀头为所述螺丝锁付装置的特征操作头。

7.根据权利要求6所述的柔性化三维视觉引导的机器人对位系统的对位方法，其特征在于：所述特征操作单元还包括零件插装装置和点胶装置，所述零件插装装置通过第二安装支架竖直安装于所述工作台的表面，所述零件插装装置设有零件自动出料头，所述零件自动出料头的出料方向竖直朝下，所述零件自动出料头为所述零件插装装置的所述特征操作头；

所述点胶装置通过第三安装支架竖直安装于所述工作台的表面，所述点胶装置设有点胶枪，所述点胶枪的枪头竖直朝下，所述点胶枪的枪头为所述点胶装置的所述特征操作头。

8.根据权利要求1所述的柔性化三维视觉引导的机器人对位系统的对位方法，其特征在于，所述工件特征提取步骤包括：

步骤A1，根据所述第二工业相机拍摄的投射有编码结构光的工件图像获取所述工件的二维图像和第一深度图；

步骤A2，对所述第一深度图的z轴方向进行归一化；

步骤A3，对z轴方向归一化后的第一深度图进行边缘检测，获取包含目标位置的边缘点集的像素坐标；

步骤A4，通过所述像素坐标一一对应获取所述目标位置的边缘点集的三维点坐标，并通过位姿计算获取所述目标位置的中心点坐标和法矢信息；

所述变化位姿生成步骤包括：

步骤B1，通过手眼标定将机械臂、三维扫描单元和特征操作头的坐标信息统一到同一个坐标系统；

步骤B2，根据所述步骤A4得到的目标位置的中心点坐标和法矢信息，计算出将所述工件的目标位置对准所述特征操作头所需的机械臂运动的变化位姿。

9.根据权利要求1所述的柔性化三维视觉引导的机器人对位系统的对位方法，其特征在于，还包括质量检测步骤：

步骤C1，所述机器人将执行特征操作后的工件移送至所述三维扫描单元,所述三维扫描单元对执行特征操作后的工件进行拍照并将拍摄的图像信息发送至所述机器人控制柜；

步骤C2，所述机器人控制柜根据所述三维扫描单元拍摄的执行特征操作后的工件图像获取执行特征操作后的工件的第二深度图，并从所述第二深度图提取所述工件的特征操作区域平面信息和工件表面平面信息；

步骤C3，所述机器人控制柜根据所述工件的特征操作区域平面信息和工件表面平面信息，分别计算所述特征操作区域平面和工件表面平面的平行度、高度及面积；

步骤C4，所述机器人控制柜逐一对所述特征操作区域平面和工件表面平面之间的平行度、高度及面积进行比较并一一获得对应的差异值；

步骤C5，所述机器人控制柜判断所述步骤C4得到的各个所述差异值是否在对应的预设范围内：

若是则判断所述执行特征操作后的工件为合格品，若不是则判断所述执行特征操作后的工件为不合格品。

Images