CN113618367A - 基于七自由度并联双模块机器人的多视觉空间装配系统 - Google Patents

Abstract

本发明涉及一种基于七自由度并联双模块机器人的多视觉空间装配系统，包括：送料机构，其中，送料机构包括转动电机和与转动电机的输出轴连接的载物平台；设置在三移动一转动并联子机器人的动平台上的相机系统，相机系统包括用于装配环节的左单目相机和右单目相机，以及用于拾取环节的嵌入式相机，其中，这些相机的视野至少覆盖载物平台；与七自由度并联双模块机器人的运动驱动器、相机系统和转动电机连接的计算机装置。本发明针对双模块机器人的特性，提出了一套高精度、高灵活性的拾取和装配系统，在拾取和装配两个动作上分别配套视觉解决方案，减少最终的装配误差。

Description

基于七自由度并联双模块机器人的多视觉空间装配系统

技术领域

本发明涉及一种基于七自由度并联双模块机器人的多视觉空间装配系统及方法，属于机器人技术领域。

背景技术

近年来，工业机器人应有有了快速的发展，在汽车和物流行业已经有了成熟的应用。在3C(Computer，Communication and Consumer Flectronics)领域，随着电子产品的消费量迅速增长，企业对于3C产品的生产能力和需求量的正向差越来越大。作为制造链中的一个环节，目前3C产品组装过程中由于拾取-装配动作的高度灵活性和复杂性，仍严重依赖人力。正是对3C产品拾取装配过程实现自动化的强烈需求，工业机器人成为了有一种可适用于包括3C产品组装在内的多种生产任务的替代产品。

一般而言，可以将3C产品部件的组装分为两个部分：取料和装配。在机器人辅助装配技术领域，通常采用先看后抓的开环装配方式，其先对物体进行位姿估计，再通过手眼标定获得目标在机器人基坐标系的位姿，进一步引导机器人实现拾取定位。这种装配已经成为了目前研究的热点，其中包括基于模板的位姿估计、基于配准的位姿估计、基于学习的位姿估计等方面的研究。

然而，基于3D点云的高精度全局的零部件位姿估计方法由于手眼标定与点云质量的限制，对于实际具有反光等特点的3C产品物体无法应用。同时对于本发明所涉及到的双模块机器人，其在拾取的过程中使用上臂子机器人，其是四自由度机构，面临的问题在于缺失两自由度，所以通过图像误差的形式估计机器人运动以消除图像误差以达到伺服的传统的IBVS的方式也不适合。

所以本发明采用基于深度学习的技术路线来实施装配过程中的对零部件的位姿定位。通过深度学强大的特征提取能力和非线性拟合能力，可以精确、高效的完成相对位姿估计。通过网络估计当前姿态的图像与给定姿态的相对姿态来驱动机器人进行拾取。

对于零部件的装配部分，两个工件具有严格的位姿关系，精度要求高，而一般的开环视觉方式进行机器人控制受标定精度的影响太大，且高精度的手眼标定等过程非常耗时，所以在完成装配的过程中，一般都是闭环的视觉伺服控制。一般装配中的视觉伺服按是否能看到目标对象和源对象可以分成端点开环和端点闭环系统，对于精密的3C装配，很明显端点闭环更适合装配的过程。对于端点闭环装配，其一般使用Eye-to-hand(“眼看向手”)的办法来观察源零件和待装配的零件。但是由于并联双臂机器人的3R机器人其在转动的时候会有一个伴随运动，这导致使用Eye-to-hand的方式的相机的物距发生变化，对相机的景深有很大要求，同时也会导致遮挡等问题的出现。相比之下，Eye-in-hand(“眼在手”)的方法刚好能够弥补这个不足，所以本发明使用基于Eye-in-hand的相机系统配置。

发明内容

本发明提供一种基于七自由度并联双模块机器人的多视觉空间装配系统，旨在至少解决现有技术中存在的技术问题之一。为了高精度、高灵活性的实现3C部件的装配，本发明通过构建视觉控制方案，针对并联双模块机器人的特性，搭建了一套完整的自动化视觉反馈装配系统。本发明包括两套视觉系统，先后用于拾取和装配动作。在拾取方面，能实现随机摆放的工件调整至参考的姿态范围之内，并通过上机器人精确拾取待装配的零部件。在装配方面，使用基于上机器人的双目视觉伺服方法实现固定在下机器人上的装配件与所述零部件的协同装配。

本发明的技术方案基于一种七自由度并联双模块机器人，包括：框架组件，该框架组件在底部具有基座；支撑在所述的框架组件上部的三移动一转动并联子机器人，所述三移动一转动并联子机器人包括支撑在框架组件的多个不同位置的多个驱动支链和具有自转轴的动平台，其中，每个驱动支链包括滑块和连杆组件，所述多个驱动支链的滑块都被设置成沿互相平行的直线方向运动，该连杆组件的第一端通过球面副与所述的滑块连接，所述动平台分别与每个驱动支链的连杆组件的第二端通过球面副连接；支撑在所述的框架组件下部的纯转动三自由度子机器人，所述纯转动三自由度子机器人包括：纯转动平台；安装在所述基座上的中心转动支链，该中心转动支链的上端通过万向联轴节与所述的纯转动平台底部的中间位置连接，该中心转动支链的下端通过球面副与基座上安装的支柱连接；安装在基座上的多个直线驱动支链，所述的多个直线驱动支链中的每一个直线驱动支链通过球面副与所述的纯转动平台底部的边缘位置连接。

本发明的技术方案一方面涉及一种的多视觉空间装配系统，包括：相对于所述框架固定的送料机构，其中，所述送料机构包括转动电机和与所述转动电机的输出轴连接的载物平台；用于固定待装配件的治具，所述治具可拆卸地安装在所述纯转动三自由度子机器人的纯转动平台上；设置在所述三移动一转动并联子机器人的动平台上的相机系统，所述相机系统包括用于装配环节的左单目相机和右单目相机，以及用于拾取环节的嵌入式相机，其中，所述左单目相机和右单目相机的视野至少覆盖所述治具，所述嵌入式相机的视野至少覆盖所述载物平台；与所述七自由度并联双模块机器人的运动驱动器、所述相机系统和所述转动电机连接的计算机装置。

进一步，所述转动电机固定设置在框架组件的边柱上，并且被布置成使得电机输出轴的轴线方向沿重力方向；所述载物平台的承托面被布置成水平，并且所述载物平台的端部与所述转动电机的输出轴连接，使得所述载物平台在转动时的承托面保持水平；所述三移动一转动并联子机器人的动平台的底部固定设置有T型接驳件，所述T型接驳件的横杆的两端分别安装所述左单目相机和右单目相机，所述T型接驳件的竖杆的末端安装所述嵌入式相机，其中，所述左单目相机和所述右单目相机向动平台的下方内倾。

本发明的技术方案另一方面涉及一种由计算机程序实施的方法，所述计算机程序运行于所述的多视觉空间装配系统中的计算机装置。所述方法包括以下步骤：

S1、控制送料机构接收待拾取的零部件，然后控制和引导所述三移动一转动并联子机器人的动平台运动至待机位置，使得送料机构所接收的待拾取的零部件位于所述嵌入式相机的视野内；

S2、根据所述嵌入式相机所采集的图像，对所述待拾取的零部件中的目标进行位置和角度的初步估计，并且控制所述送料机构的转动电机带动载物平台连同所述目标旋转至用于拾取该零部件的参考角度范围内；然后，利用基于深度学习的神经网络算法进行位姿迭代运算，以获取所述零部件的准确位姿；然后，控制所述三移动一转动并联子机器人的动平台上的夹具拾取所述零部件；

S3、控制所述七自由度并联双模块机器人的机械臂，将拾取到的零部件和所述治具上的待装配件对齐装配，并且同时通过所述左单目相机和所述右单目相机所采集的待装配件中的目标的图像，利用双目伺服算法计算相机系统的速度，以及获得所述三移动一转动并联子机器人和纯转动三自由度子机器人的速度，用于所述七自由度并联双模块机器人中的三移动一转动并联子机器人和纯转动三自由度子机器人之间的相对运动速度分配和装配速度协同。

进一步，所述步骤S2包括：

S21、通过所述嵌入式相机捕获至少一帧待拾取的零部件的图像进行目标检测，其中，所述目标包括零部件上的几何形状结构；

S22、对捕获的图像进行均值滤波平滑，并且将图像转至HSV颜色空间，进行颜色阈值分割；

S23、通过轮廓检测和椭圆中心点拟合算法，检测目标的特征点坐标；

S24、通过指定的两个特征点的连线与基准轴的夹角算出所述目标的角度，用于控制所述送料机构使所述目标旋转至所述参考角度范围内，以在拾取零部件前对零部件的姿态角度进行补偿。

进一步，所述步骤S24包括：

在检测到的多个特征点中，计算特征点之间的距离，从而选取距离超过一阈值的两个特征点的连接线用于所述目标的角度估计。

进一步，所述步骤S2包括：

控制所述三移动一转动并联子机器人的末端的动平台运动至能够正确拾取物体的位置并记录所述待拾取的零部件此时的位姿作为初始位姿；

将所述三移动一转动并联子机器人的末端的动平台上移一预设距离，并记录所述待拾取的零部件此时的位姿作为参考位姿；

计算所述初始位姿与所述参考位姿之间的相对位姿。

进一步，在所述步骤S2中，利用基于深度学习的神经网络算法进行位姿迭代运算以获取所述零部件的准确位姿的步骤包括以下步骤中的任意步骤：

将待拾取的零部件中的目标图像以及嵌入式相机所获取的当前图像分别输入至神经网络的特征提取层进行特征提取，并且回归所述目标图像和所述当前图像之间的相对位姿；

将目标图像、多个源图像，以及将目标图像和各个源图像之间的相对位姿作为神经网络模型的输入数据集，其中，所述源图像为参考位姿附近由所述嵌入式相机随机采集的图像；

采用AlexNet特征提取层作为特征提取网络。

进一步，所述步骤S3包括：

基于所述左单目相机和所述右单目相机分别采集的待装配件中的至少两个特征点，通过以下等式求解相机系统的速度

其中，

u是相机系统在基座标系下的速度，

是当前相机系统所拍摄的图像的特征向量与期望特征向量差，

J_c是将特征点在相机坐标系下的速度映射到像素点在图像平面上的速度的转换矩阵，

M_c是将相机坐标系下的相机的平移速度向量和旋转速度向量映射到相机坐标系下特征点的速度的转换矩阵；

Q_c是将相机坐标系下的平移速度向量和旋转速度向量映射到所述三移动一转动并联子机器人的末端工具坐标系的平移速度向量和旋转速度向量的转换矩阵；

W_c是将所述三移动一转动并联子机器人的机械臂基坐标系下的法兰盘的平移速度向量和旋转速度向量映射到相机坐标系下的法兰盘的平移速度向量和旋转速度向量的转换矩阵。

进一步，所述步骤S3包括：

配置所述三移动一转动并联子机器人为从机器人，并且配置所述纯转动三自由度子机器人为主机器人；

基于主从运动分配的方式，并通过以下等式和雅可比矩阵求解主机器人和从机器人的机械臂速度

^PAω_A＝-^WR_A ^Aω_B，

其中，

W表示世界坐标系，

PB表示所述三移动一转动并联子机器人的基坐标系，B表示所述三移动一转动并联子机器人的末端坐标系，

PA表示纯转动三自由度子机器人的基坐标系，A表示所述纯转动三自由度子机器人的末端坐标系，

v表示线速度，

ω表示角速度，

R表示坐标系旋转转换矩阵，

r表示特征点的坐标，

p_xyz是角速度和线速度转换矩阵，

^PAr_AORG是末端坐标系A在基坐标系PA下的坐标表示。

本发明的有益效果如下。

提出一套完整的面向3C装配的视觉空间装配系统，从拾取料到协同装配各个环节，在自主设计的冗余自由度并联双模块机器人上成功实现。在拾取和协同装配的过程中，根据动作的特点选取和优化对应的视觉算法，为使待装配部件的初始位姿在基于深度学习的位姿估计范围之内，先通过基于轮廓提取的方法计算目标部件的偏转角度，利用送料转台将目标运动至参考角度附近。为实现高精度拾取，使用基于深度学习的位姿估计方法，以AlexNet作为特征提取层，结合迭代的方式，提高了拾取的精度。在两个部件装配方面，能够实现基于直线约束的三维重建方法实时获取目标特征的精度，在解决末端遮挡问题的情况下利用双目视觉伺服完成了高精度的装配。

附图说明

图1是七自由度并联双模块机器人的示意图，其中安装了根据本发明的装配系统。

图2是根据本发明实施例中的送料机构的立体图。

图3是根据本发明实施例中的相机系统的安装立体图。

图4是根据本发明实施例中的双目相机的位置参数关系图。

图5是根据本发明实施例中的通过送料机构平台补偿目标角度的示意图。

图6a至6c是根据本发明实施例中的数据集制作过程示意图。

图7a和7b是根据本发明实施例中描述的相对位姿的分布图。

图8是根据本发明实施例中描述的不同特征提取层的深度和精度关系图。

图9是采用根据本发明的方案后的各装配自由度的误差分布结果图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。本文所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本文说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

参照图1，本发明的技术方案基于一种七自由度并联双模块机器人，包括：具有基座的框架组件、支撑在所述的框架组件上部的三移动一转动并联子机器人1和支撑在所述的框架组件下部的纯转动三自由度子机器人3。所述三移动一转动并联子机器人1包括：支撑在框架组件的多个不同位置的多个驱动支链和具有自转轴的动平台，其中，每个驱动支链包括滑块和连杆组件，所述多个驱动支链的滑块都被设置成沿互相平行的直线方向运动，该连杆组件的第一端通过球面副与所述的滑块连接，所述动平台分别与每个驱动支链的连杆组件的第二端通过球面副连接。所述纯转动三自由度子机器人3包括：纯转动平台；安装在所述基座上的中心转动支链，该中心转动支链的上端通过万向联轴节与所述的纯转动平台底部的中间位置连接，该中心转动支链的下端通过球面副与基座上安装的支柱连接；安装在基座上的多个直线驱动支链，所述的多个直线驱动支链中的每一个直线驱动支链通过球面副与所述的纯转动平台底部的边缘位置连接。七自由度并联双模块机器人的其他结构细节在本申请人的在先发明公布文件(CN112621728A)中进行了详细的描述。由于本发明的技术方案与所述双模块机器人的结构关联，因此以全文引用的方式将该公布文件并入本文。

为了描述方便，在下文，将三移动一转动并联子机器人简称为“3T1R”，将纯转动三自由度子机器人简称为“3PSS/S”。

参照图1至图3，在一些实施例中，根据本发明的多视觉空间装配系统包括：相对于所述框架固定的送料机构2，其中，所述送料机构2包括转动电机2-1和与所述转动电机2-1的输出轴连接的载物平台2-2；用于固定待装配件的治具4，所述治具4可拆卸地安装在所述纯转动三自由度子机器人3的纯转动平台上；设置在所述三移动一转动并联子机器人1的动平台上的相机系统5。

参照图1，所述转动电机2-1优选地固定设置在框架组件的边柱上，并且被布置成使得电机输出轴的轴线方向沿重力方向。参照图2，所述载物平台2-2的承托面被布置成水平，并且所述载物平台2-2的端部与所述转动电机2-1的输出轴连接，使得所述载物平台2-2在转动时的承托面保持水平。

相机系统5分为两个部分分别用于拾取和装配，共三个相机组成，一个用于拾取中的相对为位姿估计，两个用于视觉伺服装配。因此，所述相机系统5包括用于装配环节的左单目相机5-1和右单目相机5-2，以及用于拾取环节的嵌入式相机5-3，其中，所述左单目相机5-1和右单目相机5-2的视野至少覆盖所述治具4，所述嵌入式相机5-3的视野至少覆盖所述载物平台2-2。用于拾取环节的嵌入式相机的选择主要考虑其工作距离、分辨率、焦距与尺寸。由于拾取环节需要使用深度学习的方式来实施，这需要对单个相机从不同角度对物体进行拍摄，所以本发明通过使用Eye-in-hand的方式将嵌入式相机固定在3T1R子机器人的末端执行器。

参照图3，所述三移动一转动并联子机器人1的动平台的底部固定设置有T型接驳件，所述T型接驳件的横杆的两端分别安装所述左单目相机5-1和右单目相机5-2，所述T型接驳件的竖杆的末端安装所述嵌入式相机5-3，其中，所述左单目相机5-1和所述右单目相机5-2向动平台的下方内倾。通过两个单目相机组成的双目系统固定在3T1R子机器人的末端动平台上，其好处是在运动3T1R子机器人末端的时候不会引起对相机的遮挡。所以本发明使用具有倾斜角的双目相机使用Eye-in-hand的方式来完成该项工作。

优选地，所述左单目相机5-1和所述右单目相机5-2对称布置，使得两个相机轴线内倾地交汇于动平台的下方，并且该交互点与嵌入式相机5-3的相机轴线重合，如图4所示。优选地，内倾角度α的范围在30°至45°之间，包含范围边缘数值。因此，这样的3个相机的对称布置方式，可以简化视觉建模和运算。

此外，根据本发明的多视觉空间装配系统可以包括与所述七自由度并联双模块机器人的运动驱动器、所述相机系统5和所述转动电机2-1连接的计算机装置。通过计算机装置中运行的程序实现本发明的装配方法，其中包含机器人的运动控制方法、相机视觉系统的运算方法等。

在一些实施例中，根据本发明的装配方法包括以下步骤：

S1、控制送料机构2接收待拾取的零部件，然后控制和引导所述三移动一转动并联子机器人1的动平台运动至待机位置，使得送料机构2所接收的待拾取的零部件位于所述嵌入式相机5-3的视野内；

S2、根据所述嵌入式相机5-3所采集的图像，对所述待拾取的零部件中的目标例如是零部件上的圆形或椭圆轮廓、矩形轮廓、边角等几何特征进行位置和角度的初步估计，并且控制所述送料机构2的转动电机2-1带动载物平台2-2连同所述目标旋转至用于拾取该零部件的参考角度范围内。然后，利用基于深度学习的神经网络算法进行位姿迭代运算，以获取所述零部件的准确位姿。然后，控制所述三移动一转动并联子机器人1的动平台上的夹具拾取所述零部件。

S3、控制所述七自由度并联双模块机器人的机械臂，将拾取到的零部件和所述治具4上的待装配件对齐装配，并且同时通过所述左单目相机5-1和所述右单目相机5-2所采集的待装配件中的目标的图像，利用双目伺服算法计算相机系统5的速度，以及获得所述三移动一转动并联子机器人1和纯转动三自由度子机器人3的速度，用于所述七自由度并联双模块机器人中的三移动一转动并联子机器人1和纯转动三自由度子机器人3之间的相对运动速度分配和装配速度协同。

对于步骤S2，具体的实施例如下。如图5所示，在拾取动作开始之前，先将机器人运动至一固定姿态(待机位置)，在该姿态下相机具有完整的目标视野。然后通过一帧相机所拍摄到的送料机构的载物平台上的零部件的图像进行目标检测。对于该图像，先将图像进行均值滤波平滑，然后为了便于特征提取，再将图像转至HSV颜色空间，进行颜色阈值分割。进一步利用轮廓检测、椭圆中心点拟合等算法获取目标角点和中心点坐标，找到目标两个特征点的连线与X轴的夹角求取角度。由于能够检测到多个特征点，为了防止无用特征点的干扰，计算点特征之间的距离关系，仅仅找出长边作为角度估计的直线，利用反三角函数角度即可。

对于深度学习的定位拾取，用来完成零件的拾取与摆放，通过估计与给定位姿的相对位姿来驱动3T1R子机器人实现拾取。其具体的流程为：首先，将3T1R子机器人的动平台引导至能够正确拾取物体的位置，并基于嵌入式相机记录待拾取的零部件此时的位姿作为初始位姿；然后将子机器人末端的动平台上移一定距离的偏移量，作为参考位姿。

在正向拾取的过程中，只需要通过嵌入式相机拍摄当前位置的照片，并估计当前与参考位置的相对位姿，并将其移动相对位置，然后补偿偏移量以实现拾取。对于装配摆放时，可以通过估计的相对位姿来补偿3T1R子机器人的欠自由度导致的相对位姿伺服失败的部分。

对于步骤S2中，利用基于深度学习的神经网络算法进行位姿迭代运算以获取所述零部件的准确位姿的步骤具体如下。

S201、高精度位姿估计网络模型生成。对于拾取过程的定位，区别于传统的单张图像直接估计相对位姿，本发明中用于位姿估计的方案采用孪生网络框架，其将目标图像与当前图像(比如，是在该末端位姿附近设置随机的位姿变化量所产生的当前图像)分别输入特征提取层进行特征提取并回归两个图像之间的相对位姿。在获得了图像的深层特征之后，将两张特征图展开，并通过串联的方式获得向量，最后再通过全连接层来回归两者之间的相对位姿。其中，位姿的输出形式为XYZ表示的平移，四元数表示旋转(四元数是一种可以唯一确定空间旋转的数学形式，由一个四维向量组成，可以减小输出参数数量)。

S202、数据集的生成。神经网络模型的输入数据为目标图像、源图像(比如是参考位姿附近由所述嵌入式相机随机采集的图像)以及两者图像中的零部件的相对位姿。本发明采用的收集数据方法如图6a至6c所示。首先将3T1R子机器人末端引导到初始位姿，此初始位姿刚好能让动平台上的工具(比如吸盘)从载物平台上拾取到零部件。然后将机械臂的末端相对基坐标系Z轴向上移动一定距离，将该点作为参考位姿，在该末端位姿附近设置随机的位姿变化量，生成了多组随机的位姿图像。位姿分布如图7a和7b所示。

S203、网络模型的优化。为了获取更好的性能，对网络进行优化。对已有的网络模型进行精度分析，如图8所示，可以发现，对于越深的网络，其平移精度和旋转精度反而变低了，原因是对于本发明的拾取场景，其对象环境并不复杂，对语义信息的需求不高。因此，优选地，采用Alexnet的特征提取层作为拾取算法的特征提取网络。

S204、训练结果分析。为了使得网络的信息更好的流动，使得每一层的输出方差尽量相等，使用了Xavier算法进行初始化，同时为了缓解过拟合，在每一层的全连接后增加了Dropout层来避免过拟合。训练结果如图9a和9b所示。可以看到本发明的方法可以实现平均平移精度0.6mm，平均旋转精度0.3°，满足拾取和摆放对精度的要求。

对于步骤S3，具体的实施例如下。

S301、对于本发明的安装方式，控制点的运动是由于相机的运动产生的。所以这里将建立相机运动与相机坐标系中的空间点之间的模型。相机的运动会使得空间中的控制点产生相对运动，这个运动由两部分组成，一部分为相机平移带来的反向相对运动，另一部分由相机旋转带来的伴随速度构成，但是因为相对运动的关系，其也是反向的，所以两者之间的关系为

其中^cr表示重建出来的在相机坐标系下表示的特征点三维坐标，

代表特征点在相机c(c＝L或者R)坐标系下的空间速度，^cv_c和^cω_c代表相机c相对于相机(自身)坐标系下的平移运动和旋转运动。sk(^cr)是该点生成的反对称矩阵。

由于相机和机械臂工具法兰盘已经经过标定，两者之间的变换关系已知，法兰盘坐标系T与相机坐标系为刚体连接，进而，可以得到相机速度和机械臂工具的速度。其关系为

^cv_T＝^cv_c+^cω_c×^cr_T (12)

^cω_c＝^cω_T (13)

^cv_T表示工具在相机坐标系下的速度，其它上下标具有同等表示含义。将上述两式写成矩阵形式，可以得到相机坐标系下的相机运动与相机坐标系下的工具运动的关系为

进一步，一般需要的是从基坐标系下(控制运动只能从机器人基座标系出发)的运动信息，所以需将速度进一步转换到基坐标系下。相机坐标系到机械臂末端坐标系的转换矩阵为

其可以通过手眼标定得到(已知)，所以基于机械臂原点坐标系-相机坐标系的机械臂末端速度转换矩阵为

其c＝L或者R，(16)是空间速度在不同坐标系下的变换法则。

有了前面所述内容，可以通过坐标转换，得到特征点误差与相机末端速度的微分表达式为：

其中，u为相机在基座标系下的速度；

其将特征点在相机坐标系下的速度映射到像素点在图像平面上的速度；M_c＝[-I₃ sk(^crⁱ)]将相机坐标系下的相机的平移速度向量和旋转速度向量映射到相机坐标系下特征点的速度；

将相机坐标系下的平移速度向量和旋转速度向量映射到工具坐标系的平移速度向量和旋转速度向量；

将机械臂基坐标系下的法兰盘的平移速度向量和旋转速度向量映射到相机坐标系下的法兰盘的平移速度向量和旋转速度向量。

将其简写为

通过对相机模型进行分析，获得了像素误差的一阶微分方程，但是一个误差点只有两个自由度，所以其无法实现六自由度的速度满秩映射计算，这会使得整个系统是不稳定的。所以本发明使用最小二乘对两个相机中的四个特征点同时进行计算。将四个点组合一起可得：

此时，矩阵H列满秩，所以可以通过伪逆来确定控制速度，即为

其中λ为图像增益，相当于反馈控制率中的比例因子。H[H_left1 H_left2 H_right1H_right2]^T。得到的速度就是相机在机械臂基坐标系下的速度表示。此时，误差的特解为

error＝e^-λt (21)

此时，伺服的误差可以沿着指数级收敛。且空间中的六自由度空间都能被限制。且冗余的一个点使得算法对于误差更加鲁棒。

S302、已经在前面提出了在单个机械臂下Eye-in-hand伺服方法，对于3T1R-3R并联双臂模型，对其进行改进和速度分配，实现两个欠自由度子机器人共同实现六自由度相对速度。并使用主从办法解决自由度分配问题。图1展示了协作机器人位置关系的分布情况。

已经在S301得到了上臂末端相对于参考坐标系(上臂基坐标)的速度。将参考世界坐标系坐标系定义在下臂的末端，基坐标系是用来计算两个子机器人的正逆运动学，而参考世界坐标系是为了分配速度而建立的。这样，下机械臂-参考世界坐标系-上机械臂的模型就建立完成。此时装配伺服的微分模型可以写为：

其中T₁为下机械臂的末端坐标系，T₂为上机械臂的末端坐标系，且

对于该子机器人，将3T1R子机器人的基坐标系记为{PB}，末端坐标系记为{B}，3R子机器人的基坐标系记为{PA}，末端坐标系记为{A}，世界坐标系{W}与3R子机器人的基坐标系{PA}相重合。在获得了坐标系B相对于坐标系A的速度

后，可以将坐标系B相对与世界坐标系的速度通过3R子机器人的传递表示为

相同的，通过3T1R子机器人传递的表示为

其中，对于3R子机器人在输出一个旋转之后，其会有一个额外的平移运动的伴随运动，这些运动是由于自由度方向上的运动引起的。在本文中的子机器人，这两者的关系为：

p_xyz＝R[0 0 h]^T (25)

其中，S代表sin()，C代表cos()。因为这种耦合关系，在当给定一个^Wω_A时，就会附加产生一个^Wv_A，其关系为

^Wv_A＝^Wω_A×P_xyz (27)

除此之外，对于上面的子机器人，其只有四个沿着XYZ的平移与绕着Y轴的转动这4个自由度。所以的目标是在这些限制条件下求得速度。

S303、主从速度分配：对于本发明中使用的3T1R子机器人和3R子机器人组成的协作机器人，其两个子机器人都是少自由度的，两个子机器人整合起来是七自由度，所以为了实现伺服，就要对相关速度进行分配。

对于本发明中的伺服方法，为了方便起见，使用主从运动分配的策略来解决自由度的分配，即将自由度少的子机器人当作主机器人，将所有的旋转分配给下方的子机器人。同时，将剩余的自由度给上面的四自由度。在这样的想法下，对如式所示的子机器人速度约束进行求解。

^Wv_A+^Wω_A×^PAR_AORG+^WR_A ^Av_B-^Wr_A×^WR_A ^Aω_B＝^WR_PB ^PBv_B-^Wr_PB×^WR_PB ^PBω_B

^WR_A ^Aω_B+^Wω_A＝^WR_PB ^PBω_B

^Wv_A＝^ωω_A×p_xvz

^PBω_B＝[0 ω_Y 0]^T

对于上面的策略，可以求得

^PAω_A＝-^WR_A ^Aω_B

在上式计算得到相机速度的数值后，就可以使用雅可比矩阵求得上下两个子机器人的机械臂电机的控制速度。

应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还可以包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种基于七自由度并联双模块机器人的多视觉空间装配系统，所述七自由度并联双模块机器人包括：

框架组件，该框架组件在底部具有基座；

支撑在所述的框架组件上部的三移动一转动并联子机器人(1)，所述三移动一转动并联子机器人(1)包括支撑在框架组件的多个不同位置的多个驱动支链和具有自转轴的动平台，其中，每个驱动支链包括滑块和连杆组件，所述多个驱动支链的滑块都被设置成沿互相平行的直线方向运动，该连杆组件的第一端通过球面副与所述的滑块连接，所述动平台分别与每个驱动支链的连杆组件的第二端通过球面副连接；

支撑在所述的框架组件下部的纯转动三自由度子机器人(3)，所述纯转动三自由度子机器人(3)包括：纯转动平台；安装在所述基座上的中心转动支链，该中心转动支链的上端通过万向联轴节与所述的纯转动平台底部的中间位置连接，该中心转动支链的下端通过球面副与基座上安装的支柱连接；安装在基座上的多个直线驱动支链，所述的多个直线驱动支链中的每一个直线驱动支链通过球面副与所述的纯转动平台底部的边缘位置连接；

其特征在于，所述多视觉空间装配系统包括：

相对于所述框架固定的送料机构(2)，其中，所述送料机构(2)包括转动电机(2-1)和与所述转动电机(2-1)的输出轴连接的载物平台(2-2)；

设置在所述三移动一转动并联子机器人(1)的动平台上的相机系统(5)，所述相机系统(5)包括用于装配环节的左单目相机(5-1)和右单目相机(5-2)，以及用于拾取环节的嵌入式相机(5-3)，其中，所述左单目相机(5-1)和右单目相机(5-2)的视野至少覆盖所述纯转动平台，所述嵌入式相机(5-3)的视野至少覆盖所述载物平台(2-2)；

与所述七自由度并联双模块机器人的运动驱动器、所述相机系统(5)和所述转动电机(2-1)连接的计算机装置。

2.根据权利要求1所述的多视觉空间装配系统，其特征在于：

所述转动电机(2-1)固定设置在框架组件的边柱上，并且被布置成使得电机输出轴的轴线方向沿重力方向；

所述载物平台(2-2)的承托面被布置成水平，并且所述载物平台(2-2)的端部与所述转动电机(2-1)的输出轴连接，使得所述载物平台(2-2)在转动时的承托面保持水平；

所述三移动一转动并联子机器人(1)的动平台的底部固定设置有T型接驳件，所述T型接驳件的横杆的两端分别安装所述左单目相机(5-1)和右单目相机(5-2)，所述T型接驳件的竖杆的末端安装所述嵌入式相机(5-3)，其中，所述左单目相机(5-1)和所述右单目相机(5-2)向动平台的下方内倾。

3.根据权利要求1所述的多视觉空间装配系统，其特征在于，所述计算机装置被配置成实施以下步骤：

S1、控制送料机构(2)接收待拾取的零部件，然后控制和引导所述三移动一转动并联子机器人(1)的动平台运动至待机位置，使得送料机构(2)所接收的待拾取的零部件位于所述嵌入式相机(5-3)的视野内；

S2、根据所述嵌入式相机(5-3)所采集的图像，对所述待拾取的零部件中的目标进行位置和角度的初步估计，并且控制所述送料机构(2)的转动电机(2-1)带动载物平台(2-2)连同所述目标旋转至用于拾取该零部件的参考角度范围内；然后，利用基于深度学习的神经网络算法进行位姿迭代运算，以获取所述零部件的准确位姿；然后，控制所述三移动一转动并联子机器人(1)的动平台上的夹具拾取所述零部件；

S3、控制所述七自由度并联双模块机器人的机械臂，将拾取到的零部件和所述治具(4)上的待装配件对齐装配，并且同时通过所述左单目相机(5-1)和所述右单目相机(5-2)所采集的待装配件中的目标的图像，利用双目伺服算法计算相机系统(5)的速度，以及获得所述三移动一转动并联子机器人(1)和纯转动三自由度子机器人(3)的速度，用于所述七自由度并联双模块机器人中的三移动一转动并联子机器人(1)和纯转动三自由度子机器人(3)之间的相对运动速度分配和装配速度协同。

4.一种由计算机程序实施的方法，所述计算机程序运行于权利要求1所述的多视觉空间装配系统中的计算机装置，其特征在于，所述方法包括以下步骤：

S1、控制送料机构(2)接收待拾取的零部件，然后控制和引导所述三移动一转动并联子机器人(1)的动平台运动至待机位置，使得送料机构(2)所接收的待拾取的零部件位于所述嵌入式相机(5-3)的视野内；

S2、根据所述嵌入式相机(5-3)所采集的图像，对所述待拾取的零部件中的目标进行位置和角度的初步估计，并且控制所述送料机构(2)的转动电机(2-1)带动载物平台(2-2)连同所述目标旋转至用于拾取该零部件的参考角度范围内；然后，利用基于深度学习的神经网络算法进行位姿迭代运算，以获取所述零部件的准确位姿；然后，控制所述三移动一转动并联子机器人(1)的动平台上的夹具拾取所述零部件；

S3、控制所述七自由度并联双模块机器人的机械臂，将拾取到的零部件和所述治具(4)上的待装配件对齐装配，并且同时通过所述左单目相机(5-1)和所述右单目相机(5-2)所采集的待装配件中的目标的图像，利用双目伺服算法计算相机系统(5)的速度，以及获得所述三移动一转动并联子机器人(1)和纯转动三自由度子机器人(3)的速度，用于所述七自由度并联双模块机器人中的三移动一转动并联子机器人(1)和纯转动三自由度子机器人(3)之间的相对运动速度分配和装配速度协同。

5.根据权利要求4所述的方法，其特征在于，所述步骤S2包括：

S21、通过所述嵌入式相机(5-3)捕获至少一帧待拾取的零部件的图像进行目标检测，其中，所述目标包括零部件上的几何形状结构；

S22、对捕获的图像进行均值滤波平滑，并且将图像转至HSV颜色空间，进行颜色阈值分割；

S23、通过轮廓检测和椭圆中心点拟合算法，检测目标的特征点坐标；

S24、通过指定的两个特征点的连线与基准轴的夹角算出所述目标的角度，用于控制所述送料机构使所述目标旋转至所述参考角度范围内，以在拾取零部件前对零部件的姿态角度进行补偿。

6.根据权利要求5所述的方法，其特征在于，所述步骤S24包括：

在检测到的多个特征点中，计算特征点之间的距离，从而选取距离超过一阈值的两个特征点的连接线用于所述目标的角度估计。

7.根据权利要求5所述的方法，其特征在于，所述步骤S2包括：

控制所述三移动一转动并联子机器人(1)的末端的动平台运动至能够正确拾取物体的位置并记录所述待拾取的零部件此时的位姿作为初始位姿；

将所述三移动一转动并联子机器人(1)的末端的动平台上移一预设距离，并记录所述待拾取的零部件此时的位姿作为参考位姿；

计算所述初始位姿与所述参考位姿之间的相对位姿。

8.根据权利要求7所述的方法，其特征在于，在所述步骤S2中，利用基于深度学习的神经网络算法进行位姿迭代运算以获取所述零部件的准确位姿的步骤包括以下步骤中的任意步骤：

将待拾取的零部件中的目标图像以及嵌入式相机(5-3)所获取的当前图像分别输入至神经网络的特征提取层进行特征提取，并且回归所述目标图像和所述当前图像之间的相对位姿；

将目标图像、多个源图像，以及将目标图像和各个源图像之间的相对位姿作为神经网络模型的输入数据集，其中，所述源图像为参考位姿附近由所述嵌入式相机随机采集的图像；

采用AlexNet特征提取层作为特征提取网络。

9.根据权利要求4所述的方法，其特征在于，所述步骤S3包括：

基于所述左单目相机(5-1)和所述右单目相机(5-2)分别采集的待装配件中的至少两个特征点，通过以下等式求解相机系统(5)的速度

其中，

u是相机系统在基座标系下的速度，

是当前相机系统所拍摄的图像的特征向量与期望特征向量差，

J_c是将特征点在相机坐标系下的速度映射到像素点在图像平面上的速度的转换矩阵，

M_c是将相机坐标系下的相机的平移速度向量和旋转速度向量映射到相机坐标系下特征点的速度的转换矩阵；

Q_c是将相机坐标系下的平移速度向量和旋转速度向量映射到所述三移动一转动并联子机器人的末端工具坐标系的平移速度向量和旋转速度向量的转换矩阵；

W_c是将所述三移动一转动并联子机器人的机械臂基坐标系下的法兰盘的平移速度向量和旋转速度向量映射到相机坐标系下的法兰盘的平移速度向量和旋转速度向量的转换矩阵。

10.根据权利要求4所述的方法，其特征在于，所述步骤S3包括：

配置所述三移动一转动并联子机器人(1)为从机器人，并且配置所述纯转动三自由度子机器人(3)为主机器人；

基于主从运动分配的方式，并通过以下等式和雅可比矩阵求解主机器人和从机器人的机械臂速度

^PAω_A＝-^WR_A ^Aω_B，

其中，

W表示世界坐标系，

PB表示所述三移动一转动并联子机器人的基坐标系，B表示所述三移动一转动并联子机器人的末端坐标系，

PA表示纯转动三自由度子机器人的基坐标系，A表示所述纯转动三自由度子机器人的末端坐标系，

v表示线速度，

ω表示角速度，

R表示坐标系旋转转换矩阵，

r表示特征点的坐标，

p_xyz是角速度和线速度转换矩阵，

^PAr_AORG是末端坐标系A在基坐标系PA下的坐标表示。

Images