CN104057290B - 一种基于视觉和力反馈控制的机器人装配方法与系统 - Google Patents

Abstract

本发明公开了一种基于视觉和力反馈的机器人装配系统，该系统包括：工业机器人、工件轮廓检测单元、装配力检测单元、夹持单元和系统控制主机，其中：工业机器人根据系统控制主机的控制指令带动末端运动；装配力检测单元用于获得装配过程中轴工件和孔之间的接触力；夹持单元用于夹持轴工件；工件轮廓检测单元用于获取工件轮廓的测量数据；系统控制主机用于接收位置和力数据，并根据接收到的数据对装配工件进行定位，产生控制指令发送给工业机器人。本发明还公开了一种基于视觉和力反馈的机器人装配方法。本发明根据检测孔轮廓的三维数据以及轴孔装配时的力反馈数据，进行快速孔定位并规划装配的最优路径，从而实现轴孔的高精度自主装配。

Description

一种基于视觉和力反馈控制的机器人装配方法与系统

技术领域

本发明涉及机器人装配技术领域，尤其涉及一种基于视觉和力反馈的机器人方法与系统。

背景技术

装配是工业生产环节中非常关键的部分，装配的质量往往影响产品的最终质量。随着航空航天、汽车、国防等领域的高精尖技术的发展，对装配技术提出了具有挑战性的要求，例如RV减速器、航空发动机等高精度装配仍然是一个难题。

由于人工装配工作量大、效率低，有时候工作环境还很危险，并且工件装配的质量也得不到保证，所以实现自动化装配是形势所趋；而传统工业机器人装配由于不能很好的适应装配过程中的变化因素，只能进行一些简单的、低精度的工业装配，因此研制高精度工业机器人自主装配系统具有重要的应用意义。

发明专利申请号CN-102218652-A(一种利用机器人柔性实现轴孔装配的装置和方法)利用视觉传感器获取孔的中心位置，提供了一种在工件的位置和方位无法精确固定的情况下，将轴装入工件上的孔中的柔性装置；CN-101041220-A(利用低精度机器人实现高精度轴孔装配的方法)公开了一种利用低精度的机器人本体实现高精度轴孔装配的方法，该方法利用轴孔空间中的“碗状约束域”实现了轴孔间的装配；CN-103203755-A(机器人控制装置、机器人系统以及机器人控制方法)提供了一种进行修正值相对于力的方向不对称的阻抗控制的机器人控制装置、机器人系统以及机器人控制方法等。

上述方法和装置均是在对对孔精确定位的情况下展开的工作，但实际的自主装配过程中搜孔的算法多采用传统的螺旋搜孔法，较为耗时；而且，由于高精度轴孔装配是一个复杂的过程，装配路径的规划也限制这些方法在实际生产中的推广应用。

发明内容

针对上述问题，本发明提供一种新的高精度工业机器人自主装配方法与系统。

根据本发明的一方面，提出一种基于视觉和力反馈的机器人装配系统，该系统包括：工业机器人、工件轮廓检测单元、装配力检测单元、夹持单元和系统控制主机，其中：

所述工业机器人的末端连接所述装配力检测单元，输入端连接所述系统控制主机的输出端，接收系统控制主机发出的控制指令，并根据所述控制指令带动末端运动；

所述装配力检测单元与所述夹持单元连接，用于获得装配过程中轴工件和孔之间的接触力，并将采集到的力数据发送给所述系统控制主机；

所述夹持单元与所述装配力检测单元连接，用于夹持轴工件；

所述工件轮廓检测单元固定在所述夹持单元上，用于获取工件轮廓的测量数据，并将采集到的数据发送给所述系统控制主机；

所述系统控制主机与所述工业机器人、工件轮廓检测单元、装配力检测单元连接，用于接收所述工件轮廓检测单元和装配力检测单元采集到的数据，根据接收到的数据对于装配工件进行定位，并产生控制指令发送给所述工业机器人。

根据本发明的另一方面，还提出一种基于视觉和力反馈的机器人装配方法，所述装配方法包括以下步骤：

步骤1，将孔部件固定在工作台上，孔部件中孔的实际位置记为P_h(x_h，y_h)；

步骤2，通过工件轮廓检测单元采集孔部件视觉装配中心的位置数据，通过统计方法得到真实孔所在的区域；

步骤3，根据装配力检测单元检测得到的轴工件与孔之间的接触力，在真实孔所在的区域内搜索得到孔的位置；

步骤4，根据工件轮廓检测单元和装配力检测单元获取得到的接触点的位置和力数据，预测得到最优装配路径，并根据所述最优装配路径对于所述轴工件和孔进行装配。

本发明能够根据在线检测的工件表面轮廓信息、机器人与工件的接触力信息，进行快速有效的孔定位，规划轴孔装配的最优路径，实现轴孔的快速、高精度装配。

附图说明

图1是根据本发明一实施例的基于视觉和力反馈的机器人装配系统的结构示意图。

图2是根据本发明一实施例的视觉检测的孔中心概率分布示意图。

图3是根据本发明一实施例的系统控制主机的控制结构图。

图4是根据本发明一实施例的基于视觉和力反馈的机器人装配方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是根据本发明一实施例的基于视觉和力反馈的机器人装配系统的结构示意图，如图1所示，为实现上述目的，本发明基于视觉和力反馈的机器人装配系统为一种能够检测工件轮廓并实时调整工件位姿及运动轨迹的工业机器人装配系统，该装配系统包括工业机器人1、工件轮廓检测单元2、装配力检测单元3、夹持单元4和系统控制主机5，其中：

所述工业机器人1的末端连接所述装配力检测单元3，输入端连接所述系统控制主机5的输出端，接收系统控制主机5发出的装配工件速度、加速度和位置等控制指令，并根据所述控制指令带动末端按照指定的速度移动到指定的位置；

其中，所述工业机器人1可通过以太网等方式与所述系统控制主机5连接。

在本发明一实施例中，所述工业机器人1为六自由度工业机器人，可采用FANUC公司的工业机器人M6-iB。

所述装配力检测单元3与所述夹持单元4连接，用于获得装配过程中轴工件6和孔7之间的接触力，并将采集到的力数据发送给所述系统控制主机5；

所述装配力检测单元3进一步包括连接法兰31、力传感器32、连接法兰33、数据采集模块34，其中：

所述力传感器32与所述数据采集模块34连接，并通过连接法兰31与所述工业机器人1连接，通过连接法兰33与夹持单元4连接，用于实时监测装配过程中轴工件6和孔7之间的接触力，并将采集到的力数据发送给所述数据采集模块34；

在本发明一实施例中，所述力传感器32为六维力传感器，其可测量空间X方向、Y方向、Z方向的力以及绕X轴、Y轴和Z轴的力矩，比如可采用ATI Gamma130-10力矩传感器。

所述数据采集模块34与所述力传感器32和系统控制主机5连接，用于采集、转换所述力传感器32测量得到的力数据，并将转换后的数据输入至所述系统控制主机5中。

其中，所述转换为模拟数据到数字数据的转换。

其中，所述数据采集模块34可采用NI PCI-6254数据采集卡。

所述夹持单元4与所述装配力检测单元3连接，用于夹持轴工件6；

其中，所述夹持单元4通过气动驱动控制其张开与合紧，在本发明一实施例中，所述夹持单元4为SMC MHS4四指机械手爪。

所述工件轮廓检测单元2固定在所述夹持单元4上，用于获取工件轮廓的测量数据，并将采集到的数据发送给所述系统控制主机5；

所述工件轮廓检测单元2进一步包括视觉传感器21和图像采集模块22，其中：

所述视觉传感器21用于获取孔工件轮廓的测量数据，并将获得的数据发送给所述图像采集模块22；

所述图像采集模块22通过以太网与所述系统控制主机6连接，用于对于接收到的数据进行处理，将其转换为可用的数据形式，并将处理后的数据传输给所述系统控制主机5，由所述系统控制主机5计算得到视觉装配中心点P_v的坐标，即对于视觉装配中心点P_v进行定位，所述工件轮廓检测单元2检测到的孔中心概率分布示意图如图2所示。

在本发明一实施例中，所述图像采集装置21采用单目摄像头，比如Manta G201C。

所述系统控制主机5与所述工业机器人1、工件轮廓检测单元2、装配力检测单元3连接，用于接收所述工件轮廓检测单元2和装配力检测单元3采集到的数据，根据接收到的数据对于装配工件进行定位，并产生控制指令发送给所述工业机器人1。

所述系统控制主机5进一步包括装配路径规划模块51、孔定位模块52和装配力控制模块53，其中：

所述路径规划模块51的输出端连接所述工业机器人1的输入端，用于向所述工业机器人1输出制定好的运动路径；

所述孔定位模块52的输入端连接所述工件轮廓检测单元2的输出端，用于根据所述工件轮廓检测单元2发送的数据对于装配工件进行定位，并产生相应的位置控制指令；

所述装配力控制模块53的输入端连接所述装配力检测单元3的输出端，用于根据所述装配力检测单元3发送的数据产生装配力控制指令。

图3是根据本发明一实施例的系统控制主机的控制结构图，如图3所示，用标定板标定工业机器人坐标系与摄像机坐标系之间的坐标变换关系，同时建立机器人坐标系与工件坐标之间的转换关系，轮廓检测传感器21采集孔工件的轮廓信息并与已存于控制主机5中的孔工件7的设计数据进行比对以确定孔工件7的视觉中心，将路径规划模块51获得的装配轨迹转换为工业机器人1的末端运动轨迹，当轴工件6和空工件7接触后，根据期望力f_d和实际检测力f的误差反馈进行机器人的轨迹规划，直至装配完成。

根据本发明的另一方面，还提出一种基于视觉和力反馈的机器人装配方法，如图4所示，所述装配方法包括以下步骤：

步骤1，将孔部件固定在工作台上，孔部件中孔的实际位置记为P_h(x_h，y_h)；

步骤2，通过工件轮廓检测单元采集孔部件视觉装配中心的位置数据，通过统计方法得到真实孔所在的区域；

所述步骤2进一步包括以下步骤：

步骤21，通过工件轮廓检测单元采集孔部件视觉装配中心位置P_v1(x_v1,y_v1)，得到P_v1和P_h与之间的欧氏距离： $\mathrm{el}=\sqrt{{(x_h-x_{v1})}^2+{(y_h-y_{v1})}^2},$ 即视觉装配中心位置与实际孔位置之间的偏差；

步骤22，重复n次所述步骤21，得到P_h(x_h,y_h)与视觉装配中心位置集合P_v＝{P_v1,P_v2,P_v3,...,P_vn}(其中，n为得到的视觉装配中心位置的数量)之间的偏差的集合e＝{e₁,e₂,e₃,...,e_n}，其中，集合e服从高斯分布，即：e～N(μ,σ²)，其中，μ为期望，方差σ²为方差；

步骤23，根据所述步骤22中集合e的正态分布图可以发现距离真实孔较远和较近的点的数量均很少，因此取99％的置信度即可较好的描述真实孔所在范围，得到其置信区间[R_min，R_max]；

步骤24，以第i次装配的视觉装配中心P_v(i)＝(x_i,y_i)为圆心，分别以R_min和R_max为半径作圆，得到真实孔所在的区域：Ar＝π(R² _max-R² _min)。

步骤3，根据装配力检测单元检测得到的轴工件与孔之间的接触力，在真实孔所在的区域内搜索得到孔的位置；

所述步骤3进一步包括以下步骤：

步骤31，工业机器人末端施加Z轴方向向下的力，当轴工件和孔接触后按照螺旋法在所述区域A_r中搜索，若检测得到Z轴力发生变化，则搜孔成功；

步骤32，如果所述步骤31没有搜孔成功，则以一定的步长扩大搜孔范围后再进行搜索，比如(R_min-σ,R_max+σ)，其中，σ为步长，以此类推，直至搜孔成功。

当孔的定位完成后，轴工件和孔就处于装配的初始状态，则接下来进行轴孔的自主装配。

步骤4，根据工件轮廓检测单元和装配力检测单元获取得到的接触点的位置和力数据，预测得到最优装配路径，并根据所述最优装配路径对于所述轴工件和孔进行装配。

所述步骤4进一步包括以下步骤：

步骤41，根据工件轮廓检测单元和装配力检测单元，获取轴孔装配初始状态下，轴工件和孔的初始接触点的位置数据Pos(i)＝(x_i,y_i,z_i,θ_xi,θ_yi,θ_zi)和相应的力数据S(i)＝(F_xi,F_yi,F_zi,T_xi,T_yi,T_zi)，其中，Pos(i)表示i点接触时轴的位姿，其中x_i，y_i，z_i分别表示轴接触点的x,y,z轴坐标，θ_x,θ_y,θ_z表示轴绕x,y,z轴的偏转角，F_xi,F_yi,F_yi表示x,y,z方向上的力，T_xi,T_yi,T_zi表示轴工件对x,y,z轴产生的力矩；

步骤42，从所述轴工件和孔的初始接触点出发，根据Z轴方向装配力F_z最小原则，得到装配路径Path1，直至到达指定装配深度；

具体地，该步骤中，从所述轴工件和孔的初始接触点出发，下一接触点的位姿Pos(i+1)及对应的检测接触力S(i+1)可根据Z轴方向装配力F_z最小的原则，并通过调整位姿来确定，进而得到位姿集合

{Pos(i+2),Pos(i+3),...,Pos(i+n)}及对应的检测力数据集合

{S(i+2),S(i+3),...,S(i+n)}。其中，当存在两点或三点接触时，选择最低点作为可用点。这样就形成了一条装配路径Path1，这条路径均是沿照F_z最小的方向进行装配。

步骤43，重复m次所述步骤41和步骤42，得到训练数据集合Set＝{(Pos(1),S(1),Path(1)),(Pos(2),S(2),Path(2)),...,(Pos(n),S(n),Pathn))}；

步骤44，使用SVR回归算法训练得到位姿数据Pos(i)和力数据S(i)与对应的路径Path之间的映射关系F，对于任意点的位置数据Pos(i)及其所对应的力数据S(i)，可以根据所述映射关系F预测得到一条最优的装配路径Path(i)，从而完成装配。

其中，如果在装配过程中，某位置Z方向的装配力F_Z大于给定最大装配力Fmax，则认为该位置不是最优装配路径上的点，放弃该点，再按照F_Z最小原则改变轴位姿，待修正后再沿路径进行装配。

其中，所述步骤44中的SVR回归算法的实现步骤如下：

步骤C1，设训练数据集其中，xⁱ＝{Pos(i)，S(i)},yⁱ＝{Path(i)}，x_i代表训练样本的输入，而y_i代表对应输入x_i的输出，i＝1,...,n，表示变量的维数空间；

步骤C2，设非线性回归函数

f(x)＝〈ω,φ(x)〉+b (1)

其中，φ(x)为x对应多维空间的映射,ω为权重,b为阈值。

则参数ω和b可以通过解下列二次优化问题进行训练：

$\underset{w,b,\mathrm{\ξ}{,\mathrm{\ξ}}^{*}}{\min }\frac{1}{2}{\mathrm{\ω}}^T\mathrm{\ω}+{C1}^T(\mathrm{\ξ}+{\mathrm{\ξ}}^{*}),$

w.r.t.ω,ξ,ξ^*,b，

s.t.y-(〈ω,Φ(x)〉+b)≤1ε+ξ

(〈ω,Φ(x)〉+b)-y≤1ε+ξ^*

ξ,ξ^*≥0

其中，ω是权重，C为误差惩罚参数,ε不敏感损失函数,ξ,ξ^*为松弛变量向量，b阈值。

步骤C3.引入拉格朗日对偶函数得到以下对偶公式：

$\begin{array}{c}\underset{a,a^{*}}{\max }=-\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}({\mathrm{\α}}_1-{{\mathrm{\α}}_i}^{*})({\mathrm{\α}}_j-{{\mathrm{\α}}_j}^{*})k(x_i,x_j)-\mathrm{\ϵ}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(a_i+{a_i}^{*})\\ +\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(a_i-{a_i}^{*})y_i\\ w.r.t.{\mathrm{\α}}_i,{{\mathrm{\α}}_i}^{*}\\ \mathrm{st}.\underset{i}{\mathrm{\Σ}}({\mathrm{\α}}_i-{{\mathrm{\α}}_i}^{*})=0\\ 0\≤{\mathrm{\α}}_i,{{\mathrm{\α}}_i}^{*}\≤C,\end{array},$

其中，k(x_i,x_j)＝φ(x_i),φ(x_j)为核函数，为了预防过拟合，核函数采用高斯核函数α_i,α_i ^*为对应分离约束的对偶变量向量，N为变量的个数。

步骤C4.求解所述步骤C3中的方程，则回归函数(1)可写为：

$f\left(x\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}({\mathrm{\α}}_i-{{\mathrm{\α}}_i}^{*})k(x,x_i)+b,$

这样就可求得参数b的值。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于视觉和力反馈的机器人装配系统，其特征在于，该系统包括：工业机器人、工件轮廓检测单元、装配力检测单元、夹持单元和系统控制主机，其中：

所述工业机器人的末端连接所述装配力检测单元，输入端连接所述系统控制主机的输出端，接收系统控制主机发出的控制指令，并根据所述控制指令带动末端运动；

所述装配力检测单元与所述夹持单元连接，用于获得装配过程中轴工件和孔之间的接触力，并将采集到的力数据发送给所述系统控制主机；

所述夹持单元与所述装配力检测单元连接，用于夹持轴工件；

所述工件轮廓检测单元固定在所述夹持单元上，用于获取工件轮廓的测量数据，并将采集到的数据发送给所述系统控制主机；

所述系统控制主机与所述工业机器人、工件轮廓检测单元、装配力检测单元连接，用于接收所述工件轮廓检测单元和装配力检测单元采集到的数据，根据接收到的数据对于装配工件进行定位，并产生控制指令发送给所述工业机器人；

所述系统控制主机包括装配路径规划模块、孔定位模块和装配力控制模块，其中：

所述路径规划模块的输出端连接所述工业机器人的输入端，用于向所述工业机器人输出制定好的运动路径；

所述孔定位模块的输入端连接所述工件轮廓检测单元的输出端，用于根据所述工件轮廓检测单元发送的数据对于装配工件进行定位，并产生相应的位置控制指令；

所述装配力控制模块的输入端连接所述装配力检测单元的输出端，用于根据所述装配力检测单元发送的数据产生装配力控制指令。

2.根据权利要求1所述的系统，其特征在于，所述装配力检测单元包括连接法兰、力传感器、连接盘、数据采集模块，其中：

所述力传感器与所述数据采集模块连接，并通过连接法兰与所述工业机器人连接，通过连接盘与夹持单元连接，用于实时监测装配过程中轴工件和孔之间的接触力，并将采集到的力数据发送给所述数据采集模块；

所述数据采集模块与所述力传感器和系统控制主机连接，用于采集、转换所述力传感器测量得到的力数据，并将转换后的数据输入至所述系统控制主机中。

3.根据权利要求1所述的系统，其特征在于，所述夹持单元通过气动驱动控制其张开与合紧。

4.根据权利要求1所述的系统，其特征在于，所述工件轮廓检测单元包括视觉传感器和图像采集模块，其中：

所述视觉传感器用于获取孔工件轮廓的测量数据，并将获得的数据发送给所述图像采集模块；

所述图像采集模块通过以太网与所述系统控制主机连接，用于对于接收到的数据进行处理，将其转换为可用的数据形式，并将处理后的数据传输给所述系统控制主机。