CN109176514B - 一种基于立体视觉伺服的绕轴旋转机构操作方法 - Google Patents

Abstract

本发明公开了一种基于立体视觉伺服的绕轴旋转机构操作方法，属于工业控制设备技术领域。本发明的操作机构包括深度信息采集单元、光学采集单元、标定模块及机械臂，操作方法包括构建映射关系的步骤，获得变换参数的步骤，对目标进行粗定位的步骤，对目标进行精确定位的步骤，计算旋转中心的三维坐标的步骤和操作绕轴旋转机构的步骤。本发明实现了对绕轴旋转机构的空间定位，提高了系统的自动化程度，简化操作流程，能准确高效的完成操作。

Description

一种基于立体视觉伺服的绕轴旋转机构操作方法

技术领域

本发明属于工业控制设备技术领域，具体涉及一种基于立体视觉伺服的绕轴旋转机构操作方法。

背景技术

绕轴旋转机构作为一种开关设计，其优点是结构简单、操作方便并且可以控制多种状态的切换。因此，在石油化工、电力能源以及电气机械的控制设备当中，绕轴旋转机构被广泛应用于控制电路的通断、切换设备的工作状态等等。

然而，这些绕轴旋转机构的控制需要操作人员手动介入进行拨动选择，工作较为繁琐，效率低下。在一些非常规的环境当中，操作人员的直接介入也存在着安全隐患，如设备漏电、操作环境恶劣等等。

现有的解决方案主要有通过带伺服电机的机械手通过遥控面板去进行旋转机构的操作，通过遥控面板上的参数进行遥控操作。这种操作方法的效率不高，而且需要操作人员实时看着读数进行操作，自动化程度较低。还有通过预置好的设备参数，使机械臂末端自动到达旋转机构的位置，进行旋转操作，这样的方案虽然解决了操作自动话的问题，但是机械组装的精度要求高，成本较大，且参数需要预先设定，灵活性较低。

发明内容

为了改善绕轴旋转机构控制方式，本发明提供一种基于立体视觉伺服的绕轴旋转机构操作方法。

具体地说，本发明包括以下步骤：构建映射关系的步骤：建立基于深度相机的空间模型，构建图像像素坐标与对应的空间坐标的映射关系；

获得变换参数的步骤：标定深度相机在机械臂坐标系中的位置，获得深度相机坐标系到机械臂坐标系的变换参数；

对目标进行粗定位的步骤：以待操作的绕轴旋转机构为目标，根据初始的目标位置信息，进行目标的粗定位；

对目标进行精确定位的步骤：在粗定位的基础上，利用目标在光学图像当中的形态学特征，使用图像处理的方法在二维平面当中对目标的旋转中心精确定位，得到旋转中心点坐标；

计算旋转中心的三维坐标的步骤：根据图像中精确定位的旋转中心点坐标，结合图像像素坐标与对应的空间坐标的映射关系，计算深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标；利用深度相机坐标系到机械臂坐标系的变换参数，将深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标以及绕轴旋转机构的旋转轴向量变换到机械臂坐标系下；

操作绕轴旋转机构的步骤：根据机械臂坐标系下旋转中心的三维坐标以及绕轴旋转机构的旋转轴向量，执行对应的机械臂动作序列，操作绕轴旋转机构。

上述技术方案的进一步特征在于：获得变换参数的步骤，具体包括以下过程：

A1)调整机械臂的螺杆的位置至水平，正方向为机械臂朝向目标的正方向，保证标定模块在深度相机视野范围内且其平面法向量l_ref在机械臂坐标系中为(0,0,-1)，测量螺杆的末端到机械臂主座的距离，并在机械臂模型中将螺杆与主座的距离设置为实际的测量值；

A2)使用深度相机拍摄标定模块，在标定模块平面上选取N个像素，N值为标定模块平面上框定区域内所有像素的总和，获得三维点集合PointSet_N＝{(x_i,y_i,z_i)|i∈N}，其中x_i,y_i,z_i分别表示第i个像素在深度相机坐标系中的三维坐标；

A3)对三维点集合PointSet_N拟合的平面，获得标定模块在深度相机坐标系中的平面法向量I_target，计算l_ref与I_target的夹角α及β：

其中，I_x、I_y、I_z分别是平面法向量I_target的三个方向上的分量；

A4)在机械臂模型中，加入深度相机拍摄的三维实景图，根据得到的深度相机坐标系下标定物的平面法向量I_target，设置机械臂模型角度的参数，使机械臂模型中螺杆末端与深度相机拍摄的三维实景图中的螺杆末端平行；

A5)通过对比机械臂模型与深度相机拍摄的机械臂的三维实景图的重合度，迭代调整机械臂模型的空间位置及角度，使模型与三维实景图完全重合，调整产生的位移(Δx,Δy,Δz)和绕z轴旋转的角γ以及α及β即为深度相机坐标系到机械臂坐标系的变换参数。

上述技术方案的进一步特征在于：对目标进行精确定位的步骤，具体包括以下过程：

B1)利用目标的模板图像I_template作为滑动窗，遍历由深度相机拍摄的原图I_src，使用模板匹配算法，通过模板图像在拍摄的原图上滑动卷积，获得卷积结果的矩阵，矩阵中的最大值即为原图中与模板图像相关性最高的位置，从而定位目标在原图当中的位置；

B2)对图像做滤波和阈值分割操作，将目标与背景分离出来；

B3)根据步骤B2)中阈值分割将目标与背景分离出来产生的二值图像，在二值图像中寻找轮廓，筛选出符合条件的轮廓，将轮廓内的点作为中心像素集合；

B4)对中心像素集合计算重心，该重心的坐标即为旋转中心点坐标。

上述技术方案的进一步特征在于：所述步骤B2)中，滤波采用均值漂移方法，根据均值漂移方法使用滑动窗口扫描图像矩阵，通过窗口的颜色半径和空间半径的筛选，将图像矩阵中经过窗口变换后收敛到数据峰值的所有点连通起来，实现滤波效果。

上述技术方案的进一步特征在于：所述步骤B2)中，阈值分割操作采用漫水填充算法，将连通的点划分为不同的区域，将目标与背景分离出来。

上述技术方案的进一步特征在于：所述根据图像中精确定位的旋转中心点坐标，结合图像像素坐标与对应的空间坐标的映射关系，计算深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标，包括以下步骤：

C1)框选绕轴旋转机构所放置的主体平面的区域，保证被框选的区域在该平面上的高度一致，计算出区域内所有像素的三维空间坐标，拟合出像素点集合的三维坐标在相机坐标系下的平面方程：

A(X-X_q)+B(Y-Y_q)+C(Z-Z_q)＝D

其中A、B、C为平面方程法向量的参数，D为平面偏移量，A、B、C、D为拟合函数的输出结果，(X_q,Y_q,Z_q)为绕轴旋转机构所放置的主体平面上的一点；

C2)测量绕轴旋转机构表面距离其所放置的主体平面的高度H，计算绕轴旋转机构表面上的一点坐标：

其中，(X_p,Y_p,Z_p)为绕轴旋转机构表面上的一点，V为绕轴旋转机构所放置的主体平面法向量，V_x,V_y,V_z为该法向量的三个方向上的分量。

C3)利用旋转中心点坐标，根据图像像素坐标与对应的空间坐标的映射关系，获得其在三维空间中的对应坐标，进行以下计算：

其中，X_C,Y_C是深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标Q(X_C,Y_C,Z_C)的X轴和Y轴坐标，利用旋转中心点坐标根据图像像素坐标与对应的空间坐标的映射关系获得，Z_C是深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标Q(X_C,Y_C,Z_C)的Z轴坐标，从而获得了旋转中心的三维坐标Q(X_C,Y_C,Z_C)。

上述技术方案的进一步特征在于：所述利用深度相机坐标系到机械臂坐标系的变换参数，将深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标以及绕轴旋转机构的旋转轴向量变换到机械臂坐标系下，具体包括以下步骤：

D1)利用深度相机坐标系到机械臂坐标系的变换参数，计算刚体变换矩阵(R|T)；

D2)对深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标进行仿射变换，获得机械臂坐标系下的旋转中心坐标；

D3)对深度相机坐标系下绕轴旋转机构的旋转轴向量进行仿射变换，获得机械臂坐标系下的旋转轴向量。

上述技术方案的进一步特征在于：所述操作绕轴旋转机构的步骤，具体包括以下过程：

E1)根据机械臂坐标系下旋转中心的三维坐标以及绕轴旋转机构的旋转轴向量，调整机械臂角度，使得机械臂的螺杆轴所在直线与机械臂坐标下绕轴旋转机构的旋转轴向量共线；

E2)根据机械臂坐标系下旋转中心的三维坐标，设置机械臂参数，使螺杆伸出到达操作位置；

E3)张开螺杆末端的操作手指；

E4)继续伸出螺杆完全到达绕轴旋转机构所在位置，收紧手指，对绕轴旋转机构进行旋转，放开手指，螺杆缩回。

为了实现上述操作方法，本发明还提供一种基于立体视觉伺服的绕轴旋转机构的操作机构，具体地说，包括深度信息采集单元、光学采集单元、标定模块及机械臂，深度信息采集单元用于采集深度信息，光学采集单元用于采集光学图像，所述机械臂包括机械臂主座和安装在机械臂主座的螺杆，所述螺杆在受控的状态下进行相应旋转和伸缩，深度信息采集单元及光学采集单元固定在机械臂主座上，采集视野包括机械臂的末端以及机械臂的前方目标，标定模块固定在螺杆末端，其法向量与螺杆方向平行，用于位置标定，在螺杆的末端有用于操作的操作手指。所述深度信息采集单元与光学采集单元集成在一部深度相机中。

本发明的有益效果如下：本发明提出了基于视觉伺服的绕轴旋转机构操作方法，该方法实现了对绕轴旋转机构的空间定位，为机械臂操作提供目标信息，提高了系统的自动化程度，简化了操作人员的操作流程，能够准确高效的完成对目标的操作作业。

附图说明

图1是本发明的流程图。

图2是机械臂的示意图。

具体实施方式

下面结合实施例并参照附图对本发明作进一步详细描述。

实施例1：

本实施例采用的对绕轴旋转机构进行操作的机构包括深度信息采集单元、光学采集单元、标定模块及机械臂。深度信息采集单元用于采集深度信息，光学采集单元用于采集光学图像。深度信息采集单元与光学采集单元可用一部深度相机实现。机械臂的结构如图2所示，包括机械臂主座2和安装在机械臂主座2的螺杆3。螺杆3可以在受控的状态下进行相应旋转和伸缩。深度相机1固定在机械臂主座2上，其信息采集视野包括机械臂的末端以及机械臂的前方目标。标定模块为一个立方体块固定在螺杆3末端，其法向量与螺杆3方向平行，用于位置标定。在螺杆3的末端有用于操作的操作手指4。

本实施例的基于立体视觉伺服的绕轴旋转机构操作方法，包括以下步骤：

1、建立基于深度相机的空间模型，构建图像像素坐标(u,v)与对应的空间坐标(X,Y,Z)的映射关系，得到映射表。空间模型的建立是通过目标点集合的三维信息拟合出空间坐标系，目标点集合的三维信息是根据由深度相机采集的深度信息和深度相机的参数计算获得。

2、标定深度相机在机械臂坐标系中的位置，获得深度相机坐标系到机械臂坐标系的变换参数(α,β,γ,ΔX,ΔY,ΔZ)，其中α为深度相机坐标系与机械臂坐标系之间以机械臂坐标系的X轴为旋转轴进行旋转的夹角(即俯仰夹角)，β为深度相机坐标系与机械臂坐标系之间以机械臂坐标系的Y轴为旋转轴进行旋转的夹角(即偏转角)，γ为深度相机坐标系与机械臂坐标系之间以机械臂坐标系的Z轴为旋转轴进行旋转的夹角，Z轴为机械臂朝向目标的正方向，ΔX,ΔY,ΔZ是深度相机坐标系与机械臂坐标系之间的位移量。上述机械臂坐标系的X轴与地面平行，Y轴垂直于地面，Z轴垂直于X轴与Y轴。具体包括以下步骤：

A1)调整机械臂的螺杆的位置至水平，正方向为机械臂朝向目标的正方向，即让螺杆与机械臂坐标系之间的俯仰角为0°、偏转角为0°，保证标定模块在深度相机视野范围内且其平面法向量l_ref在机械臂坐标系中为(0,0,-1)，测量螺杆的末端到机械臂主座的距离，并在机械臂模型中将螺杆与主座的距离设置为实际的测量值；

A2)使用深度相机拍摄标定模块，在标定模块平面上选取N个像素，N值为标定模块平面上框定区域内所有像素的总和，选取N值大于8000，原则上N值越大，拟合的平面越稳定，获得三维点集合PointSet_N＝{(x_i,y_i,z_i)|i∈N}，其中x_i,y_i,z_i分别表示第i个像素在深度相机坐标系中的三维坐标；

A3)对三维点集合PointSet_N拟合的平面，获得标定模块在深度相机坐标系中的平面法向量I_target，计算l_ref与I_target的夹角α及β，计算公式如下：

其中，I_x、I_y、I_z分别是平面法向量I_target的三个方向上的分量；

A4)在机械臂模型中，加入深度相机拍摄的三维实景图，根据得到的深度相机坐标系下标定物的平面法向量I_target，设置机械臂模型角度的参数，使机械臂模型中螺杆末端与深度相机拍摄的三维实景图中的螺杆末端平行；

A5)通过对比机械臂模型与深度相机拍摄的机械臂的三维实景图的重合度，迭代调整机械臂模型的空间位置及角度，使模型与三维实景图完全重合，调整产生的位移(Δx,Δy,Δz)和绕z轴旋转的角γ以及α及β即为深度相机坐标系到机械臂坐标系的变换参数。

3、进行目标的粗定位：根据初始录入的待操作的绕轴旋转机构(该绕轴旋转机构即为目标)的目标位置信息，移动机械臂到目标前，使机械臂上的螺杆正对目标，并使得目标完全在深度相机视野当中。

4、进行目标的精确定位：利用目标在光学图像当中的形态学特征，使用图像处理的方法在二维平面当中对目标的旋转中心精确定位，得到旋转中心点坐标p_center(u,v)，具体包括以下步骤：

B1)利用目标的模板图像I_template作为滑动窗，遍历由深度相机拍摄的原图I_src，使用模板匹配算法，通过模板图像在拍摄的原图上滑动卷积，获得卷积结果的矩阵，矩阵中的最大值即为原图中与模板图像相关性最高的位置，从而定位目标在原图当中的位置，用(u,v)表示，此(u,v)点可能是目标图像区域中任意一点，并非旋转中心点；

B2)进行图像预处理：对图像做滤波和阈值分割操作，滤波使用的方法采用meanshift(均值漂移)方法，均值漂移方法使用滑动窗口扫描图像矩阵，通过窗口的颜色半径和空间半径的筛选，将图像矩阵中经过窗口变换后收敛到数据峰值的所有点连通起来，实现滤波效果，阈值分割使用floodfilled(漫水填充)算法，将连通的点划分为不同的区域，从而将目标与背景分离出来；

B3)筛选旋转中心像素：根据步骤B2)中阈值分割将目标与背景分离出来产生的二值图像，在二值图像中寻找轮廓，筛选出符合条件的轮廓，将轮廓内的点作为中心像素集合；

B4)对中心像素集合计算重心，该重心即为旋转中心点p_center(u,v)，重心的计算公式如下：

其中，N为中心像素集中像素的总数量，u_i和v_i表示中心像素集中第i个像素的位置。

5、计算旋转中心的三维坐标：绕轴旋转机构的旋转轴与其被放置的主体平面的法向量默认是平行的，故根据几何关系可以计算出深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标Q(X_C,Y_C,Z_C)，具体包括以下步骤：

C1)框选绕轴旋转机构所放置的主体平面的区域，保证被框选的区域在该平面上的高度一致，计算出区域内所有像素的三维空间坐标，拟合出像素点集合的三维坐标在相机坐标系下的平面方程：

A(X-X_q)+B(Y-Y_q)+C(Z-Z_q)＝D

其中A、B、C为平面方程法向量的参数，D为平面偏移量，A、B、C、D为拟合函数的输出结果，(X_q,Y_q,Z_q)为绕轴旋转机构所放置的主体平面上的一点，其法向量l(A,B,C)即为绕轴旋转机构表面的法向量；

C2)测量绕轴旋转机构表面距离其所放置的主体平面的高度H，计算绕轴旋转机构表面上的一点坐标：

其中，(X_p,Y_p,Z_p)为绕轴旋转机构表面上的一点，V为绕轴旋转机构所放置的主体平面法向量，V_x,V_y,V_z为该法向量的三个方向上的分量。

C3)利用步骤4中确定的旋转中心点坐标p_center(u,v)，通过深度相机的映射表获得其在三维空间中的对应坐标，进行以下计算：

其中，X_C,Y_C是深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标Q(X_C,Y_C,Z_C)的X轴和Y轴坐标，X_C,Y_C根据旋转中心点坐标p_center(u,v)在深度相机的映射表中获得，Z_C是深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标Q(X_C,Y_C,Z_C)的Z轴坐标，从而获得了旋转中心的三维坐标Q(X_C,Y_C,Z_C)。

6、坐标变换：将步骤5中深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标Q(X_C,Y_C,Z_C)转换到机械臂坐标系下P(X_M,Y_M,Z_M)，并将深度相机坐标系下绕轴旋转机构的旋转轴向量转换到机械臂坐标系下，具体包括以下步骤：

D1)计算刚体变换矩阵(R|T)，计算公式为：

D2)对深度相机坐标系下旋转中心坐标Q(X_C,Y_C,Z_C)进行仿射变换，获得机械臂坐标系下的旋转中心坐标，变换公式如下：

(X_MY_MZ_M1)＝(R|T)*(X_CY_CZ_C)^T

其中(X_M,Y_M,Z_M)即为机械臂坐标系下旋转中心的三维坐标；

D3)对深度相机坐标系下绕轴旋转机构的旋转轴向量进行仿射变换，获得机械臂坐标系下的旋转轴向量：

其中，L_M为机械臂坐标系下绕轴旋转机构的旋转轴向量，L_C为深度相机坐标系下绕轴旋转机构的旋转轴向量。

7、对目标进行旋转操作，旋转的角度根据绕轴旋转机构要求的角度进行设定。将P(X_M,Y_M,Z_M)和L_M作为机械臂参数传调整机械臂姿态，使螺杆对准绕轴旋转机构的旋转中心且与目标平面法向量平行，执行动作序列，具体包括以下步骤：

E1)根据步骤6中计算得到的旋转中心的三维坐标P(X_M,Y_M,Z_M)和L_M，调整机械臂角度，使得机械臂的螺杆轴所在直线与L_M共线；

E2)根据步骤6中获得的旋转中心的三维坐标P(X_M,Y_M,Z_M)，设置机械臂参数，使螺杆伸出到达操作位置，如距离目标10mm的距离；

E3)张开螺杆末端的操作手指；

E4)继续伸出螺杆完全到达绕轴旋转机构所在位置，收紧手指，对绕轴旋转机构进行旋转，放开手指，螺杆缩回。

虽然本发明已以较佳实施例公开如上，但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (8)

1.一种基于立体视觉伺服的绕轴旋转机构操作方法，其特征在于，包括以下步骤：

构建映射关系的步骤：建立基于深度相机的空间模型，构建图像像素坐标与对应的空间坐标的映射关系；

获得变换参数的步骤：标定深度相机在机械臂坐标系中的位置，获得深度相机坐标系到机械臂坐标系的变换参数；

对目标进行粗定位的步骤：以待操作的绕轴旋转机构为目标，根据初始的目标位置信息，进行目标的粗定位；

对目标进行精确定位的步骤：在粗定位的基础上，利用目标在光学图像当中的形态学特征，使用图像处理的方法在二维平面当中对目标的旋转中心精确定位，得到旋转中心点坐标；

计算旋转中心的三维坐标的步骤：根据图像中精确定位的旋转中心点坐标，结合图像像素坐标与对应的空间坐标的映射关系，计算深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标；利用深度相机坐标系到机械臂坐标系的变换参数，将深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标以及绕轴旋转机构的旋转轴向量变换到机械臂坐标系下；

操作绕轴旋转机构的步骤：根据机械臂坐标系下旋转中心的三维坐标以及绕轴旋转机构的旋转轴向量，执行对应的机械臂动作序列，操作绕轴旋转机构。

2.根据权利要求1所述的基于立体视觉伺服的绕轴旋转机构操作方法，其特征在于：获得变换参数的步骤，具体包括以下过程：

A1)调整机械臂的螺杆的位置至水平，正方向为机械臂朝向目标的正方向，保证标定模块在深度相机视野范围内且其平面法向量l_ref在机械臂坐标系中为(0,0,-1)，测量螺杆的末端到机械臂主座的距离，并在机械臂模型中将螺杆与主座的距离设置为实际的测量值；

A2)使用深度相机拍摄标定模块，在标定模块平面上选取N个像素，N值为标定模块平面上框定区域内所有像素的总和，获得三维点集合Point Set_N＝{(x_i,y_i,z_i)|i∈N}，其中x_i,y_i,z_i分别表示第i个像素在深度相机坐标系中的三维坐标；

A3)对三维点集合Point Set_N拟合的平面，获得标定模块在深度相机坐标系中的平面法向量I_target，计算l_ref与I_target的夹角α及β：

其中，I_x、I_y、I_z分别是平面法向量I_target的三个方向上的分量；

A4)在机械臂模型中，加入深度相机拍摄的三维实景图，根据得到的深度相机坐标系下标定物的平面法向量I_target，设置机械臂模型角度的参数，使机械臂模型中螺杆末端与深度相机拍摄的三维实景图中的螺杆末端平行；

A5)通过对比机械臂模型与深度相机拍摄的机械臂的三维实景图的重合度，迭代调整机械臂模型的空间位置及角度，使模型与三维实景图完全重合，调整产生的位移(Δx,Δy,Δz)和绕z轴旋转的角γ以及α及β即为深度相机坐标系到机械臂坐标系的变换参数。

3.根据权利要求1所述的基于立体视觉伺服的绕轴旋转机构操作方法，其特征在于：对目标进行精确定位的步骤，具体包括以下过程：

B1)利用目标的模板图像I_template作为滑动窗，遍历由深度相机拍摄的原图I_src，使用模板匹配算法，通过模板图像在拍摄的原图上滑动卷积，获得卷积结果的矩阵，矩阵中的最大值即为原图中与模板图像相关性最高的位置，从而定位目标在原图当中的位置；

B2)对图像做滤波和阈值分割操作，将目标与背景分离出来；

B3)根据步骤B2)中阈值分割将目标与背景分离出来产生的二值图像，在二值图像中寻找轮廓，筛选出符合条件的轮廓，将轮廓内的点作为中心像素集合；

B4)对中心像素集合计算重心，该重心的坐标即为旋转中心点坐标。

4.根据权利要求3所述的基于立体视觉伺服的绕轴旋转机构操作方法，其特征在于：所述步骤B2)中，滤波采用均值漂移方法，根据均值漂移方法使用滑动窗口扫描图像矩阵，通过窗口的颜色半径和空间半径的筛选，将图像矩阵中经过窗口变换后收敛到数据峰值的所有点连通起来，实现滤波效果。

5.根据权利要求3所述的基于立体视觉伺服的绕轴旋转机构操作方法，其特征在于：所述步骤B2)中，阈值分割操作采用漫水填充算法，将连通的点划分为不同的区域，将目标与背景分离出来。

6.根据权利要求1所述的基于立体视觉伺服的绕轴旋转机构操作方法，其特征在于：所述根据图像中精确定位的旋转中心点坐标，结合图像像素坐标与对应的空间坐标的映射关系，计算深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标，包括以下步骤：

C1)框选绕轴旋转机构所放置的主体平面的区域，保证被框选的区域在该平面上的高度一致，计算出区域内所有像素的三维空间坐标，拟合出像素点集合的三维坐标在相机坐标系下的平面方程：

A(X-X_q)+B(Y-Y_q)+C(Z-Z_q)＝D

其中A、B、C为平面方程法向量的参数，D为平面偏移量，A、B、C、D为拟合函数的输出结果，(X_q,Y_q,Z_q)为绕轴旋转机构所放置的主体平面上的一点；

C2)测量绕轴旋转机构表面距离其所放置的主体平面的高度H，计算绕轴旋转机构表面上的一点坐标：

其中，(X_p,Y_p,Z_p)为绕轴旋转机构表面上的一点，V为绕轴旋转机构所放置的主体平面法向量，V_x,V_y,V_z为该法向量的三个方向上的分量；

C3)利用旋转中心点坐标，根据图像像素坐标与对应的空间坐标的映射关系，获得其在三维空间中的对应坐标，进行以下计算：

其中，X_C,Y_C是深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标Q(X_C,Y_C,Z_C)的X轴和Y轴坐标，利用旋转中心点坐标根据图像像素坐标与对应的空间坐标的映射关系获得，Z_C是深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标Q(X_C,Y_C,Z_C)的Z轴坐标，从而获得了旋转中心的三维坐标Q(X_C,Y_C,Z_C)。

7.根据权利要求1所述的基于立体视觉伺服的绕轴旋转机构操作方法，其特征在于：所述利用深度相机坐标系到机械臂坐标系的变换参数，将深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标以及绕轴旋转机构的旋转轴向量变换到机械臂坐标系下，具体包括以下步骤：

D1)利用深度相机坐标系到机械臂坐标系的变换参数，计算刚体变换矩阵(R|T)；

D2)对深度相机坐标系下绕轴旋转机构表面上的旋转中心的三维坐标进行仿射变换，获得机械臂坐标系下的旋转中心坐标；

D3)对深度相机坐标系下绕轴旋转机构的旋转轴向量进行仿射变换，获得机械臂坐标系下的旋转轴向量。

8.根据权利要求1所述的基于立体视觉伺服的绕轴旋转机构操作方法，其特征在于：所述操作绕轴旋转机构的步骤，具体包括以下过程：

E1)根据机械臂坐标系下旋转中心的三维坐标以及绕轴旋转机构的旋转轴向量，调整机械臂角度，使得机械臂的螺杆轴所在直线与机械臂坐标下绕轴旋转机构的旋转轴向量共线；

E2)根据机械臂坐标系下旋转中心的三维坐标，设置机械臂参数，使螺杆伸出到达操作位置；

E3)张开螺杆末端的操作手指；

E4)继续伸出螺杆完全到达绕轴旋转机构所在位置，收紧手指，对绕轴旋转机构进行旋转，放开手指，螺杆缩回。

Images