CN107984201A - 一种基于视觉伺服的螺孔定位及锁卸螺丝方法 - Google Patents

Abstract

本发明涉及一种基于视觉伺服的螺孔定位及锁卸螺丝方法，应用一种基于视觉伺服的螺孔定位及锁卸螺丝装置进行定位螺孔及锁卸螺丝，利用所述基于视觉伺服的螺孔定位及锁卸螺丝装置的视觉测量模块获取目标螺孔或螺丝的位置信息和姿态信息，利用所述基于视觉伺服的螺孔定位及锁卸螺丝装置的控制执行模块控制执行螺孔定位与锁卸螺丝。本发明可很大程度上提高螺丝的定位精度；利用机械臂为移动载体，增大了工作范围，也可以在工人不方便去的环境中进行螺丝的锁卸工作；提出一种由点到面的螺丝或螺孔定位方法。

Description

一种基于视觉伺服的螺孔定位及锁卸螺丝方法

技术领域

本发明涉及机械组装技术领域，尤其涉及一种基于视觉伺服的螺孔定位及锁卸螺丝的方法。

背景技术

在机械设备制造过程中，需要对各零部件进行装配，装配的工艺流程直接影响到设备制造的效率，而安装螺丝是最基本的装配工艺。螺丝装配的效率直接影响了生产制造的效率。另外，现在电子产品正在以突飞猛进的速度发展，且需求也越来越多，因此要实现批量化生产。在电子产品的组装线上，同样有很多的螺丝要锁卸，有些工作环境空间狭小，或存在强磁、强电等不适宜工作人员的工作情况，进而影响锁卸效率。

公告号为CN102240902B的中国专利文件公开了一种自动拧螺丝机，螺丝定位装置包括相连通的工模和定位槽，工模包括模体和铰接在模体上的夹持元件，夹持元件在竖直方向上实现开合动作。但是，螺丝定位装置的零部件较多、结构复杂，而且由于夹持元件竖向开合，在竖直方向上占用空间较大，需要使螺丝刀预留出较大的插入长度，以防干涉，另外，夹持元件没有对螺钉形成360度的夹持，螺丝可能出现偏斜异位，使得自动拧螺丝机的可靠性不高。申请号为201510352012.5中国专利文件公开了一种虚拟螺丝定位系统及定位方法，该方法包括：拍摄全局照片，计算得出所有螺丝或螺孔的位置信息；微控制单元将待锁定的螺丝或螺孔的位置信息传输给控制器；控制器将相机移动到待锁定的螺丝或螺孔的拍照位置；微控制单元触发相机进行拍照；再次计算得出待锁定的螺丝或螺孔的校正位置信息，并传输给控制器；伺服马达根据第二控制信息控制螺丝机移动到待锁定的螺丝或螺孔所在的位置。该方法采用的是虚拟仪器定位技术，相比于坐标标定技术具有定位精度不高的缺点，且此方法整个流程只定位两次，分别为粗略定位和二次定位，定位次数太少，难以保证定位的精准度。

因此，为了解决以上问题，提高生产效率，确有必要提供一种方法来有效实现螺孔定位和锁卸螺丝。

发明内容

本发明提出了一种基于视觉伺服的螺丝或螺孔定位及锁卸螺丝方法，可以在复杂环境下基于摄像头采集的图片实现螺丝或螺孔定位并利用机械臂单元的末端装上大扭矩拧紧枪对目标工件上的螺丝进行锁卸操作。若一个工件上有很多需要锁卸的螺丝，则只需要定位两个特征比较明显的螺丝，进而可通过相关几何关系推算出其他螺丝的位置，可大大提高螺丝定位的精度和效率。

为实现上述目的，本发明采用了以下技术方案：一种基于视觉伺服的螺孔定位及锁卸螺丝的方法，应用一种基于视觉伺服的螺孔定位及锁卸螺丝装置进行定位螺孔及锁卸螺丝，所述基于视觉伺服的螺孔定位及锁卸螺丝装置包括视觉测量模块和控制执行模块，所述视觉测量模块和所述控制执行模块之间通过网络进行数据传输与通讯；所述视觉测量模块包括双目摄像头、粗定位摄像头和激光打点器；所述控制执行模块包括机械臂单元和计算机，所述机械臂单元包括大扭矩拧紧枪、机械臂小臂、机械臂大臂、机械臂控制箱、基座和螺丝套筒；所述大扭矩拧紧枪、所述螺丝套筒、所述双目摄像头和所述激光打点器位于所述机械臂单元的末端；其特征在于，包括如下步骤：

步骤1：所述基于视觉伺服的螺孔定位及锁卸螺丝装置的初始化，包括设定其各个部件的初始化位置，检测其各个部件的功能是否正常，确认电路、通讯是否正常；

步骤2：利用所述粗定位摄像头采集待检修工件上的目标螺丝或螺孔的图像，确认所述目标螺丝或螺孔基于所述粗定位摄像头坐标系下的中心坐标，根据所述粗定位摄像头与所述基座的相对位置，再将基于所述粗定位摄像头的坐标系下的所述目标螺丝或螺孔中心坐标转换到基于所述基座的坐标系下的坐标，并将这些位置数据传输给所述计算机；

步骤3：所述计算机根据接收到的所述目标螺丝或螺孔的位置数据，经过综合处理所述位置数据后生成运动控制指令，并将所述运动控制指令传送给所述机械臂控制箱；

步骤4：所述机械臂控制箱根据所述运动控制指令，通过驱动伺服电机转动，带动机械臂单元末端的所述大扭矩拧紧枪或所述螺丝套筒或所述双目摄像头或所述激光打点器向靠近所述目标螺丝或螺孔的方向运动，计算所述大扭矩拧紧枪或所述螺丝套筒或所述双目摄像头或所述激光打点器的当前位置与目标位置之间的差距，判断所述差距是否在阈值范围内，若是，则进入步骤5，若不是，则返回步骤2；

步骤5：所述机械臂单元末端的所述大扭矩拧紧枪或所述螺丝套筒或所述双目摄像头或所述激光打点器运动到目标位置的阈值范围内时，所述目标螺丝或螺孔将进入所述机械臂单元末端的所述双目摄像头的工作范围，此时利用双目视觉对所述目标螺丝或螺孔进行再次精确定位，确定所述目标螺丝或螺孔的姿态信息；

步骤6：根据获取的所述目标螺丝或螺孔的位置信息和姿态信息，进行拧进或卸下螺丝。

进一步地，所述步骤2中的确认所述目标螺丝或螺孔的位置信息，采用的是模板匹配法，基于设定好的螺孔模板，计算采集的所述目标螺丝或螺孔的图像与所述螺孔模板中的每个螺丝或螺孔的相似度，以寻找所述目标螺丝或螺孔的位置，拟合出基于所述粗定位摄像头坐标系下的所述目标螺丝或螺孔的中心坐标。

进一步地，所述步骤2中的所述目标螺丝或螺孔中心坐标由所述粗定位摄像头坐标系下的变换到所述基座坐标系下的，坐标转换可通过旋转、平移的方式。

进一步地，所述步骤4中的计算所述当前位置与所述目标位置之间的差距，将所述差距定义为运动学误差函数值，所述运动学误差函数值还可以被传送至所述计算机，并影响所述运动控制指令的产生。

进一步地，所述步骤5中的精确定位，搜寻所述目标螺丝或螺孔采用的是基于区域相关的匹配方法，匹配所述双目摄像头的左右摄像头所拍摄的固定尺寸的图像窗口，基于相似度准则度量两个图像窗口间的相关性。

进一步地，当所述相似度准则最大时，此时两个图像的搜索区域中对应的像素点是匹配的。

进一步地，基于区域相关的匹配方法中确认区域的方法是，将以所述目标螺丝或螺孔为圆心的局部区域放大，并利用所述激光打点器对所述局部区域打上激光记号点，在所述激光记号点中选取三个特征点，利用所述三个特征点确定一个平面。

进一步地，所述步骤6中的拧进螺丝，所述大扭矩拧紧枪对准所述目标螺孔，将放置在所述大扭矩拧紧枪中的螺丝拧进所述目标螺孔。

进一步地，所述步骤6中的卸下螺丝，所述螺丝套筒对准所述目标螺丝，将需要拆卸的所述目标螺丝卸下。

进一步地，还包括：根据其他螺丝或螺孔和已获取位置信息和姿态信息的所述目标螺丝或螺孔之间的物理偏差关系，计算出其他螺丝或螺孔的位置信息和姿态信息，进而再对其他螺丝或螺孔执行拧进或卸下螺丝。

本发明提供的技术方案带来的有益效果是：(1)利用两套摄像头对螺丝进行精确定位，可很大程度上提高螺丝的定位精度；(2)利用机械臂为移动载体，增大了工作范围，也可以在工人不方便去的环境中进行螺丝的锁卸工作；(3)提出一种由点到面的螺丝或螺孔定位方法，首先确定一个螺丝或螺孔的具体位置，然后根据其余螺丝或螺孔与确定螺丝或螺孔之间的位置关系。

附图说明

图1是本发明装置的组成示意图；

图2是本发明装置的结构示意图；

图3是本发明装置的伺服控制原理图；

图4是本发明待检测工件的螺孔位置关系图；

图5是本发明方法的工作流程图。

附图中标号：1-大扭矩拧紧枪，2-机械臂小臂，3-机械臂大臂，4-机械臂控制箱，5-计算机，6-基座，7-双目CCD摄像头；8-待锁卸螺丝或螺孔，9-待检修工件，10-粗定位摄像头，11-螺丝套筒，12-激光打点器，20-视觉测量模块，30-控制执行模块，31-机械臂单元，40-网络，50-存储器，60-终端设备。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

本发明提供了一种基于视觉伺服的螺孔定位及锁卸螺丝的方法，应用的是一种基于视觉伺服的螺孔定位及锁卸螺丝装置进行定位螺孔及锁卸螺丝，如图1所示，所述基于视觉伺服的螺孔定位及锁卸螺丝装置包括视觉测量模块20和控制执行模块30，所述控制执行模块30包括机械臂单元31和计算机5，所述视觉测量模块20和所述控制执行模块30之间通过网络40进行数据传输与通讯。

如图2所示的所述基于视觉伺服的螺孔定位及锁卸螺丝装置结构示意图，所述视觉测量模块20包括双目摄像头7、粗定位摄像头10和激光打点器12，所述粗定位摄像头10相对于待检修工件9的位置确定，所述双目摄像头7和所述激光打点器12连接，图2中只显示所述双目摄像头7的一个摄像头，另一个在背面未显示。优选的，所述双目摄像头7为双目CCD摄像头。所述机械臂单元31包括大扭矩拧紧枪1、机械臂小臂2、机械臂大臂3、机械臂控制箱4、基座6和螺丝套筒11，其中所述机械臂控制箱4中包括所述基于视觉伺服的螺孔定位及锁卸螺丝装置的电源，所述基座6中内置驱动伺服电机，所述机械臂大臂3的一端与所述基座6连接，所述机械臂大臂3的另一端与所述机械臂小臂2的一端连接，所述机械臂小臂2的另一端与所述双目摄像头7连接，所述大扭矩拧紧枪1与所述螺丝套筒11连接，所述大扭矩拧紧枪1、所述螺丝套筒11、所述双目摄像头7和所述激光打点器12位于所述机械臂单元31的末端。所述待检修工件9上有一个或一个以上的待锁卸螺丝或螺孔8，所述一个或一个以上的待锁卸螺丝或螺孔8在所述待检修工件9上的分布不确定，但可以计算出其相对位置，确定其物理偏差关系。

所述基于视觉伺服的螺孔定位及锁卸螺丝装置还可以与其他终端设备60连接，实时添加人为的操作，实现远程的实时监测与调控，例如设定装置的工作时间、工作时长等。所述基于视觉伺服的螺孔定位及锁卸螺丝装置与所述终端设备60之间可通过所述网络40进行数据传输，数据也可存放于第三方以方便随时随地调取，例如存储器50。所述终端设备包括但不限于计算机、笔记本、平板电脑、智能手机、智能电视、智能游戏机、智能可穿戴设备；其中智能可穿戴设备包括但不限于智能手表、智能手环、智能眼镜、智能头戴、智能服装、智能鞋、智能配饰。

所述粗定位摄像头10用于采集在所述待检修工件9上的目标螺丝或螺孔的图像，通过模板方法匹配出所述目标螺丝或螺孔后，将会拟合出一个螺丝或螺孔的中心坐标，此中心坐标是基于所述粗定位摄像头10坐标系下的，然后再将基于所述粗定位摄像头10的坐标系下的所述目标螺丝或螺孔中心坐标，变换到基于所述基座6的坐标系下。将所述目标螺丝或螺孔坐标的所有数据信息传送给所述计算机5，所述计算机5经过综合处理所述数据信息后生成运动控制指令，并将所述运动控制指令传送给所述机械臂控制箱4，所述机械臂控制箱4依据所述运动控制指令控制所述大扭矩拧紧枪1、所述机械臂小臂2、所述机械臂大臂3和所述螺丝套筒11配合完成锁卸螺丝的作业任务。

如图5所示，本发明基于视觉伺服的螺孔定位及锁卸螺丝的方法包括如下步骤：

步骤1：所述基于视觉伺服的螺孔定位及锁卸螺丝装置的初始化，包括设定其各个部件的初始化位置，检测其各个部件的功能是否正常，确认电路、通讯等是否正常等；

步骤2：利用所述粗定位摄像头10采集所述待检修工件9上的所述目标螺丝或螺孔的图像，以确认所述目标螺丝或螺孔的位置信息，也即确认所述目标螺丝或螺孔基于所述粗定位摄像头10坐标系下的中心坐标，根据所述粗定位摄像头10与所述基座6的相对位置，再将基于所述粗定位摄像头10的坐标系下的所述目标螺丝或螺孔中心坐标，变换到基于所述基座6的坐标系下的所述目标螺丝或螺孔中心坐标，并将这些位置数据传输给所述计算机5；

步骤3：所述计算机5根据接收到的所述目标螺丝或螺孔坐标的所述位置数据，经过综合处理所述位置数据后生成所述运动控制指令，并将所述运动控制指令传送给所述机械臂控制箱4；

步骤4：所述机械臂控制箱4根据所述运动控制指令，通过驱动所述伺服电机转动，进而带动机械臂单元31末端的所述大扭矩拧紧枪1或所述螺丝套筒11或所述双目摄像头7或所述激光打点器12向靠近所述目标螺丝或螺孔的方向运动，计算其当前位置与目标位置之间的差距，判断所述差距是否在阈值范围内，若是，则进入步骤5，若不是，则返回步骤2；

步骤5：当所述机械臂单元31末端的所述大扭矩拧紧枪1或所述螺丝套筒11或所述双目摄像头7或所述激光打点器12运动到目标位置的阈值范围内时，所述目标螺丝或螺孔将进入所述机械臂单元31末端的所述双目摄像头7的工作范围，为保证定位精确，此时利用双目视觉对所述目标螺丝或螺孔进行再次精确定位，也即确定所述目标螺丝或螺孔的姿态信息；

步骤6：根据获取的所述目标螺丝或螺孔的位置信息和姿态信息，将所述大扭矩拧紧枪1或所述螺丝套筒11对准所述螺丝或螺孔，将放置在所述大扭矩拧紧枪1中的螺丝拧进所述目标螺孔或者利用所述螺丝套筒11将需要拆卸的所述目标螺丝卸下来。

在所述步骤2中，利用所述粗定位摄像头10采集所述待检修工件9上的所述目标螺丝或螺孔的图像，以确认所述目标螺丝或螺孔的位置信息，所述目标螺丝或螺孔的寻找方法采用模板匹配法，具体如下：

在采集的所述目标螺丝或螺孔的图像(待匹配图像)中按照一定的顺序寻找螺孔模板，所述螺孔模板预先已经设定好，并计算待匹配图像中每个螺丝或螺孔的相似度s，寻找所述目标螺丝或螺孔的位置，定义相似度s为公式(1)：

s(r，c)＝s{t(u，v)，f(r+u，c+v)；(u，v)∈T (1)

其中，s表示一个函数，函数当中的参数t(u,v)表示所述螺孔模板中各点的灰度值，f(r+u,c+v)表示所述螺孔模板在待匹配图像当中所对应区域的灰度值。

通过计算所述螺孔模板与其所在待匹配图像当中对应区域之间的灰度差值的绝对值的总和(sad)来得到相似度，sad定义为公式(2)：

其中，n表示所述螺孔模板区域中螺孔的数量。通过上式得出的匹配相似度，若相似度越高，表示二者越接近，若所述螺孔模板和待匹配图像一样，那么获得的相似度值为0；否则，将大于0。

通过上述方法匹配出所述目标螺丝或螺孔后，将会拟合出所述目标螺丝或螺孔的中心坐标，此中心坐标是基于所述粗定位摄像头10坐标系下的，并非基于所述机械单元31坐标系下的坐标，因此不能根据此坐标直接对所述机械单元31进行运动控制。所以，还需要一个坐标转换过程，目的是将获取的基于所述粗定位摄像头10坐标系下的所述目标螺丝或螺孔中心坐标转换至所述基座6坐标系下。坐标转换的实质是理清所述粗定位摄像头10坐标系与所述基座6坐标系之间的转换关系，可通过旋转、平移方式，即可求得转换关系。

本装置将所述双目摄像头7坐标安放在所述基座6坐标系下的(x，y，z)坐标下，即代表平移矩阵为：T＝(x,y,z)^T，旋转矩阵为R，只在X轴方向上旋转角度θ(具体角度根据所述粗定位摄像头10和所述基座6的相对位置关系而定)即可。因此，当所述双目摄像头7检测出所述目标螺丝或螺孔的坐标为点P_c＝[x_c,y_c,z_c]时，则相对于六自由度带电作业的所述机械单元31而言，所述目标螺丝或螺孔的位置为公式(3)所示：

转换为公式(4)：

在所述步骤4中，所述大扭矩拧紧枪1或所述螺丝套筒11向靠近所述目标螺丝或螺孔的方向运动，选择比例控制律作为控制算法，伺服控制原理图如图4所示。定义运动学误差函数E_pp为所述机械臂单元31的末端当前位置与目标位置之差，通过构造合适的运动学误差函数，从所述粗定位摄像头10中得到其有关位置信息，构造一个所述机械臂控制箱4通过某种控制律将所述运动学误差函数E_pp的值最终收敛到0。

所述机械臂单元31的末端问题可表述为：通过某种控制律控制所述机械臂单元31的末端上的一个坐标为P的固定点运动到工作空间中一个静止点S，这种定位方式称为点对点定位，在所述基座6坐标系中，所述运动学误差函数E_pp可以表示为公式(5)：

E_pp(T₆，S，P)＝P-T₆(S) (5)

T₆是被控变量，它代表机械臂当前时刻的位置，S、P是定位参数。在该定位任务中，是静止点相对于所述粗定位摄像头10坐标系的估计，结合摄像头标定与机械臂的运动学信息可得静止点S相对于机械臂基座标系的估计为其中是通过离线标定确定的摄像头相对于机械臂末端坐标系的位姿关系，选择比例控制律作为所述机械臂控制箱4的控制算法，则控制量u可以表示为公式(6)：

计算所述大扭矩拧紧枪1或所述螺丝套筒11或所述双目摄像头7或所述激光打点器12运动到的当前位置与目标位置之间的差距，也即计算运动学误差函数E_pp，判断所述运动学误差函数E_pp是否在阈值范围内，若是，则进入步骤5，若不是，则返回步骤2。所述运动控制指令会随所述运动学误差函数值的变化而相应变化，进而所述机械臂控制箱4控制所述机械臂单元31的末端向所述目标位置运动。该控制律可以使装置达到平衡状态，达到平衡状态时，所述运动学误差函数E_pp的值为零。所述运动学误差函数值可以被传送至所述计算机，并影响所述运动控制指令的产生。

当所述机械臂单元31的末端的所述大扭矩拧紧枪1或所述螺丝套筒11或所述双目摄像头7或所述激光打点器12运动到目标位置的阈值范围内后，所述目标螺丝或螺孔将进入所述机械臂单元31的所述双目摄像头7的工作范围，为保证定位精确，此时利用双目视觉对所述目标螺丝或螺孔进行再次精确定位，再次定位时，搜寻所述目标螺丝或螺孔采用基于区域相关的匹配方法，此方法中要匹配的是所述双目摄像头7的左右摄像头所拍摄的固定尺寸的图像窗口，相似度准则是两幅图像中窗口间的相关性度量。当所述相似度准则最大时，此时两个图像的搜索区域中对应的像素点是匹配的。具体描述如下：

对于两幅图像左图像I_l、右图像I_r,P_l(i，j)是左图像的一个像素点，P_r(i，j)是右图像的一个像素点，其中i和j分别为横纵坐标，相关窗口V的宽度大小为(2w+1),R(P_l)是左图像中与像素点P_l(i，j)相关的搜索区域。对于每个区域d＝[d₁，d₂]T∈R(P_l)计算：

公式(7)中，C(d)表示区域相关函数，函数ψ表示两个像素值的相关函数，k和l分别是像素点的横纵坐标的偏移量，P_l的视差就是在R(P_l)中使C(d)为最大值的矢量d如公式(8)所示：

输出的结果是对应左图像I_l中每一个像素点的视差数组，即视差图。

函数ψ(u，v)表示两个像素值u，v的相关函数，可以如公式(9)所示：

ψ(u，v)＝(u-v)² (9)

在所述步骤2中已经确定了螺孔的位置信息，但是若想把螺丝拧下来或者锁进去，必须要确定所述目标螺丝或螺孔的姿态信息，即所述目标螺丝或螺孔的朝向，使所述螺丝套筒11与所述目标螺丝的螺杆保持同轴，才可能将所述目标螺丝锁卸下来。

采用视差图的方法确定螺孔的姿态信息，由于所述目标螺丝或螺孔的局部面积较小，确定起来比较困难，所以将以所述目标螺丝或螺孔为圆心的局部区域放大，并利用所述激光打点器12(如图2所示)对此局部区域打上激光记号点，然后在众多的激光记号点中选取三个特征比较明显的点，利用三点确定一个平面的方法，确定所述目标螺丝或螺孔所在局部区域的姿态信息，即所述目标螺丝或螺孔的姿态信息。或者直接计算整个局部区域的视差图，具体计算方法见上述相关内容。

在所述步骤6中，所述机械臂单元31的末端对准所述目标螺丝或螺孔以后，所述大扭矩拧紧枪1开始工作，将工作人员事先放置在所述大扭矩拧紧枪1中的螺丝拧进螺孔或者利用所述螺丝套筒11将需要拆卸的螺丝卸下来。在所述螺丝套筒11中放置强力磁铁，可将螺丝牢牢的固定住，防止在卸螺丝的过程中螺丝脱落。

本方法还可以包括一个步骤，根据所述待检修工件9上的其他螺丝或螺孔与已获取位置信息和姿态信息的所述目标螺丝或螺孔之间的物理偏差关系，计算出所述其他螺丝或螺孔的中心坐标，即获取所述其他螺丝或螺孔的位置信息。假设所述待检修工件9上的所有螺丝或螺孔的姿态信息一致，基于所述其他螺丝或螺孔的位置信息和姿态信息，可依据所述步骤6执行锁卸螺丝操作。

如图4所示为任一螺丝或螺孔M与已定位的螺丝或螺孔A、B之间的关系图：

所述螺丝或螺孔M在基于7坐标系下的坐标计算公式(10)：

推算可知任一螺丝或螺孔的坐标计算公式(11)为：

其中，为摄像机坐标系的原点,为A点在图像物理坐标系下的坐标，(dx，dy)为任一螺丝或螺孔相对于M螺丝或螺孔的相对位置。

本发明提供的技术方案带来的有益效果是：(1)利用两套摄像头对螺丝进行精确定位，可很大程度上提高螺丝的定位精度；(2)利用机械臂为移动载体，增大了工作范围，也可以在工人不方便去的环境中进行螺丝的锁卸工作；(3)提出一种由点到面的螺丝或螺孔定位方法，首先确定一个螺丝或螺孔的具体位置，然后根据其余螺丝或螺孔与确定的螺丝或螺孔之间的位置关系。

在本文中，所涉及的前、后、上、下等方位词是以附图中零部件位于图中以及零部件相互之间的位置来定义的，只是为了表达技术方案的清楚及方便。应当理解，所述方位词的使用不应限制本申请请求保护的范围。

在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。

综上所述，以上仅对本发明进行了详细说明，但并不应以此限制本发明的保护范围。但凡依照本发明的技术方案所做的简单改进、修饰或等效变换，都落在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于视觉伺服的螺孔定位及锁卸螺丝的方法，应用一种基于视觉伺服的螺孔定位及锁卸螺丝装置进行定位螺孔及锁卸螺丝，所述基于视觉伺服的螺孔定位及锁卸螺丝装置包括视觉测量模块和控制执行模块，所述视觉测量模块和所述控制执行模块之间通过网络进行数据传输与通讯；所述视觉测量模块包括双目摄像头、粗定位摄像头和激光打点器；所述控制执行模块包括机械臂单元和计算机，所述机械臂单元包括大扭矩拧紧枪、机械臂小臂、机械臂大臂、机械臂控制箱、基座和螺丝套筒；所述大扭矩拧紧枪、所述螺丝套筒、所述双目摄像头和所述激光打点器位于所述机械臂单元的末端；其特征在于，包括如下步骤：

步骤1：所述基于视觉伺服的螺孔定位及锁卸螺丝装置的初始化，包括设定其各个部件的初始化位置，检测其各个部件的功能是否正常，确认电路、通讯是否正常；

步骤2：利用所述粗定位摄像头采集待检修工件上的目标螺丝或螺孔的图像，确认所述目标螺丝或螺孔基于所述粗定位摄像头坐标系下的中心坐标，根据所述粗定位摄像头与所述基座的相对位置，再将基于所述粗定位摄像头的坐标系下的所述目标螺丝或螺孔中心坐标转换到基于所述基座的坐标系下的坐标，并将这些位置数据传输给所述计算机；

步骤3：所述计算机根据接收到的所述目标螺丝或螺孔的位置数据，经过综合处理所述位置数据后生成运动控制指令，并将所述运动控制指令传送给所述机械臂控制箱；

步骤4：所述机械臂控制箱根据所述运动控制指令，通过驱动伺服电机转动，带动机械臂单元末端的所述大扭矩拧紧枪或所述螺丝套筒或所述双目摄像头或所述激光打点器向靠近所述目标螺丝或螺孔的方向运动，计算所述大扭矩拧紧枪或所述螺丝套筒或所述双目摄像头或所述激光打点器的当前位置与目标位置之间的差距，判断所述差距是否在阈值范围内，若是，则进入步骤5，若不是，则返回步骤2；

步骤5：所述机械臂单元末端的所述大扭矩拧紧枪或所述螺丝套筒或所述双目摄像头或所述激光打点器运动到目标位置的阈值范围内时，所述目标螺丝或螺孔将进入所述机械臂单元末端的所述双目摄像头的工作范围，此时利用双目视觉对所述目标螺丝或螺孔进行再次精确定位，确定所述目标螺丝或螺孔的姿态信息；

步骤6：根据获取的所述目标螺丝或螺孔的位置信息和姿态信息，进行拧进或卸下螺丝。

2.根据权利要求1所述的基于视觉伺服的螺孔定位及锁卸螺丝的方法，其特征在于：所述步骤2中的确认所述目标螺丝或螺孔的位置信息，采用的是模板匹配法，基于设定好的螺孔模板，计算采集的所述目标螺丝或螺孔的图像与所述螺孔模板中的每个螺丝或螺孔的相似度，以寻找所述目标螺丝或螺孔的位置，拟合出基于所述粗定位摄像头坐标系下的所述目标螺丝或螺孔的中心坐标。

3.根据权利要求1所述的基于视觉伺服的螺孔定位及锁卸螺丝的方法，其特征在于：所述步骤2中的所述目标螺丝或螺孔中心坐标由所述粗定位摄像头坐标系下的变换到所述基座坐标系下的，坐标转换可通过旋转、平移的方式。

4.根据权利要求1所述的基于视觉伺服的螺孔定位及锁卸螺丝的方法，其特征在于：所述步骤4中的计算所述当前位置与所述目标位置之间的差距，将所述差距定义为运动学误差函数值，所述运动学误差函数值还可以被传送至所述计算机，并影响所述运动控制指令的产生。

5.根据权利要求1所述的基于视觉伺服的螺孔定位及锁卸螺丝的方法，其特征在于：所述步骤5中的精确定位，搜寻所述目标螺丝或螺孔采用的是基于区域相关的匹配方法，匹配所述双目摄像头的左右摄像头所拍摄的固定尺寸的图像窗口，基于相似度准则度量两个图像窗口间的相关性。

6.根据权利要求5所述的基于视觉伺服的螺孔定位及锁卸螺丝的方法，其特征在于：当所述相似度准则最大时，此时两个图像的搜索区域中对应的像素点是匹配的。

7.根据权利要求5所述的基于视觉伺服的螺孔定位及锁卸螺丝的方法，其特征在于：基于区域相关的匹配方法中确认区域的方法是，将以所述目标螺丝或螺孔为圆心的局部区域放大，并利用所述激光打点器对所述局部区域打上激光记号点，在所述激光记号点中选取三个特征点，利用所述三个特征点确定一个平面。

8.根据权利要求1所述的基于视觉伺服的螺孔定位及锁卸螺丝的方法，其特征在于：所述步骤6中的拧进螺丝，所述大扭矩拧紧枪对准所述目标螺孔，将放置在所述大扭矩拧紧枪中的螺丝拧进所述目标螺孔。

9.根据权利要求1所述的基于视觉伺服的螺孔定位及锁卸螺丝的方法，其特征在于：所述步骤6中的卸下螺丝，所述螺丝套筒对准所述目标螺丝，将需要拆卸的所述目标螺丝卸下。

10.根据权利要求1所述的基于视觉伺服的螺孔定位及锁卸螺丝的方法，其特征在于：还包括：根据其他螺丝或螺孔和已获取位置信息和姿态信息的所述目标螺丝或螺孔之间的物理偏差关系，计算出其他螺丝或螺孔的位置信息和姿态信息，进而再对其他螺丝或螺孔执行拧进或卸下螺丝。