CN114619233B

CN114619233B - 锁付定位方法、螺丝锁付方法、锁付定位装置及螺丝机

Info

Publication number: CN114619233B
Application number: CN202210265289.4A
Authority: CN
Inventors: 苗立晓; 施日生; 陈涛; 石建军; 程国醒
Original assignee: SHENZHEN HUACHENG INDUSTRIAL CONTROL CO LTD
Current assignee: SHENZHEN HUACHENG INDUSTRIAL CONTROL CO LTD
Priority date: 2022-03-17
Filing date: 2022-03-17
Publication date: 2023-08-08
Anticipated expiration: 2042-03-17
Also published as: CN114619233A

Abstract

本申请涉及工业自动化控制管理的领域，尤其是涉及一种锁付定位方法、螺丝锁付方法、锁付定位装置及螺丝机，锁付定位方法包括：基于相机坐标系{V}与基础坐标系{B}之间的坐标变换关系，确定综合变换信息；基于工具坐标系{E}到基础坐标系{B}的坐标变换关系，确定运基变换矩阵T；基于综合变换信息和运基变换矩阵T，确标定变换矩阵X；基于标定变换矩阵X和相机孔位信息，确定工具孔位信息。本申请利用标定变换矩阵X，可以完成不同坐标系之间的坐标转换，实现在工具坐标系{E}下螺丝孔位的坐标的获取，减少复杂的标定步骤，并且对产品的位姿要求较低，尤其在需要对不同的产品的螺丝孔位进行定位时，工作效率更快，实现高生产效率的自动化螺丝锁付应用。

Description

锁付定位方法、螺丝锁付方法、锁付定位装置及螺丝机

技术领域

本申请涉及工业自动化设备的领域，尤其是涉及一种锁付定位方法、螺丝锁付方法、锁付定位装置及螺丝机。

背景技术

工业自动化指的是，在不需要人为直接干预的情况下，机器设备或生产过程按照预期的目标实现测量、操纵等信息处理和过程控制的技术的统称。工业自动化发展到现在，一体化、网络化和智能化成为行业的新方向，但是部分工业控制设备的智能化还处于初级阶段。

在工业自动化的应用中，如在常规的自动化螺丝锁付应用中，通常是将产品放置在工作台上，然后会使用螺丝机操纵螺丝进行移动和旋转，螺丝机会将螺丝移动到产品预设的螺丝孔位，并且将螺丝旋拧进螺丝孔位中，完成锁付操作。在上述过程中，螺丝机的坐标系与螺丝机的坐标系之间可能会存在位置偏差，为了减少此类偏差，使螺丝机能够将螺丝较为准确地锁付到螺丝孔位中，使用者通常需要通过特定的定位治具对产品的位姿进行修正，并且对螺丝机进行标定。

相关技术中有公开一种高精度的摄像机动态标定方法，通过棋盘格形成多个标定点进行标定。在常规的视觉标定中，尤其是对于多螺丝孔位或多种类产品的应用，也是多采用棋盘格进行标定，在标定时需要根据各个锁付分布的分布设置多个拍照基准点、制作多个视觉模板，但是上述标定方式的标定步骤复杂、难度较大，在不同产品切换时工作效率较低。

发明内容

本申请目的一是提供一种锁付定位方法，具有利用标定过程提高工作效率的特点。

本申请目的二是提供一种螺丝锁付方法，通过简化标定过程，降低螺丝锁付应用对产品的位姿要求，提升工作效率。

本申请目的三是提供一种锁付定位装置，具有利用标定过程提高工作效率的特点。

本申请目的四是提供一种螺丝机，通过简化标定过程，降低螺丝锁付应用对产品的位姿要求，提升工作效率。

本申请的上述发明目的一是通过以下技术方案得以实现的：

一种锁付定位方法，包括：

基于相机坐标系{V}与基础坐标系{B}之间的坐标变换关系，确定综合变换信息；其中，所述相机坐标系{V}为对应于相机的坐标系，所述基础坐标系{B}为对应于工作台的坐标系；

基于观察位置以及工具坐标系{E}到基础坐标系{B}的坐标变换关系，确定运基变换矩阵T；其中，所述工具坐标系{E}为对应于执行机构的坐标系，所述执行机构搭载所述相机，所述观察位置反映所述相机的位置；

基于综合变换信息和运基变换矩阵T，确定用于实现所述工具坐标系{E}与所述相机坐标系{V}之间坐标变换的标定变换矩阵X；

获取相机孔位信息，并基于标定变换矩阵X和相机孔位信息，确定工具孔位信息；其中，所述相机孔位信息反映螺丝孔位在所述相机坐标系{V}中的位置，所述工具孔位信息反映此螺丝孔位在所述工具坐标系{E}中的位置。

通过采用上述技术方案，综合变换信息能够实现相机坐标系{V}与基础坐标系{B}之间的坐标变换，运基变换矩阵T能够实现工具坐标系{E}到基础坐标系{B}之间的坐标变换，而结合综合变换信息和运基变换矩阵T的标定变换矩阵X，能够实现相机坐标系{V}与工具坐标系{E}}之间的坐标变换。在需要对产品的螺丝孔位进行识别定位时，利用视觉系统对螺丝孔位进行识别定位，获取相机孔位信息，得到螺丝孔位在相机坐标系{V}中的位置，然后利用标定变换矩阵X，直接将螺丝孔位在相机坐标系{V}中的位置转换成螺丝孔位在工具坐标系{E}中的位置，以确定螺丝孔位的具体位置。根据螺丝孔位在相机坐标系{V}中的具体位置，在后续算法中，可以结合相机拍摄的位置，计算出螺丝孔位在基础坐标系{B}中的具体位置，而执行机构移动至对应的位置，即可以完成螺丝锁付操作。本申请方案在对螺丝孔位进行定位的过程中，利用标定变换矩阵X和相关的计算，则可以得到螺丝孔位在工具坐标系{E}中的位置，核心在于获取变换矩阵X，实际上并不需要直接对工具坐标系{E}和基础坐标系{B}进行标定，简化标定过程，而变换矩阵X的获取过程中对产品的位姿要求较低，并不需要将产品限定于特定的位姿进行拍摄，达到提高工作效率的效果。在需要对不同的产品进行锁付定位时，工作效率提升的效果更加明显，可以实现高生产效率的自动化螺丝锁付应用。

可选的，所述综合变换信息包括相机变换矩阵Tcm和基础变换矩阵Tbm；所述基于相机坐标系{V}与基础坐标系{B}之间的坐标变换关系，确定综合变换信息的步骤包括：

基于基准点集，建立局部坐标系{M}；其中，所述基准点集内的基准点在局部坐标系{M}中具有局部坐标、在相机坐标系{V}中具有相机坐标、在基础坐标系{B}中具有基础坐标；

基于基准点集的局部坐标到此基准点集的相机坐标的变换关系，确定相机变换矩阵Tcm；

基于基准点集的局部坐标到此基准点集的基础坐标的变换关系，确定基础变换矩阵Tbm。

通过采用上述技术方案，利用基准点集在局部坐标系{M}中的位置和基准点集在相机坐标系{V}中的位置，可以计算出反映局部坐标系{M}和相机坐标系{V}之间坐标变换的相机变换矩阵Tcm。利用基准点集在局部坐标系{M}中的位置和基准点集在基础坐标系{B}中的位置，可以计算出反映局部坐标系{M}和基础坐标系{B}之间坐标变换的基础变换矩阵Tbm。结合相机变换矩阵Tcm和基础变换矩阵Tbm，可以得到相机坐标系{V}、局部坐标系{M}和基础坐标系{B}三者之间的变换关系，从而达成确定相机坐标系{V}和基础坐标系{B}之间的变换关系的目的，利用基准点集建立的局部坐标系{M}，相当于为相机坐标系{V}和基础坐标系{B}之间中转坐标系，能够较为简单快捷地得到相机坐标系{V}和基础坐标系{B}之间的变换关系。

可选的，在基于基准点集，建立局部坐标系{M}的具体方法中，包括：

确定包含有第一基准点和第二基准点的基准点集；其中，所述工作台放置有基准标定板，所述第一基准点和所述第二基准点分别位于所述基准标定板上不同的位置；

以第一基准点作为原点、以第一基准点和第二基准点连线的方向作为X轴方向、以垂直于基准标定板的方向作为Z轴方向，建立局部坐标系{M}。

通过采用上述技术方案，利用基准标定板上的标记可以确定第一基准点和第二基准点，基于第一基准点和第二基准点之间的连线以及垂直于基准标定板的方向，可以直接快捷地建立局部坐标系{M}。并且，利用基准标定板本身具有的标记属性，便于在后续步骤中计算出第一基准点、第二基准点的相机坐标，以及计算出第一基准点、第二基准点的基础坐标。

可选的，所述局部坐标系{M}的Z轴平行于所述基础坐标系{B}的Z轴，所述执行机构搭载有能够抓取螺丝的操作件；所述基于基准点集的局部坐标到基础坐标的变换关系，确定基础变换矩阵Tbm的步骤包括：

执行机构带动操作件移动至此操作件能够正对第一基准点的第一对准位置；

确定第一对准位置在基础坐标系{B}中的基础坐标为第一基础坐标；

执行机构带动操作件移动至此操作件能够正对第二基准点的第二对准位置；

确定第二对准位置在基础坐标系{B}中的基础坐标为第二基础坐标；

基于第一基础坐标、第二基础坐标以及局部坐标系{M}的Z轴向量，确定基础变换矩阵Tbm。

通过采用上述技术方案，当操作件位于第一对准位置时，操作件向下移动即可移动至第一基准点。第一对准位置在基础坐标系{B}中的第一基础坐标，若第一基准点的位置为螺丝孔位的位置，则当操作件移动至第一基础坐标后就可以执行螺丝锁付操作，因此，第一基础坐标为基础坐标系{B}中对应于第一基准点的基础坐标。同理，当操作件位于第二对准位置时，操作件向下移动即可移动至第二基准点。第二对准位置在基础坐标系{B}中的第二基础坐标，若第二基准点的位置为螺丝孔位的位置，则当操作件移动至第二基础坐标后就可以执行螺丝锁付操作，因此，第二基础坐标为基础坐标系{B}中对应于第二基准点的基础坐标。在基础坐标系{B}的Z轴与局部坐标系{M}的Z轴相互平行的基础上，利用对应于第一基准点的第一基础坐标和对应于第二基准点的第二基础坐标，可计算出基础坐标系{B}和局部坐标系{M}之间的变换矩阵，即得到基础变换矩阵Tbm。

可选的，所述局部坐标系{M}的Z轴平行于所述相机坐标系{V}的Z轴，所述基于基准点集的局部坐标到相机坐标的变换关系，确定相机变换矩阵Tcm的步骤包括：

执行机构带动相机移动至观察位置，此位置的所述相机能够同时拍摄到所述第一基准点和所述第二基准点；

获取第一相机坐标和第二相机坐标；其中，所述第一相机坐标为所述第一基准点在所述相机坐标系{V}中的相机坐标，所述第二相机坐标为所述第二基准点在所述相机坐标系{V}中的相机坐标；

基于第一相机坐标、第二相机坐标以及局部坐标系{M}的Z轴向量，确定相机变换矩阵Tcm。

通过采用上述技术方案，视觉系统的相机拍摄到第一基准点和第二基准点之后，视觉系统可计算出第一相机坐标和第二相机坐标。第一相机坐标为相机坐标系{V}中对应于第一准点的相机坐标，第二相机坐标为相机坐标系{V}中对应于第二准点的相机坐标，在相机坐标系{V}的Z轴与局部坐标系{M}的Z轴相互平行的基础上，利用对应于第一基准点的第一相机坐标和对应于第二基准点的第二相机坐标，可计算出相机坐标系{V}和局部坐标系{M}之间的变换矩阵，即得到相机变换矩阵Tcm。

可选的，所述第一基准点和所述第二基准点为所述基准标定板中出现在所述相机视野内且距离最远的两个标定点。

通过采用上述技术方案，利用增加第一基准点和第二基准点之间的距离，使第一基准点的坐标位置和第二基准点的坐标位置相隔较远，减少后续的确定坐标步骤的计算误差。

可选的，所述基于相机坐标系{V}与基础坐标系{B}之间的坐标变换关系，确定综合变换信息的步骤还包括：

视觉系统对相机的内参数进行标定，建立相机坐标系{V}。

通过采用上述技术方案，先标定好相机的内参数，减少后续步骤中计算相机坐标的计算误差。

本发明的主要发明目的二还提出一种螺丝锁付方法。

一种螺丝锁付方法，包括如上所述任一技术方案的锁付定位方法，还包括：

向执行机构发送执行启动指令，以使所述执行机构带动所述相机移动至能够拍摄螺丝孔位的检测位置；

视觉系统基于相机拍摄的照片对螺丝孔位进行识别，确定相机孔位信息；

基于检测位置以及工具坐标系{E}到基础坐标系{B}的坐标变换关系，确定运动变换矩阵Ttp；

基于运动变换矩阵Ttp和工具孔位信息，生成并向执行机构发送锁付执行指令。

基于上述技术方案，本方案通过相机识别螺丝孔位在相机坐标系{V}中的位置后，可利用标定变换矩阵X，得到螺丝孔位在工具坐标系{E}中的位置，然后结合相机当前的位置，得到螺丝孔位在基础坐标系{B}中的位置，然后执行机构移动至对应的位置完成螺丝锁付。在正常执行中，上述方案对产品的位姿要求较低，尤其在需要对不同的产品的螺丝孔位进行定位时，工作效率更快，实现高生产效率的自动化螺丝锁付应用。

本发明的主要发明目的三还提出一种锁付定位装置，基于如上所述任一技术方案的锁付定位方法实施。

一种锁付定位装置，包括：

综合变换模块，用于基于相机坐标系{V}与基础坐标系{B}之间的坐标变换关系，确定综合变换信息；其中，所述相机坐标系{V}为对应于相机的坐标系，所述基础坐标系{B}为对应于工作台的坐标系；

第一工具变换模块，用于基于观察位置以及工具坐标系{E}到基础坐标系{B}的坐标变换关系，确定运基变换矩阵T；其中，所述工具坐标系{E}为对应于执行机构的坐标系，所述执行机构搭载所述相机，所述观察位置反映所述相机的位置；

结果计算模块，用于基于综合变换信息和运基变换矩阵T，确定用于实现所述工具坐标系{E}与所述相机坐标系{V}之间坐标变换的标定变换矩阵X；

位置换算模块，用于获取相机孔位信息，并基于标定变换矩阵X和相机孔位信息，确定工具孔位信息；其中，所述相机孔位信息反映螺丝孔位在所述相机坐标系{V}中的位置，所述工具孔位信息反映此螺丝孔位在所述工具坐标系{E}中的位置。

本发明的主要发明目的四还提出一种螺丝机，基于如上所述任一技术方案的锁付定位装置实施。

一种螺丝机，包括如上所述任一技术方案的锁付定位装置，还包括：

锁付启动单元，用于向执行机构发送执行启动指令，以使所述执行机构带动所述相机移动至能够拍摄螺丝孔位的检测位置；

视觉系统，用于基于相机拍摄的照片对螺丝孔位进行识别，确定相机孔位信息；

第二工具变换单元，用于基于检测位置以及工具坐标系{E}到基础坐标系{B}的坐标变换关系，确定运动变换矩阵Ttp；

锁付执行单元，用于基于运动变换矩阵Ttp和工具孔位信息，生成并向执行机构发送锁付执行指令。

附图说明

图1是本申请的锁付定位方法的流程示意图。

图2是本申请的工作台、基准标定板、执行机构和相机的位置示意图。

图3是本申请的锁付定位方法中步骤S1和步骤S2的子流程示意图。

图4是本申请的基坐标系{B}、工具坐标系{E}和相机坐标系{V}的示意图。

图5是本申请的锁付定位方法中步骤S12和步骤S13的子流程示意图。

图6是本申请的锁付定位方法中步骤S14和步骤S2的子流程示意图。

图7是本申请的基坐标系{B}、局部坐标系{M}、工具坐标系{E}和相机坐标系{V}之间转换关系的示意图。

图8是本申请的螺丝锁付方法的流程示意图。

图9是本申请的锁付定位装置的模块示意图。

图10是本申请的螺丝机的模块示意图。

图中，1、综合变换模块；2、第一工具变换模块；3、结果计算模块；4、位置换算模块；5、锁付启动单元；6、孔位获取单元；7、第二工具变换单元；8、锁付执行单元。

具体实施方式

在相关技术中，自动化螺丝锁付系统包括有螺丝机和视觉系统。螺丝机包括工作台、工作控制系统和执行机构。其中，工作台供产品放置，产品具有多个螺丝孔位，自动化螺丝锁付系统的目是为了将预先准摆好的螺丝旋拧到各个螺丝孔位中，此过程即为螺丝锁付的过程。执行机构通常为多关节机器人，多关节机器人的活动端搭载有能够抓取、旋拧螺丝的操作件。工作控制系统与多关节机器人电性连接，工作控制系统用于控制多关节机器人工作，使关节机器人的活动端移动到指定的位置上，以完成螺丝锁付。视觉系统包括有相机和视觉控制模块，其中，相机用于对产品进行拍摄，且相机搭载在多关节机器人的活动端上。视觉控制模块电性连接于相机，并且视觉控制模块内置有软件算法，能够通过相机拍摄得到的照片对产品上的螺丝孔位进行识别和定位，得到螺丝孔位在相机坐标系{V}中的位置。视觉控制模块和工作控制系统之间通讯连接，工作控制系统在获取了螺丝孔位的坐标后，再控制多关节机器人，使操作件移动到对应的位置进行螺丝锁付。

但是，视觉控制模块通常具有相机坐标系{V}，执行机构通常具有工具坐标系{E}，工作控制系统具有基础坐标系{B}，相关技术为了使执行机构能够较为准确地将螺丝移动至合适的位置，通常需要对相机坐标系{V}进行外参数标定。但是，相关技术中常用的标定存在两个问题：一是在标定过程中，产品的位姿需要经过定位治具的修正，使产品保持匹配于定位治具的位姿来确保螺丝孔位的定位准确度，存在增加了机械结构的安装难度、提高设备成本的问题；二是对于不同产品或同一产品多孔位的锁付应用，在标定时需要设置多个拍照基准点，并制作多个视觉模板，大大增加了标定的难度。鉴于目前所存在的上述问题，本申请提出了一种简化视觉标定的方案，以提高工作效率。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，本实施例中各步骤的标号仅为方便说明，不代表对各步骤运动顺序的限定，在实际应用时，可以根据需要各步骤运动顺序进行调整，或同时进行，这些调整或者替换均属于本发明的保护范围。

下面结合说明书附图1-图10对本申请实施例作进一步详细描述。

本申请实施例提供一种锁付定位方法，所述方法的主要流程描述如下。

参照图1和图2，S1、基于相机坐标系{V}与基础坐标系{B}之间的坐标变换关系，确定综合变换信息。

其中，相机坐标系{V}为视觉系统所对应的坐标系，视觉系统包括相机和视觉控制模块，相机用于对产品进行拍摄，通过照片的形式记录产品的形状和产品上的各个螺丝孔位，相机拍摄完照片后发送至视觉控制模块。视觉控制模块内置有软件算法，基于相机提供的照片，视觉控制模块能够对螺丝孔位进行识别和定位，得到螺丝孔位在相机坐标系{V}中的位置。因此，相机坐标系{V}也为对应于相机的坐标系。

基础坐标系{B}为对应于工作台的坐标系，某一物体在基础坐标系{B}中的坐标为基础坐标，工作控制系统基于基础坐标系{B}控制执行机构进行移动。工作控制系统若确定了螺丝孔位的基础坐标，则可以控制执行机构带动操作件移动至基础坐标，然后再执行下一步的螺丝锁付。

通过计算相机坐标系{V}与基础坐标系{B}之间的坐标变换，可以确定综合变换信息。利用综合变换信息，工作控制系统能够实现相机坐标和基础坐标之间的坐标转换。

S2、基于观察位置以及工具坐标系{E}到基础坐标系{B}的坐标变换关系，确定运基变换矩阵T。

其中，工具坐标系{E}为对应于执行机构的坐标系，在工具坐标系{E}中的坐标为工具坐标。在本实施例中，执行机构优选为多关节机器人，多关节机器人根据工作控制系统发出的控制指令工作。多关节机器人的机械手末端搭载相机和操作件。操作件优选为伺服电批，伺服电批具有抓取、旋拧螺丝的功能。工作控制系统一方面可以通过多关节机器人带动相机移动到不同的位置，以在合适的位置对产品进行拍摄，另一方面可以通过多关节机器人带动操作件移动到螺丝孔位的上方，以将螺丝旋拧进此螺丝孔位内，完成螺丝锁付操作。

多关节机器人是一个开环的运动链，多关节机器人具有多条连杆和多个连接相邻两条连杆的关节，每一条连杆的末端关节都具有一个对应的关节坐标系。在零位时，各个关节坐标系均与基础坐标系{B}之间是重合的，当任意一个关节发生转动后，对应的各个关节坐标系之间不重合，此时相邻两个关节坐标系之间具有变换关系，在已知关节角度或者关节位置的情况下，可以计算出此关节对应的关节坐标系到基础坐标系{B}之间的变换矩阵。

在本实施例中，工具坐标系{E}为多关节机器人的机械手末端关节的关节坐标系。在计算运基变换矩阵T的过程中，可利用链式法则，以从机械手末端的关节坐标系到机械手最开始的关节坐标系的方向，依次计算工具坐标系{E}到各个关节坐标系然后再到基础坐标系{B}的变换矩阵，从而得到运基变换矩阵T。

值得注意的是，当任意一个关节发生转动后，对应的各个关节坐标系之间会发生相对变化，因此，运基变换矩阵T为只针对于关节在一个特定的位置，工具坐标和基础坐标之间的坐标转换的变换矩阵。

在本实施例中，观察位置为相机拍摄图像以识别螺丝孔位的相机坐标的位置，即为多关节机器人的机械手末端的位置。运基变换矩阵T为相机位于观察位置时，工具坐标和基础坐标之间的坐标转换的变换矩阵。由于多关节机器人由工作控制系统控制，因此，工作控制系统始终获知各个关节的转动，也可确定观察位置的基础坐标，从而具有可以计算出运基变换矩阵T的能力。

S3、基于综合变换信息和运基变换矩阵T，确定标定变换矩阵X。

其中，由于综合变换信息可以实现相机坐标系{V}与基础坐标系{B}之间的坐标变换，运基变换矩阵T可以实现工具坐标系{E}到基础坐标系{B}的坐标变换，因此，结合综合变换信息和运基变换矩阵T，可以得到实现工具坐标系{E}与相机坐标系{V}之间坐标变换的标定变换矩阵X。

S4、获取相机孔位信息，并基于标定变换矩阵X和相机孔位信息，确定工具孔位信息。

其中，相机孔位信息由视觉系统对螺丝孔位进行识别定位后发送出，用于指示螺丝孔位在相机坐标系{V}中的位置。工具孔位信息由工作控制系统基于相机孔位信息和标定变换矩阵X进行转换后得到，用于指示螺丝孔位在工具坐标系{E}中的位置。

在自动化螺丝锁付应用中，相机对产品进行拍摄得到待测图像，视觉控制模块基于待测图像螺丝孔位识别，生成并向工作控制系统发送相机孔位信息。工作控制系统结合相机孔位信息和标定变换矩阵X，可以将螺丝孔位在相机坐标系{V}中的位置转换到在工具坐标系{E}中的位置。基于螺丝孔位在工具坐标系{E}中的位置，工作控制系统在后续步骤中可以得到基于螺丝孔位在基础坐标系{B}中的位置，从而控制执行机构移动至对应的位置完成锁付操作。

参照图2和图3，具体的，步骤S1的子步骤包括：

S11、视觉系统对相机的内参数进行标定，建立相机坐标系{V}。

其中，工作台放置有相机标定板，相机标定板为棋盘格板，相机基于相机标定板进行内参数标定，减少后续步骤中计算相机坐标的计算误差。在本实施例中，相机标定板以水平方向放置，相机从上至下以竖直方向正对相机标定板。

S12、基于基准点集，建立局部坐标系{M}。

其中，工作台放置有基准标定板，基准标定板为棋盘格板，基准标定板用于建立局部坐标系{M}。基准点集包含若干个基准点，各个基准点均为基准标定板上的标定点。局部坐标系{M}为基于多个基准点建立的坐标系，用于在相机坐标系{V}和基础坐标系{B}之间起到中转作用。

值得注意的是，基准标定板放置于工作台上，各个基准点在基础坐标系{B}中均应具有对应的基础坐标。相机可对基准标定板进行拍摄，各个基准点在相机坐标系{V}中均也具有对应的相机坐标。局部坐标系{M}基于各个基准点建立，各个基准点在局部坐标系{M}中均具有对应的局部坐标。因此，基准点在实际中可能是一个真实存在的点，不仅同时存在于基础坐标系{B}、相机坐标系{V}、局部坐标系{M}，并且在基础坐标系{B}、相机坐标系{V}、局部坐标系{M}可能具有不同的坐标位置。局部坐标系{M}起到的中转作用的原理，即利用共存于基础坐标系{B}和相机坐标系{V}中的基准点进行坐标变换关系的计算，得到实现能够相机坐标系{V}和基础坐标系{B}之间坐标转换的齐次变换矩阵。

在本实施例中，基础坐标系{B}为基于工作台建立的坐标系，基础坐标系{B}的X轴和Y轴均平行于水平面，基础坐标系{B}的Z轴以竖直方向设置，相机坐标系{V}的Z轴也以竖直方向设置。为了便于后续步骤对坐标变换关系的计算，局部坐标系{M}的Z轴也以竖直方向设置。

具体的，基准标定板以水平方向放置，相机从上至下以竖直方向正对基准标定板。基准标定板和相机标定板可以为同一标定板，也可以为不同的标定板。优选的，为了提高标定效率，本实施例中，基准标定板和相机标定板为同一标定板，且位置不发生变化。

参照图4和图5，具体的，步骤S12的子步骤包括：

S121、确定第一基准点和第二基准点。

其中，基准点集至少包括两个基准点，此两基准点分别为第一基准点和第二基准点，第一基准点和第二基准点分别标记于基准标定板上不同的位置。

在后续步骤中，需要同时确定基准点在基础坐标系{B}和相机坐标系{V}中的未知的坐标信息，因此需要获取基准点在相机坐标系{V}中的相机坐标，为达到此目的，第一基准点和第二基准点均需要出现在相机的视野内，并且为了减少计算误差，第一基准点和第二基准点之间的距离尽可能的大。在另一较佳示例中，也可以使基准标定板上的多个标定点均出现于相机的视野内形成若干个基准点，然后取两者之间距离最大的两个基准点为第一基准点、第二基准点。

因此，在确定第一基准点和第二基准点之前，工作控制系统需要向执行机构发送控制指令，控制执行机构带动相机移动至合适的位置，使得相机能够同时拍摄到基准标定板上的多个标定点，并将此时相机所在的位置记为观察位置。

S122、以第一基准点作为原点、以第一基准点和第二基准点连线的方向作为X轴方向、以垂直于基准标定板的方向作为Z轴方向，建立局部坐标系{M}。

记第一基准点为P1，记第二基准点为P2，以P1P2向量作为X轴的正方向向量，为使局部坐标系{M}的Z轴平行于基础坐标系{B}的Z轴，以基础坐标系{B}中（0，0，1）所对应的向量作为Z轴的正方向向量，建立局部坐标系{M}。

在本实施例中农，利用基准标定板上的标记可以快速确定第一基准点和第二基准点，基于第一基准点和第二基准点之间的连线以及垂直于基准标定板的方向，可以直接快捷地建立局部坐标系{M}。并且，利用基准标定板本身具有的标记属性，便于在后续步骤中计算出第一基准点、第二基准点的相机坐标，以及计算出第一基准点、第二基准点的基础坐标。

步骤S1的目的是为了得到实现相机坐标系{V}与基础坐标系{B}之间坐标变换的综合变换信息。在本实施例中，综合变换信息包含基础变换矩阵Tbm和相机变换矩阵Tcm，其中，基础变换矩阵Tbm为局部坐标系{M}到基础坐标系{B}的坐标变换的齐次变换矩阵，相机变换矩阵Tcm为局部坐标系{M}到相机坐标系{V}的坐标变换的齐次变换矩阵。

S13、基于基准点集的局部坐标到此基准点集的基础坐标的变换关系，确定基础变换矩阵Tbm。

其中，利用基准点集在局部坐标系{M}中的位置和基准点集在基础坐标系{B}中的位置，可以计算出反映局部坐标系{M}和基础坐标系{B}之间坐标变换的基础变换矩阵Tbm。

具体的，步骤S13的子步骤包括：

S131、向执行机构发送标定对准指令，以使执行机构带动操作件移动至第一对准位置。

其中，标定对准指令为工作控制系统控制执行机构工作的控制指令。第一对准位置指的是操作件能够竖直方向正对第一基准点时的位置，当操作件位于第一对准位置时，操作件直接向下移动即可移动至第一基准点。因此，若第一基准点为螺丝孔位，则携带螺丝的操作件达到第一对准位置后，操作件直接向下移动即可在第一基准点处完成锁付操作。

在本实施例中，操作件与第一基准点是否对准由人工进行判断。在另一较佳示例中，也可在操作件的一侧增加一个摄像机，利用实时监控和图像分析的方式，自动检测操作件与第一基准点是否对准。

S132、确定第一对准位置在基础坐标系{B}中的基础坐标为第一基础坐标。

其中，由于操作件安装于执行机构的机械手末端关节，相当于机械手末端关节也处于第一对准位置，因此，在操作件对准第一基准点时，可记录机械手末端关节在基础坐标系{B}中的基础坐标为第一基础坐标。

S133、向执行机构发送标定对准指令，以使执行机构带动操作件移动至第二对准位置。

其中，第二对准位置指的是操作件能够竖直方向正对第二基准点时的位置，当操作件位于第二对准位置时，操作件直接向下移动即可移动至第二基准点。因此，若第二基准点为螺丝孔位，则携带螺丝的操作件达到第二对准位置后，操作件直接向下移动即可在第二基准点处完成锁付操作。

S134、确定第二对准位置在基础坐标系{B}中的基础坐标为第二基础坐标。

其中，在操作件对准第二基准点时，记录机械手末端关节在基础坐标系{B}中的基础坐标为第二基础坐标。

S135、基于第一基础坐标、第二基础坐标以及局部坐标系{M}的Z轴向量，确定基础变换矩阵Tbm。

其中，在基础坐标系{B}的Z轴与局部坐标系{M}的Z轴相互平行的基础上，利用局部坐标系{M}的Z轴向量、对应于第一基准点的第一基础坐标和对应于第二基准点的第二基础坐标，可计算出基础坐标系{B}和局部坐标系{M}之间的变换矩阵，即得到基础变换矩阵Tbm。

具体的，步骤S135的子步骤包括：

S1351、基于第一基础坐标bP1（x1，y1，z1）和第二基础坐标bP2（x2，y2，z2），计算得到局部坐标系{M}的X轴方向的单位向量在基础坐标系{B}中的表示向量mX、局部坐标系{M}的Y轴方向的单位向量在基础坐标系{B}中的表示向量mY、局部坐标系{M}的Z轴方向的单位向量在基础坐标系{B}中的表示向量mZ。

具体计算过程参照公式（1）、公式（2）和公式（3）。

（1）

（2）

（3）

S1351、基于表示向量mX、表示向量mY和表示向量mZ，确定基础变换矩阵Tbm。

具体计算过程参照公式（4）。

（4）

上述为计算得到基础变换矩阵Tbm的过程，利用基础变换矩阵Tbm可以实现局部坐标系{M}到基础坐标系{B}的坐标变换，为了实现基础坐标系{B}到相机坐标系{V}的坐标变换，还需要计算相机变换矩阵Tcm，利用相机变换矩阵Tcm来实现局部坐标系{M}到相机坐标系{V}的坐标变换。

参照图4和图6，S14、基于基准点集的局部坐标到此基准点集的相机坐标的变换关系，确定相机变换矩阵Tcm。

其中，利用基准点集在局部坐标系{M}中的位置和基准点集在相机坐标系{V}中的位置，可以计算出反映局部坐标系{M}和相机坐标系{V}之间坐标变换的相机变换矩阵Tcm。

具体的，步骤S14的子步骤包括：

S141、获取第一相机坐标和第二相机坐标。

其中，在执行步骤S141之前，执行机构已经带动相机移动至观察位置，使得第一基准点和第二基准点均出现于相机的视野内，而在执行步骤S141的过程中，相机依然处于观察位置。视觉系统的相机拍摄到第一基准点和第二基准点之后，记录此图像为观察图像，根据观察图像，视觉系统的视觉控制模块记录第一基准点在相机坐标系{V}中的位置为第一相机坐标，并记录第二基准点在相机坐标系{V}中的位置为第二相机坐标。

视觉系统计算得到第一相机坐标和第二相机坐标后，将第一相机坐标和第二相机坐标发送至工作控制系统，工作控制系统获取第一相机坐标和第二相机坐标。

S142、基于第一相机坐标、第二相机坐标以及局部坐标系{M}的Z轴向量，确定相机变换矩阵Tcm。

其中，在相机坐标系{V}的Z轴与局部坐标系{M}的Z轴相互平行的基础上，利用局部坐标系{M}的Z轴向量、对应于第一基准点的第一相机坐标和用对应于第二基准点的第二相机坐标，可计算出相机坐标系{V}和局部坐标系{M}之间的变换矩阵，即得到相机变换矩阵Tcm。

具体的，步骤S142的子步骤包括：

S1421、基于第一相机坐标vP1（x3，y3，z3）和第二相机坐标vP2（x4，y4，z4），计算得到局部坐标系{M}的X轴方向的单位向量在相机坐标系{V}中的表示向量vX、局部坐标系{M}的Y轴方向的单位向量在相机坐标系{V}中的表示向量vY、局部坐标系{M}的Z轴方向的单位向量在相机坐标系{V}中的表示向量vZ。

具体计算过程参照公式（5）、公式（6）和公式（7）。

（5）

（6）

（7）

S1421、基于表示向量vX、表示向量vY和表示向量vZ，确定基础变换矩阵Tbm。

具体计算过程参照公式（8）。

（8）

参照图6和图7，具体的，步骤S2的子步骤包括：

S21、确定观察位置在基础坐标系{B}中的基础坐标为标定基础坐标。

其中，步骤S2的目的是为了得到工具坐标和基础坐标之间的坐标转换的变换矩阵，而此变换矩阵关联于执行机构的机械手末端关节的位置，因此，需要确定机械手末端关节在相机获取观察图像时的位置。由于相机安装于执行机构的机械手末端关节，相当于机械手末端关节也处于观察位置，因此，可以记录观察位置在在基础坐标系{B}中的基础坐标为标定基础坐标。

S22、基于标定基础坐标以及工具坐标系{E}到基础坐标系{B}的坐标变换关系，确定运基变换矩阵T。

其中，基于标定基础坐标可以得知机械手末端关节的位置，在已知此关节位置的情况下，可以计算出工具坐标系{E}到基础坐标系{B}的运基变换矩阵T。

利用基础变换矩阵Tbm可以实现局部坐标系{M}到基础坐标系{B}的坐标变换，利用相机变换矩阵Tcm来实现局部坐标系{M}到相机坐标系{V}的坐标变换，因此结合基础变换矩阵Tbm和相机变换矩阵Tcm，可以实现基础坐标系{B}到相机坐标系{V}的坐标变换。

在上述步骤S3中，已知工具坐标系{E}到基础坐标系{B}的运基变换矩阵T、局部坐标系{M}到基础坐标系{B}的基础变换矩阵Tbm、局部坐标系{M}到相机坐标系{V}的相机变换矩阵Tcm，根据链式法则可以计算得到相机坐标系{V}到工具坐标系{E}的标定变换矩阵X。

具体计算过程参照公式（9）：

（9）

在正常运行时，当相机识别到螺丝孔位后，并得到螺丝孔位在相机坐标系{V}中的相机坐标，通过标定变换矩阵X，可将坐标转换到工具坐标系{E}中表示，得到螺丝孔位在工具坐标系{E}中的工具坐标。

本申请的实施原理为：利用标定变换矩阵X，可以完成不同坐标系之间的坐标转换，实现在工具坐标系{E}下螺丝孔位的坐标的获取，而获取标定变换矩阵X的过程中，只需要利用基准标定板上标记的两个基准点建立局部坐标系{M}作为辅助的中间量，并不需要大量的基准点对进行标定，减少复杂的标定步骤，简化标定过程，而变换矩阵X的获取过程中对产品的位姿要求较低，并不需要将产品限定于特定的位姿进行拍摄，达到提高工作效率的效果。在需要对不同的产品进行锁付定位时，工作效率提升的效果更加明显，可以实现高生产效率的自动化螺丝锁付应用。

本申请还提供一种螺丝锁付方法，基于上述的锁付定位方法进行实施，所述方法的主要流程描述如下。

参照图8，A1、向执行机构发送执行启动指令。

其中，执行机构接收到执行启动指令后，螺丝锁付任务正常执行，执行机构驱使相机移动至某一位置，并记录此位置为检测位置，相机于检测位置对放置于工作台上的产品进行拍摄。

在步骤A1中，为了加快螺丝锁付操作的效率，相机在单次拍摄中应尽量多地拍摄完产品上的各个螺丝孔位，若相机拍摄到的螺丝孔位过少，可改变相机的检测位置，将相机调整至能够完整拍摄到需要锁付的所有螺丝孔位的位置上。

A2、视觉系统基于相机拍摄的照片对螺丝孔位进行识别，确定相机孔位信息。

其中，相机孔位信息用于指示各个螺丝孔位在相机坐标系{V}中的位置，在本实施例中，此位置通过矩阵的方式进行表示。

视觉系统基于相机拍摄的照片对螺丝孔位识别，确定螺丝孔位的位置在相机坐标系{V}中的表示矩阵为相机坐标矩阵Tcp，并基于各个螺丝孔位所对应的相机坐标矩阵Tcp，确定并向工作控制系统发送相机孔位信息。

A3、利用上述锁付定位方法，确定工具孔位信息。

其中，工具孔位信息用于指示各个螺丝孔位在工具坐标系{E}中的位置，在本实施例中，此位置通过矩阵的方式进行表示。

已知相机坐标矩阵Tcp为螺丝孔位在相机坐标系{V}中的位置的表示矩阵，利用标定变换矩阵X，可将相机坐标矩阵Tcp转换成工具坐标矩阵Tcp’，工具坐标矩阵Tcp’为螺丝孔位在工具坐标系{E}中的位置的表示矩阵。工作控制系统基于各个螺丝孔位所对应的工具坐标矩阵Tcp’，可以确定工具孔位信息。

值得注意的是，在锁付定位方法中，步骤S1至步骤S3的目的是确定标定变换矩阵X，步骤S4是的目的是基于标定变换矩阵X和相机孔位信息，确定工具孔位信息。标定变换矩阵X对应于参与过步骤S1至步骤S3的计算的工作台、视觉系统和工作控制系统，因此，在工作控制系统未生成过标定变换矩阵X的情况下，步骤S1至步骤S3是必须进行执行的；而若标定变换矩阵X已经生成，为了减少重复的计算，步骤S1至步骤S3可以省略，直接执行步骤S4。

在一较佳的示例中，使用者也可利用锁付定位方法的步骤S1至步骤S3，将标定变换矩阵X预先计算出来，然后直接进行螺丝锁付。

A4、基于检测位置以及工具坐标系{E}到基础坐标系{B}的坐标变换关系，确定运动变换矩阵Ttp。

其中，步骤A4的目的是为了得到工具坐标和基础坐标之间的坐标转换的变换矩阵，而此变换矩阵关联于执行机构的机械手末端关节的位置，因此，需要确定机械手末端关节在相机获取观察图像时的位置。由于相机安装于执行机构的机械手末端关节，检测位置即为机械手末端关节的位置。

在已知机械手末端关节的位置的情况下，可以计算基础坐标系{B}到工具坐标系{E}的坐标变换关系，得到运动变换矩阵Ttp。

A5、基于运动变换矩阵Ttp和工具孔位信息，生成并向执行机构发送锁付执行指令。

其中，工具孔位信息为各个螺丝孔位所对应的工具坐标矩阵Tcp’，即各个螺丝孔位为工具坐标系{E}中的位置。运动变换矩阵Ttp能够实现基础坐标系{B}和工具坐标系{E}之间的转换。因此，结合基于工具坐标矩阵Tcp’和运动变换矩阵Ttp，可以计算得到各个螺丝孔位在工具坐标系{E}中的位置的表示矩阵，即得到对应于各个螺丝孔位的孔位坐标矩阵TcP’b。

工作控制系统根据各个孔位坐标矩阵TcP’b生成锁付执行指令，并发送至执行机构，以使执行机构依次在各个孔位坐标矩阵TcP’b所对应的位置完成螺丝锁付。

每一个孔位坐标矩阵TcP’b均反映了对应的螺丝孔位在基础坐标系{B}中的位置，因此，控制执行机构带动操作件依次在各个孔位坐标矩阵TcP’b所对应的位置完成螺丝锁付，即可完成此产品的螺丝锁付任务。

本申请的实施原理为：通过相机识别螺丝孔位在相机坐标系{V}中的位置后，可利用标定变换矩阵X，得到螺丝孔位在工具坐标系{E}中的位置，然后结合相机当前的位置，得到螺丝孔位在基础坐标系{B}中的位置，然后执行机构移动至对应的位置完成螺丝锁付。在正常执行中，上述方案对产品的位姿要求较低，尤其在需要对不同的产品的螺丝孔位进行定位时，工作效率更快，实现高生产效率的自动化螺丝锁付应用。

本申请还提供一种锁付定位装置，与上述实施例一中的锁付定位方法相对应。

参照图9，锁付定位装置包括：

综合变换模块1，用于基于相机坐标系{V}与基础坐标系{B}之间的坐标变换关系，确定综合变换信息，并发送至第一工具变换模块2。其中，相机坐标系{V}为对应于相机的坐标系，基础坐标系{B}为对应于工作台的坐标系。

第一工具变换模块2，用于基于观察位置以及工具坐标系{E}到基础坐标系{B}的坐标变换关系，确定运基变换矩阵T，并发送至结果计算模块3。其中，工具坐标系{E}为对应于执行机构的坐标系，执行机构搭载相机，观察位置反映相机的位置。

结果计算模块3，用于基于综合变换信息和运基变换矩阵T，确定用于实现工具坐标系{E}与相机坐标系{V}之间坐标变换的标定变换矩阵X，并发送至位置换算模块4。

位置换算模块4，用于获取相机孔位信息，并基于标定变换矩阵X和相机孔位信息，确定工具孔位信息。其中，相机孔位信息反映螺丝孔位在相机坐标系{V}中的位置，工具孔位信息反映此螺丝孔位在工具坐标系{E}中的位置。

本实施例提供的锁付定位装置，由于其各模块本身的功能及彼此之间的逻辑连接，能实现前述实施例的各个步骤，因此能够达到与前述实施例相同的技术效果，原理分析可参见前述锁付定位方法步骤的相关描述，在此不再累述。

本申请还提供一种螺丝机，与上述实施例一中的螺丝锁付方法相对应。

参照图10，螺丝机还包括：

锁付启动单元5，用于向执行机构发送执行启动指令，以使执行机构带动相机移动至能够拍摄螺丝孔位的检测位置。

孔位获取单元6，用于获取视觉系统发送的相机孔位信息，并发送至锁付定位装置。其中，视觉系统基于相机拍摄的照片对螺丝孔位进行识别，确定相机孔位信息并发送至孔位获取单元6。

锁付定位装置，用于基于标定变换矩阵X和相机孔位信息，确定工具孔位信息，并发送至锁付执行单元8。

第二工具变换单元7，用于基于检测位置以及工具坐标系{E}到基础坐标系{B}的坐标变换关系，确定运动变换矩阵Ttp，并发送至锁付执行单元8。

锁付执行单元8，用于基于运动变换矩阵Ttp和工具孔位信息，生成并向执行机构发送锁付执行指令。

执行机构，用于基于锁付执行指令所指示的位置完成螺丝锁付。

本实施例提供的螺丝机，由于其各模块本身的功能及彼此之间的逻辑连接，能实现前述实施例的各个步骤，因此能够达到与前述实施例相同的技术效果，原理分析可参见前述螺丝锁付方法步骤的相关描述，在此不再累述。

以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims

1.一种锁付定位方法，其特征在于，包括：

获取相机孔位信息，并基于标定变换矩阵X和相机孔位信息，确定工具孔位信息；其中，所述相机孔位信息反映螺丝孔位在所述相机坐标系{V}中的位置，所述工具孔位信息反映此螺丝孔位在所述工具坐标系{E}中的位置；

所述综合变换信息包括相机变换矩阵Tcm和基础变换矩阵Tbm；所述基于相机坐标系{V}与基础坐标系{B}之间的坐标变换关系，确定综合变换信息的步骤包括：

基于基准点集的局部坐标到此基准点集的基础坐标的变换关系，确定基础变换矩阵Tbm；

在基于基准点集，建立局部坐标系{M}的具体方法中，包括：

2.根据权利要求1所述的锁付定位方法，其特征在于，所述局部坐标系{M}的Z轴平行于所述基础坐标系{B}的Z轴，所述执行机构搭载有能够抓取螺丝的操作件；所述基于基准点集的局部坐标到基础坐标的变换关系，确定基础变换矩阵Tbm的步骤包括：

3.根据权利要求2所述的锁付定位方法，其特征在于，所述局部坐标系{M}的Z轴平行于所述相机坐标系{V}的Z轴，所述基于基准点集的局部坐标到相机坐标的变换关系，确定相机变换矩阵Tcm的步骤包括：

4.根据权利要求1所述的锁付定位方法，其特征在于：所述第一基准点和所述第二基准点为所述基准标定板中出现在所述相机视野内且距离最远的两个标定点。

5.根据权利要求1所述的锁付定位方法，其特征在于，所述基于相机坐标系{V}与基础坐标系{B}之间的坐标变换关系，确定综合变换信息的步骤还包括：

视觉系统对相机的内参数进行标定，建立相机坐标系{V}。

6.一种螺丝锁付方法，其特征在于，包括上述权利要求1至5任一项所述的锁付定位方法，还包括：

基于检测位置以及工具坐标系{E}到基础坐标系{B}的坐标变换关系，确定运动变换矩阵Ttp；基于运动变换矩阵Ttp和工具孔位信息，生成并向执行机构发送锁付执行指令。