CN110076277B - 基于增强现实技术的配钉方法 - Google Patents

Abstract

本发明提供了一种基于增强现实技术的配钉方法，搭建应用增强现实技术的配钉系统，在待装配工件的装配区域中布置公共测量点和定位标志点，它们作为激光跟踪仪和配钉系统的增强现实投射单元采集的信息源，结合视觉SLAM算法构建全局地图，保证基于增强现实技术辅助配钉作业在大尺度空间下的精度。结合激光跟踪仪与相机，消除相机定位过程中大尺度空间需求和局部定位精度需求之间的矛盾，确保增强现实图像显示器上投射的虚拟图像精度。在装配时，增强现实投射单元将真实环境中的现实图像和实时的虚拟图像叠加，虚拟图像上的各虚拟孔位处标识有对应的紧固件类型，各虚拟孔位与现实图像上的实际孔位位置对应，从而能实时指导装配、装配精度较高。

Description

基于增强现实技术的配钉方法

技术领域

本发明涉及航天航空领域，尤其涉及一种基于增强现实技术的配钉方法。

背景技术

飞机装配过程中，涉及到大量的蒙皮与骨架之间的紧固件连接。随着飞机质量日趋提升，特别是军用战机的超机动性和隐身性能要求不断提高，对飞机的外形精度提出了更加苛刻的要求。因此需要对飞机的外形精度相关的装配工艺进行严格的控制。

目前，保证飞机外形精度的主要策略是控制制孔锪窝连接工艺过程的精度。然而一旦制孔锪窝连接工艺过程的精度不足，会导致铆钉上端面与飞机表面形貌高度方向的不一致性，从而对飞机的外形精度产生难以弥补的破坏。但是由于飞机表面形态复杂、飞机机体复合材料大规模应用、固有的局部刚度不足等问题的存在，单纯控制蒙皮与壁板的叠层制孔精度存在很大的困难，经常出现群孔超差的问题。

单纯依靠制孔锪窝精度与铆钉的尺寸精度，保持两者的装配互换性很难满足飞机的外形的高精度要求。紧固件分类分组装配的方法可以起到很好地满足装配精度要求。其核心思想是将连接使用的铆钉根据其实际尺寸进行预先分组，然后对飞机蒙皮壁板之间进行制孔锪窝，并使用高精度测量设备检测窝深精度。结合铆钉分组信息与窝深精度的测量结果，选用合适的铆钉进行连接紧固，进而保证表面精度。在飞机蒙皮与骨架装配任务中，待装配工件很大，待装配的紧固件数量很多，导致人工作业工作量太大，生产效率过低。由于飞机蒙皮与骨架连接孔过多，人工方法查询检测结果并人工选取合适铆钉的过程是一项艰巨而困难的任务。分组的紧固件有时仅有0.01级别的误差，肉眼很难分别，一旦装错，又很难发现，会导致大量误操作的出现。

随着技术发展，采用智能化手段指导配钉成为了可能。借助智能化手段，协助人工精确装配紧固件，可以在保证效率的同时，满足装配精度的要求。例如，目前已有的基于激光跟踪仪指导的配钉系统，其原理是将激光跟踪仪转站到工件坐标系下，再依据激光跟踪仪的光束空间定位功能，将光点投射至工件的待装配孔位置，但该种策略每次只能投射一个孔，而且需要遥控操作远程设备，操作起来不够方便。

采用增强现实技术的配钉应用系统包括一种投影式增强现实装配诱导与监测系统。其实现方法是：通过布置在待装配工件上的传感器、布置在全局的空间相机对装配过程进行检测。并提供一种全局投影式增强现实系统，将装配工序信息投影至待装配工件的装配表面，使操作员感受沉浸式体验，提高操作员的装配准确性和装配效率。指导形式为该工位装配各种部件时的装配诱导信息的文字及图像的投影，包括部件形状、装配位置、装配顺序、装配动作动画、所用的工具、螺栓拧紧力矩及文字图片。然而这种方法具有以下问题：这种投影的方式指导信息不够直观，本质上属于演示装配过程，不具备指导的实时性，且效率较低，更接近于传统的查询纸面装配信息方法，使得装配精度不足。因此需要一种采用智能化手段能够对待装配工件与紧固件的装配操作实时指导且精度较高的配钉方法，以完成紧固件的装配。

发明内容

鉴于现有技术存在的缺陷，本发明的目的在于提供一种基于增强现实技术的配钉方法，其能够对待装配工件与紧固件的装配操作进行实时指导且精度较高。

为了实现上述目的，本发明提供了一种基于增强现实技术的配钉方法，用于匹配待装配工件与对应装配的多个紧固件，待装配工件上具有装配区域且建立有工件坐标系，装配区域中布置有多个连接孔，用于供多个紧固件对应装配。基于增强现实技术的配钉方法包括步骤S1、S2、S3、S4、S5、S6以及S7。S1，搭建配钉系统，配钉系统包括中央信息处理单元、增强现实投射单元以及激光跟踪仪，中央信息处理单元用于数据处理、存储以及通讯，增强现实投射单元包括相机、虚拟图像生成器以及增强现实图像显示器，增强现实投射单元用于采集图像信息以及构建地图；激光跟踪仪与增强现实投射单元分别与中央信息处理单元通信连接。S2，用激光跟踪仪获取得到待装配工件上的各连接孔在工件坐标系下的位置坐标以及对应位置坐标处的连接孔的深度信息，根据各连接孔在工件坐标系下的位置坐标和各连接孔的深度信息确定各紧固件的类型，用中央信息处理系统接收并存储各连接孔在工件坐标系下的位置坐标、各连接孔的深度信息以及紧固件的类型。S3，在待装配工件的装配区域布置多个公共测量点以及多个定位标志点；多个公共测量点分散布置在装配区域的外周；多个定位标志点布置在多个连接孔的周围，用于确定多个连接孔的位置；用激光跟踪仪测量得到所有公共测量点在工件坐标系下的位置坐标。S4，用增强现实投射单元的相机感知装配区域中的公共测量点和定位标志点的特征信息，以某一位置处的公共测量点作为地图起始点并建立地图坐标系，除作为地图起始点外的其它公共测量点用于确定工件坐标系和地图坐标系之间的位姿变换矩阵，以公共测量点和定位标志点为特征点，通过视觉SLAM算法和基于特征的方法对获取的特征信息进行环境地图的构建，构建得到全局地图并获得所有公共测量点和定位标志点在地图坐标系下的位置坐标；根据其它公共测量点在地图坐标系下的位置坐标以及其它公共测量点在工件坐标系下的位置坐标，通过最小重投影误差BA算法计算得到地图坐标系与工件坐标系之间的位姿变换矩阵。S5，根据步骤S4得到的地图坐标系与工件坐标系之间的位姿变换矩阵以及所有连接孔在工件坐标系下的位置坐标，计算得到所有连接孔在地图坐标系下的位置坐标，并结合所有定位标志点在地图坐标系下的位置坐标，得到所有连接孔与所有定位标志点的相对位置关系。S6，使增强现实投射单元进入工作区面对待装配工件的装配区域，用增强现实投射单元感知地图起始点附近的公共测量点和定位标志点的特征信息，通过视觉SLAM算法对获取的特征信息进行环境地图的构建，构建得到局部地图，使用与局部地图尺寸相同的窗将步骤S4得到的全局地图划分为多个子地图，对局部地图与多个子地图进行特征点分布相似性比较，得到增强现实投射单元在地图坐标系下的初始位置坐标；结合增强现实投射单元在地图坐标系下的初始位置坐标，并用相机实时采集装配区域图像并提取装配区域中的公共测量点和定位标志点的特征信息，使装配区域图像与步骤S4中得到的全局地图进行特征点匹配，通过PnP算法计算得到增强现实投射单元在地图坐标系下的位姿，并以所有时刻下增强现实投射单元在地图坐标系下的位姿以及所有时刻下装配区域图像中的特征点的位置坐标作为待优化参量，通过最小重投影误差BA算法进行优化，得到精确的增强现实投射单元在地图坐标系下的位姿，结合所有连接孔在地图坐标系下的位置坐标，计算得到所有连接孔相对增强现实投射单元的位置坐标。S7，相机实时采集得到装配区域的现实图像，并通过增强现实图像显示器显示，同时增强现实投射单元从中央信息处理单元中接收各连接孔在工件坐标系下的位置坐标、深度信息以及紧固件的类型，根据步骤S6得到的所有连接孔相对增强现实投射单元的位置坐标，通过虚拟图像生成器生成装配区域的虚拟图像，增强现实图像显示器获取装配区域的虚拟图像并将装配区域的虚拟图像叠加到现实图像上，现实图像上具有连接孔的实际孔位，虚拟图像上具有与实际孔位位置对应的虚拟孔位，用装配区域的虚拟图像实时指导在真实场景中装配紧固件，虚拟图像上的各虚拟孔位处标识有与各虚拟孔位对应的紧固件类型。

本发明的有益效果如下：

在本发明的基于增强现实技术的配钉方法中，搭建应用增强现实技术的配钉系统，在待装配工件的装配区域中布置公共测量点和定位标志点，公共测量点和定位标志点作为激光跟踪仪和配钉系统中的增强现实投射单元采集的信息源，结合视觉SLAM算法构建全局地图，保证基于增强现实技术辅助配钉作业在大尺度空间下的精度。结合激光跟踪仪与相机两种测量仪器，消除相机定位过程中大尺度空间需求和局部定位精度需求之间的内在矛盾，进而确保增强现实图像显示器上投射的虚拟图像的精度；在进行装配工作时，增强现实投射单元将真实环境中的装配区域的现实图像和实时对应的虚拟图像叠加，虚拟图像上的各虚拟孔位处标识有与各虚拟孔位对应的紧固件类型，各虚拟孔位与现实图像上的实际孔位位置对应，从而能够实时指导装配，并且装配精度较高。

附图说明

图1是本发明的基于增强现实技术的配钉方法中使用的配钉系统交互关系的示意图。

图2是本发明的基于增强现实技术的配钉方法中使用的配钉系统的示意图。

图3是本发明的基于增强现实技术的配钉方法中的公共测量点的一实施例的示意图。

图4是本发明的基于增强现实技术的配钉方法中的视觉SLAM算法的框架图。

图5是本发明的基于增强现实技术的配钉方法中的步骤S41的通过三角形相似性计算得到匹配成功的特征点的深度信息的原理示意图。

图6(a)至图6(d)是本发明的基于增强现实技术的配钉方法中的步骤S45的基于使用外观相似的方法的回环检测的原理示意图。

图7是本发明的基于增强现实技术的配钉方法中的步骤S7的增强现实投射单元的工作原理图。

图8(a)是本发明的基于增强现实技术的配钉方法中的待装配工件的装配区域的现实图像的示意图。

图8(b)是本发明的基于增强现实技术的配钉方法中的待装配工件的装配区域的现实图像和虚拟图像叠加后的效果的示意图。

其中，附图标记说明如下：

1中央信息处理单元 C2定位标志点

2增强现实投射单元 T1靶球

3激光跟踪仪 T2靶球座

W1待装配工件 V现实图像

W11装配区域 H1实际孔位

C0地图起始点 H2虚拟孔位

C1公共测量点

具体实施方式

附图示出本发明的实施例，且将理解的是，所公开的实施例仅仅是本发明的示例，本发明可以以各种形式实施，因此，本文公开的具体细节不应被解释为限制，而是仅作为权利要求的基础且作为表示性的基础用于教导本领域普通技术人员以各种方式实施本发明。

下面参照附图来详细说明根据本发明的基于增强现实技术的配钉方法。

本发明的基于增强现实技术的配钉方法用于匹配待装配工件W1与对应装配的多个紧固件(未示出)，例如在航空装配工人在进行飞机的蒙皮与骨架铆钉连接工艺时，指导装配工人按照技术要求合理、高效地选用合适类型的铆钉连接飞机的蒙皮与骨架，从而提升飞机蒙皮与骨架的连接精度。待装配工件W1上具有装配区域W11且建立有工件坐标系，装配区域W11中布置有多个连接孔，用于供多个紧固件对应装配。

参照图1至图8(b)，本发明的基于增强现实技术的配钉方法包括步骤S1、S2、S3、S4、S5、S6以及S7。

S1，搭建配钉系统，参照图1和图2，配钉系统包括中央信息处理单元1、增强现实投射单元2以及激光跟踪仪3。中央信息处理单元1包括信息存储模块、信息处理模块以及信息通讯模块。中央信息处理单元1用于数据处理、存储以及通讯，并且中央信息处理单元1可结合预先设置的装配方案与装配工艺快速生成对待装配工件W1连接的装配指导方案，例如，中央信息处理单元1能够根据待装配工件W1上的各连接孔的尺寸和深度快速生成各连接孔对应的紧固件的信息。中央信息处理单元1同时可以对各种异常状态进行监测，及时对各种异常状况进行反馈。增强现实投射单元2包括相机、虚拟图像生成器以及增强现实图像显示器，增强现实投射单元2用于采集图像信息以及构建地图。如图2所示，增强现实投射单元2为AR眼镜，AR眼镜中集成有相机、虚拟图像生成器以及增强现实图像显示器。激光跟踪仪3与增强现实投射单元2分别与中央信息处理单元1通信连接，通信连接的方式可以为有线连接或无线连接。

S2，用激光跟踪仪3获取得到待装配工件W1上的各连接孔在工件坐标系下的位置坐标以及对应位置坐标处的连接孔的深度信息，根据各连接孔在工件坐标系下的位置坐标和各连接孔的深度信息确定各紧固件的类型，用中央信息处理系统接收并存储各连接孔在工件坐标系下的位置坐标、各连接孔的深度信息以及紧固件的类型。

在步骤S2中，待装配工件W1上的各连接孔通过制孔机床制出，同时待装配工件W1上就具有一个绑定的工件坐标系，各连接孔在工件坐标系下的位置坐标就可以用激光跟踪仪3测量得到，各连接孔的深度信息也可以测得，由此能够确定与各连接孔对应的各紧固件的类型。

S3，参照图2，在待装配工件W1的装配区域W11布置多个公共测量点C1以及多个定位标志点C2；多个公共测量点C1分散布置在装配区域W11的外周；多个定位标志点C2布置在多个连接孔的周围，用于确定多个连接孔的位置；用激光跟踪仪3测量得到所有公共测量点C1在工件坐标系下的位置坐标。

在步骤S3中，公共测量点C1和定位标志点C2为具有几何形状的实体，公共测量点C1和定位标志点C2用于作为激光跟踪仪3、增强现实投射单元2的相机检测的信息源。参照图2和图3，使用靶球T1和靶球座T2组合作为各公共测量点C1，靶球T1固定在靶球座T2上，靶球座T2固定在待装配工件W1的装配区域W11，使用激光跟踪仪3跟踪靶球座T2上的靶球T1测量得到各公共测量点C1在工件坐标系下的位置坐标。多个公共测量点C1分散布置在待装配工件W1的装配区域W11的外周上受工装遮挡较少的位置，以方便在后述的步骤S4中增强现实投射单元2的相机对其感知。如图2所示，为了能够测量到多个公共测量点C1，所以需要在不同位置设置多个激光跟踪仪3，以进行测量工作。

如图2所示，定位标志点C2可使用随机张贴在待装配工件W1的装配区域W11中的具有不同外形特征的标签，外形特征包括形状和色彩，形状例如可包括正方形、三角形、圆形和十字形等。在后述的步骤S4中的环境地图构建过程中，定位标志点C2是构建地图以及增强现实投射单元2进行空间定位的主要信息源，由于待装配工件W1的面积过大，定位标志点C2的外形特征过于单一会增加数据匹配的难度，因此选择不同形状和色彩的定位标志点C2，通过形状特征的差异区分不同的定位标志点C2，以避免错误的数据关联的发生，优化地图构建过程中数据处理难度，并且提升数据匹配效率。用随机的方式布置定位标志点C2可以快速布置大量的定位标志点C2，采用张贴的方式能够避免定位标志点C2位置改变的问题。定位标志点C2的数量根据增强现实投射单元2的相机的视野范围确定，以防止在后述的步骤S4中的环境地图的构建的过程中特征信息丢失而导致建图失败。

S4，用增强现实投射单元2的相机感知装配区域W11中的公共测量点C1和定位标志点C2的特征信息，以某一位置处的公共测量点C1作为地图起始点C0并建立地图坐标系，除作为地图起始点C0外的其它公共测量点C1用于确定工件坐标系和地图坐标系之间的位姿变换矩阵，以公共测量点C1和定位标志点C2为特征点，通过视觉SLAM算法和基于特征的方法对获取的特征信息进行环境地图的构建，构建得到全局地图并获得所有公共测量点C1和定位标志点C2在地图坐标系下的位置坐标；根据其它公共测量点C1在地图坐标系下的位置坐标以及其它公共测量点C1在工件坐标系下的位置坐标，通过最小重投影误差BA算法计算得到地图坐标系与工件坐标系之间的位姿变换矩阵。其中，作为地图起始点C0的公共测量点C1的数量可以为一个，也可以如图2所示为相对位置很靠近的数个公共测量点C1，因此在布置公共测量点C1前，确定好地图起始点C0的位置，在欲作为地图起始点C0的位置处布置相对位置很近且相对位置关系已知的数个公共测量点C1。以公共测量点C1和定位标志点C2为特征点进行特征信息获取，因为公共测量点C1和定位标志点C2是具有几何形状的实体(例如具有各种几何形状的标签)，所以公共测量点C1和定位标志点C2提供了丰富的特征信息，包括各种几何形状的中心、角点以及边缘等，因此可以以标签的中心、角点或边缘的位置坐标作为获取的特征点的位置坐标。例如参照图2，多个定位标志点C2中有三角形的标签，可以以该三角形标签的中心、角点或边缘的点作为该定位标志点C2对应的特征点获取点，进行特征点位置坐标的获取。

在步骤S4中，以AR眼镜作为增强现实投射单元2为例并参照图2，构建得到全局地图并获得所有公共测量点C1和定位标志点C2在地图坐标系下的位置坐标的实际操作为：装配工人携带AR眼镜在装配区域W11周边从地图起始点C0出发开始巡航漫游，调整AR眼镜的观测角度，检测公共测量点C1和定位标志点C2的位置分布，AR眼镜运用机器视觉技术(视觉SLAM算法)进行公共测量点C1和定位标志点C2的定位与环境地图构建，直至成功构建由所有公共测量点C1和定位标志点C2所表示的全局地图。

如图4所示，经典的视觉SLAM算法的框架分为五个模块，包括传感器数据、前端视觉里程计、后端非线性优化、回环检测以及建图。

步骤S4中通过视觉SLAM算法对获取的特征信息进行环境地图的构建，获得由所有公共测量点C1和定位标志点C2所表示的全局地图以及所有公共测量点C1和定位标志点C2在地图坐标系下的位置坐标包括步骤S41、S42，S43、S44以及S45。

在传感器数据模块中进行传感器信息读取，在视觉SLAM算法中主要为相机图像信息的读取和预处理，步骤S4中用增强现实投射单元2的相机感知装配区域W11中的公共测量点C1和定位标志点C2的特征信息以获取特征信息是传感器数据模块的功能实现。

步骤S41-S43是基于特征的方法(即Feature-based方法)实现前端视觉里程计模块功能的过程。前端视觉里程计模块的任务是估算相邻图像间相机的运动，即相机的位姿变换信息。基于特征的方法通过提取相邻时刻的图像中的特征点进行特征点匹配，并使用PnP(Perspective-n-Point的缩写)算法计算得到相机在相邻时刻图像之间的位姿变换矩阵。

S41，相机包括单目相机和双目相机，通过已标定的单目相机在装配区域W11中取景采集相邻时刻的参考图像和配准图像，对参考图像和配准图像分别进行特征点提取，对提取的参考图像和配准图像的特征点进行匹配，获得一组匹配点，使用RANSAC(RandomSample Consensus的缩写，随机抽样一致)算法对匹配点中的错误匹配点删除，获得匹配成功的特征点在像素坐标系下的位置坐标和在图像坐标系下的位置坐标；通过已标定的双目相机采集同一时刻的两张图像，通过三角形相似性计算得到匹配成功的特征点的深度信息，从而获得匹配成功的特征点在相机坐标系下的位置坐标。其中，相邻时刻为任意的相邻时刻。

步骤S41中获得匹配成功的特征点在像素坐标系下的位置坐标和在图像坐标系下的位置坐标的具体过程为：相邻时刻的参考图像和配准图像分别记为I_t和I_t+1，其中t表示t时刻，t+1表示t+1时刻，提取到的特征点的数量记为M，提取的t时刻的参考图像I_t的第m个特征点记为

提取的t+1时刻的配准图像I_t+1的第m个特征点记为

计算t时刻下的第m个特征点

分别与t+1时刻下的各特征点

之间的汉明距离数组D_t ^m；对于第m个特征点选取汉明距离数组D_t ^m中最小的汉明距离对应的配准图像I_t+1中的特征点，作为第m个特征点

在配准图像I_t+1中的匹配点并删除错误匹配点，完成参考图像I_t和配准图像I_t+1的M个特征点的匹配，获得匹配成功的M个特征点在像素坐标系下的位置坐标和在图像坐标系下的位置坐标。注意的是，由于相机的视角范围有限，提取到的特征点的数量M小于装配区域W11中公共测量点C1和定位标志点C2的实际总数量，实际总数量记为M_total。

参照图5，步骤S41中的通过三角形相似性计算得到特征点的深度信息的具体过程为：根据小孔成像原理，写出双目相机的透镜成像的视差公式：

其中，f为透镜焦距，双目相机包括左摄像机和右摄像机，左摄像机和右摄像机的内部参数(例如焦距、镜头等)相同，B为左摄像机的光心O1和右摄像机的光心O2之间的距离，以左摄像机的相机坐标系为准，右摄像机相对于左摄像机是简单的平移，用坐标表示为(B,0,0)，

分别为左摄像机和右摄像机中的第m个匹配成功的特征点在左摄像机的像素坐标系下的横坐标；Δx^m为视差；利用三角形相似性，计算得到第m个匹配成功的特征点的景深信息H^m，则可获得第m个匹配成功的特征点在相机坐标系下的位置坐标(X^m,Y^m,H^m)，从而获得M个匹配成功的特征点在相机坐标系下的位置坐标。

S42，作为地图起始点C0的公共测量点C1设置为相对位置关系已知的公共测量点群，选取公共测量点群中的其中一个公共测量点C1作为地图坐标系的原点建立地图坐标系，得到公共测量点群中的公共测量点C1在地图坐标系下的位置坐标；根据步骤S41中得到的匹配成功的特征点在相机坐标系下的位置坐标和在像素坐标系下的位置坐标，获得公共测量点群中的公共测量点C1在相机坐标系下的Z轴方向坐标和在像素坐标系下的位置坐标，对单目相机建立相机模型，计算得到单目相机相对地图坐标系的初始位姿。

步骤S42的具体过程为：公共测量点群中的公共测量点C1的数量记为Q个，Q为正整数且Q＜M，选取公共测量点群中的其中一个公共测量点C1作为地图坐标系的原点O、作为原点O的公共测量点C1与另一个公共测量点C1的连线作为X轴，使用右手法则建立地图坐标系，得到公共测量点群中的Q个公共测量点C1在地图坐标系下的位置坐标，并且根据M个特征点在像素坐标系下的位置坐标，获得公共测量点群中的Q个公共测量点C1在像素坐标系下的位置坐标，根据M个特征点在相机坐标系下的位置坐标，获得公共测量点群中的Q个公共测量点C1在相机坐标系下的Z轴方向坐标；公共测量点群中的第q个公共测量点C1在地图坐标系下的位置坐标记为[X_q Y_q Z_q 1]，q＝1,2,...,Q，对单目相机建立相机模型如下：

其中，k_x、k_y、u₀、v₀为已知的相机的内参，相机的内参已经通过相机预先的标定过程确定；u_q和v_q为公共测量点群中的第q个公共测量点C1在像素坐标系下的横坐标和纵坐标，z_cq为公共测量点群中的第q个公共测量点C1在相机坐标系下的Z轴方向坐标；通过相机模型计算得到单目相机相对地图坐标系的初始位姿，单目相机相对地图坐标系的初始位姿包括单目相机相对地图坐标系的初始旋转矩阵R₀和初始平移矩阵P₀。

S43，根据步骤S41得到的匹配成功的特征点在像素坐标系下的位置坐标，使用PnP算法和SVD(Singular Value Decomposition的缩写，奇异值分解)算法计算得到单目相机在参考图像和配准图像之间的位姿变换矩阵，并结合步骤S42得到的单目相机相对地图坐标系的初始位姿、运用相机模型，反解得到匹配成功的所有特征点在地图坐标系下的位置坐标。

步骤S43的具体过程为：参考图像I_t中的第m个特征点

在相机坐标系下的位置坐标记为[x_ct ^m y_ct ^m z_ct ^m 1]，对于配准图像I_t+1中与第m个特征点对应的特征点

在像素坐标系下的位置坐标记为[u_t+1 ^m v_t+1 ^m 1]，参考图像I_t中的第m个特征点

与对应的配准图像I_t+1中的特征点

之间的位置关系表征为下式：

上式变形为：

其中，R_t ^t+1、P_t ^t+1为参考图像I_t与配准图像I_t+1之间的旋转矩阵和平移矩阵，单目相机在参考图像I_t和配准图像I_t+1之间的位姿变换矩阵包括旋转矩阵R_t ^t+1和平移矩阵P_t ^t+1；当匹配成功的特征点的数量M大于等于4时，使用SVD算法即可求解获得单目相机在参考图像I_t和配准图像I_t+1之间的旋转矩阵R_t ^t+1和平移矩阵P_t ^t+1；

结合单目相机相对地图坐标系的初始位姿，一系列相邻时刻组成时间序列{0,1,2,...,t,t+1,...,T}，对时间序列中相邻时刻下单目相机相对地图坐标系的位姿进行递推，t+1时刻下单目相机相对地图坐标系的旋转矩阵R_t+1和平移矩阵P_t+1满足下式：

通过上式计算得到每一时刻下单目相机相对地图坐标系的旋转矩阵和平移矩阵，单目相机相对地图坐标系的位姿包括单目相机相对地图坐标系的旋转矩阵和平移矩阵。运用相机模型，由每一时刻下的相机相对地图坐标系的位姿反解出匹配成功的所有特征点在地图坐标系下的位置坐标。需要注意的是，时间序列中的数字是指时间序列的编号，不是指具体的时间数值，例如0时刻的参考图像为I₀，对应单目相机相对地图坐标系的初始位姿为初始旋转矩阵R₀和初始平移矩阵P₀，1时刻的参考图像为I₁，对应单目相机相对地图坐标系的位姿为旋转矩阵R₁和初始平移矩阵P₁，单目相机在参考图像I₀和配准图像I₁之间的位姿变换矩阵包括旋转矩阵R₀ ¹和平移矩阵P₀ ¹，依次类推。

前端视觉里程计模块仅能给出一小尺度空间下相机的轨迹和构建的地图，考虑到相机漂移问题，则需要对所有时刻下单目相机相对地图坐标系的位姿和特征点在地图坐标系下的位置坐标进行优化，步骤S44是基于最小重投影误差BA(bundle adjustment)算法实现的后端非线性优化模块的过程，后端非线性优化可以在大尺度空间下优化地图，从而尽可能使误差最小，得到全局一致的相机轨迹并构建得到全局地图。

S44，以所有时刻下单目相机相对地图坐标系的位姿以及匹配成功的所有特征点在地图坐标系下的位置坐标为优化目标通过最小重投影误差BA算法进行非线性优化，得到所有特征点在地图坐标系下的位置坐标的最优解。

步骤S44的具体过程为：首先建立观测方程z＝h(ξ,p)，其中，z为观测值，选取为特征点在像素坐标系下的坐标，即z＝[u_s v_s]^T，ξ为单目相机相对地图坐标系的位姿的李代数，p为所有特征点在地图坐标系下的位置坐标，建立观测误差为e＝z-h(ξ,p)，i时刻下单目相机相对地图坐标系的位姿记为ξ_i，第j个特征点在地图坐标系下的位置坐标记为p_j，在单目相机相对地图坐标系的位姿ξ_i下观测的第j个特征点p_j的观测值记为z_ij，e_ij为在位姿ξ_i下观测的第j个特征点p_j的观测误差，所有时刻对应的观测误差以代价函数的形式表征为下式：

其中，i＝0,1,2,…t,t+1,...,T，j为正整数且j≤M_PA，M_PA为相机采集到的特征点的数量，M_PA≤M_total；最小化重投影误差优化的目标是获得i时刻下单目相机相对地图坐标系的位姿的最优解ξ_i ^*以及第j个特征点在地图坐标系下的位置坐标的最优解p_j ^*，使得：

在最小化重投影误差优化中，所有时刻下的单目相机相对地图坐标系的位姿与所有特征点在地图坐标系下的位置坐标作为待优化变量，建立优化向量为

将单目相机相对地图坐标系的位姿以及所有特征点在地图坐标系下的位置坐标作为优化初值

确定优化梯度方向使用高斯牛顿法迭代进行非线性优化，代价函数式为：

式中，F_ij、E_ij分别为Δζ_i、Δp_j的最大梯度方向的梯度，将单目相机相对地图坐标系的位姿与所有特征点在地图坐标系下的位置坐标互相独立，则有：

以及

代价函数表达为：

其中，e,F,E为e_ij,F_ij,E_ij的矩阵表达形式；根据高斯牛顿法，代价函数最小等价于求解线性增量方程HΔx＝g；其中：

g＝-[F E]^Tf(x)；

利用H矩阵的稀疏性，完成线性增量方程的求解，迭代进行最小化重投影误差优化过程，将

作为新的初值，重启最小化重投影误差优化过程，直至

收敛至期望值以下，得到单目相机相对地图坐标系的位姿的最优解以及所有特征点在地图坐标系下的位置坐标的最优解。

步骤S45是基于外观相似的方法(即appearance-based方法)实现的回环检测模块的过程。回环检测模块的实质是进行图像的相似性估计，通过判断采集的图像的相似性，判断相机是否回到同一位置，如果检测到回环，它会把信息提供给后端进行处理。

S45，基于使用外观相似的方法的回环检测为步骤S44中的非线性优化添加约束条件；得到进一步优化的所有特征点在地图坐标系下的位置坐标的最优解，即得到其它公共测量点C1和全部定位标志点C2在地图坐标系下的位置坐标，从而完成全局地图的构建。

步骤S45的具体过程为：为步骤S44中的最小化重投影误差优化的目标增加约束条件：p_k ^(s)＝p_l ^(s),k、l∈[1,M_PA],s＝1,2,…，式中，k、l表示构建全局地图过程中特征点的编号，s表示相同特征点的个数，p_k ^(s)、p_l ^(s)为特征点的一个子序列并代表回环检测中匹配到的相同的特征点的位置坐标，最小化重投影误差优化模型更新为：

p_k ^(s)＝p_l ^(s),k、l∈[1,M_PA],s＝1,2,…；

求解优化模型，优化得到所有特征点在地图坐标系下的位置坐标的最优解。图6(a)至图6(d)中示出比较的两个采集的图像，由于作为特征点的待装配工件W1上的定位标志点C2具有不同的形状，因此特征点具有明显的局部分布特征，如定位标志点C2的边缘、角点等。围绕着同一定位标志点C2的特征点组成一个特征点群，参照图6(a)至图6(d)，为了增加图像的相似性估计效率，结合局部分布特征与特征点群的中心位置进行比较，采用分级匹配思想相似性估计。如图6(a)所示，首先根据特征点的局部分布特征，匹配特征点群数目相似性，即比较两幅图像之间特征点群中定位标志点C2的数量是否相同，回环的一个必要条件是特征点群中定位标志点C2的数量相同，图6(a)中两幅图像之间的特征点群中定位标志点C2的数量不相同，则相机位于不同位姿，未检测到回环；如图6(a)所示，在两幅图像之间特征点群中定位标志点C2的数量相同的情况下，开启下一级匹配，比较特征点群的中心位置，回环的下一级必要条件是特征点群的中心位置相似，图6(b)中特征点群的中心位置不相似，则相机位于不同位姿，未检测到回环；如图6(c)所示，若特征点群的中心位置相似，进一步开启下一级匹配，对每个特征点群中所有特征点的位置信息进行匹配，若匹配结果相似，则认为两幅图像相同，即此刻相机回到了之前某一时刻所到达过的位置，图6(c)中每个特征点群中所有特征点的位置信息不相似，则相机位于不同位姿，未检测到回环，图6(d)中每个特征点群中所有特征点的位置信息相似，则相机位于同一位姿，检测到回环。当检测到回环后，提交回环信息到后端，为非线性优化问题增添约束条件，得到进一步优化的所有特征点在地图坐标系下的位置坐标的最优解，从而构建得到精确的全局地图。

步骤S4中通过最小重投影误差BA算法计算得到地图坐标系与工件坐标系之间的位姿变换矩阵的具体过程为：其它公共测量点C1的数量记为M1，在其它公共测量点C1中，第m1个公共测量点C1在地图坐标系下的位置坐标记为

第m1个公共测量点C1在工件坐标系下的位置坐标记为

地图坐标系与工件坐标系之间的旋转矩阵和平移矩阵分别记为R₁₂、t₁₂，利用最小化重投影误差原理，对位姿变换过程进行优化，定义重投影误差为

使重投影误差最小，则有下式：

其中，E”_min为最小重投影误差，R₁₂ ^*、t₁₂ ^*分别为地图坐标系与工件坐标系之间最佳的旋转矩阵和平移矩阵；求解上式得到地图坐标系与工件坐标系之间最佳的位姿变换矩阵。

S5，根据步骤S4得到的地图坐标系与工件坐标系之间的位姿变换矩阵以及所有连接孔在工件坐标系下的位置坐标，计算得到所有连接孔在地图坐标系下的位置坐标，并结合所有定位标志点C2在地图坐标系下的位置坐标，得到所有连接孔与所有定位标志点C2的相对位置关系；

S6，使增强现实投射单元2进入工作区面对待装配工件W1的装配区域W11，用增强现实投射单元2感知地图起始点C0附近的公共测量点C1和定位标志点C2的特征信息，通过视觉SLAM算法对获取的特征信息进行环境地图的构建，构建得到局部地图，使用与局部地图尺寸相同的窗将步骤S4得到的全局地图划分为多个子地图，对局部地图与多个子地图进行特征点分布相似性比较，得到增强现实投射单元2在地图坐标系下的初始位置坐标；结合增强现实投射单元2在地图坐标系下的初始位置坐标，并用相机实时采集装配区域W11图像并提取装配区域W11中的公共测量点C1和定位标志点C2的特征信息，使装配区域W11图像与步骤S4中得到的全局地图进行特征点匹配，通过PnP算法计算得到增强现实投射单元2在地图坐标系下的位姿，并以所有时刻下增强现实投射单元2在地图坐标系下的位姿以及所有时刻下装配区域W11图像中的特征点的位置坐标作为待优化参量，通过最小重投影误差BA算法进行优化，得到精确的增强现实投射单元2在地图坐标系下的位姿，结合所有连接孔在地图坐标系下的位置坐标，计算得到所有连接孔相对增强现实投射单元2的位置坐标。实际操作中，装配工人完成步骤S4中的全局地图的构建任务后，装配工人携带增强现实投射单元2进入工作区进行连接工作，增强现实投射单元2根据构建的全局地图进行自身定位，获得增强现实投射单元2在地图坐标系下的位姿，以实现增强现实投射单元2的定位，并得到所有连接孔相对增强现实投射单元2的位置。

步骤S6中对局部地图与多个子地图进行特征点分布相似性比较，得到增强现实投射单元2在地图坐标系下的初始位置坐标的具体过程为：多个子地图的数量记为N，将局部地图与N张子地图进行特征点分布相似性比较，定义局部地图与N张子地图之间的特征点分布相似性ζ(M_p,M_n)表示为下式：

其中，M_n表示从全局地图划分出的第n张子地图，M_p表示局部地图，表示地图M_p中的第n1个特征点，

是全局地图中与局部地图中的各特征点

距离最近的第n1个特征点，dis()是距离函数，将相似性ζ(M_p,M_n)按照从大到小排成一个序列{ζ_n}，其中

ζ₁≥ζ₂≥…≥ζ_N；以ζ₁≥1.5ζ₂作为增强现实投射单元2在地图坐标系下的初始位置坐标确定的依据，当不满足初始位置坐标确定的依据时，认为尚未找到增强现实投射单元2在地图坐标系下的初始位置坐标，并且扩大构建局部地图的范围，直至满足初始位置坐标确定的依据，得到增强现实投射单元2在地图坐标系下的初始位置坐标。因为步骤S4中构建的地图为全局地图，记录的特征点信息量极大，而单一图像的特征点信息量有限。直接使用单一图像的特征点与全局地图进行匹配，所需要的计算量极大，同时极容易导致效率降低甚至增强现实投射单元2定位失败。因此在装配区域W11图像与步骤S4中得到的全局地图进行特征点匹配之前，先确定增强现实投射单元2在地图坐标系下的初始位置坐标，从而提升特征点匹配效率。

S7，参照图7，相机实时采集得到装配区域W11的现实图像V，并通过增强现实图像显示器显示，同时增强现实投射单元2从中央信息处理单元1中接收各连接孔在工件坐标系下的位置坐标、深度信息以及紧固件的类型，根据步骤S6得到的所有连接孔相对增强现实投射单元2的位置坐标，通过虚拟图像生成器生成装配区域W11的虚拟图像，增强现实图像显示器获取装配区域W11的虚拟图像并将装配区域W11的虚拟图像叠加到现实图像V上，现实图像V上具有连接孔的实际孔位H1，虚拟图像上具有与实际孔位H1位置对应的虚拟孔位H2，用装配区域W11的虚拟图像实时指导在真实场景中装配紧固件，虚拟图像上的各虚拟孔位H2处标识有与各虚拟孔位H2对应的紧固件类型。其中，在虚拟图像上可以用不同颜色的符号来表示不同紧固件类型以区分。

参照图8(a)和图8(b)，通过步骤S6的进行可以保证虚拟图像中的虚拟孔位H2的位置与真实环境中的现实图像V的实际孔位H1的位置极为接近，从而有效地指导装配工人在实际孔位H1上装配对应的正确类型的紧固件，以完成配钉工序。避免了定位精度不足，引起指导歧义，致使配钉工序无法正常进行。

步骤S7中将装配区域W11的虚拟图像叠加到现实图像V上的具体原理为：现实图像V中装配区域W11内的任意像素点在工件坐标系下的位置坐标记为[X_r Y_r Z_r 1]，视网膜上的像素点坐标记为[u v 1]，根据人眼成像模型，得到下式：

式中，R_r,P_r是人眼坐标系与现实图像V之间在光程意义下的相对位姿，为了使人眼自然地认为其处于现实图像V中对应点的位置，其在视网膜上的像素点需要与现实图像V中的对应点重叠，对于虚拟图像中对应的像素点[X_v Y_v Z_v 1]，视网膜上的对应像素点坐标也需要为[u v 1]，根据人眼成像模型得到下式：

式中，R_v,P_v是人眼坐标系与虚拟图像之间在光程意义下的相对位姿，根据上述人眼成像模型，计算获得虚拟图像坐标系下各像素点的坐标信息，从而构建虚拟图像并通过增强现实图像显示器叠加至现实图像V上。其中，人眼成像模型与相机模型是类似的。

在本发明的基于增强现实技术的配钉方法中，搭建应用增强现实技术的配钉系统，在待装配工件W1的装配区域W11中布置公共测量点和定位标志点，公共测量点和定位标志点作为激光跟踪仪3和配钉系统中的增强现实投射单元2采集的信息源，结合视觉SLAM算法构建全局地图，保证基于增强现实技术辅助配钉作业在大尺度空间下的精度。结合激光跟踪仪与相机两种测量仪器，消除相机定位过程中大尺度空间需求和局部定位精度需求之间的内在矛盾，进而确保增强现实图像显示器上投射的虚拟图像的精度；在进行装配工作时，增强现实投射单元2将真实环境中的装配区域W11的现实图像V和实时对应的虚拟图像叠加，虚拟图像上的各虚拟孔位H2处标识有与各虚拟孔位H2对应的紧固件类型，各虚拟孔位H2与现实图像V上的实际孔位H1位置对应，从而能够实时指导装配工人进行装配，并且装配精度较高。

上面详细的说明描述多个示范性实施例，但本文不意欲限制到明确公开的组合。因此，除非另有说明，本文所公开的各种特征可以组合在一起而形成出于简明目的而未示出的多个另外组合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种基于增强现实技术的配钉方法，用于匹配待装配工件(W1)与对应装配的多个紧固件，待装配工件(W1)上具有装配区域(W11)且建立有工件坐标系，装配区域(W11)中布置有多个连接孔，用于供多个紧固件对应装配；其特征在于，基于增强现实技术的配钉方法包括步骤：

S1，搭建配钉系统，配钉系统包括中央信息处理单元(1)、增强现实投射单元(2)以及激光跟踪仪(3)，中央信息处理单元(1)用于数据处理、存储以及通讯，增强现实投射单元(2)包括相机、虚拟图像生成器以及增强现实图像显示器，增强现实投射单元(2)用于采集图像信息以及构建地图；激光跟踪仪(3)与增强现实投射单元(2)分别与中央信息处理单元(1)通信连接；

S2，用激光跟踪仪(3)获取得到待装配工件(W1)上的各连接孔在工件坐标系下的位置坐标以及对应位置坐标处的连接孔的深度信息，根据各连接孔在工件坐标系下的位置坐标和各连接孔的深度信息确定各紧固件的类型，用中央信息处理系统接收并存储各连接孔在工件坐标系下的位置坐标、各连接孔的深度信息以及紧固件的类型；

S3，在待装配工件(W1)的装配区域(W11)布置多个公共测量点(C1)以及多个定位标志点(C2)；多个公共测量点(C1)分散布置在装配区域(W11)的外周；多个定位标志点(C2)布置在多个连接孔的周围，用于确定多个连接孔的位置；用激光跟踪仪(3)测量得到所有公共测量点(C1)在工件坐标系下的位置坐标；

S4，用增强现实投射单元(2)的相机感知装配区域(W11)中的公共测量点(C1)和定位标志点(C2)的特征信息，以某一位置处的公共测量点(C1)作为地图起始点(C0)并建立地图坐标系，除作为地图起始点(C0)外的其它公共测量点(C1)用于确定工件坐标系和地图坐标系之间的位姿变换矩阵，以公共测量点(C1)和定位标志点(C2)为特征点，通过视觉SLAM算法和基于特征的方法对获取的特征信息进行环境地图的构建，构建得到全局地图并获得所有公共测量点(C1)和定位标志点(C2)在地图坐标系下的位置坐标；根据其它公共测量点(C1)在地图坐标系下的位置坐标以及其它公共测量点(C1)在工件坐标系下的位置坐标，通过最小重投影误差BA算法计算得到地图坐标系与工件坐标系之间的位姿变换矩阵；

S5，根据步骤S4得到的地图坐标系与工件坐标系之间的位姿变换矩阵以及所有连接孔在工件坐标系下的位置坐标，计算得到所有连接孔在地图坐标系下的位置坐标，并结合所有定位标志点(C2)在地图坐标系下的位置坐标，得到所有连接孔与所有定位标志点(C2)的相对位置关系；

S6，使增强现实投射单元(2)进入工作区面对待装配工件(W1)的装配区域(W11)，用增强现实投射单元(2)感知地图起始点(C0)附近的公共测量点(C1)和定位标志点(C2)的特征信息，通过视觉SLAM算法对获取的特征信息进行环境地图的构建，构建得到局部地图，使用与局部地图尺寸相同的窗将步骤S4得到的全局地图划分为多个子地图，对局部地图与多个子地图进行特征点分布相似性比较，得到增强现实投射单元(2)在地图坐标系下的初始位置坐标；结合增强现实投射单元(2)在地图坐标系下的初始位置坐标，并用相机实时采集装配区域(W11)图像并提取装配区域(W11)中的公共测量点(C1)和定位标志点(C2)的特征信息，使装配区域(W11)图像与步骤S4中得到的全局地图进行特征点匹配，通过PnP算法计算得到增强现实投射单元(2)在地图坐标系下的位姿，并以所有时刻下增强现实投射单元(2)在地图坐标系下的位姿以及所有时刻下装配区域(W11)图像中的特征点的位置坐标作为待优化参量，通过最小重投影误差BA算法进行优化，得到精确的增强现实投射单元(2)在地图坐标系下的位姿，结合所有连接孔在地图坐标系下的位置坐标，计算得到所有连接孔相对增强现实投射单元(2)的位置坐标；

S7，相机实时采集得到装配区域(W11)的现实图像(V)，并通过增强现实图像显示器显示，同时增强现实投射单元(2)从中央信息处理单元(1)中接收各连接孔在工件坐标系下的位置坐标、深度信息以及紧固件的类型，根据步骤S6得到的所有连接孔相对增强现实投射单元(2)的位置坐标，通过虚拟图像生成器生成装配区域(W11)的虚拟图像，增强现实图像显示器获取装配区域(W11)的虚拟图像并将装配区域(W11)的虚拟图像叠加到现实图像(V)上，现实图像(V)上具有连接孔的实际孔位(H1)，虚拟图像上具有与实际孔位(H1)位置对应的虚拟孔位(H2)，用装配区域(W11)的虚拟图像实时指导在真实场景中装配紧固件，虚拟图像上的各虚拟孔位(H2)处标识有与各虚拟孔位(H2)对应的紧固件类型。

2.根据权利要求1所述的基于增强现实技术的配钉方法，其特征在于，步骤S4中通过视觉SLAM算法对获取的特征信息进行环境地图的构建，获得由所有公共测量点(C1)和定位标志点(C2)所表示的全局地图以及所有公共测量点(C1)和定位标志点(C2)在地图坐标系下的位置坐标包括步骤：

S41，相机包括单目相机和双目相机，通过已标定的单目相机在装配区域W11中取景采集相邻时刻的参考图像和配准图像，对参考图像和配准图像分别进行特征点提取，对提取的参考图像和配准图像的特征点进行匹配，获得一组匹配点，使用RANSAC算法对匹配点中的错误匹配点删除，获得匹配成功的特征点在像素坐标系下的位置坐标和在图像坐标系下的位置坐标；通过已标定的双目相机采集同一时刻的两张图像，通过三角形相似性计算得到匹配成功的特征点的深度信息，从而获得匹配成功的特征点在相机坐标系下的位置坐标；

S42，作为地图起始点(C0)的公共测量点(C1)设置为相对位置关系已知的公共测量点群，选取公共测量点群中的其中一个公共测量点(C1)作为地图坐标系的原点建立地图坐标系，得到公共测量点群中的公共测量点(C1)在地图坐标系下的位置坐标；根据步骤S41中得到的匹配成功的特征点在相机坐标系下的位置坐标和在像素坐标系下的位置坐标，获得公共测量点群中的公共测量点(C1)在相机坐标系下的Z轴方向坐标和在像素坐标系下的位置坐标，对单目相机建立相机模型，计算得到单目相机相对地图坐标系的初始位姿；

S43，根据步骤S41得到的匹配成功的特征点在像素坐标系下的位置坐标，使用PnP算法和SVD算法计算得到单目相机在参考图像和配准图像之间的位姿变换矩阵，并结合步骤S42得到的单目相机相对地图坐标系的初始位姿、运用相机模型，反解得到匹配成功的所有特征点在地图坐标系下的位置坐标；

S44，以所有时刻下单目相机相对地图坐标系的位姿以及匹配成功的所有特征点在地图坐标系下的位置坐标为优化目标通过最小重投影误差BA算法进行非线性优化，得到所有特征点在地图坐标系下的位置坐标的最优解；

S45，基于使用外观相似的方法的回环检测为步骤S44中的非线性优化添加约束条件；得到进一步优化的所有特征点在地图坐标系下的位置坐标的最优解，即得到其它公共测量点(C1)和全部定位标志点(C2)在地图坐标系下的位置坐标，完成全局地图的构建。

3.根据权利要求2所述的基于增强现实技术的配钉方法，其特征在于，步骤S41中获得匹配成功的特征点在像素坐标系下的位置坐标和在图像坐标系下的位置坐标的具体过程为：

相邻时刻的参考图像和配准图像分别记为I_t和I_t+1，其中t表示t时刻，t+1表示t+1时刻，提取到的特征点的数量记为M，提取的t时刻的参考图像I_t的第m个特征点记为

提取的t+1时刻的配准图像I_t+1的第m个特征点记为

计算t时刻下的第m个特征点

分别与t+1时刻下的各特征点

之间的汉明距离数组D_t ^m；对于第m个特征点

选取汉明距离数组D_t ^m中最小的汉明距离对应的配准图像I_t+1中的特征点，作为第m个特征点

在配准图像I_t+1中的匹配点并删除错误匹配点，完成参考图像I_t和配准图像I_t+1的M个特征点的匹配，获得匹配成功的M个特征点在像素坐标系下的位置坐标和在图像坐标系下的位置坐标。

4.根据权利要求3所述的基于增强现实技术的配钉方法，其特征在于，步骤S41中的通过三角形相似性计算得到特征点的深度信息的具体过程为：根据小孔成像原理，写出双目相机的透镜成像的视差公式：

其中，f为透镜焦距，双目相机包括左摄像机和右摄像机，B为左摄像机的光心(O1)和右摄像机的光心(O2)之间的距离，

分别为左摄像机和右摄像机中的第m个匹配成功的特征点在左摄像机的像素坐标系下的横坐标；Δx^m为视差；利用三角形相似性，计算得到第m个匹配成功的特征点的景深信息H^m，从而获得M个匹配成功的特征点在相机坐标系下的位置坐标。

5.根据权利要求4所述的基于增强现实技术的配钉方法，其特征在于，步骤S42的具体过程为：公共测量点群中的公共测量点(C1)的数量记为Q个，Q为正整数且Q＜M，选取公共测量点群中的其中一个公共测量点(C1)作为地图坐标系的原点O、作为原点O的公共测量点(C1)与另一个公共测量点(C1)的连线作为X轴，使用右手法则建立地图坐标系，得到公共测量点群中的Q个公共测量点(C1)在地图坐标系下的位置坐标，并且根据M个特征点在像素坐标系下的位置坐标，获得公共测量点群中的Q个公共测量点(C1)在像素坐标系下的位置坐标，根据M个特征点在相机坐标系下的位置坐标，获得公共测量点群中的Q个公共测量点(C1)在相机坐标系下的Z轴方向坐标；公共测量点群中的第q个公共测量点(C1)在地图坐标系下的位置坐标记为[X_q Y_q Z_q 1]，q＝1,2,...,Q，对单目相机建立相机模型如下：

其中，k_x、k_y、u₀、v₀为已知的相机的内参；u_q和v_q为公共测量点群中的第q个公共测量点(C1)在像素坐标系下的横坐标和纵坐标，z_cq为公共测量点群中的第q个公共测量点(C1)在相机坐标系下的Z轴方向坐标；通过相机模型计算得到单目相机相对地图坐标系的初始位姿，单目相机相对地图坐标系的初始位姿包括单目相机相对地图坐标系的初始旋转矩阵R₀和初始平移矩阵P₀。

6.根据权利要求5所述的基于增强现实技术的配钉方法，其特征在于，步骤S43的具体过程为：

参考图像I_t中的第m个特征点

在相机坐标系下的位置坐标记为[x_ct ^m y_ct ^m z_ct ^m 1]，对于配准图像I_t+1中与第m个特征点

对应的特征点

在像素坐标系下的位置坐标记为[u_t+1 ^m v_t+1 ^m 1]，参考图像I_t中的第m个特征点

与对应的配准图像I_t+1中的特征点

之间的位置关系表征为下式：

上式变形为：

其中，R_t ^t+1、P_t ^t+1为参考图像I_t与配准图像I_t+1之间的旋转矩阵和平移矩阵，单目相机在参考图像I_t和配准图像I_t+1之间的位姿变换矩阵包括旋转矩阵R_t ^t+1和平移矩阵P_t ^t+1；使用SVD算法求解获得单目相机在参考图像I_t和配准图像I_t+1之间的旋转矩阵R_t ^t+1和平移矩阵P_t ^t+1；

结合单目相机相对地图坐标系的初始位姿，一系列相邻时刻组成时间序列{0,1,2,...,t,t+1,...,T}，对时间序列中相邻时刻下单目相机相对地图坐标系的位姿进行递推，t+1时刻下单目相机相对地图坐标系的旋转矩阵R_t+1和平移矩阵P_t+1满足下式：

通过上式计算得到每一时刻下单目相机相对地图坐标系的旋转矩阵和平移矩阵，单目相机相对地图坐标系的位姿包括单目相机相对地图坐标系的旋转矩阵和平移矩阵，运用相机模型，由每一时刻下的相机相对地图坐标系的位姿反解出匹配成功的所有特征点在地图坐标系下的位置坐标。

7.根据权利要求3所述的基于增强现实技术的配钉方法，其特征在于，步骤S44的具体过程为：

首先建立观测方程z＝h(ξ,p)，其中，z为观测值，选取为特征点在像素坐标系下的坐标，即z＝[u_s v_s]^T，ξ为单目相机相对地图坐标系的位姿的李代数，p为所有特征点在地图坐标系下的位置坐标，建立观测误差为e＝z-h(ξ,p)，i时刻下单目相机相对地图坐标系的位姿记为ξ_i，第j个特征点在地图坐标系下的位置坐标记为p_j，在单目相机相对地图坐标系的位姿ξ_i下观测的第j个特征点p_j的观测值记为z_ij，e_ij为在位姿ξ_i下观测的第j个特征点p_j的观测误差，所有时刻对应的观测误差以代价函数的形式表征为下式：

其中，i＝0,1,2,…t,t+1,...,T，j为正整数，j为正整数且j≤M_PA，M_PA为相机采集到的特征点的数量；最小化重投影误差优化的目标是获得i时刻下单目相机相对地图坐标系的位姿的最优解ξ_i ^*以及第j个特征点在地图坐标系下的位置坐标的最优解p_j ^*，使得：

ξ_i ^*,

在最小化重投影误差优化中，所有时刻下的单目相机相对地图坐标系的位姿与匹配成功的所有特征点在地图坐标系下的位置坐标作为待优化变量，建立优化向量为将单目相机相对地图坐标系的位姿以及所有特征点在地图坐标系下的位置坐标作为优化初值

确定优化梯度方向

使用高斯牛顿法迭代进行非线性优化，代价函数式为：

式中，F_ij、E_ij分别为Δζ_i、Δp_j的最大梯度方向的梯度，将单目相机相对地图坐标系的位姿与匹配成功的所有特征点在地图坐标系下的位置坐标互相独立，则有：

以及

代价函数表达为：

其中，e,F,E为e_ij,F_ij,E_ij的矩阵表达形式；根据高斯牛顿法，代价函数最小等价于求解线性增量方程HΔx＝g；其中：

g＝-[F E]^Tf(x)；

利用H矩阵的稀疏性，完成线性增量方程的求解，迭代进行最小化重投影误差优化过程，将作为新的初值，重启最小化重投影误差优化过程，直至

收敛至期望值以下，得到单目相机相对地图坐标系的位姿的最优解以及匹配成功的所有特征点在地图坐标系下的位置坐标的最优解。

8.根据权利要求7所述的基于增强现实技术的配钉方法，其特征在于，步骤S45的具体过程为：为步骤S44中的最小化重投影误差优化的目标增加约束条件：p_k ^(s)＝p_l ^(s),k、l∈[1,M_PA],s＝1,2,…，式中，k、l表示构建全局地图过程中特征点的编号，s表示相同特征点的个数，p_k ^(s)、p_l ^(s)为特征点的一个子序列并代表回环检测中匹配到的相同的特征点的位置坐标，最小化重投影误差优化模型更新为：

ξ_i ^*,

p_k ^(s)＝p_l ^(s),k、l∈[1,M_PA],s＝1,2,…；

求解优化模型，优化得到所有特征点在地图坐标系下的位置坐标的最优解。

9.根据权利要求8所述的基于增强现实技术的配钉方法，其特征在于，步骤S4中通过最小重投影误差BA算法计算得到地图坐标系与工件坐标系之间的位姿变换矩阵的具体过程为：

其它公共测量点(C1)的数量记为M1，在其它公共测量点(C1)中，第m1个公共测量点(C1)在地图坐标系下的位置坐标记为

第m1个公共测量点(C1)在工件坐标系下的位置坐标记为

地图坐标系与工件坐标系之间的旋转矩阵和平移矩阵分别记为R₁₂、t₁₂，利用最小化重投影误差原理，对位姿变换过程进行优化，定义重投影误差为

使重投影误差最小，则有下式：

其中，E”_min为最小重投影误差，R₁₂ ^*、t₁₂ ^*分别为地图坐标系与工件坐标系之间最佳的旋转矩阵和平移矩阵；求解上式得到地图坐标系与工件坐标系之间最佳的位姿变换矩阵。

10.根据权利要求9所述的基于增强现实技术的配钉方法，其特征在于，步骤S6中对局部地图与多个子地图进行特征点分布相似性比较，得到增强现实投射单元(2)在地图坐标系下的初始位置坐标的具体过程为：

多个子地图的数量记为N，将局部地图与N张子地图进行特征点分布相似性比较，定义局部地图与N张子地图之间的特征点分布相似性ζ(M_p,M_n)表示为下式：

其中，M_n表示从全局地图划分出的第n张子地图，M_p表示局部地图，

表示地图M_p中的第n1个特征点，是全局地图中与局部地图中的各特征点

距离最近的第n1个特征点，dis()是距离函数，将相似性ζ(M_p,M_n)按照从大到小排成一个序列{ζ_n}，其中ζ₁≥ζ₂≥…≥ζ_N；

以ζ₁≥1.5ζ₂作为增强现实投射单元(2)在地图坐标系下的初始位置坐标确定的依据，当不满足初始位置坐标确定的依据时，认为尚未找到增强现实投射单元(2)在地图坐标系下的初始位置坐标，并且扩大构建局部地图的范围，直至满足初始位置坐标确定的依据，得到增强现实投射单元(2)在地图坐标系下的初始位置坐标。

11.根据权利要求10所述的基于增强现实技术的配钉方法，其特征在于，步骤S7中将装配区域(W11)的虚拟图像叠加到现实图像(V)上的具体原理为：现实图像(V)中装配区域(W11)内的任意像素点在工件坐标系下的位置坐标记为[X_r Y_r Z_r 1]，视网膜上的像素点坐标记为[u v 1]，根据人眼成像模型，得到下式：

式中，R_r,P_r是人眼坐标系与现实图像(V)之间在光程意义下的相对位姿，为了使人眼自然地认为其处于现实图像(V)中对应点的位置，其在视网膜上的像素点需要与现实图像(V)中的对应点重叠，对于虚拟图像中对应的像素点[X_v Y_v Z_v 1]，视网膜上的对应像素点坐标也需要为[u v 1]，根据人眼成像模型得到下式：

式中，R_v,P_v是人眼坐标系与虚拟图像之间在光程意义下的相对位姿，根据上述人眼成像模型，计算获得虚拟图像坐标系下各像素点的坐标信息，从而构建虚拟图像并通过增强现实图像显示器叠加至现实图像(V)上。

Images