CN111968228B - 一种基于航空装配的增强现实自定位方法 - Google Patents

Abstract

本发明公开了一种基于航空装配的增强现实自定位方法，它包括设计系统框架、搭建装配场景、构建装配场景的高精度三维地图、搭建自定位场景信息、设计自定位视觉系统和定时定位流程。本发明有效的提高了操作人员对任务的理解程度，降低了操作人员的操作门槛，保证高效可靠的完成装配任务，同时在特征点较少的空白区域也可以精准定位。

Description

一种基于航空装配的增强现实自定位方法

技术领域

本发明涉及自定位技术领域，具体涉及一种基于航空装配的增强现实自定位方法。

背景技术

目前，航空复杂产品装配过程中，存在装配零件数量大，协调关系繁多，操作复杂度高的问题，操作人员要频繁的在虚拟二维环境(电脑端)与真实装配环境中进行思维切换，使得装配操作指令无法与真实环境进行融合，从而导致传统装配方式作业效率低下、出错率高，延长了设备交付周期。

随着虚拟现实引导装配已经在复杂产品装配领域得到了广泛应用，但虚拟现实设备只能提供单一的虚拟信息，没有真实环境中的信息，代入感不强，从而采用了增强现实设备对航空产品装配进行引导，避免了虚拟现实设备只能提供单一虚拟场景信息的缺点，同时，增强现实的核心是多传感器融合自定位技术，该技术广泛应用于无人驾驶、扫地机器人、物流机器人以及增强现实中。其通过载体携带的相机和惯性测量单元等传感器，可以实时的得到载体相对于环境的位置和姿态，结合惯性测量单元在短时间内具有较好的位姿估计优点以及相机在快速运动下会造成的模糊缺陷的缺点，多传感器融合的定位精度得到极大提高。但受限于视觉定位原理，在特征点较少的空白区域会导致设备无法定位、定位精度差的问题。

发明内容

本发明的目的就是针对上述现有技术的不足，提供一种改善航空产品装配交付周期长、操作复杂以及代入感不强的基于航空装配的增强现实自定位方法。

本发明采用的技术方案如下：

一种基于航空装配的增强现实自定位方法，它包括设计系统框架、搭建装配场景、构建装配场景的高精度三维地图、搭建自定位场景信息、设计自定位视觉系统和定时定位流程，具体包括如下步骤：

步骤一：所述设计系统框架采用客户端-服务器并行开发的模式进行数据间的接受和发送，所述客户端通过无线与服务器相连，用于将装配场景和装配工艺信息传输到服务器，所述服务器通过无线与客户端相连，用于将解析出的装配场景特征点和标签信息的位姿传输到客户端；

步骤二：完成所述步骤一的系统框架设计后，进行搭建装配场景，所述装配场景包括零件区、待装配区和标签区，所述零件区用于放置装配原件，所述待装配区用于对装配原件进行装配，所述标签区包括多个标签，用于关联多个标签之间的位置和姿态关系，传输至服务器；

步骤三：完成所述步骤二的装配场景搭建后，进行构建装配场景的高精度三维地图，所述构建装配场景高精度三维地图先利用深度相机与惯性测量单元提供的距离信息获得装配场景的稠密三维地图，接着利用Apriltag标签，对装配场景的稠密三维地图进行信息填充，建立离散地图，然后将稠密三维地图与离散地图融合形成装配场景的高精度三维地图，传输至服务器；

步骤四：所述步骤三中的构建装配场景三维特征地图的高精度三维地图传输到所述搭建自定位场景信息，所述搭建自定位场景信息先对高精度三维地图进行分析，并在特征点较少区域附着Apriltag标签，形成装配场景的标签集，接着测量出标签集之间的相对位姿关系，然后根据装配工艺及装配手册，建立装配零件的空间位置关系，传输至服务器；

步骤五：所述步骤四中的搭建自定位场景信息的空间位置关系传输到所述设计自定位视觉系统，所述设计自定位视觉系统包括创建虚拟模型、实时计算设备位姿和虚实场景融合，所述创建虚拟模型与实时计算设备位姿相连，用于AR开发平台搭建三维场景，且根据装配零件的空间位置关系，设定虚拟模型的三维空间坐标，紧接着将增强现实设备放置到场景中，实时计算出设备内深度相机的位姿，所述实时计算设备位姿与虚实场景融合相连，用于将虚拟物体加载到客户端上，实现虚拟物体与装配场景的融合显示；

步骤六：完成所述步骤五的设计自定位视觉系统后，进行定时定位流程，所述定时定位流程首先在零件的待装配区完成自定位视觉系统初始化，接着加载高精度三维地图且开启两个线程，然后将两个线程的位姿进行比较，若误差满足设定要求，则自定位视觉系统输出融合结果定位；若误差过大，则利用标签位姿对融合位姿进行修正，自定位视觉系统输出修正后位姿。

步骤一中，所述客户端包括AR眼镜、惯性测量单元和工控机，所述惯性测量单元包括传感器，所述工控机与传感器相连，用于控制传感器将计算的数据通过串口传输到服务器。

步骤三中，所述深度相机用于采集装配场景一周的视频，对采集到的视频图像进行特征提取和光流跟踪，将提取的视频特征进行筛选，然后提取出特征帧进行特征点保留。

步骤三中，所述信息填充包括Apriltag标签的关键帧以及关键帧对应的标签角点信息。

步骤六中，所述加载高精度三维地图分为两个线程，一个线程为实时检测Apriltag标签信息，接着根据Apriltag标签估计深度相机相对标签位姿，然后将标签与自定位场景的空间位置关系换算相对于世界坐标的位姿；另一个线程为根据装配场景中的特征点融合惯性测量单元进行融合定位，实时得到深度相机相对于世界坐标系的位姿。

步骤五的具体步骤为：(1)计算Apriltag标签的位姿；(2)计算IMU位姿；(3)计算VSLAM位姿；(4)将计算好的位姿传输至服务器且融合虚拟模型的三维空间坐标，然后传输至客户端进行融合显示。

步骤五中，所述设备位姿包括Apriltag标签的位姿、IMU位姿以及VSLAM位姿。

本发明的有益效果有：操作人员穿戴增强现实设备，服务器解读装配指令，同时装配指令以虚拟信息的方式呈现在操作人员眼前，指引操作人员去零件区寻找零件，并引导操作人员到达待装配区域，指导操作人员装配注意事项，有效的提高操作人员对任务的理解程度，降低了操作人员的操作门槛，保证高效可靠的完成装配任务，同时在特征点较少的空白区域也可以精准定位。

附图说明

图1为本发明的增强现实系统框架图；

图2为本发明的装配场景框架图；

图3为本发明的装配场景高精度三维地图的采集流程图；

图4为本发明的装配工艺与设备实时定位技术流程图。

具体实施方式

下面结合附图对本发明作进一步地说明：

如图1-4所示，本发明它包括设计系统框架、搭建装配场景、构建装配场景高精度三维地图、搭建自定位场景信息、设计自定位视觉系统和定时定位流程，具体包括如下步骤：

步骤一：所述设计系统框架采用客户端-服务器并行开发的模式进行数据间的接受和发送，所述客户端通过无线与服务器相连，用于将装配场景和装配工艺信息传输到服务器，所述服务器通过无线与客户端相连，用于将解析出的装配场景特征点和标签信息的位姿传输到客户端；

步骤二：完成所述步骤一的系统框架设计后，进行搭建装配场景，所述装配场景包括零件区、待装配区和标签区，所述零件区用于放置装配原件，所述待装配区用于对装配原件进行装配，所述标签区包括多个标签，用于关联多个标签之间的位置和姿态关系，传输至服务器；其中标签之间的位置和姿态关系是通过在多个标签中选择任意一个标签作为起始标签，设定其位置为原点(0，0，0)，旋转初始姿态为(0，0，0)，其余标签相对于起始标签做位移旋转，其位移旋转作为位置和旋转初始姿态。

步骤三：完成所述步骤二的装配场景搭建后，进行构建装配场景的高精度三维地图，所述构建装配场景高精度三维地图先利用深度相机与惯性测量单元提供的距离信息获得装配场景的稠密三维地图，接着利用Apriltag标签，对装配场景的稠密三维地图进行信息填充，建立离散地图，然后将稠密三维地图与离散地图融合形成装配场景的高精度三维地图，传输至服务器；

步骤四：所述步骤三中的构建装配场景三维特征地图的高精度三维地图传输到所述搭建自定位场景信息，所述搭建自定位场景信息先对高精度三维地图进行分析，并在特征点较少区域附着Apriltag标签，形成装配场景的标签集，接着测量出标签集之间的相对位姿关系，其中标签与装配场景之间的关系可从三维地图直接得出，接着通过增强现实设备可算出装配场景的相对位姿，然后根据装配工艺及装配手册，建立装配零件的空间位置关系，传输至服务器；

步骤五：所述步骤四中的搭建自定位场景信息的空间位置关系传输到所述设计自定位视觉系统，所述设计自定位视觉系统包括创建虚拟模型、实时计算设备位姿和虚实场景融合，所述创建虚拟模型与实时计算设备位姿相连，用于AR开发平台搭建三维场景，且根据装配零件的空间位置关系，设定虚拟模型的三维空间坐标，紧接着将增强现实设备放置到场景中，实时计算出设备内深度相机的位姿，所述实时计算设备位姿与虚实场景融合相连，用于将虚拟物体加载到客户端上的AR眼镜中，实现虚拟物体与装配场景的融合显示，其中设备位姿包括Apriltag标签的位姿、IMU位姿以及VSLAM位姿。

步骤六：完成所述步骤五的设计自定位视觉系统后，进行定时定位流程，所述定时定位流程首先在零件的待装配区完成自定位视觉系统初始化，接着加载高精度三维地图且开启两个线程，然后将两个线程的位姿进行比较，若误差满足设定要求，则自定位视觉系统输出融合结果定位；若误差过大，则利用标签位姿对融合位姿进行修正，自定位视觉系统输出修正后位姿，其中标签位姿是通过增强现实设备上的深度相机检测到标签，然后计算出标签相对于增强现实设备的位置姿态。

步骤一中，所述客户端包括AR眼镜、惯性测量单元和工控机，所述惯性测量单元包括传感器，所述工控机与传感器相连，用于控制传感器将计算的数据通过串口传输到服务器。

步骤三中，所述深度相机用于采集装配场景一周的视频，对采集到的视频图像进行特征提取和光流跟踪，将提取的视频特征进行筛选，然后提取出特征帧进行特征点保留。

步骤三中，所述信息填充包括Apriltag标签的关键帧以及关键帧对应的标签角点信息。

步骤六中，所述加载高精度三维地图分为两个线程，一个线程为实时检测Apriltag标签信息，接着根据Apriltag标签估计深度相机相对标签位姿，然后将标签与自定位场景的空间位置关系换算相对于世界坐标的位姿；另一个线程为根据装配场景中的特征点融合惯性测量单元进行融合定位，实时得到深度相机相对于世界坐标系的位姿。

步骤五的具体步骤为：

(1)计算Apriltag标签的位姿：该标签码坐标系为O_mX_mY_mZ_m，深度相机坐标系为O_cX_cY_cZ_c，所述标签码上任意一点P(x_m,y_m,z_m)在深度相机坐标系下的坐标为(x_c,y_c,z_c)，二者之间的对应关系为：

在公式(1)中，R为旋转矩阵代表深度相机坐标系相对于标签码坐标系的旋转，T为平移向量代表深度相机坐标系相对于标签码的平移；M_ex为深度相机外部参数矩阵，利用该矩阵可以将标签码坐标系转换到深度相机坐标系下。

其中图像坐标系为O_i(x,y)，像素坐标系为O_o(u,v)，则标签码上的点P(x_m,y_m,z_m)与深度相机图像平面中的成像点p(u,v)之间的对应关系为：

在公式(2)中，(u₀,v₀)为图像平面中心，f_x,f_y是x轴和y轴的归一化焦距，M_in为深度相机内部参数矩阵，利用该矩阵可将深度相机坐标系转换到图像平面坐标系下；设z_m＝0，使用最小二乘法对公式(1)和(2)求解，得到深度相机的内部参数矩阵M_in；当深度相机检测到标签时，利用Apriltag算法得到R和T。

(2)计算IMU位姿：利用IMU采集设备运动过程中的数据；在任意时间T₁和T₂之间，利用公式(3)对惯性测量单元的角速率进行积分，可得到设备沿着三个轴的角度增量，记为(Φ,θ,Ψ)；在任意时间T₁和T₂之间，利用公式(4)对惯性测量单元的加速度进行二重积分，可得到设备在该段时间的位移(x,y,z)。

(3)计算VSLAM位姿：利用深度相机对场景进行三维地图采集，其中空间n个三维点记为P_i＝[X_i,Y_i,Z_i]^T，而投影的像素坐标为u_i＝[u_i,v_i]^T，两者满足如下关系：

其中ξ为深度相机位姿态的李代数表示法，接着采用光束法平差(BundleAdjustment)来进行最小化投影误差，将误差求和并构建最小二乘，然后寻找最精确的深度相机位姿，使公式(6)最小化且得出R和T。

(4)将计算好的位姿传输至服务器且融合虚拟模型的三维空间坐标，然后传输至客户端进行融合显示：在得到Apriltag标签位姿、IMU位姿和VSLAM位姿后，利用传统的优化方式将IMU的零偏加入到状态变量中，接着采用紧耦合的方式将深度相机的位姿、速度以及IMU的零偏构建的目标状态方程进行估计，如公式(7)所示，系统的十五维的状态变量表示为：

x_i＝[R_i,p_i,v_i,b_ai,b_gi]∈R¹⁵ (7)

公式(7)中，M_in、p和v分别是深度相机的旋转、平移和速度，b_a和b_g分别是IMU的加速度计和陀螺仪的零偏；而本系统采用局部Apriltag标签辅助定位的策略，紧耦合的系统状态变量表示为：

公式(8)中，α表示Apriltag标签的定位位姿，β表示VSLAM的定位位姿，χ表示Apriltag标签和VSLAM的位姿差，因此存在两种情况下的系统变量，当|α-β|≤χ时，即视觉定位累计误差设有超过设定阈值，继续视觉融合惯导定位；当|α-β|＞χ时，即视觉定位累计误差较大，然后采取Apriltag标签局部定位来融合惯导定位。

实施例：

步骤一，设计系统框架：采用客户端-服务器并行开发的模式进行数据间的接受和发送，先将客户端中的AR眼镜、惯性测量单元和工控机通过无线与服务器相连，用于将装配场景和装配工艺信息传输到服务器，接着将服务器通过无线与客户端相连，用于将解析出的装配场景特征点和标签信息的位姿传输到客户端；

步骤二，搭建装配场景：完成所述步骤一的设计系统框架后，将放置在零件区的用于航空的待装配零件在待装配区组装完成，接着在布置的8个标签区中选择标签1作为起始标签，设定标签1的位置为原点(0，0，0)，旋转初始姿态为(0，0，0)，与此同时，标签2相对于标签1做位移旋转，其位移旋转作为其位置(Position)和旋转姿态(Rotation)，其余标签以此类推，其中各个标签的旋转姿态均设置为(0，0，0)，即调整每个标签的空间位置保证其朝向一致，如表1所示：

表1装配场景标签的空间位置关系

步骤三，构建装配场景高精度三维地图：完成所述步骤二的装配场景搭建后，紧接着利用深度相机在标签1处完成初始化，然后绕装配场景一周进行视频采集，对采集到的视频图像进行特征提取和光流跟踪，将提取的视频特征进行筛选，提取出特征帧进行特征点保留，然后与惯性测量单元提供的距离信息相结合，从而获得装配场景的稠密三维地图；同时利用Apriltag标签，对装配场景的稠密三维地图进行关键帧以及关键帧对应的标签角点信息的填充，进而建立离散地图且与稠密三维地图进行融合形成装配场景的高精度三维地图；

步骤四，搭建自定位场景信息：将步骤三中的构建装配场景三维特征地图的高精度三维地图传输到搭建自定位场景信息中，接着对高精度三维地图进行分析，并在特征点较少区域附着人工标签Apriltag，形成装配场景的标签集，接着测量出标签集之间的相对位姿关系，然后根据装配工艺及装配手册，建立装配零件的空间位置关系；

步骤五，设计自定位视觉系统：将步骤四中的搭建自定位场景信息的空间位置关系传输到设计自定位视觉系统中，该设计自定位视觉系统包括创建虚拟模型、实时计算设备位姿和虚实场景融合，将创建虚拟模型与实时计算设备位姿相连，用于AR开发平台搭建三维场景，且根据装配零件的空间位置关系，设定虚拟模型的三维空间坐标，紧接着将增强现实设备放置到场景中，实时计算出设备内深度相机的位姿，接着将实时计算设备位姿与虚实场景融合相连，用于将虚拟物体加载到AR眼镜上，实现虚拟物体与装配场景的融合显示；

步骤六，定时定位流程：完成所述步骤五的设计自定位视觉系统后，进行定时定位流程，该定时定位流程首先在零件的待装配区完成自定位视觉系统初始化，接着加载高精度三维地图且开启两个线程，然后将两个线程的位姿进行比较，若误差满足设定要求，则自定位视觉系统输出融合结果定位；若误差过大，则利用标签位姿对融合位姿进行修正，最后自定位视觉系统输出修正后位姿，从而完成此次航空装配的自定位。

本发明涉及的其它未说明部分与现有技术相同。

Claims (7)

1.一种基于航空装配的增强现实自定位方法，其特征是它包括设计系统框架、搭建装配场景、构建装配场景的高精度三维地图、搭建自定位场景信息、设计自定位视觉系统和定时定位流程，具体包括如下步骤：

步骤一：所述设计系统框架采用客户端-服务器并行开发的模式进行数据间的接受和发送，所述客户端通过无线与服务器相连，用于将装配场景和装配工艺信息传输到服务器，所述服务器通过无线与客户端相连，用于将解析出的装配场景特征点和标签信息的位姿传输到客户端；

步骤二：完成所述步骤一的系统框架设计后，进行搭建装配场景，所述装配场景包括零件区、待装配区和标签区，所述零件区用于放置装配原件，所述待装配区用于对装配原件进行装配，所述标签区包括多个标签，用于关联各个标签之间的位置和姿态关系，传输至服务器；

步骤三：完成所述步骤二的装配场景搭建后，进行构建装配场景的高精度三维地图，所述构建装配场景高精度三维地图先利用深度相机与惯性测量单元提供的距离信息获得装配场景的稠密三维地图，接着利用Apriltag标签，对装配场景的稠密三维地图进行信息填充，建立离散地图，然后将稠密三维地图与离散地图融合形成装配场景的高精度三维地图，传输至服务器；

步骤四：所述步骤三中的构建装配场景三维特征地图的高精度三维地图传输到所述搭建自定位场景信息，所述搭建自定位场景信息先对高精度三维地图进行分析，并在特征点较少区域附着Apriltag标签，形成装配场景的标签集，接着测量出标签集之间的相对位姿关系，然后根据装配工艺及装配手册，建立装配零件的空间位置关系，传输至服务器；

步骤五：所述步骤四中的搭建自定位场景信息的空间位置关系传输到所述设计自定位视觉系统，所述设计自定位视觉系统包括创建虚拟模型、实时计算设备位姿和虚实场景融合，所述创建虚拟模型与实时计算设备位姿相连，用于AR开发平台搭建三维场景，且根据装配零件的空间位置关系，设定虚拟模型的三维空间坐标，紧接着将增强现实设备放置到场景中，实时计算出设备内深度相机的位姿，所述实时计算设备位姿与虚实场景融合相连，用于将虚拟物体加载到客户端上，实现虚拟物体与装配场景的融合显示；

步骤六：完成所述步骤五的设计自定位视觉系统后，进行定时定位流程，所述定时定位流程首先在零件的待装配区完成自定位视觉系统初始化，接着加载高精度三维地图且开启两个线程，然后将两个线程的位姿进行比较，若误差满足设定要求，则自定位视觉系统输出融合结果定位；若误差过大，则利用标签位姿对融合位姿进行修正，自定位视觉系统输出修正后位姿。

2.根据权利要求1所述的基于航空装配的增强现实自定位方法，其特征是，步骤一中，所述客户端包括AR眼镜、惯性测量单元和工控机，所述惯性测量单元包括传感器，所述工控机与传感器相连，用于控制传感器将计算的数据通过串口传输到服务器。

3.根据权利要求1所述的基于航空装配的增强现实自定位方法，其特征是，步骤三中，所述深度相机用于采集装配场景一周的视频，对采集到的视频图像进行特征提取和光流跟踪，将提取的视频特征进行筛选，然后提取出特征帧进行特征点保留。

4.根据权利要求1所述的基于航空装配的增强现实自定位方法，其特征是，步骤三中，所述信息填充包括Apriltag标签的关键帧以及关键帧对应的标签角点信息。

5.根据权利要求1所述的基于航空装配的增强现实自定位方法，其特征是，步骤六中，所述加载高精度三维地图分为两个线程，一个线程为实时检测Apriltag标签信息，接着根据Apriltag标签估计深度相机相对标签位姿，然后将标签与自定位场景的空间位置关系换算相对于世界坐标的位姿；另一个线程为根据装配场景中的特征点融合惯性测量单元进行融合定位，实时得到深度相机相对于世界坐标系的位姿。

6.根据权利要求1所述的基于航空装配的增强现实自定位方法，其特征是，步骤五的具体步骤为：(1)计算Apriltag标签的位姿；(2)计算IMU位姿；(3)计算VSLAM位姿；(4)将计算好的位姿传输至服务器且融合虚拟模型的三维空间坐标，然后传输至客户端进行融合显示。

7.根据权利要求1所述的基于航空装配的增强现实自定位方法，其特征是，步骤五中，所述设备位姿包括Apriltag标签的位姿、IMU位姿以及VSLAM位姿。

Images