CN112258658B - 一种基于深度相机的增强现实可视化方法及应用 - Google Patents

Abstract

本发明为一种基于深度相机的增强现实可视化方法及应用，具体步骤是：步骤1、利用深度相机重建背景点云，通过三维建模获取目标物体点云；步骤2、基于深度相机的环境点云重建；步骤3、提取目标物体点云与滤波后的环境点云的关键特征点，然后进行点云配准，得到目标物体在深度相机坐标系下的位姿，完成目标物体的识别与初始定位；步骤4、基于RGB‑D特征点的三维跟踪注册；步骤5、根据当前关键帧与下一帧图像的目标物体的相对位姿变化量选取关键帧，用于目标物体的位姿优化，完成目标物体和目标区域的更新；步骤6、实现遮挡特征的可视化。本方法在复杂场景下也能较好的识别目标物体，提高了系统的实时性、鲁棒性和跟踪的准确性。

Description

一种基于深度相机的增强现实可视化方法及应用

技术领域

本发明涉及计算机视觉、图像采集与处理等技术领域，具体是一种基于深度相机的增强现实可视化方法及应用。

背景技术

增强现实技术是虚拟现实技术的一个分支，是利用计算机生成的物体或信息与真实环境进行融合，不仅展现了真实世界的信息，而且在真实世界中将虚拟信息同时显示出来，提升和扩展人类对环境的感知能力。

跟踪注册技术作为增强现实技术的核心，已经得到了很大的发展。但是在某些特定的作业场景中，由于环境背景较为复杂，作业目标物体是运动的，若要准确定位并跟踪运动的目标物体，这对系统的实时性和鲁棒性要求较高，而现有的跟踪注册方法难以满足这些需求。例如，基于自然特征点的跟踪注册方法由于纹理特征缺失会出现错误特征点干扰，精度不高；基于标记物的方法需要预先在现实场景中放置标识物，在极端角度或者标志物被遮挡情况下会导致注册失败；基于模型的方法需要对不同角度的视图进行计算，巨大的计算量难以保证系统的速度与精度，因此本申请提出一种能够跟踪运动目标，且满足应用需求的新型定位与跟踪方式，而且本申请的可视化方法能够将作用场景中虚拟信息准确的显示出来，使得被运动目标遮挡的信息可视化，具有十分重要的现实意义。

发明内容

针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于深度相机的增强现实可视化方法及应用。

本发明解决所述技术问题采用的技术方案是：

一种基于深度相机的增强现实可视化方法，其特征在于，该方法的具体步骤是：

步骤1、利用深度相机重建背景点云，通过三维建模获取目标物体点云；

步骤2、获取视频流，对视频流中的每一帧深度图像进行去噪，并将去噪后的深度图像转换为点云图像；在点云图像中以深度相机为坐标原点，分别在三维方向上设定阈值范围，将阈值范围内的点作为样本点，得到剔除背景后的环境点云；然后对剔除背景后的环境点云进行滤波处理，完成环境点云的重建；

步骤3、提取步骤1得到的目标物体点云与步骤2中滤波后的环境点云的关键特征点，将提取的关键特征点进行点云配准，得到目标物体在深度相机坐标系下的位姿，完成目标物体的识别与初始定位；

步骤4、在正视于目标物体的平面上，根据目标物体大小选取目标区域，并在目标区域内利用ORB算法提取目标物体的特征信息，完成RGB特征点的提取；然后通过深度图像将RGB特征点映射到三维空间，并通过高斯混合模型计算RGB-D特征点的颜色值以及三维坐标，完成RGB-D特征点的获取；通过ICP算法进行相邻帧图像的RGB-D特征点集的匹配，实时更新目标物体的位姿，完成基于RGB-D特征点的目标物体位姿估计，以此完成基于RGB-D特征点的三维跟踪注册；

步骤5、计算当前关键帧与视频流中其余帧图像之间的位姿变换矩阵，得到目标物体位姿的相对变化量，并将目标物体位姿的相对变化量与关键帧选取阈值

进行比较，若目标物体位姿的相对变化量超过阈值

则将此帧图像选为下一个关键帧，用于目标物体的位姿优化，完成目标物体和目标区域的更新；

步骤6、根据深度信息以及虚拟物体在目标物体上的位置，逐点比较真实场景和虚拟物体所在区域的深度值，当真实场景的深度值大于虚拟物体的深度值时，填充虚拟物体的像素值，反之，填充真实场景的深度值，以此将虚拟物体渲染到真实场景中；再通过设置透明度将步骤1中重建的背景显示出来，实现遮挡特征的可视化；

通过上述步骤完成基于深度相机的增强现实可视化。

步骤5中关键帧选取阈值

满足公式(20)：

式中，||||₂表示二范数；Δt和Δr分别为相邻两关键帧间的多帧图像上目标物体的平移变化量总和和旋转变化量总和；w_t和w_r分别为平移变化和旋转变化权重。

步骤4中选取比目标物体各个边缘大5％的区域作为目标区域。

本发明还提供一种基于深度相机的增强现实可视化方法的应用，其特征在于，该方法能够用于SE型干挂石材的幕墙安装。

与现有技术相比，本发明的有益效果在于：

1、本发明创新性地将增强现实技术应用在幕墙安装施工领域，用于指导幕墙的安装；通过本方法将待安装的石材透明化，被石材遮挡的幕墙龙骨和SE型挂件显现出来，增强幕墙龙骨和SE型挂件的可视化效果，使得安装工人能够看到被石材遮挡的信息，方便将SE型挂件与幕墙龙骨上的安装位置准确定位，提高幕墙安装的工作效率，克服了现有的幕墙安装主要通过人为经验估计幕墙龙骨与SE型挂件之间的位置，而导致定位不准，工作效率低的缺陷。

2、本发明利用含有深度信息和颜色信息的RGB-D特征点进行跟踪注册，运动的目标物体进行实时跟踪，实现在复杂场景下也能较好的识别目标物体，降低了点云数据计算量，提高了系统的实时性、鲁棒性和跟踪的准确性；采用高斯混合模型求取特征点的三维坐标与颜色值，有效减小了相机的采集误差。

3、本方法根据石材大小选取目标区域，只对目标区域内的特征点进行跟踪注册，提高了运算效率，在降低了点云数据量的同时使点云表面特征更清晰，提高了跟踪注册的精度，使得位姿估计更加准确。

附图说明

图1是本发明的整体流程图；

图2是本发明的模拟幕墙安装作业场景图；

图3是本发明的环境点云重建和石材识别结果图；

图4是本发明的遮挡特征可视化过程的流程图；

图5是本发明的幕墙安装作业可视化的效果图。

具体实施方式

下面结合实施例及附图对本发明作进一步的说明，但并不以此作为对本申请保护范围的限定。

本实施例以SE型干挂石材幕墙安装场景为例进行说明，由于幕墙安装作业现场的复杂环境，背景的不确定性，以及目标物体是运动的使得此方法可视化效果更加突出。利用移动底盘和UR5机械臂进行石材的吸附和安装，在安装过程中工人无法获得待安装石材背面挂件和幕墙龙骨等足够多的视觉信息，只能依靠个人经验和位置估计来完成一系列的施工作业任务，存在不能精准安装的情况，导致安装时间较长，作业施工效率得不到保障，针对这一问题，引入增强现实技术，将虚拟引导信息提供给操作人员，提高安装效率。

本发明提供一种基于深度相机的增强现实可视化方法(简称方法，参见图1-5),该方法的具体步骤是：

步骤1、重建背景点云

将深度相机固定不动，对准幕墙安装作业施工现场，获取视频流，实验场景如图2所示；在离现阶段，对幕墙龙骨和SE型挂件等背景利用深度相机进行三维重建，得到背景点云；手动或利用滤波器对背景点云进行去噪处理，完成背景点云的重建；同时利用CAD计算机辅助设计手段构建出石材和SE型挂件的三维CAD模型，并将石材的三维模型转换成稀疏点云，得到石材点云；

步骤2、基于深度相机的环境点云重建

对视频流中的每一帧深度图像利用联合双边滤波器进行去噪，并将去噪后的深度图像转换为点云图像；在点云图像中以深度相机的位置为坐标原点，分别在x,y,z三个方向上设定阈值范围，将阈值范围内的点作为样本点，得到剔除背景后的环境点云；然后对剔除背景后的环境点云进行滤波处理，得到滤波后的环境点云，以此完成环境点云的重建。

由于在环境点云的重建过程中，存在着无用背景信息和离散点等大量干扰点云数据，而这些干扰点云会导致后续巨大的计算量和错误匹配，因此在点云图像中，以深度相机的位置为坐标原点，分别在x,y,z三个方向上设定阈值范围(x_min,x_max)、(y_min,y_max)和(z_min,z_max)，并将阈值范围外的点去掉，将点云图像上位于阈值范围内的点Q_j作为样本点，以剔除点云图像中位于安装场景以外的无用背景点云和部分干扰点云，得到剔除背景后的环境点云；阈值范围的设定需要保证整个安装场景的完整性，其中Q_j满足公式(1)；

Q_j＝(x_j,y_j,z_j)，x_j∈(x_min,x_max)，y_j∈(y_min,y_max)，z_j∈(z_min,z_max) (1)

由于建筑施工场景环境复杂、相机精度以及采集误差等因素的影响，剔除背景后的环境点云仍存在较多的噪声点，利用基于统计滤波器的方法对剔除背景后的环境点云进行滤波处理，得到滤波后的环境点云，以去除噪声点，完成环境点云的重建，重建后的环境点云能较清晰地体现出位于环境中的物体的原本特征。

统计滤波器的具体操作为：对剔除背景后的环境点云的所有点进行统计并分析，对于点云中的任意一个点i，计算该点到搜索邻域内M个邻近点之间的平均距离d_i，在实际工作应用中，为了简化点云滤波过程，可认为d_i服从高斯分布，且该高斯分布具有均值μ和标准差σ，记为d(μ,σ)，则均值μ和标准差σ分别满足公式(1)和(2)；

d_max＝μ+ασ (4)

按照公式(4)设置点的距离阈值d_max，将平均距离大于d_max的点视为噪声点并剔除，得到滤波后的环境点云，以此完成环境点云的重建，环境点云重建结果如图3所示。

式(2)-(4)中，n为点云中点的数量；α为标准差倍数阈值，用于控制搜索邻域大小；

α的取值可根据实际情况自行设置，由于本实施例的石材为规则的立方体，石材的边缘轮廓清晰，为了防止滤波器对石材边缘过度降噪，不能提取完整的石材结构，参数M和α不宜过大；如果搜索邻域过小，则点云图像的滤波不够完全；如果搜索邻域过大，滤波器就会对点云模型中位于边缘区域内较稀疏的点云进行过度滤波，甚至有可能会将点云模型中的主体点云滤除掉，破坏点云模型的表面特征；本实施例中，M的取值为20，α为1.5，以得到最佳滤波效果。

步骤3、基于点云匹配的目标物体识别与初始定位

目标物体识别与位姿估计采用主成分分析算法分别提取步骤1得到的石材点云与步骤2中滤波后的环境点云的关键特征点，随后利用采样一致性初始点云配准与迭代最近点精确配准方法相结合的方式，将提取的关键特征点进行点云配准，得到如公式(5)石材在深度相机坐标系下的位姿，完成目标物体的识别与初始定位，目标物体的识别结果见图3；

M_init＝[R′|T′] (5)

其中，R′为旋转矩阵，T′为平移向量；

在正视于石材的平面上，根据石材大小选取方形的目标区域R，用于步骤4的跟踪注册。目标区域R过小会使石材特征提取不完全，目标区域R过大又会使提取到背景等干扰特征点，导致误差，因此一般选取比石材各个边长大5％左右的区域作为目标区域R；

然后根据公式(5)得到目标区域R在真实世界中的位姿，同时根据SE型挂件在石材上的位置，得到SE型挂件在真实世界中的姿态。由于通过基于点云匹配方式求取目标物体位姿的方法计算量大，在动态跟踪过程中难以保证系统的实时性，仅用通过基于点云匹配方式进行目标物体的初始定位。

步骤4、基于RGB-D特征点的三维跟踪注册

目前跟踪注册多数是利用各种传感器如GPS、加速度计、惯性跟踪器等手段进行跟踪处理，由于这些仪器的精度不高或重量太大，导致适应性不高；基于自然特征点的跟踪注册方法由于纹理特征缺失会出现错误特征点干扰，因此精度不高；基于标记物的方法需要预先在现实场景中放置标识物，在极端角度或者标志物被遮挡情况下会导致注册失败；基于模型的方法需要对不同角度的视图进行计算，巨大的计算量难以保证系统的速度与精度；由于本实施例中施工作业背景的复杂性和不确定性，以及目标物体是运动的，导致目标物体与背景不一致，为了对运动的目标物体进行跟踪注册，提出一种基于RGB-D特征点的三维跟踪注册方法。

4.1RGB特征点的提取

为了提高系统的实时性和准确性，利用ORB算法来提取彩色图像的特征信息，并在相邻两帧匹配时，通过网格划分、运动统计特性等方式剔除错误匹配，以此来提高匹配的稳定性。ORB算法主要分为两部分，一部分是基于改进FAST算法的特征点提取，另一部分是基于BRIEF算法的特征点描述。为了只提取目标物体(石材)的特征信息，实现动态目标跟踪，在目标区域R内利用基于机器学习的ORB算法提取石材的特征信息，完成RGB特征点的提取。

4.2RGB-D特征点的获取

通过深度图像将RGB特征点(u,v)映射到三维空间，并通过高斯混合模型计算RGB-D特征点的颜色值以及三维坐标，完成RGB-D特征点的获取。由于深度相机测得的深度值是一个均值为μ_z的高斯随机变量，RBG-D特征点的颜色值也存在一定的偏差，而且ORB算法提取的特征点多位于目标物体的边缘处或颜色突变明显的位置，特征点的颜色值与相对应的深度值误差较大，导致获得的RGB-D特征点的误差也较大，因此利用高斯混合模型(GMM)计算RGB-D特征点的颜色值以及三维坐标，可以有效减少误差影响。高斯混合模型是聚类算法的一种，通常利用高斯混合模型进行密度估计，即该模型可理解为一种数据分布模型。相较于单一高斯分布，GMM是一种更为复杂的数据分布模型，并且GMM的不确定性能更准确地预测真实的不确定性，尤其是目标物体边缘的不确定性，提高精度。

在GMM中随机变量x的概率密度可用公式(6)表示：

式中，Θ＝(ω₁,…,ω_m,θ₁,…,θ_m)；θ_m＝(μ_m,σ_m)，表示高斯混合模型中的m个高斯分布，也就是一个高斯混合模型由m个高斯分布线性组合而成；μ_m表示m个高斯分布的均值；σ_m表示m个高斯分布的标准差；ω_k表示第k个高斯分布的权重，m个高斯分布的权重之和为1；μ_k表示第k个高斯分布的均值；σ_k表示第k个高斯分布的标准差；

深度值的不确定性不仅取决于给定像素的深度，而且会受到周围像素深度值的影响，RGB特征点(u,v)同时满足正态分布N(μ_u,σ_u)和N(μ_v,σ_v)，选取RGB特征点周围3*3个像素点组成一个高斯混合模型，以此计算该RGB点对应的深度值和标准差，此时m＝9，k表示第k个像素点，其中高斯混合模型在RGB特征点周围的权重矩阵如公式(7)；

假设第k个像素点的深度值满足均值为μ_zk、方差为σ_zk的正态分布，通过公式(8)和(9)计算RGB特征点的深度值μ_z和标准差σ_z；

同理，利用计算深度值的方法计算RGB-D特征点的其余两个坐标值μ_x和μ_y，得到RGB-D特征点的位置μ_xyz＝[μ_x,μ_y,μ_z]；

利用计算深度值的方法计算RGB-D特征点的颜色值，设颜色值的标准差σ_c为常数，RGB特征点的颜色值和标准差分别为μ_rgb＝[μ_r,μ_g,μ_b]和

以计算颜色值的通道数b为例进行说明，按照公式(10)和(11)计算颜色值的通道数μ_b和标准差σ_b；

式(10)和(11)中，μ_bk表示第k个像素点的通道数；

RGB-D特征点的误差协方差矩阵∑满足公式(12)：

式(12)中，∑_xyz和∑_rgb分别满足公式(13)和(14)：

公式(13)-(14)中，σ_x、σ_y、σ_xz、σ_zx、σ_yz、σ_zy、σ_xy和σ_yx分别满足公式(15)-(19)：

式(15)-(19)中，u₀表示图像中心点的横坐标；v₀表示图像中心点的纵坐标；f表示深度相机的焦距。

4.3基于RGB-D特征点的目标物体位姿估计

设第s帧图像的RGB-D特征点集为D_s＝{μ^q,∑^q}，q表示第s帧图像上第q个RGB-D特征点；

表示第q个RGB-D特征点的位置均值和颜色均值；∑^q表示第q个RGB-D特征点的协方差矩阵；

通过ICP算法进行相邻帧图像的RGB-D特征点集的匹配，实时更新目标物体的位姿；由于ICP算法对初值要求较高，初值选取不当时，可能陷入局部最优。在本实施例的幕墙安装场景中，根据UR5机械臂末端的位姿P_s，求解出末端在相机坐标系下的位姿T_s，从而可以设置ICP算法的初值为：

随后通过ICP算法并使用k-d tree算法对RGB-D特征点集D_s与RGB-D特征点集D_s+1进行匹配，并利用随机采样一致性算法(RANSAC，RandomSample Consensus)去除错误匹配对，迭代计算出两个RGB-D特征点集的位姿变换矩阵M_s＝[R_s|T_s]，完成目标物体的位姿估计，以此实现无先验知识(模型、图片等)情况下运动目标物体的跟踪注册；在进行目标物体位姿估计的同时利用位姿变换矩阵M_s＝[R_s|T_s]进行SE型挂件的位姿估计。

步骤5、目标物体的位姿优化

由于利用ICP算法求解位姿变换矩阵时，若选取的RGB-D特征点集较少或者目标物体运动过快时，求解出的位姿变换矩阵误差就会变大，因此选取视频流中的关键帧进行目标物体的位姿优化，可有效减小误差。

在选取关键帧时，如果选取关键帧的时间间隔较短，会频繁地进行目标物体位姿检测，导致系统计算量过大，实时性得不到保障，因此根据当前关键帧与下一帧图像的目标物体的相对位姿变化量选取关键帧，用于目标物体的位姿优化；例如将第一帧作为当前关键帧X₁，计算当前关键帧X₁与视频流中其余帧图像之间的位姿变换矩阵，得到目标物体位姿的相对变化量，并将目标物体位姿的相对变化量与关键帧选取阈值

进行比较，若目标物体位姿的相对变化量超过阈值

则将此帧图像选为下一个关键帧X₂；关键帧选取阈值

满足公式(20)，关键帧选取阈值

跟目标物体的运动速度有关，在本实施例中与石材运动的速度有关；

其中，||||₂表示二范数；Δt和Δr分别为相邻两关键帧间的多帧图像上目标物体的平移变化量总和和旋转变化量总和；w_t和w_r分别为平移变化和旋转变化权重，关键帧的密度及选取结果的好坏取决于w_t和w_r的大小。

当新的关键帧产生后，利用主成分分析算法提取该关键帧对应的点云图像的关键特征点，得到关键帧点云；采用3D-NDT正态分布变换点云配准算法将关键帧点云和步骤1得到的石材点云进行配准，从而得到石材在真实世界中的位姿，并进行石材位姿和目标区域R的更新，在得到石材真实位姿的同时也得到SE型挂件在真实世界中的位姿。

步骤6、遮挡特征的可视化

为了呈现良好的虚实结合效果，根据深度相机提供的深度信息以及虚拟物体(本实施例为SE型挂件)在目标物体上的安装位置，逐点比较真实场景和虚拟物体所在区域的深度值，当真实场景的深度值大于虚拟物体的深度值时，填充虚拟物体的像素值，反之，填充真实场景的深度值，以此将虚拟物体按照正确的遮挡关系和透视关系渲染到真实场景中，得到虚实结合场景；再通过设置透明度将步骤1中重建的背景慢慢显示出来，也就是将石材进行透明化，将幕墙龙骨和石材背面的SE型挂件显示出来，以达到幕墙安装可视化的效果，提高幕墙安装的工作效率。

本申请的增强现实系统是在Windows10操作系统采用C++语言进行开发，系统开发环境为Visual Studio 2019,处理器为Inter(R)Core(TM)i9-9820XCPU，CPU主频为3.30GHz，内存为32GB。各个阶段的执行时间如表1所示；

表1各个阶段的执行时间

从表中可知，本申请的处理每帧图像耗时39.64ms，也就是系统运行速度为25帧/s，由于普通观看的视频是30帧/s，因此本申请在幕墙安装等施工作业场景中达到25帧/s，能够满足幕墙安装的实时性要求。

本发明未述及之处适用于现有技术。

Claims (2)

1.一种基于深度相机的增强现实可视化方法,其特征在于，该方法用于SE型干挂石材的幕墙安装，具体步骤是：

步骤1、将深度相机固定不动，对准幕墙安装作业施工现场；利用深度相机重建背景点云，通过三维建模获取目标物体点云；目标物体为石材；

步骤2、获取视频流，对视频流中的每一帧深度图像进行去噪，并将去噪后的深度图像转换为点云图像；在点云图像中以深度相机为坐标原点，分别在三维方向上设定阈值范围，将阈值范围内的点作为样本点，得到剔除背景后的环境点云；然后对剔除背景后的环境点云进行滤波处理，完成环境点云的重建；

步骤3、提取步骤1得到的目标物体点云与步骤2中滤波后的环境点云的关键特征点，将提取的关键特征点进行点云配准，得到目标物体在深度相机坐标系下的位姿，完成目标物体的识别与初始定位；

步骤4、在正视于目标物体的平面上，根据目标物体大小选取目标区域，并在目标区域内利用ORB算法提取目标物体的特征信息，完成RGB特征点的提取；然后通过深度图像将RGB特征点映射到三维空间，并通过高斯混合模型计算RGB-D特征点的颜色值以及三维坐标，完成RGB-D特征点的获取；通过ICP算法进行相邻帧图像的RGB-D特征点集的匹配，实时更新目标物体的位姿，完成基于RGB-D特征点的目标物体位姿估计，以此完成基于RGB-D特征点的三维跟踪注册；

步骤5、计算当前关键帧与视频流中其余帧图像之间的位姿变换矩阵，得到目标物体位姿的相对变化量，并将目标物体位姿的相对变化量与关键帧选取阈值

进行比较，若目标物体位姿的相对变化量超过阈值

则将此帧图像选为下一个关键帧，用于目标物体的位姿优化，完成目标物体和目标区域的更新；关键帧选取阈值

满足公式(20)，关键帧选取阈值

与目标物体的运动速度有关；

式中，|| ||₂表示二范数；Δt和Δr分别为相邻两关键帧间的多帧图像上目标物体的平移变化量总和和旋转变化量总和；w_t和w_r分别为平移变化和旋转变化权重；

当新的关键帧产生后，利用主成分分析算法提取该关键帧对应的点云图像的关键特征点，得到关键帧点云；采用3D-NDT正态分布变换点云配准算法将关键帧点云和步骤1得到的目标物体点云进行配准，从而得到目标物体在真实世界中的位姿，并进行目标物体位姿和目标区域的更新；

步骤6、根据深度信息以及虚拟物体在目标物体上的位置，逐点比较真实场景和虚拟物体所在区域的深度值，当真实场景的深度值大于虚拟物体的深度值时，填充虚拟物体的像素值，反之，填充真实场景的深度值，以此将虚拟物体渲染到真实场景中；再通过设置透明度将步骤1中重建的背景显示出来，实现遮挡特征的可视化；

通过上述步骤完成基于深度相机的增强现实可视化。

2.根据权利要求1所述的基于深度相机的增强现实可视化方法，其特征在于，步骤4中选取比目标物体各个边缘大5％的区域作为目标区域。

Images