CN112258658A - 一种基于深度相机的增强现实可视化方法及应用 - Google Patents
一种基于深度相机的增强现实可视化方法及应用 Download PDFInfo
- Publication number
- CN112258658A CN112258658A CN202011135118.7A CN202011135118A CN112258658A CN 112258658 A CN112258658 A CN 112258658A CN 202011135118 A CN202011135118 A CN 202011135118A CN 112258658 A CN112258658 A CN 112258658A
- Authority
- CN
- China
- Prior art keywords
- target object
- point cloud
- pose
- depth camera
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 19
- 238000007794 visualization technique Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012800 visualization Methods 0.000 claims abstract description 9
- 238000005457 optimization Methods 0.000 claims abstract description 3
- 239000004575 stone Substances 0.000 claims description 34
- 239000011159 matrix material Substances 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 238000009616 inductively coupled plasma Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 2
- 238000009877 rendering Methods 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 abstract description 4
- 238000009434 installation Methods 0.000 description 19
- 238000009826 distribution Methods 0.000 description 14
- 238000010276 construction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 239000003550 marker Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000009435 building construction Methods 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明为一种基于深度相机的增强现实可视化方法及应用，具体步骤是：步骤1、利用深度相机重建背景点云，通过三维建模获取目标物体点云；步骤2、基于深度相机的环境点云重建；步骤3、提取目标物体点云与滤波后的环境点云的关键特征点，然后进行点云配准，得到目标物体在深度相机坐标系下的位姿，完成目标物体的识别与初始定位；步骤4、基于RGB‑D特征点的三维跟踪注册；步骤5、根据当前关键帧与下一帧图像的目标物体的相对位姿变化量选取关键帧，用于目标物体的位姿优化，完成目标物体和目标区域的更新；步骤6、实现遮挡特征的可视化。本方法在复杂场景下也能较好的识别目标物体，提高了系统的实时性、鲁棒性和跟踪的准确性。
Description
技术领域
本发明涉及计算机视觉、图像采集与处理等技术领域，具体是一种基于深度相机的增强现实可视化方法及应用。
背景技术
增强现实技术是虚拟现实技术的一个分支，是利用计算机生成的物体或信息与真实环境进行融合，不仅展现了真实世界的信息，而且在真实世界中将虚拟信息同时显示出来，提升和扩展人类对环境的感知能力。
跟踪注册技术作为增强现实技术的核心，已经得到了很大的发展。但是在某些特定的作业场景中，由于环境背景较为复杂，作业目标物体是运动的，若要准确定位并跟踪运动的目标物体，这对系统的实时性和鲁棒性要求较高，而现有的跟踪注册方法难以满足这些需求。例如，基于自然特征点的跟踪注册方法由于纹理特征缺失会出现错误特征点干扰，精度不高；基于标记物的方法需要预先在现实场景中放置标识物，在极端角度或者标志物被遮挡情况下会导致注册失败；基于模型的方法需要对不同角度的视图进行计算，巨大的计算量难以保证系统的速度与精度，因此本申请提出一种能够跟踪运动目标，且满足应用需求的新型定位与跟踪方式，而且本申请的可视化方法能够将作用场景中虚拟信息准确的显示出来，使得被运动目标遮挡的信息可视化，具有十分重要的现实意义。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于深度相机的增强现实可视化方法及应用。
本发明解决所述技术问题采用的技术方案是：
一种基于深度相机的增强现实可视化方法，其特征在于，该方法的具体步骤是：
步骤1、利用深度相机重建背景点云，通过三维建模获取目标物体点云；
步骤2、获取视频流，对视频流中的每一帧深度图像进行去噪，并将去噪后的深度图像转换为点云图像；在点云图像中以深度相机为坐标原点，分别在三维方向上设定阈值范围，将阈值范围内的点作为样本点，得到剔除背景后的环境点云；然后对剔除背景后的环境点云进行滤波处理，完成环境点云的重建；
步骤3、提取步骤1得到的目标物体点云与步骤2中滤波后的环境点云的关键特征点，将提取的关键特征点进行点云配准，得到目标物体在深度相机坐标系下的位姿，完成目标物体的识别与初始定位；
步骤4、在正视于目标物体的平面上，根据目标物体大小选取目标区域，并在目标区域内利用ORB算法提取目标物体的特征信息，完成RGB特征点的提取；然后通过深度图像将RGB特征点映射到三维空间，并通过高斯混合模型计算RGB-D特征点的颜色值以及三维坐标，完成RGB-D特征点的获取；通过ICP算法进行相邻帧图像的RGB-D特征点集的匹配，实时更新目标物体的位姿，完成基于RGB-D特征点的目标物体位姿估计，以此完成基于RGB-D特征点的三维跟踪注册；
步骤5、计算当前关键帧与视频流中其余帧图像之间的位姿变换矩阵，得到目标物体位姿的相对变化量，并将目标物体位姿的相对变化量与关键帧选取阈值
进行比较，若目标物体位姿的相对变化量超过阈值
则将此帧图像选为下一个关键帧，用于目标物体的位姿优化，完成目标物体和目标区域的更新；
步骤6、根据深度信息以及虚拟物体在目标物体上的位置，逐点比较真实场景和虚拟物体所在区域的深度值，当真实场景的深度值大于虚拟物体的深度值时，填充虚拟物体的像素值，反之，填充真实场景的深度值，以此将虚拟物体渲染到真实场景中；再通过设置透明度将步骤1中重建的背景显示出来，实现遮挡特征的可视化；
通过上述步骤完成基于深度相机的增强现实可视化。
步骤5中关键帧选取阈值
满足公式(20)：
式中，||||2表示二范数；Δt和Δr分别为相邻两关键帧间的多帧图像上目标物体的平移变化量总和和旋转变化量总和；wt和wr分别为平移变化和旋转变化权重。
步骤4中选取比目标物体各个边缘大5％的区域作为目标区域。
本发明还提供一种基于深度相机的增强现实可视化方法的应用，其特征在于，该方法能够用于SE型干挂石材的幕墙安装。
与现有技术相比，本发明的有益效果在于：
1、本发明创新性地将增强现实技术应用在幕墙安装施工领域，用于指导幕墙的安装；通过本方法将待安装的石材透明化，被石材遮挡的幕墙龙骨和SE型挂件显现出来，增强幕墙龙骨和SE型挂件的可视化效果，使得安装工人能够看到被石材遮挡的信息，方便将SE型挂件与幕墙龙骨上的安装位置准确定位，提高幕墙安装的工作效率，克服了现有的幕墙安装主要通过人为经验估计幕墙龙骨与SE型挂件之间的位置，而导致定位不准，工作效率低的缺陷。
2、本发明利用含有深度信息和颜色信息的RGB-D特征点进行跟踪注册，运动的目标物体进行实时跟踪，实现在复杂场景下也能较好的识别目标物体，降低了点云数据计算量，提高了系统的实时性、鲁棒性和跟踪的准确性；采用高斯混合模型求取特征点的三维坐标与颜色值，有效减小了相机的采集误差。
3、本方法根据石材大小选取目标区域，只对目标区域内的特征点进行跟踪注册，提高了运算效率，在降低了点云数据量的同时使点云表面特征更清晰，提高了跟踪注册的精度，使得位姿估计更加准确。
附图说明
图1是本发明的整体流程图；
图2是本发明的模拟幕墙安装作业场景图；
图3是本发明的环境点云重建和石材识别结果图；
图4是本发明的遮挡特征可视化过程的流程图；
图5是本发明的幕墙安装作业可视化的效果图。
具体实施方式
下面结合实施例及附图对本发明作进一步的说明，但并不以此作为对本申请保护范围的限定。
本实施例以SE型干挂石材幕墙安装场景为例进行说明，由于幕墙安装作业现场的复杂环境，背景的不确定性，以及目标物体是运动的使得此方法可视化效果更加突出。利用移动底盘和UR5机械臂进行石材的吸附和安装，在安装过程中工人无法获得待安装石材背面挂件和幕墙龙骨等足够多的视觉信息，只能依靠个人经验和位置估计来完成一系列的施工作业任务，存在不能精准安装的情况，导致安装时间较长，作业施工效率得不到保障，针对这一问题，引入增强现实技术，将虚拟引导信息提供给操作人员，提高安装效率。
本发明提供一种基于深度相机的增强现实可视化方法(简称方法，参见图1-5),该方法的具体步骤是：
步骤1、重建背景点云
将深度相机固定不动，对准幕墙安装作业施工现场，获取视频流，实验场景如图2所示；在离现阶段，对幕墙龙骨和SE型挂件等背景利用深度相机进行三维重建，得到背景点云；手动或利用滤波器对背景点云进行去噪处理，完成背景点云的重建；同时利用CAD计算机辅助设计手段构建出石材和SE型挂件的三维CAD模型，并将石材的三维模型转换成稀疏点云，得到石材点云；
步骤2、基于深度相机的环境点云重建
对视频流中的每一帧深度图像利用联合双边滤波器进行去噪，并将去噪后的深度图像转换为点云图像；在点云图像中以深度相机的位置为坐标原点，分别在x,y,z三个方向上设定阈值范围，将阈值范围内的点作为样本点，得到剔除背景后的环境点云；然后对剔除背景后的环境点云进行滤波处理，得到滤波后的环境点云，以此完成环境点云的重建。
由于在环境点云的重建过程中，存在着无用背景信息和离散点等大量干扰点云数据，而这些干扰点云会导致后续巨大的计算量和错误匹配，因此在点云图像中，以深度相机的位置为坐标原点，分别在x,y,z三个方向上设定阈值范围(xmin,xmax)、(ymin,ymax)和(zmin,zmax)，并将阈值范围外的点去掉，将点云图像上位于阈值范围内的点Qj作为样本点，以剔除点云图像中位于安装场景以外的无用背景点云和部分干扰点云，得到剔除背景后的环境点云；阈值范围的设定需要保证整个安装场景的完整性，其中Qj满足公式(1)；
Qj＝(xj,yj,zj)，xj∈(xmin,xmax)，yj∈(ymin,ymax)，zj∈(zmin,zmax) (1)
由于建筑施工场景环境复杂、相机精度以及采集误差等因素的影响，剔除背景后的环境点云仍存在较多的噪声点，利用基于统计滤波器的方法对剔除背景后的环境点云进行滤波处理，得到滤波后的环境点云，以去除噪声点，完成环境点云的重建，重建后的环境点云能较清晰地体现出位于环境中的物体的原本特征。
统计滤波器的具体操作为：对剔除背景后的环境点云的所有点进行统计并分析，对于点云中的任意一个点i，计算该点到搜索邻域内M个邻近点之间的平均距离di，在实际工作应用中，为了简化点云滤波过程，可认为di服从高斯分布，且该高斯分布具有均值μ和标准差σ，记为d(μ,σ)，则均值μ和标准差σ分别满足公式(1)和(2)；
dmax＝μ+ασ (4)
按照公式(4)设置点的距离阈值dmax，将平均距离大于dmax的点视为噪声点并剔除，得到滤波后的环境点云，以此完成环境点云的重建，环境点云重建结果如图3所示。
式(2)-(4)中，n为点云中点的数量；α为标准差倍数阈值，用于控制搜索邻域大小；
α的取值可根据实际情况自行设置，由于本实施例的石材为规则的立方体，石材的边缘轮廓清晰，为了防止滤波器对石材边缘过度降噪，不能提取完整的石材结构，参数M和α不宜过大；如果搜索邻域过小，则点云图像的滤波不够完全；如果搜索邻域过大，滤波器就会对点云模型中位于边缘区域内较稀疏的点云进行过度滤波，甚至有可能会将点云模型中的主体点云滤除掉，破坏点云模型的表面特征；本实施例中，M的取值为20，α为1.5，以得到最佳滤波效果。
步骤3、基于点云匹配的目标物体识别与初始定位
目标物体识别与位姿估计采用主成分分析算法分别提取步骤1得到的石材点云与步骤2中滤波后的环境点云的关键特征点，随后利用采样一致性初始点云配准与迭代最近点精确配准方法相结合的方式，将提取的关键特征点进行点云配准，得到如公式(5)石材在深度相机坐标系下的位姿，完成目标物体的识别与初始定位，目标物体的识别结果见图3；
Minit＝[R′|T′] (5)
其中，R′为旋转矩阵，T′为平移向量；
在正视于石材的平面上，根据石材大小选取方形的目标区域R，用于步骤4的跟踪注册。目标区域R过小会使石材特征提取不完全，目标区域R过大又会使提取到背景等干扰特征点，导致误差，因此一般选取比石材各个边长大5％左右的区域作为目标区域R；
然后根据公式(5)得到目标区域R在真实世界中的位姿，同时根据SE型挂件在石材上的位置，得到SE型挂件在真实世界中的姿态。由于通过基于点云匹配方式求取目标物体位姿的方法计算量大，在动态跟踪过程中难以保证系统的实时性，仅用通过基于点云匹配方式进行目标物体的初始定位。
步骤4、基于RGB-D特征点的三维跟踪注册
目前跟踪注册多数是利用各种传感器如GPS、加速度计、惯性跟踪器等手段进行跟踪处理，由于这些仪器的精度不高或重量太大，导致适应性不高；基于自然特征点的跟踪注册方法由于纹理特征缺失会出现错误特征点干扰，因此精度不高；基于标记物的方法需要预先在现实场景中放置标识物，在极端角度或者标志物被遮挡情况下会导致注册失败；基于模型的方法需要对不同角度的视图进行计算，巨大的计算量难以保证系统的速度与精度；由于本实施例中施工作业背景的复杂性和不确定性，以及目标物体是运动的，导致目标物体与背景不一致，为了对运动的目标物体进行跟踪注册，提出一种基于RGB-D特征点的三维跟踪注册方法。
4.1RGB特征点的提取
为了提高系统的实时性和准确性，利用ORB算法来提取彩色图像的特征信息，并在相邻两帧匹配时，通过网格划分、运动统计特性等方式剔除错误匹配，以此来提高匹配的稳定性。ORB算法主要分为两部分，一部分是基于改进FAST算法的特征点提取，另一部分是基于BRIEF算法的特征点描述。为了只提取目标物体(石材)的特征信息，实现动态目标跟踪，在目标区域R内利用基于机器学习的ORB算法提取石材的特征信息，完成RGB特征点的提取。
4.2RGB-D特征点的获取
通过深度图像将RGB特征点(u,v)映射到三维空间，并通过高斯混合模型计算RGB-D特征点的颜色值以及三维坐标，完成RGB-D特征点的获取。由于深度相机测得的深度值是一个均值为μz的高斯随机变量，RBG-D特征点的颜色值也存在一定的偏差，而且ORB算法提取的特征点多位于目标物体的边缘处或颜色突变明显的位置，特征点的颜色值与相对应的深度值误差较大，导致获得的RGB-D特征点的误差也较大，因此利用高斯混合模型(GMM)计算RGB-D特征点的颜色值以及三维坐标，可以有效减少误差影响。高斯混合模型是聚类算法的一种，通常利用高斯混合模型进行密度估计，即该模型可理解为一种数据分布模型。相较于单一高斯分布，GMM是一种更为复杂的数据分布模型，并且GMM的不确定性能更准确地预测真实的不确定性，尤其是目标物体边缘的不确定性，提高精度。
在GMM中随机变量x的概率密度可用公式(6)表示：
式中，Θ＝(ω1,…,ωm,θ1,…,θm)；θm＝(μm,σm)，表示高斯混合模型中的m个高斯分布，也就是一个高斯混合模型由m个高斯分布线性组合而成；μm表示m个高斯分布的均值；σm表示m个高斯分布的标准差；ωk表示第k个高斯分布的权重，m个高斯分布的权重之和为1；μk表示第k个高斯分布的均值；σk表示第k个高斯分布的标准差；
深度值的不确定性不仅取决于给定像素的深度，而且会受到周围像素深度值的影响，RGB特征点(u,v)同时满足正态分布N(μu,σu)和N(μv,σv)，选取RGB特征点周围3*3个像素点组成一个高斯混合模型，以此计算该RGB点对应的深度值和标准差，此时m＝9，k表示第k个像素点，其中高斯混合模型在RGB特征点周围的权重矩阵如公式(7)；
假设第k个像素点的深度值满足均值为μzk、方差为σzk的正态分布，通过公式(8)和(9)计算RGB特征点的深度值μz和标准差σz；
同理，利用计算深度值的方法计算RGB-D特征点的其余两个坐标值μx和μy，得到RGB-D特征点的位置μxyz＝[μx,μy,μz]；
利用计算深度值的方法计算RGB-D特征点的颜色值，设颜色值的标准差σc为常数，RGB特征点的颜色值和标准差分别为μrgb＝[μr,μg,μb]和
以计算颜色值的通道数b为例进行说明，按照公式(10)和(11)计算颜色值的通道数μb和标准差σb；
式(10)和(11)中，μbk表示第k个像素点的通道数；
RGB-D特征点的误差协方差矩阵∑满足公式(12)：
式(12)中，∑xyz和∑rgb分别满足公式(13)和(14)：
公式(13)-(14)中，σx、σy、σxz、σzx、σyz、σzy、σxy和σyx分别满足公式(15)-(19)：
式(15)-(19)中，u0表示图像中心点的横坐标；v0表示图像中心点的纵坐标；f表示深度相机的焦距。
4.3基于RGB-D特征点的目标物体位姿估计
设第s帧图像的RGB-D特征点集为Ds＝{μq,∑q}，q表示第s帧图像上第q个RGB-D特征点；
表示第q个RGB-D特征点的位置均值和颜色均值；∑q表示第q个RGB-D特征点的协方差矩阵；
通过ICP算法进行相邻帧图像的RGB-D特征点集的匹配，实时更新目标物体的位姿；由于ICP算法对初值要求较高，初值选取不当时，可能陷入局部最优。在本实施例的幕墙安装场景中，根据UR5机械臂末端的位姿Ps，求解出末端在相机坐标系下的位姿Ts，从而可以设置ICP算法的初值为：
随后通过ICP算法并使用k-d tree算法对RGB-D特征点集Ds与RGB-D特征点集Ds+1进行匹配，并利用随机采样一致性算法(RANSAC，RandomSample Consensus)去除错误匹配对，迭代计算出两个RGB-D特征点集的位姿变换矩阵Ms＝[Rs|Ts]，完成目标物体的位姿估计，以此实现无先验知识(模型、图片等)情况下运动目标物体的跟踪注册；在进行目标物体位姿估计的同时利用位姿变换矩阵Ms＝[Rs|Ts]进行SE型挂件的位姿估计。
步骤5、目标物体的位姿优化
由于利用ICP算法求解位姿变换矩阵时，若选取的RGB-D特征点集较少或者目标物体运动过快时，求解出的位姿变换矩阵误差就会变大，因此选取视频流中的关键帧进行目标物体的位姿优化，可有效减小误差。
在选取关键帧时，如果选取关键帧的时间间隔较短，会频繁地进行目标物体位姿检测，导致系统计算量过大，实时性得不到保障，因此根据当前关键帧与下一帧图像的目标物体的相对位姿变化量选取关键帧，用于目标物体的位姿优化；例如将第一帧作为当前关键帧X1，计算当前关键帧X1与视频流中其余帧图像之间的位姿变换矩阵，得到目标物体位姿的相对变化量，并将目标物体位姿的相对变化量与关键帧选取阈值
进行比较，若目标物体位姿的相对变化量超过阈值
则将此帧图像选为下一个关键帧X2；关键帧选取阈值
满足公式(20)，关键帧选取阈值
跟目标物体的运动速度有关，在本实施例中与石材运动的速度有关；
其中，||||2表示二范数；Δt和Δr分别为相邻两关键帧间的多帧图像上目标物体的平移变化量总和和旋转变化量总和；wt和wr分别为平移变化和旋转变化权重，关键帧的密度及选取结果的好坏取决于wt和wr的大小。
当新的关键帧产生后，利用主成分分析算法提取该关键帧对应的点云图像的关键特征点，得到关键帧点云；采用3D-NDT正态分布变换点云配准算法将关键帧点云和步骤1得到的石材点云进行配准，从而得到石材在真实世界中的位姿，并进行石材位姿和目标区域R的更新，在得到石材真实位姿的同时也得到SE型挂件在真实世界中的位姿。
步骤6、遮挡特征的可视化
为了呈现良好的虚实结合效果，根据深度相机提供的深度信息以及虚拟物体(本实施例为SE型挂件)在目标物体上的安装位置，逐点比较真实场景和虚拟物体所在区域的深度值，当真实场景的深度值大于虚拟物体的深度值时，填充虚拟物体的像素值，反之，填充真实场景的深度值，以此将虚拟物体按照正确的遮挡关系和透视关系渲染到真实场景中，得到虚实结合场景；再通过设置透明度将步骤1中重建的背景慢慢显示出来，也就是将石材进行透明化，将幕墙龙骨和石材背面的SE型挂件显示出来，以达到幕墙安装可视化的效果，提高幕墙安装的工作效率。
本申请的增强现实系统是在Windows10操作系统采用C++语言进行开发，系统开发环境为Visual Studio 2019,处理器为Inter(R)Core(TM)i9-9820XCPU，CPU主频为3.30GHz，内存为32GB。各个阶段的执行时间如表1所示；
表1各个阶段的执行时间
从表中可知，本申请的处理每帧图像耗时39.64ms，也就是系统运行速度为25帧/s，由于普通观看的视频是30帧/s，因此本申请在幕墙安装等施工作业场景中达到25帧/s，能够满足幕墙安装的实时性要求。
本发明未述及之处适用于现有技术。
Claims (4)
1.一种基于深度相机的增强现实可视化方法,其特征在于，该方法的具体步骤是：
步骤1、利用深度相机重建背景点云，通过三维建模获取目标物体点云；
步骤2、获取视频流，对视频流中的每一帧深度图像进行去噪，并将去噪后的深度图像转换为点云图像；在点云图像中以深度相机为坐标原点，分别在三维方向上设定阈值范围，将阈值范围内的点作为样本点，得到剔除背景后的环境点云；然后对剔除背景后的环境点云进行滤波处理，完成环境点云的重建；
步骤3、提取步骤1得到的目标物体点云与步骤2中滤波后的环境点云的关键特征点，将提取的关键特征点进行点云配准，得到目标物体在深度相机坐标系下的位姿，完成目标物体的识别与初始定位；
步骤4、在正视于目标物体的平面上，根据目标物体大小选取目标区域，并在目标区域内利用ORB算法提取目标物体的特征信息，完成RGB特征点的提取；然后通过深度图像将RGB特征点映射到三维空间，并通过高斯混合模型计算RGB-D特征点的颜色值以及三维坐标，完成RGB-D特征点的获取；通过ICP算法进行相邻帧图像的RGB-D特征点集的匹配，实时更新目标物体的位姿，完成基于RGB-D特征点的目标物体位姿估计，以此完成基于RGB-D特征点的三维跟踪注册；
步骤5、计算当前关键帧与视频流中其余帧图像之间的位姿变换矩阵，得到目标物体位姿的相对变化量，并将目标物体位姿的相对变化量与关键帧选取阈值
进行比较，若目标物体位姿的相对变化量超过阈值
则将此帧图像选为下一个关键帧，用于目标物体的位姿优化，完成目标物体和目标区域的更新；
步骤6、根据深度信息以及虚拟物体在目标物体上的位置，逐点比较真实场景和虚拟物体所在区域的深度值，当真实场景的深度值大于虚拟物体的深度值时，填充虚拟物体的像素值，反之，填充真实场景的深度值，以此将虚拟物体渲染到真实场景中；再通过设置透明度将步骤1中重建的背景显示出来，实现遮挡特征的可视化；
通过上述步骤完成基于深度相机的增强现实可视化。
2.根据权利要求1所述的基于深度相机的增强现实可视化方法，其特征在于，步骤5中关键帧选取阈值
满足公式(20)：
式中，|| ||2表示二范数；Δt和Δr分别为相邻两关键帧间的多帧图像上目标物体的平移变化量总和和旋转变化量总和；wt和wr分别为平移变化和旋转变化权重。
3.根据权利要求1所述的基于深度相机的增强现实可视化方法，其特征在于，步骤4中选取比目标物体各个边缘大5％的区域作为目标区域。
4.一种基于深度相机的增强现实可视化方法的应用，其特征在于，该方法能够用于SE型干挂石材的幕墙安装。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011135118.7A CN112258658B (zh) | 2020-10-21 | 2020-10-21 | 一种基于深度相机的增强现实可视化方法及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011135118.7A CN112258658B (zh) | 2020-10-21 | 2020-10-21 | 一种基于深度相机的增强现实可视化方法及应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112258658A true CN112258658A (zh) | 2021-01-22 |
| CN112258658B CN112258658B (zh) | 2023-02-17 |
Family
ID=74264571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011135118.7A Active CN112258658B (zh) | 2020-10-21 | 2020-10-21 | 一种基于深度相机的增强现实可视化方法及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112258658B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819970A (zh) * | 2021-02-19 | 2021-05-18 | 联想(北京)有限公司 | 一种控制方法、装置及电子设备 |
| CN113052917A (zh) * | 2021-03-29 | 2021-06-29 | 黑芝麻智能科技(上海)有限公司 | 相机不可见位置的图像坐标的获取方法、标定方法及系统 |
| CN113066125A (zh) * | 2021-02-27 | 2021-07-02 | 华为技术有限公司 | 一种增强现实方法及其相关设备 |
| CN113160337A (zh) * | 2021-05-17 | 2021-07-23 | 视境技术(深圳)有限公司 | 一种ar/vr虚拟现实融合相机控制方法 |
| CN113436242A (zh) * | 2021-07-22 | 2021-09-24 | 西安电子科技大学 | 基于移动深度相机的获取静态物体高精度深度值方法 |
| CN113542868A (zh) * | 2021-05-26 | 2021-10-22 | 浙江大华技术股份有限公司 | 视频关键帧选取方法、装置、电子设备、存储介质 |
| CN114155256A (zh) * | 2021-10-21 | 2022-03-08 | 北京航空航天大学 | 一种使用rgbd相机跟踪柔性物体形变的方法及系统 |
| CN114549641A (zh) * | 2022-01-28 | 2022-05-27 | 青岛理工大学 | 一种人手-机器人接触状态检测系统及方法 |
| WO2022252833A1 (zh) * | 2021-05-31 | 2022-12-08 | 北京字跳网络技术有限公司 | 一种图像渲染方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170053456A1 (en) * | 2015-08-19 | 2017-02-23 | Electronics And Telecommunications Research Institute | Method and apparatus for augmented-reality rendering on mirror display based on motion of augmented-reality target |
| CN108898630A (zh) * | 2018-06-27 | 2018-11-27 | 清华-伯克利深圳学院筹备办公室 | 一种三维重建方法、装置、设备和存储介质 |
| CN109118582A (zh) * | 2018-09-19 | 2019-01-01 | 东北大学 | 一种商品三维重建系统及重建方法 |
| CN109491497A (zh) * | 2018-10-19 | 2019-03-19 | 华中科技大学 | 一种基于增强现实技术的人工辅助装配应用系统 |
| CN109961506A (zh) * | 2019-03-13 | 2019-07-02 | 东南大学 | 一种融合改进Census图的局部场景三维重建方法 |
| CN109960402A (zh) * | 2018-12-18 | 2019-07-02 | 重庆邮电大学 | 一种基于点云和视觉特征融合的虚实注册方法 |
| US20190243335A1 (en) * | 2018-02-02 | 2019-08-08 | National Tsing Hua University | Process planning apparatus based on augmented reality |
| CN110825234A (zh) * | 2019-11-11 | 2020-02-21 | 江南大学 | 一种面向工业场景的投影式增强现实跟踪显示方法和系统 |
| US10803667B1 (en) * | 2017-08-11 | 2020-10-13 | Objectvideo Labs, Llc | Enhancing monitoring system with augmented reality |
-
2020
- 2020-10-21 CN CN202011135118.7A patent/CN112258658B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170053456A1 (en) * | 2015-08-19 | 2017-02-23 | Electronics And Telecommunications Research Institute | Method and apparatus for augmented-reality rendering on mirror display based on motion of augmented-reality target |
| US10803667B1 (en) * | 2017-08-11 | 2020-10-13 | Objectvideo Labs, Llc | Enhancing monitoring system with augmented reality |
| US20190243335A1 (en) * | 2018-02-02 | 2019-08-08 | National Tsing Hua University | Process planning apparatus based on augmented reality |
| CN108898630A (zh) * | 2018-06-27 | 2018-11-27 | 清华-伯克利深圳学院筹备办公室 | 一种三维重建方法、装置、设备和存储介质 |
| CN109118582A (zh) * | 2018-09-19 | 2019-01-01 | 东北大学 | 一种商品三维重建系统及重建方法 |
| CN109491497A (zh) * | 2018-10-19 | 2019-03-19 | 华中科技大学 | 一种基于增强现实技术的人工辅助装配应用系统 |
| CN109960402A (zh) * | 2018-12-18 | 2019-07-02 | 重庆邮电大学 | 一种基于点云和视觉特征融合的虚实注册方法 |
| CN109961506A (zh) * | 2019-03-13 | 2019-07-02 | 东南大学 | 一种融合改进Census图的局部场景三维重建方法 |
| CN110825234A (zh) * | 2019-11-11 | 2020-02-21 | 江南大学 | 一种面向工业场景的投影式增强现实跟踪显示方法和系统 |
Non-Patent Citations (3)
| Title |
|---|
| HUAJUN CHEN ET AL.: "Augmented reality tracking registration and process visualization method for large spacecraft cable assembly", 《IOP CONF. SERIES: MATERIALS SCIENCE AND ENGINEERING》 * |
| 吕宪伟: "基于RGB-D数据的SLAM算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 王月: "面向产品装配引导的增强现实虚实融合技术研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819970A (zh) * | 2021-02-19 | 2021-05-18 | 联想(北京)有限公司 | 一种控制方法、装置及电子设备 |
| CN112819970B (zh) * | 2021-02-19 | 2023-12-26 | 联想(北京)有限公司 | 一种控制方法、装置及电子设备 |
| WO2022179603A1 (zh) * | 2021-02-27 | 2022-09-01 | 华为技术有限公司 | 一种增强现实方法及其相关设备 |
| CN113066125A (zh) * | 2021-02-27 | 2021-07-02 | 华为技术有限公司 | 一种增强现实方法及其相关设备 |
| CN113052917A (zh) * | 2021-03-29 | 2021-06-29 | 黑芝麻智能科技(上海)有限公司 | 相机不可见位置的图像坐标的获取方法、标定方法及系统 |
| CN113052917B (zh) * | 2021-03-29 | 2024-05-07 | 黑芝麻智能科技(上海)有限公司 | 相机不可见位置的图像坐标的获取方法、标定方法及系统 |
| CN113160337B (zh) * | 2021-05-17 | 2024-02-06 | 视境技术(深圳)有限公司 | 一种ar/vr虚拟现实融合相机控制方法 |
| CN113160337A (zh) * | 2021-05-17 | 2021-07-23 | 视境技术(深圳)有限公司 | 一种ar/vr虚拟现实融合相机控制方法 |
| WO2022247406A1 (en) * | 2021-05-26 | 2022-12-01 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for determining key frame images of video data |
| CN113542868A (zh) * | 2021-05-26 | 2021-10-22 | 浙江大华技术股份有限公司 | 视频关键帧选取方法、装置、电子设备、存储介质 |
| WO2022252833A1 (zh) * | 2021-05-31 | 2022-12-08 | 北京字跳网络技术有限公司 | 一种图像渲染方法及装置 |
| CN113436242A (zh) * | 2021-07-22 | 2021-09-24 | 西安电子科技大学 | 基于移动深度相机的获取静态物体高精度深度值方法 |
| CN113436242B (zh) * | 2021-07-22 | 2024-03-29 | 西安电子科技大学 | 基于移动深度相机的获取静态物体高精度深度值方法 |
| CN114155256A (zh) * | 2021-10-21 | 2022-03-08 | 北京航空航天大学 | 一种使用rgbd相机跟踪柔性物体形变的方法及系统 |
| CN114155256B (zh) * | 2021-10-21 | 2024-05-24 | 北京航空航天大学 | 一种使用rgbd相机跟踪柔性物体形变的方法及系统 |
| CN114549641A (zh) * | 2022-01-28 | 2022-05-27 | 青岛理工大学 | 一种人手-机器人接触状态检测系统及方法 |
| CN114549641B (zh) * | 2022-01-28 | 2024-10-01 | 青岛理工大学 | 一种人手-机器人接触状态检测系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112258658B (zh) | 2023-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112258658B (zh) | 一种基于深度相机的增强现实可视化方法及应用 | |
| CN109544677B (zh) | 基于深度图像关键帧的室内场景主结构重建方法及系统 | |
| KR102647351B1 (ko) | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 | |
| CN107292965B (zh) | 一种基于深度图像数据流的虚实遮挡处理方法 | |
| CN106780576B (zh) | 一种面向rgbd数据流的相机位姿估计方法 | |
| US9129432B2 (en) | Image-based procedural remodeling of buildings | |
| CN107240129A (zh) | 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法 | |
| US6249285B1 (en) | Computer assisted mark-up and parameterization for scene analysis | |
| CN110689573B (zh) | 一种基于边缘模型的增强现实无标识跟踪注册方法及装置 | |
| EP0974126A1 (en) | Adaptive modeling and segmentation of visual image streams | |
| CN112927251B (zh) | 基于形态学的场景稠密深度图获取方法、系统及装置 | |
| Wuest et al. | Tracking of industrial objects by using cad models | |
| CN110516639B (zh) | 一种基于视频流自然场景的人物三维位置实时计算方法 | |
| Wang et al. | Plane-based optimization of geometry and texture for RGB-D reconstruction of indoor scenes | |
| CN110751097A (zh) | 一种半监督的三维点云手势关键点检测方法 | |
| CN117274515A (zh) | 基于ORB和NeRF映射的视觉SLAM方法及系统 | |
| CN113920254B (zh) | 一种基于单目rgb的室内三维重建方法及其系统 | |
| CN118071873A (zh) | 一种在动态环境下稠密高斯地图重建方法及系统 | |
| US11080861B2 (en) | Scene segmentation using model subtraction | |
| CN115497086A (zh) | 一种自动驾驶中基于细粒度识别的3d场景流估计的方法 | |
| CN108596950B (zh) | 一种基于主动漂移矫正的刚体目标跟踪方法 | |
| Yoshimoto et al. | Cubistic representation for real-time 3D shape and pose estimation of unknown rigid object | |
| Cordea et al. | 3-D head pose recovery for interactive virtual reality avatars | |
| CN111915632A (zh) | 一种基于机器学习的贫纹理目标物体真值数据库构建方法 | |
| Kelly et al. | Visiongpt-3d: A generalized multimodal agent for enhanced 3d vision understanding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |