CN102129708A - 增强现实环境中快速多层次虚实遮挡处理方法 - Google Patents

Abstract

本发明涉及增强现实环境下快速多层次虚实遮挡方法，包括步骤：使用双路摄像机采集真实场景的视频；每隔一段时间从双路视频流中取出一对关键帧进行稠密深度图的解算和建立参与遮挡的真实物体三维模型，提取稀疏特征点；对视频流中所有中间帧采取稀疏特征点跟踪，结合稀疏特征点在图像中的位置估算出当前相机位姿；根据最近一次建立的模型获得真实物体的三维信息；根据相机位姿将真实物体模型进行移动和旋转；利用最近调整后的真实物体三维信息与已注册的三维虚拟物体进行深度关系比较；采用双线程结构，对中间帧的三维跟踪和对关键帧的三维重建分别在不同的线程中并行处理。本发明无需预先建模，适用于未知和变化的环境，且能满足实时性要求。

Description

增强现实环境中快速多层次虚实遮挡处理方法

技术领域

本发明涉及一种增强现实环境下快速多层次虚实遮挡方法，其将基于双目立体匹配的三维重建与基于稀疏特征点跟踪的三维位姿估算相结合，应用于带有双摄像头的增强现实中。本发明无需预先建模，适用于未知和变化的环境，且能满足实时性要求。属与虚拟现实、图像处理与显示技术领域。

背景技术

增强现实技术在遥操作机器人等领域的应用，要求虚拟物体与真实物体在一定程度上的互动。视觉上的遮挡关系就是最基本的一种互动。在不考虑遮挡关系的简单增强现实应用中，虚拟物体图像总是完整地覆盖于视频图像之上，这种融合方式有时无法呈现虚实物体之间正确的空间位置关系，而且容易导致观察者空间感的错乱。因此，实现虚实物体间正确可靠的遮挡处理是将增强现实技术投入实际应用时的重要的一步。

目前虚实遮挡处理方法有基于知识的遮挡检测和基于深度计算的遮挡检测两种。基于知识的遮挡检测指依靠预先为真实物体建立的三维模型来计算其与虚拟物体之间的遮挡关系。这种方法不能用于变化的或未知的工作环境，且对每一个不同的场景都要专门建模，开发周期长。基于深度计算的遮挡检测则是指通过立体匹配，根据视差来重建物体的深度信息，与虚拟物体的深度值做比较，从而获得遮挡关系。文献“Online Environment Model Estimation for Augmented Reality”(Jonathan Ventura，Tobias Hollerer，IEEE International Symposium on Mixed and Augmented Reality，2009：103～106)利用深度值来估算场景中的平面结构，以区分背景和前景，被认作前景的物体将遮挡虚拟物体，但对于虚拟物体遮住前景物体的情况则不适用。

文献“Handling Occlusions in Real-time Augmented Reality：Dealing with Movable Real and Virtual Objects”(FORTIN Pierre-Alexandre，HEBERT Patrick，Proceedings of the 3rd Canadian Conference on Computer and Robot Vision，2006：54～61)提出了一种采用归一化互相关法处理虚实遮挡的方案。文献“Dense Stereo Matching with Application to Augmented Reality”(Nadia Zenati，Noureddine Zerhouni IEEE International Conference on Signal Processing and Communications，2007：1503～1506)采用分层动态规划算法进行立体匹配，在对图片进行处理的实验中显示出良好的遮挡效果。但是采用分层动态规划算法进行逐帧稠密立体匹配存在计算耗时长的问题，而相对快速的算法往往不能得到高品质的深度图。这使得对现场视频流进行实时处理十分困难。

发明内容

基于上述，本发明提出一种应用于带有双摄像头的增强现实环境下处理多层次虚实遮挡方法，该方法不仅适用于完全未知的工作环境，而且能满足实时性要求，显示出良好的遮挡效果。

为了实现此目的，本发明所采取的技术方案是：

一种增强现实环境中快速多层次虚实遮挡处理方法，其特征在于包括以下步骤：

1)使用双路摄像机实时采集真实场景的动态立体视频图像；

2)每隔一段时间从双路视频流中取出一对关键帧，对其进行稠密深度图的计算，建立待参与遮挡的真实物体的三维模型，同时提取出稀疏特征点；

3)对视频流中的所有中间帧采取稀疏特征点跟踪的策略，结合稀疏特征点在图像中的位置，估算出当前相机的位置和姿态；

4)根据最近一次建立的模型，获得真实物体自身的三维信息；根据相机位姿将真实物体模型进行相应的移动和旋转，即可用于虚实遮挡处理；

5)在等待下次三维重建完成的过程中利用最近调整后的真实物体三维信息与已注册的三维虚拟物体进行深度关系比较，实现正确的多层次虚实遮挡处理；

其中，在程序实现上采用双线程结构，对中间帧的三维跟踪和对关键帧的三维重建分别在不同的线程中并行处理。

进一步地：所述步骤2)中对参与遮挡真实物体进行三维重建的具体步骤是：2.1)对现场采集的两路动态视频流中的关键帧采用基于块匹配的归一化互相关算法进行双目立体匹配获得深度图；2.2)设定深度图像中的物体划分依据，将视频图像场景划分为若干个物体；2.3)根据深度图建立各个物体的三维模型。

进一步地：所述步骤2.2)中深度图像中的物体划分依据是：根据深度分层，即利用深度值将前景物体与背景物体分离，分别建模；对于深度值接近的区域，参考三维跟踪线程的二维光流计算结果，对存在运动速度差异过大的区域，将其划分为不同的物体；对于深度值接近、光流速度也接近的区域，按像素位置对二维图像进行分块，再分别建模。

进一步地：所述步骤3)中进行稀疏特征点跟踪和相机位姿估计的具体步骤是：3.1)提取出图像上的稀疏特征点，在三维重建线程建立的模型中提取稀疏特征点的三维信息；3.2)从已经被分成若干物体的场景模型中为每个物体提取至少4个非共面稀疏特征点用于三维位姿估计；3.3)在三维跟踪线程中对稀疏特征点的光流进行跟踪，解算稀疏特征点的新位置，用迭代法估算真实物体与相机坐标系的相对位姿。

进一步地：所述步骤3.3)中估算物体位姿的方法是：对左右两路摄像机所获得的视频图像分别进行相对位姿计算，针对所得的两组计算结果，根据双路摄像机的外参数和基础矩阵，计算物体在世界坐标系中的位姿，将所得两组位姿的差加入到迭代终止准则中，以提高位姿估算的准确性。

进一步地：所述步骤4)中根据相机位姿将真实物体模型进行相应的移动和旋转的方法是：当本次建模完成之后，在新模型投入使用之前，对照用以建模的原关键帧，重新估算物体在当前帧的位姿，根据所得的平移向量和旋转矩阵对新建模型中物体的位姿进行相应调整。

进一步地：所述步骤5)中实现正确的多层次虚实遮挡处理的方法是：利用最近调整后的真实物体三维信息与已注册的三维虚拟物体进行深度关系比较；在矫正了摄像机的畸变效应后，用摄像机的内参数矩阵对投影矩阵M_p相关参数按如下公式进行设置，保证3D图形渲染和视频图像的画面一致：

$M_p=\left[\begin{array}{cccc}\frac{2f_x}{W_i}& 0& 1-\frac{2p_x}{W_i}& 0\\ 0& \frac{2f_y}{H_i}& 1-\frac{2p_y}{H_i}& 0\\ 0& 0& -1& -2\\ 0& 0& -1& 0\end{array}\right]$

其中f_x和f_y为摄像机焦距，p_x和p_y为摄像机主点，W_i和H_i为图像的宽度和高度。

进一步地：所述在程序实现上采用双线程结构的方法是：对中间帧的稀疏特征点三维跟踪和对关键帧的真实物体三维重建分别在不同的线程中并行处理，三维重建线程为三维跟踪线程提供物体模型的更新，而三维跟踪线程的光流计算结果则传给三维重建线程作为物体划分的依据。

本发明的优点在于：不仅适用于完全未知的工作环境，而且能满足实时性要求，显示出良好的遮挡效果。

附图说明

图1为本发明的总体结构图；

图2为三维跟踪线程流程图。

具体实施方式

本发明是一种增强现实环境中快速多层次虚实遮挡处理方法，它采用将稀疏特征点跟踪、位姿估计与三维重建相结合的方法来处理增强现实的多层次虚实遮挡。本发明包括以下步骤：

1)使用双路摄像机实时采集真实场景的动态立体视频图像；

2)每隔一段时间从双路视频流中取出关键帧，对其进行稠密深度图的计算，建立待参与遮挡的真实物体的三维模型，同时提取出稀疏特征点；

此处，关键帧是指用来进行真实场景三维建模的一对立体视频图像对，提取关键帧的时间间隔为上一对关键帧稠密立体匹配和建模的计算周期。该时间间隔的意义：一是对连续的每对立体视频图像对进行稠密立体匹配和建模的计算时间长，无法满足实时性要求；二是由于真实场景的变化可能导致以前所建模型在新场景中不可用，需要在一定时间间隔后对真实场景重新建模。总的来说，该时间间隔的意义在于既保证算法的实时性又保证虚实遮挡的准确性。该时间间隔选取的依据是保证重建线程始终处于工作状态。

稀疏特征点是指视频图像中灰度值与周围像素点的灰度值有明显差异的像素点，采用FAST特征检测算法提取出稀疏特征点。

3)对视频流中的所有中间帧采取稀疏特征点跟踪的策略，结合稀疏特征点在图像中的位置，估算出当前相机的位置和姿态；中间帧是指视频流中除关键帧以外的图像。

4)根据最近一次建立的模型，获得真实物体自身的三维信息；根据相机位姿将真实物体模型进行相应的移动和旋转，即可用于虚实遮挡处理。

5)在等待下次三维重建完成的过程中利用最近调整(指上一步骤中根据相机位姿将真实物体模型进行相应的移动和旋转)后的真实物体三维信息与已注册的三维虚拟物体进行深度关系比较，实现正确的多层次虚实遮挡处理；

其中，在程序实现上采用双线程结构，对中间帧的三维跟踪和对关键帧的三维重建分别在不同的线程中并行处理。

如图1所示。本发明方法的总体步骤是：使用双路摄像机实时采集真实场景的动态立体视频图像；每隔一段时间从双路视频流中取出一对关键帧，对其进行稠密深度图的计算，建立待参与遮挡的真实物体的三维模型，同时提取出稀疏特征点；对视频流中的所有中间帧采取稀疏特征点跟踪的策略，结合稀疏特征点在图像中的位置，估算出当前相机的位置和姿态；根据最近一次建立的模型，获得真实物体自身的三维信息；根据相机位姿将真实物体模型进行相应的移动和旋转，即可用于虚实遮挡处理；在等待下次三维重建完成的过程中利用最近调整后的真实物体三维信息与已注册的三维虚拟物体进行深度关系比较，实现正确的多层次虚实遮挡处理。

本发明对参与遮挡的真实物体，没有假设条件的限制，也不需要任何先验知识。通过对双路视频图像的立体匹配求得稠密深度图之后，根据深度信息建立真实环境的三维模型。但从立体匹配到模型建立完成的这部分计算耗时较大，其运行速率无法达到视频的帧率，所以不能逐帧计算。然而提取出图像的稀疏特征点后，稀疏特征点的跟踪以及相机三维位姿估计等计算则耗时非常小，可以逐帧实时计算。因此每隔一段时间从双路视频流中取出一对关键帧进行稠密深度图的解算和三维模型的建立，同时提取出稀疏特征点。对视频流中的所有中间帧则采取稀疏特征点跟踪的策略，根据最近一次建立的模型，获得目标物体自身的三维信息，结合稀疏特征点在图像中的位置，估算出当前相机的位置和姿态，也就是目标物体当前的位置和姿态。再根据所得位姿将目标物体的模型进行相应的移动和旋转，即可用于虚实遮挡处理。在这样的工作流程中，每一次建立的真实物体模型都可以在等待下一次建模计算完成的时间里得到充分合理的利用。在程序的实现上采用双线程结构，对中间帧的稀疏特征点三维跟踪和对关键帧的真实物体三维重建分别在不同的线程中并行处理。其中：三维重建线程为三维跟踪线程提供物体模型的更新，而三维跟踪线程的光流计算结果则传给三维重建线程作为物体划分的依据。

下面对本发明作进一步的详细说明。

(一)三维重建

三维重建线程主要完成三项任务：对现场视频流中的关键帧进行双目立体匹配获得深度图；将视频图像场景划分为若干个物体；根据深度图建立各个物体的三维模型。

(1)立体匹配

虽然在建模计算过程中可以通过三维跟踪来利用前一次建立的模型，但考虑到增强现实程序运行过程中视野里的真实物体可能发生形状的变化，如果不能及时更新模型，长时间依靠三维跟踪来进行处理，难免导致错误的遮挡结果。所以本发明仍然需要尽可能缩短三维重建计算所需的时间。而采用基于块匹配的归一化互相关(NCC)算法能保证较快的运行速度。深度图的计算分为以下几步：

1)预过滤。对输入图像进行亮度归一化处理，减少亮度差异，增强图像纹理。

2)立体匹配。采用基于块匹配的归一化互相关算法(即NCC)计算图像对之间每一个像素的对应关系，进行NCC匹配。因为工作现场环境是未知的，所以要选择较大的搜索范围。

3)后过滤处理。首先验证匹配的唯一性，对于NCC的最大值与其他峰值过于接近的匹配值予以滤除。然后滤除纹理信息不足的匹配。最后处理区域匹配常有的边界问题，即对于视差跳变过大的散斑位置的匹配予以滤除。

4)由于经过多次过滤，深度图中存在少量视差未知的“空洞”像素，在这些位置进行插值，将深度图补充完整。

(2)物体划分

深度图计算完成后如果直接用于建模，将得到场景的一个整体模型。但实际上场景中不同的物体运动的方向快慢都可能不同，所以需要将模型尽可能划分成多个不同物体。本发明提出的物体划分的依据主要有以下几点：

1)深度分层。前景物体和背景物体一般会在深度图上显示出明显的层次，利用深度值可以将前景物体与背景物体分离，分别建模。

2)对于深度值接近的区域，参考三维跟踪线程的二维光流计算结果，如果存在运动速度差异过大的区域，则将其划分为不同的物体。

3)最后将二维图像进行分块。因为不同的物体有时会交错在同一个区域，或者靠在一起的两个物体可能在某一时刻分离发生相对运动。因此对于深度值接近，光流速度也接近的区域，再按像素位置划分成块，分别建模。但分块不宜过小，否则在三维跟踪线程中会出现找不到足够的非共面特征点的问题。

(3)构建模型

三维模型的构建则分为以下几步：

1)根据深度图中的每个像素在图像中的二维位置和相应的视差值，利用双摄像机立体标定时获得的重投影矩阵，将像素点重投影到三维空间。

2)采用Delaunay三角剖分算法，由上一步得到的三维点阵生成各物体的三角网格模型，再生成曲面。因为三维重投影是将像素点投影到相机坐标系中，而相机的指向是z轴负方向，故像素的深度值与相机坐标系的z坐标值相对应。因此在应用Delaunay三角剖分算法之前无需进行坐标变换。

3)对三角网格模型进行表面细分，生成光滑的曲面。

三维重建线程不断循环运行，一旦建模完成，立即通知三维跟踪线程提取关键帧，开始新一轮的三维重建计算。

(二)三维跟踪

为了提高运行速度以满足逐帧实时处理的要求，我们在三维跟踪线程中采用FAST特征检测算法提取出稀疏特征点。提取出图像上的FAST特征点后，根据三维重建线程求得的深度图得到稀疏特征点对应的视差，从而获得稀疏特征点的三维信息。三维重建线程建立的三维模型已经被分成了若干物体，每个物体上需要至少4个非共面特征点用于三维位姿估计。所以在满足最多只能有三个特征点共面的前提下，选出尽量多的特征点，将它们亚像素化，保存亚像素角点的图像坐标值。

(亚像素的概念-面阵摄像机的成像面以像素为最小单位。例如某CMOS摄像芯片，其像素间距为5.2微米。摄像机拍摄时，将物理世界中连续的图像进行了离散化处理。到成像面上每一个像素点只代表其附近的颜色。两个像素之间有5.2微米的距离，在宏观上可以看作是连在一起的。但是在微观上，它们之间还有无限的更小的东西存在。这个更小的东西我们称它为“亚像素”。亚像素精度是指相邻两像素之间细分情况。输入值通常为二分之一，三分之一或四分之一。这意味着每个像素将被分为更小的单元从而对这些更小的单元实施插值算法。)

被选出的稀疏特征点使用结合高斯图像金字塔的Lucas-Kanade算法跟踪光流。

(光流是空间运动物体在观测成像面上的像素运动的瞬时速度。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。一般情况下，光流由相机运动、场景中目标运动或两者的共同运动产生)。

根据被跟踪的稀疏特征点在每一帧的新位置，以及它们的三维信息即目标物体坐标系中的坐标，采用POSIT迭代算法估算目标物体与相机坐标系的相对位姿。根据所得的平移向量和旋转矩阵调整模型中各物体的位姿。估算物体位姿的方法是：对左右两路摄像机所获得的视频图像分别进行相对位姿计算，针对所得的两组计算结果，根据双路摄像机的外参数和基础矩阵，计算物体在世界坐标系中的位姿，将所得两组位姿的差加入到迭代终止准则中，以提高位姿估算的准确性。

每一次从视频流中提取出关键帧图像用于三维重建，随后的中间帧则用于稀疏特征点跟踪。但此时这对关键帧的模型实际上还未建立完成，因此三维位姿估计只能使用上一对关键帧所建立的模型。当本次建模完成之后，实际物体可能已经运动到了一个新的位姿。所以模型并不能直接使用，而应当对照用以建模的原关键帧，重新估算当前帧的三维位姿，将新建模型的位姿进行相应调整之后再进行渲染，然后用于下一轮三维跟踪。根据相机位姿将真实物体模型进行相应的移动和旋转的方法是：当本次建模完成之后，在新模型投入使用之前，对照用以建模的原关键帧，重新估算物体在当前帧的位姿，根据所得的平移向量和旋转矩阵对新建模型中物体的位姿进行相应调整。

程序流程如图2所示。每一次从视频流中提取出关键帧图像用于三维重建，同时提取出稀疏特征点。随后的中间帧则用于对稀疏特征点进行跟踪。根据上一对关键帧所得的三维模型和稀疏特征点在中间帧的新位置，估算物体与相机的相对位姿，并对物体模型的位姿进行相应调整，此过程循环执行直到三维重建线程完成对新模型的建立。模型更新后，对照用以建模的原关键帧，重新估算当前帧的三维位姿，将新建模型的位姿进行相应调整，然后提取新的关键帧，重复上述过程。

(三)遮挡效果的实现

利用最近调整后的真实物体三维信息与已注册的三维虚拟物体进行深度关系比较。

深度值的意义是物体与观测点之间的距离，深度值比较即为远近关系的比较，近的物体在画面中须遮挡远的物体，这是进行多层次虚实遮挡处理的直接依据。

在渲染增强现实场景时，在OpenGL中需要设置真实物体对应模型的颜色掩码，使真实物体模型被正常地渲染到深度缓存，但并不进行到颜色缓存的渲染。这样处理之后，虚拟物体被真实物体模型遮挡的部分将不被显示，真实物体模型也不显示，显示的是作为背景的视频图像，从而实现真实物体遮挡虚拟物体的视觉效果。

准确显示虚实物体遮挡关系的一个重要的前提是视频图像和三维图形的画面一致性，即三维模型上的每一个点与它在真实物体上的对应点都投影到屏幕上的相同位置。对于视频采集来说，物理世界中的点到图像上的投影用摄像机的内参数矩阵计算。为保证三维图形渲染和视频图像的画面一致，需要根据摄像机内参数在OpenGL中对投影矩阵M_p进行相应的设置。

$M_p=\left[\begin{array}{cccc}\frac{2f_x}{W_i}& 0& 1-\frac{2p_x}{W_i}& 0\\ 0& \frac{2f_y}{H_i}& 1-\frac{2p_y}{H_i}& 0\\ 0& 0& -1& -2\\ 0& 0& -1& 0\end{array}\right]$

其中f_x和f_y为摄像机焦距，p_x和p_y为摄像机主点，W_i和H_i为图像的宽度和高度。在矫正了摄像机的畸变效应后，按这组值设置即可实现视频图像和三维图形的画面一致性。

整套增强现实虚实遮挡处理程序运行于2.5GHz双核CPU的PC机上，采用两个普通的网络摄像头采集视频流，采集图像分辨率为640×480。将一个球形物体注册到真实场景中进行虚实遮挡实验，重建后的真实场景三维模型顶点数目360960个，三角形面片数目为719458个，球形物体顶点数目为1278个，三角形面片数目为2518个，虚拟三维模型用OpenSceneGraph渲染，虚实融合基于ARToolKit实现。

将三维重建和三维跟踪相结合处理虚实遮挡的方法与仅采用立体匹配进行深度重建的方法进行比较的结果如下表所示，表中的数据为每刷新一帧所消耗的时间，单位为秒。采用相同参数的NCC立体匹配算法来处理同样的双路视频流，可以看出将三维跟踪与三维重建相结合能提高算法的效率，提高虚实遮挡处理的实时性。

Claims (8)

1.一种增强现实环境中快速多层次虚实遮挡处理方法，其特征在于包括以下步骤：

1)使用双路摄像机实时采集真实场景的动态立体视频图像；

2)每隔一段时间从双路视频流中取出一对关键帧，对其进行稠密深度图的计算，建立待参与遮挡的真实物体的三维模型，同时提取出稀疏特征点；

3)对视频流中的所有中间帧采取稀疏特征点跟踪的策略，结合稀疏特征点在图像中的位置，估算出当前相机的位置和姿态；

4)根据最近一次建立的模型，获得真实物体自身的三维信息；根据相机位姿将真实物体模型进行相应的移动和旋转，即可用于虚实遮挡处理；

5)在等待下次三维重建完成的过程中利用最近调整后的真实物体三维信息与已注册的三维虚拟物体进行深度关系比较，实现正确的多层次虚实遮挡处理；

其中，在程序实现上采用双线程结构，对中间帧的三维跟踪和对关键帧的三维重建分别在不同的线程中并行处理。

2.如权利要求1所述的增强现实环境中快速多层次虚实遮挡处理方法，其特征在于：

所述步骤2)中对参与遮挡真实物体进行三维重建的具体步骤是：

2.1)对现场采集的两路动态视频流中的关键帧采用基于块匹配的归一化互相关算法进行双目立体匹配获得深度图；

2.2)设定深度图像中的物体划分依据，将视频图像场景划分为若干个物体；

2.3)根据深度图建立各个物体的三维模型。

3.如权利要求2所述的增强现实环境中快速多层次虚实遮挡处理方法，其特征在于：

所述步骤2.2)中深度图像中的物体划分依据是：

根据深度分层，即利用深度值将前景物体与背景物体分离，分别建模；

对于深度值接近的区域，参考三维跟踪线程的二维光流计算结果，对存在运动速度差异过大的区域，将其划分为不同的物体；

对于深度值接近、光流速度也接近的区域，按像素位置对二维图像进行分块，再分别建模。

4.如权利要求1所述的增强现实环境中快速多层次虚实遮挡处理方法，其特征在于：

所述步骤3)中进行稀疏特征点跟踪和相机位姿估计的具体步骤是：

3.1)提取出图像上的稀疏特征点，在三维重建线程建立的模型中提取稀疏特征点的三维信息；

3.2)从已经被分成若干物体的场景模型中为每个物体提取至少4个非共面稀疏特征点用于三维位姿估计；

3.3)在三维跟踪线程中对稀疏特征点的光流进行跟踪，解算稀疏特征点的新位置，用迭代法估算真实物体与相机坐标系的相对位姿。

5.如权利要求4所述的增强现实环境中快速多层次虚实遮挡处理方法，其特征在于：

所述步骤3.3)中估算物体位姿的方法是：对左右两路摄像机所获得的视频图像分别进行相对位姿计算，针对所得的两组计算结果，根据双路摄像机的外参数和基础矩阵，计算物体在世界坐标系中的位姿，将所得两组位姿的差加入到迭代终止准则中，以提高位姿估算的准确性。

6.如权利要求1所述的增强现实环境中快速多层次虚实遮挡处理方法，其特征在于：

所述步骤4)中根据相机位姿将真实物体模型进行相应的移动和旋转的方法是：当本次建模完成之后，在新模型投入使用之前，对照用以建模的原关键帧，重新估算物体在当前帧的位姿，根据所得的平移向量和旋转矩阵对新建模型中物体的位姿进行相应调整。

7.如权利要求1所述的增强现实环境中快速多层次虚实遮挡处理方法，其特征在于：

所述步骤5)中实现正确的多层次虚实遮挡处理的方法是：利用最近调整后的真实物体三维信息与已注册的三维虚拟物体进行深度关系比较；在矫正了摄像机的畸变效应后，用摄像机的内参数矩阵对投影矩阵M_p相关参数按如下公式进行设置，保证3D图形渲染和视频图像的画面一致：

$M_p=\left[\begin{array}{cccc}\frac{2f_x}{W_i}& 0& 1-\frac{2p_x}{W_i}& 0\\ 0& \frac{2f_y}{H_i}& 1-\frac{2p_y}{H_i}& 0\\ 0& 0& -1& -2\\ 0& 0& -1& 0\end{array}\right]$

其中f_x和f_y为摄像机焦距，p_x和p_y为摄像机主点，W_i和H_i为图像的宽度和高度。

8.如权利要求1所述的增强现实环境中快速多层次虚实遮挡处理方法，其特征在于：

所述在程序实现上采用双线程结构的方法是：对中间帧的稀疏特征点三维跟踪和对关键帧的真实物体三维重建分别在不同的线程中并行处理，三维重建线程为三维跟踪线程提供物体模型的更新，而三维跟踪线程的光流计算结果则传给三维重建线程作为物体划分的依据。

Images