CN106803286A - 基于多视点图像的虚实遮挡实时处理方法 - Google Patents

Abstract

本发明公开了一种基于多视点图像的虚实遮挡实时处理方法，首先将标识物贴附在真实物体上，并通过双目全景摄像机捕捉真实场景下的多视点图像；其次对双目全景摄像机进行标定获取摄像机内外参数，得到三维空间坐标系到二维图像平面坐标系的变换矩阵，将虚拟物叠加到真实场景图像中获得虚实物体合成图；然后将无关对象作为背景剔除，检测与提取虚拟物轮廓，利用双目立体成像系统分别求取真实物和虚拟物的深度信息，比较深度值判别正确的虚实遮挡关系；最后利用帧缓存技术重新绘制合成的视频图像，实现场景中虚实物体的正确遮挡。

Description

基于多视点图像的虚实遮挡实时处理方法

技术领域

本发明属于图像处理技术领域，特别是涉及一种增强现实系统中图像的虚实遮挡处理方法。

背景技术

增强现实技术是随着虚拟现实技术的发展而产生的，是一种将计算机产生的虚拟物体与场景叠加到真实世界中，实现对真实世界的有效扩充和增强的技术。增强现实技术不仅可以使虚拟物体与真实世界融为一体，而且可以通过特定的设备使用户与场景中的虚拟物体进行交互，为用户提供声音、触觉及嗅觉体验。随着研究的不断深入以及关键技术的革新，人们逐渐意识到增强现实技术在生活、军事、医疗、建筑、娱乐等多个领域中具有广泛的应用前景。而虚实物体遮挡关系的正确体现是判断增强现实系统好坏的一个重要指标，错误的遮挡关系会给观察者带来虚实物体相对位置失真的错觉，严重影响系统的真实感。

对于虚实遮挡问题，国内外已有研究人员对此问题展开了研究，现阶段主要有基于模型和基于深度两类处理方法。

其中，基于模型的虚实遮挡处理方法基本原理是对遮挡虚拟物体的真实物体进行三维建模，求得该物体在世界坐标系下的三维坐标，然后利用三维注册技术将重建得到的真实物体的三维模型叠加到场景中该物体所对应的位置上，从而实现真实物体对虚拟物体的遮挡。Fuhrmann等人(Fuhrmann等人，1999年在Computers and Graphicsd中发表了《Occlusion in collaborative augmented environments》)利用这种方法在静态场景条件下可以准确地获取正确虚实遮挡关系，但对于复杂的真实物体进行精确三维建模比较困难，且建模结果的好坏直接影响虚实遮挡处理的效果。Lepetit等人(Lepetit,V.和Berger,M.O.Handling，2000年在IEEE and ACM International Symposium on AugmentedReality中发表了《occlusion im augmented reality systems:a semi-automaticmethod》)提出了一种半自动方法，首先选取视频序列中的部分视频图像作为关键帧，用户通过手动选取关键帧图像中遮挡虚拟物的真实物体轮廓，利用相邻关键帧图像中物体轮廓的二维信息重建物体轮廓的三维坐标，最后将重建的真实物体重投影到中间帧图像上，得到虚实遮挡关系正确的合成图像。该方法在摄像机视角发生变化时也能获得正确的虚实遮挡关系，不仅适合静态场景图像而且适合动态场景，但三维重建过程较困难，计算量过大。

基于深度的虚实遮挡处理方法基本原理是首先计算真实场景图像中每个像素点的深度信息，然后根据观察者的视点位置、虚拟物体的叠加位置以及求得的深度信息，比较虚拟物体与真实物体的空间位置关系，如果虚拟物体被真实物体遮挡，则在显示合成场景图像时，只绘制虚拟物体未被遮挡的部分，不绘制被遮挡的部分。Yokoya等人(1999年，Yokoya等人在Proceedings of the 1st International Symposia on Mixed Reality中发表了《Stereo vision based video see-through mixed reality》)提出利用双目立体视觉原理计算真实场景图像上物体的深度信息，根据观察者的视点位置和深度信息完成虚实遮挡处理，求取整幅图像上每个像素的深度信息，与虚拟物体的深度值进行对比得到遮挡关系，该类方法虽然判定准确度高，能够处理复杂物体的遮挡问题，但计算量太大，不具备实时性。

发明内容

针对现有的各虚实遮挡处理方法存在的不足，本发明的目的在于提出一种基于多视点图像的虚实遮挡实时处理方法，通过剔除背景中无关对象，提取虚拟物轮廓，计算虚拟物和真实物目标区域的深度值并比较判别正确的虚实遮挡关系，利用帧缓存技术重新绘制，实现场景中虚实物体的正确遮挡。

本发明的技术方案是：

基于多视点图像的虚实遮挡实时处理方法，主要包括以下四个步骤：

(1)将标识物贴附在真实物体上，并通过双目全景摄像机捕捉真实场景下的多视点图像。在虚实遮挡关系的判别过程中，为了避免混淆，便于区分视频图像中的真实物体与虚拟物体，通常在三维的真实物体上贴一个标识物。这里的标识物选择一个带有黑色正方形外边框的方形图片，该图片的黑色正方形外边框内为白色方框区域，在白色方框区域可以设计不同的图案或者文字。

(2)利用步骤(1)中标识物图像的坐标特征和摄像机标定方法求取摄像机内外参数，得到三维空间坐标系到二维图像平面坐标系的变换矩阵，根据变换矩阵实现三维虚拟场景投影到二维图像平面的坐标变换，将虚拟物叠加到真实场景图像中获得虚实物体合成图；

以步骤(1)中获取的多视点图像中的标识物图像上标识物的黑色正方形外边框顶点作为已知特征点，利用增强现实相关研究中的ARToolkit算法库，经过标识物的识别和位置计算，得到由标识物三维空间坐标系到摄像机坐标系的映射，再由摄像机标定获取摄像机内部参数矩阵，完成摄像机坐标系到二维图像平面坐标系的映射。

设三维空间内某已知特征点坐标为(X_w,Y_w,Z_w)，经映射变换矩阵T_wc得到摄像机坐标系下点的坐标为(X_c,Y_c,Z_c)，如(1)式所示，其中R为坐标系的旋转矩阵，T为坐标系间的平移矩阵。

由双目摄像机标定方法(可以参照经典标定方法，张正友的摄像机标定方法，在Pattern Analysis and Machine Intelligence发表的《A flexible new technique forcamera calibration》文献中)得到摄像机内参矩阵K_c，得到摄像机坐标系下点(X_c,Y_c,Z_c)映射到二维图像平面坐标系下的点坐标为(x_i,y_i)，如(2)式所示。其中(c_x,c_y)表示二维图像中心点像素坐标，f_x,f_y分别为X和Y方向的等效焦距。

由(1)式和(2)式可以得到三维空间坐标系与二维图像平面坐标系的变换矩阵M，如(3)式所示，则可根据变换矩阵M实现三维虚拟场景投影到二维图像平面的坐标变换，将虚拟物叠加到真实场景图像中获得虚实物体合成图。

M＝T_wc·K_c (3)

(3)对步骤(2)得到的虚实物体合成图进行虚实遮挡关系判别处理，首先将无需进行虚实遮挡关系判别的图像区域作为背景，利用局部颜色直方图和区域划分对背景进行剔除；利用Canny边缘检测算子检测并提取前景虚拟物体的轮廓线；根据双目摄像机立体成像系统的立体成像原理分别求取虚拟物图像区域所有像素点的深度值和附有标识物的真实物体所有像素点的深度值，比较虚拟物与真实物的深度值大小并判断正确的虚实遮挡关系；

(3.1)将无需进行虚实遮挡关系判别的图像区域作为背景，利用局部颜色直方图和区域划分对背景进行剔除，方法如下：

在YUV空间内将颜色进行量化，在背景中按YUV空间内颜色量化各区间内含像素点数目多少选择前m种主要的颜色作为直方图归类，其他所有次要颜色归为一类，此时颜色量化直方图中的颜色数被减少到m+1种，简化了颜色归类的计算量，颜色量化之后，颜色量化直方图中每两种颜色之间的相似度可以用高斯函数G_c(u_k,v_k)表示，如(4)式所示，其中(u_j,v_j)表示类中心的颜色分量(即m+1类颜色的中值所对应的颜色分量)，(u_k,v_k)表示第k类颜色的颜色分量，δ_c表示标准差。

为了增加图像在直方图中的空域信息，将步骤(2)得到的虚实物体合成图均等划分为n×n个区域块，则每个像素点都隶属于n²个不同的区域块，在每个区域块中，根据像素点的不同位置对该像素点进行权值分配，权值由高斯函数G_s(s_l)表示为(5)式所示，其中(x_t,y_t)表示区域块中心的位置，(x_l,y_l)表示像素点l的位置坐标，通常δ_s取经验值3时具有较好的光滑性。

结合(4)式和(5)式，将每个区域块的直方图定义为空域高斯核和颜色高斯核的乘积，计算像素点属于前景即目标区域的概率公式如(6)式所示。可以看出越靠近区域块中心且与背景颜色差异越大时，像素点的直方图值越小，则该像素点属于前景的概率越大。因此根据公式(6)计算各区域块像素点隶属于前景的概率，设定阈值判断，剔除无关的背景区域块。根据实验效果验证，取阈值为0.65，当P_cs大于0.65时，判断当前区域块像素点隶属于目标区域块；反之则为背景区域块。

(3.2)经背景剔除处理之后获得需要判别虚实遮挡对象的目标区域，通过Canny边缘检测算子提取前景物体中的虚拟物轮廓线，设置形态学结构元素的大小、形状、扫描方式进行条件约束，去除孤立噪声点的影响，得到连续光滑的轮廓边缘线。运用了数学形态学的知识，对形态学结构元素的参数进行设置，这是常规处理方法，常用于去噪处理。

(3.3)根据双目摄像机立体成像系统的立体成像原理分别求取虚拟物图像区域所有像素点的深度值和附有标识物的真实物体所有像素点的深度值，比较虚拟物与真实物的深度值大小并判断正确的虚实遮挡关系。

双目摄像机立体成像系统中，左右两摄像头CMOS1和CMOS2对空间内同一点Q(X,Y,Z)投影到成像平面上，分别对应点L(x₁,y₁)和点R(x₂,y₂)，其中l为摄像机镜头到成像面的距离，e为两摄像镜头的光心间距，b为左右两像素点间的水平视差，假定左右摄像头的内部参数相同，可以得到点Q在虚实物体合成图中对应像素点q(x,y)的深度值v，计算式如(7)式所示。

根据(7)式求得虚实物体各区域每个像素点的深度值，进一步求取虚实物体各区域的平均深度值作为该区域图像对应的深度值，比较深度值的大小，从而确定不同区域所对应物体的正确虚实遮挡关系。

(4)根据步骤(3)中得到的不同区域所对应物体的正确虚实遮挡关系，利用帧缓存技术重新绘制合成的视频图像，实现场景中虚实物体的正确遮挡。

通过帧缓存操作可以绘制丰富的图形效果，在开放图形语言库OpenGL中主要利用帧缓存技术的颜色缓存与模板缓存对遮挡面进行处理。帧缓存技术是常规方法，主要运用了帧缓存技术中的颜色缓存和模板缓存处理方法。首先计算遮挡物在图像坐标系下的坐标，利用OpenGL函数设置一个带模板的双缓冲RGB颜色缓冲区，开启模板测试。根据虚实物体的空间位置关系，将当前帧图像中所有像素点的模板值设置为0；在模板缓存中绘制遮挡物体对应的几何体，并将该几何体覆盖区域的模板值设置为1；执行模板测试，只有模板值为1的像素点被绘制，而其它像素点则保持不变，即将跟踪的遮挡物体轮廓内的所有像素点重新绘制在合成的视频图像上，颜色缓存中绘制遮挡面的相关数据也会自动被写入，从而得到新的合成视频图像，实现场景中虚实物体的正确遮挡。

本发明相比以往技术方法，具有以下明显优点：

本发明通过合理设计标识物图像，对摄像机进行标定，利用三维空间坐标系到二维图像坐标系的变换矩阵得到虚实合成图，经虚实区域深度值比较判别之后得到正确的虚实遮挡关系，最后利用帧缓存技术重新绘制合成的视频图像，实现场景中虚实物体的正确遮挡。

附图说明

图1为本发明的原理框图

图2为标识物设计示意图

图3为双目摄像机立体成像原理图

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图1所示，通过双目全景摄像机获取真实场景下的多组不同视点图像，根据已知标识物的坐标特征和摄像机标定方法求取摄像机内外参数，得到由标识物坐标系映射到摄像机坐标系，再到屏幕图像坐标系的变换矩阵；根据变换矩阵实现三维虚拟场景投影到二维图像平面的坐标变换，将虚拟物叠加到真实场景图像中获得虚实物体合成图；由于直接映射变换得到的虚实物体合成图中存在错误遮挡关系，需要对合成图进行虚实遮挡关系判别处理，主要包括无关对象作为背景剔除、虚拟物轮廓检测与提取、利用双目立体成像系统分别求取真实物和虚拟物的深度信息、比较深度值大小并判别正确的虚实遮挡关系等步骤；最后根据虚实物体正确的空间位置关系，利用帧缓存技术重新绘制合成的视频图像，实现场景中虚实物体的正确遮挡。

在虚实遮挡关系的判别过程中，为了避免混淆，便于区分视频图像中的真实物体与虚拟物体，通常在三维真实物上贴一个标识物，如图2所示，首先设计一个带有黑色正方形边框，黑色边框内为带有AR字样的白色方框区域，以这样一个平面图形作为附加在真实物体上的标识物图像，通过双目全景摄像机捕捉真实场景，获取真实场景下的多视点图像。

建立摄像机成像模型，获取三维现实世界到二维图像的映射，图像上坐标点与世界坐标点之间的变换关系可以用摄像机内部参数矩阵和外部参数矩阵表示，通过摄像机标定方法求取内外参数矩阵。

以三维空间标识物的黑色外边框顶点为已知特征点，利用增强现实相关研究中的ARToolkit算法库，经过标识物的识别和位置计算，得到由标识物三维空间坐标系到摄像机坐标系的映射，再由摄像机标定获取摄像机内部参数矩阵，完成摄像机坐标系到二维图像坐标系的映射。

设三维空间内某已知特征点(黑色外边框顶点)坐标为(X_w,Y_w,Z_w)，经映射变换矩阵T_wc得到摄像机坐标系下点的坐标为(X_c,Y_c,Z_c)，如(1)式所示，其中R为坐标系的旋转矩阵，T为坐标系间的平移矩阵。

由双目摄像机标定方法得到摄像机内参矩阵K_c，得到摄像机坐标系下点(X_c,Y_c,Z_c)映射到二维图像坐标系下的点坐标为(x_i,y_i)，如(2)式所示。其中(c_x,c_y)表示二维图像中心点像素坐标，f_x,f_y分别为X和Y方向的等效焦距。

由(1)式和(2)式可以得到三维空间坐标系与二维图像坐标系的变换矩阵M，如(3)式所示，则可根据变换矩阵M实现三维虚拟场景投影到二维图像平面的坐标变换，将虚拟物叠加到真实场景图像中获得虚实物体合成图。

M＝T_wc·K_c (3)

由于直接映射变换得到的虚实物体合成图中存在错误遮挡关系，需要对合成图进行虚实遮挡关系判别处理。如果直接对整幅视图进行遮挡判别，计算量太大，因此通常根据系统内容开发人员提供的先验知识，即预知场景中真实物体与对应的虚拟物体或其他真实物体之间可能发生相互遮挡，将无需进行遮挡判别的图像区域作为背景，利用局部颜色直方图和区域划分对背景进行剔除。一幅图像的最大颜色数取决于采集图像数据的摄像机等硬件设备的精度，在YUV空间内将颜色进行量化，在背景中按YUV空间内颜色量化各区间内含像素点数目多少选择像素点数目位于前m种的颜色作为直方图归类，其他所有次要颜色归为一类，此时直方图中的颜色数被减少到m+1种，简化了颜色归类的计算量。

颜色量化之后，颜色量化直方图中每两种颜色之间的相似度可以用高斯函数G_c(u_k,v_k)表示，如(4)式所示，其中(u_j,v_j)表示类中心的颜色分量即m+1类颜色的中值所对应的颜色分量，(u_k,v_k)表示第k类颜色的颜色分量，δ_c表示标准差。

为了增加图像在直方图中的空域信息，将虚实物体合成图均等划分为n×n个区域块，则每个像素点都隶属于n²个不同的区域块，在每个区域块中，根据像素点的不同位置对该像素点进行权值分配，权值由高斯函数G_s(s_l)表示为(5)式所示，其中(x_t,y_t)表示区域块中心的位置，(x_l,y_l)表示像素点l的位置坐标，通常δ_s取经验值3时具有较好的光滑性。

结合(4)式和(5)式，将每个区域块的直方图定义为空域高斯核和颜色高斯核的乘积，计算像素点属于前景即目标区域的概率公式如(6)式所示。可以看出越靠近区域块中心且与背景颜色差异越大时，像素点的直方图值越小，则该像素点属于前景的概率越大。因此根据公式(6)计算各区域块像素点隶属于前景的概率，设定阈值判断，剔除无关的背景区域块。本实施例中：取阈值为0.65，当P_cs大于0.65时，判断当前区域块像素点隶属于目标区域块；反之则为背景区域块。

经背景剔除处理之后获得需要判别虚实遮挡对象的目标区域，通过Canny边缘检测算子提取前景物体中的虚拟物轮廓线，设置形态学结构元素的大小、形状、扫描方式进行条件约束，去除孤立噪声点的影响，得到连续光滑的轮廓边缘线。

由连续的轮廓边缘线可以将虚实合成图像中虚拟物像素点区域检测出来，为了减少求取像素点深度信息的计算量，根据立体视觉原理计算虚拟物图像区域所有像素点的深度值和附有标识物的真实物体所有像素点的深度值，如图3所示。双目摄像机立体成像系统中，左右两摄像头CMOS1和CMOS2对空间内同一点Q(X,Y,Z)投影到成像平面上，分别对应点L(x₁,y₁)和点R(x₂,y₂)，其中l为摄像机镜头到成像面的距离，e为两摄像镜头的光心间距，b为左右两像素点间的水平视差，假定左右摄像头的内部参数相同，可以得到场景点Q在合成图中对应像素点q(x,y)的深度值v，计算式如(7)式所示。

根据(7)式求得虚实物体各区域每个像素点的深度值，进一步求取虚实物体各区域的平均深度值作为该区域图像对应的深度值，比较深度值的大小，从而确定不同区域所对应物体的正确虚实遮挡关系。

最后利用帧缓存技术重新绘制合成的视频图像，实现场景中虚实物体的正确遮挡。通过帧缓存操作可以绘制丰富的图形效果，在OpenGL中主要利用帧缓存技术的颜色缓存与模板缓存对遮挡面进行处理。首先计算遮挡物在图像坐标系下的坐标，利用OpenGL函数设置一个带模板的双缓冲RGB颜色缓冲区，开启模板测试。根据虚实物体的空间位置关系，将当前帧图像中所有像素点的模板值设置为0；在模板缓存中绘制遮挡物体对应的几何体，并将该几何体覆盖区域的模板值设置为1；执行模板测试，只有模板值为1的像素点被绘制，而其它像素点则保持不变，即将跟踪的遮挡物体轮廓内的所有像素点重新绘制在合成的视频图像上，颜色缓存中绘制遮挡面的相关数据也会自动被写入，从而得到新的合成视频图像，实现场景中虚实物体的正确遮挡。

以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。

Claims (8)

1.一种基于多视点图像的虚实遮挡实时处理方法，其特征在于，包括以下步骤：

(1)将标识物贴附在真实物体上，并通过双目全景摄像机捕捉真实场景下的多视点图像；

(2)利用步骤(1)中标识物图像的坐标特征和摄像机标定方法求取摄像机内外参数，得到三维空间坐标系到二维图像平面坐标系的变换矩阵，根据变换矩阵实现三维虚拟场景投影到二维图像平面的坐标变换，将虚拟物叠加到真实场景图像中获得虚实物体合成图；

(3)对步骤(2)得到的虚实物体合成图进行虚实遮挡关系判别处理，首先将无需进行虚实遮挡关系判别的图像区域作为背景，利用局部颜色直方图和区域划分对背景进行剔除；利用Canny边缘检测算子检测并提取前景虚拟物体的轮廓线；根据双目摄像机立体成像系统的立体成像原理分别求取虚拟物图像区域所有像素点的深度值和附有标识物的真实物体所有像素点的深度值，比较虚拟物与真实物的深度值大小并判断正确的虚实遮挡关系；

(4)根据步骤(3)中得到的不同区域所对应物体的正确虚实遮挡关系，利用帧缓存技术重新绘制合成的视频图像，实现场景中虚实物体的正确遮挡。

2.根据权利要求1所述的基于多视点图像的虚实遮挡实时处理方法，其特征在于，步骤(1)中，标识物选择一个带有黑色正方形外边框的方形图片，该图片的黑色正方形外边框内为白色方框区域，在白色方框区域设有图案或者文字。

3.根据权利要求2所述的基于多视点图像的虚实遮挡实时处理方法，其特征在于，步骤(2)中的实现方法是：

以步骤(1)中获取的多视点图像中的标识物图像上标识物的黑色正方形外边框顶点作为已知特征点，通过对标识物的识别和位置计算，得到由标识物三维空间坐标系到摄像机坐标系的映射，再由摄像机标定获取摄像机内部参数矩阵，完成摄像机坐标系到二维图像平面坐标系的映射；

设三维空间内某已知特征点坐标为(X_w,Y_w,Z_w)，经映射变换矩阵T_wc得到摄像机坐标系下点的坐标为(X_c,Y_c,Z_c)，如(1)式所示，其中R为坐标系的旋转矩阵，T为坐标系间的平移矩阵：

$\left\{\begin{array}{c}{\[X_c,Y_c,Z_c\]}^T=T_{wc}{\[X_w,Y_w,Z_w\]}^T\\ T_{wc}=\[R,T\]\end{array}\right.---\left(1\right)$

由双目摄像机标定方法、得到摄像机内参矩阵K_c，得到摄像机坐标系下点(X_c,Y_c,Z_c)映射到二维图像平面坐标系下的点坐标为(x_i,y_i)，如(2)式所示；其中(c_x,c_y)表示二维图像中心点像素坐标，f_x,f_y分别为X和Y方向的等效焦距；

${\[X_i,Y_i\]}^T=K_c{\[X_c,Y_c,Z_c\]}^T=\left[\begin{array}{cccc}{f}_x& 0& c_x& 0\\ 0& f_y& c_y& 0\\ 0& 0& 1& 0\end{array}\right]{\[X_c,Y_c,Z_c\]}^T---\left(2\right)$

由(1)式和(2)式可以得到三维空间坐标系与二维图像平面坐标系的变换矩阵M，如(3)式所示，则可根据变换矩阵M实现三维虚拟场景投影到二维图像平面的坐标变换，将虚拟物叠加到真实场景图像中获得虚实物体合成图；

M＝T_wc·K_c (3)。

4.根据权利要求3所述的基于多视点图像的虚实遮挡实时处理方法，其特征在于，步骤(3)中，将无需进行虚实遮挡关系判别的图像区域作为背景，利用局部颜色直方图和区域划分对背景进行剔除，其实现方法如下：

在YUV空间内将颜色进行量化，在背景中按YUV空间内颜色量化各区间内含像素点数目多少选择像素点数目位于前m种的颜色作为直方图归类，其他所有次要颜色归为一类，此时颜色量化直方图中的颜色数被减少到m+1种；

颜色量化之后，颜色量化直方图中每两种颜色之间的相似度可以用高斯函数G_c(u_k,v_k)表示，如(4)式所示，其中(u_j,v_j)表示类中心的颜色分量即m+1类颜色的中值所对应的颜色分量，(u_k,v_k)表示第k类颜色的颜色分量，δ_c表示标准差；

$G_c(u_k,v_k)=\frac{1}{2{\mathrm{\π\δ}}_c}{e}^{-\frac{{(u_k-u_j)}^2+{(v_k-v_j)}^2}{2{\mathrm{\δ}}_c^2}}---\left(4\right)$

为了增加图像在直方图中的空域信息，将步骤(2)得到的虚实物体合成图均等划分为n×n个区域块，则每个像素点都隶属于n²个不同的区域块，在每个区域块中，根据像素点的不同位置对该像素点进行权值分配，权值由高斯函数G_s(s_l)表示为(5)式所示，其中(x_t,y_t)表示区域块中心的位置，(x_l,y_l)表示像素点l的位置坐标，δ_s取3；

$G_s\left(s_l\right)=\frac{1}{2{\mathrm{\π\δ}}_s}{e}^{-\frac{{(x_l-x_t)}^2+{(y_l-y_t)}^2}{2{\mathrm{\δ}}_s^2}}---\left(5\right)$

结合(4)式和(5)式，将每个区域块的直方图定义为空域高斯核和颜色高斯核的乘积，计算像素点属于前景即目标区域的概率，计算公式如(6)式所示；根据公式(6)计算各区域块像素点隶属于前景的概率，设定阈值判断，剔除无关的背景区域块；

$P_{cs}=\underset{j=1}{\overset{m+1}{\Σ}}\sqrt{\underset{t=1}{\overset{n^2}{\Σ}}{G}_c(u_k,v_k)\·G_s\left(s_l\right)}---\left(6\right).$

5.根据权利要求4所述的基于多视点图像的虚实遮挡实时处理方法，其特征在于，步骤(3)中，设定阈值判断，剔除无关的背景区域块时，取阈值为0.65，当P_cs大于0.65时，判断当前区域块像素点隶属于目标区域块；反之则为背景区域块。

6.根据权利要求1所述的基于多视点图像的虚实遮挡实时处理方法，其特征在于，步骤(3)中，利用Canny边缘检测算子检测并提取前景虚拟物体的轮廓线后，设置形态学结构元素的大小、形状、扫描方式进行条件约束，去除孤立噪声点的影响，得到连续光滑的轮廓边缘线。

7.根据权利要求1所述的基于多视点图像的虚实遮挡实时处理方法，其特征在于，步骤(3)中，根据双目摄像机立体成像系统的立体成像原理分别求取虚拟物图像区域所有像素点的深度值和附有标识物的真实物体所有像素点的深度值，比较虚拟物与真实物的深度值大小并判断正确的虚实遮挡关系，其实现方法是：

双目摄像机立体成像系统中，左右两摄像头CMOS1和CMOS2对空间内同一点Q(X,Y,Z)投影到成像平面上，分别对应点L(x₁,y₁)和点R(x₂,y₂)，其中l为摄像机镜头到成像面的距离，e为两摄像镜头的光心间距，b为左右两像素点间的水平视差，假定左右摄像头的内部参数相同，可以得到点Q在虚实物体合成图中对应像素点q(x,y)的深度值v，计算式如(7)式所示：

$v=\frac{lb}{|b-e|}---\left(7\right)$

根据(7)式求得虚实物体各区域每个像素点的深度值，然后求取虚实物体各区域的平均深度值作为该区域图像对应的深度值，比较深度值的大小，从而确定不同区域所对应物体的正确虚实遮挡关系。

8.根据权利要求1所述的基于多视点图像的虚实遮挡实时处理方法，其特征在于，步骤(4)的实现方法是：

首先计算遮挡物在图像坐标系下的坐标，利用OpenGL函数设置一个带模板的双缓冲RGB颜色缓冲区，开启模板测试；根据虚实物体的空间位置关系，将当前帧图像中所有像素点的模板值设置为0；在模板缓存中绘制遮挡物体对应的几何体，并将该几何体覆盖区域的模板值设置为1；执行模板测试，只有模板值为1的像素点被绘制，而其它像素点则保持不变，即将跟踪的遮挡物体轮廓内的所有像素点重新绘制在合成的视频图像上，颜色缓存中绘制遮挡面的相关数据也会自动被写入，从而得到新的合成视频图像，实现场景中虚实物体的正确遮挡。