CN109584347A - 一种基于主动表观模型的增强现实虚实遮挡处理方法 - Google Patents

Abstract

本发明请求保护一种基于主动表观模型的增强现实虚实遮挡处理方法，其借助了基于主动表观模型的非刚体跟踪技术和基于深度计算的虚实遮挡处理技术，具体包括：步骤1、将训练样本集Ω中的形状样本对齐的步骤，步骤2：平均形状模型的构建步骤：步骤3：纹理模型的构建步骤：步骤4：主动表观模型的构建步骤：在完成了形状模型和纹理模型构建后，任意新的非刚性物体输入图像都可以用形状模型参数b_s和纹理模型参数b_g来表示，将形状和纹理模型联合起来建立主动表观模型；步骤5：模型匹配与非刚性物体分割步骤：本发明能取得良好的遮挡处理效果，避免了“阴影”的出现。

Description

一种基于主动表观模型的增强现实虚实遮挡处理方法

技术领域

本发明属于增强现实技术领域，具体涉及一种基于主动表观模型的增强现实虚实遮挡处理方法。

背景技术

目前大多数研究都针对刚性物体与虚拟物体发生遮挡的情况进行讨论，这与实际情况不符。例如进入观察视场的手、其他操作人员等都属于非刚性物体。非刚性物体与刚性物体不同，它在运动过程中容易发生不规则形变、内部褶皱扭曲等现象。因此如何对非刚性物体进行虚实遮挡关系处理需要进一步研究。

Fuhrmann等研究了静止物体、运动的刚性物体和运动的非刚性物体三类真实物体与虚拟物体的遮挡处理问题，对于非刚性物体，把人体手臂视为多关节刚性物体，构建了多关节刚性三维模型，实现了人体手臂与虚拟物体的虚实遮挡，但是虚实遮挡精度不理想。Ladikos等提出采用16个相机对真实场景进行三维重建，利用重建模型对遮挡关系进行判断。该方法需要4台PC同时计算才能使实时性达到30fps，而且该系统存在搭建过程复杂、成本昂贵、遮挡精度低等缺点。Lu等提出一种基于双目视觉的虚实遮挡方法，但由于双目计算深度，计算量大，即使将计算放在GPU上进行，仍然难以满足实时性的要求。Lu等利用球形相机在户外完成了虚实遮挡处理，但实时性差，且由于球形相机的体积和重量较大，不能实现视角变换。田元利用了基于主动表观模型的非刚体跟踪技术以及因式分解技术探索了增强现实系统中非刚性物体遮挡虚拟物体情况下的虚实遮挡问题，实验结果显示，该方法在场景中的非刚性物体与真实物体发生遮挡关系时，能够获得良好的虚实遮挡处理效果，而且当非刚性物体发生变形、扭曲等不规则形变时，也能够获得具有正确虚实遮挡关系的合成图像。但是该方法需要结合因式分解技术完成虚实注册和虚实遮挡处理，过程复杂，运算量大。Valentini等在室内环境下使用Kinect同时获取场景的可见光图像和深度图像，通过人体骨骼跟踪，实现了裸手操纵虚拟物体和虚实遮挡的功能，但是虚实遮挡效果较差。Dong等提出了一个基于深度感知和帧缓存的虚实遮挡处理算法，方法采用高精度TOF相机实时获取场景的深度图像，通过比较场景中非刚性人体与虚拟物体之间的深度关系，实现虚实遮挡。该方法在整幅图像范围内比较场景与虚拟物体的深度值，因此计算量大，尽管采用了图像帧缓存技术对算法进行加速，但是该方法实时性仍然较差。同时该方法在物体边界处虚实遮挡精度较低。

目前，对于非刚性物体的虚实遮挡技术研究仍然较少。基于深度计算的方法是目前对运动的非刚性物体虚实遮挡处理的主要方法，但是这类方法大多运算量大，实时性难以保证。如何在图像中对非刚性物体进行跟踪和分割，通过只进行分割区域与虚拟装配引导信息之间的深度值比较，避免整幅图像上进行深度值判断带来的运算量大的问题，需要进一步研究。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种能取得良好的遮挡处理效果，避免了“阴影”的出现的基于主动表观模型的增强现实虚实遮挡处理方法。本发明的技术方案如下：

一种基于主动表观模型的增强现实虚实遮挡处理方法，其借助了基于主动表观模型的非刚体跟踪技术和基于深度计算的虚实遮挡处理技术，具体包括：

步骤1、将训练样本集Ω中的形状样本对齐的步骤，包括：(1)在训练样本集Ω中选择任一形状向量作为平均形状的初始估计，并对其进行尺度变换，使

(2)将训练样本集中所有的形状向量与目前平均形状进行对齐；

(3)从对齐的形状中再次计算新的平均形状，并对其进行尺度变换，使

(4)一次迭代之后，假如新的平均形状向量与相似变换前的平均形状向量间差异小于阈值τ，则停止迭代，否则返回Step 2继续迭代；

步骤2：平均形状模型的构建步骤：

(1)将对齐后的训练样本集和相应的协方差矩阵表示出。

(2)对协方差矩阵进行特征分解获得形状主要变化方式，即获得特征值及其对应的特征向量。然后将所有的特征值进行降序排列。

(3)为了降低训练集的维数，使训练集的形状变化用尽量小的变化方式集合来描述，降低运算的复杂性。本文采用主成分分析法(Principle Component Analysis，PCA)进行降维处理。

(4)最后采用形状模型构建算法进行形状模型构建。

步骤3：纹理模型的构建步骤：

(1)首先需要将训练样本中目标物体的形状向量通过分段线性仿射统一到平均形状内，从而获得与形状无关、具有相同纹理信息维度和对应关系的纹理向量；

(2)为了使纹理信息能够映射到平均形状中，利用Delaunay三角算法将平均形状和训练样本目标物体对应的形状进行三角剖分，从而将目标物体纹理划分为若干三角面片，将每个三角面片内的像素分别进行映射，待所有三角面片对应关系获得后，即可获得该样本图像纹理映射到的图像；

(3)最后采用与构建形状模型相似的方法计算平均纹理的协方差矩阵，并用主成分分析法PCA进行降维；

步骤4：主动表观模型的构建步骤：在完成了形状模型和纹理模型构建后，任意新的非刚性物体输入图像都可以用形状模型参数b_s和纹理模型参数b_g来表示。将形状和纹理模型联合起来建立主动表观模型；

步骤5：模型匹配与非刚性物体分割步骤：

(1)输入图像与模型的匹配就是求解输入图像和最相似的模型实例之间的最小纹理误差；

(2)按照模型匹配算法进行模型匹配与非刚性物体分割。

进一步的，所述步骤1将训练样本集Ω中的形状样本对齐的步骤具体包括：Step1：在训练样本集Ω中选择任一形状向量作为平均形状的初始估计，并对其进行尺度变换，使S₀表示任一形状向量，表示任一形状向量的平均形状；

Step2：利用式(2)和式(3)将训练样本集中所有的形状向量与目前平均形状进行对齐；误差函数E表示为：

E＝|T(S_L)-S_M|²(1)，T(S_L)表示训练样本集Ω中的一个形状向量的相似变换，S_L和S_M分别为训练样本集Ω中的两个形状向量；

式(2)中T(·)相似变换表示为：

式(3)中u＝s cosθ，v＝s sinθ，s为缩放因子，u表示缩放因子与旋转因子的余弦表示，v表示缩放因子与旋转因子的正弦表示，且s²＝u²+v²；θ为旋转因子，且t为位移因子，t_x表示x方向的位移因子t_y表示y方向的位移因子。

进一步的，为了将训练样本集Ω中的所有形状进行对齐，采用广义对齐GPA 算法进行迭代运算。

进一步的，所述步骤2平均形状模型的构建步骤，具体包括：训练样本集对齐之后非刚性目标物体的轮廓在形状和位置上都趋向归一化，设对齐后的训练样本集表示为： 表示第n个样本构成的形状，则这n个样本构成的平均形状为：

表示前面的n个样本的形状求平均值；

相应的协方差矩阵为：

对协方差矩阵进行特征分解获得形状主要变化方式，即获得特征值λ_s及其对应的特征向量ξ_s，m表示m个坐标点，然后将所有的特征值进行降序排列：

λ_s,1＞λ_s,2＞λ_s,3＞...λ_s,2m (5)

特征值降序排列后对应的特征向量集合：

H_s＝{ξ_s,1,ξ_s,2...,ξ_s,2m} (6)

任一新的非刚性目标物体的形状变化都可以通过调整平均形状模型的特征向量得到，新的非刚性目标物体形状实例S'可以表示为：

式中：——样本平均形状；Ψ_s——前t个较大特征值对应的特征向量ξ_s,i构成的2m×t维矩阵；b_s——t维形变模型参数，控制前t个形变模式的系数，由于特征向量相互正交，因此b_s可以表示为进一步的，所述步骤3纹理模型的构建步骤具体包括：首先将训练样本中目标物体的形状向量通过分段线性仿射统一到平均形状内，从而获得与形状无关、具有相同纹理信息维度和对应关系的纹理向量；

为了使纹理信息能够映射到平均形状中，利用Delaunay三角算法将平均形状和训练样本目标物体对应的形状进行三角剖分，从而将目标物体纹理划分为若干三角面片，将每个三角面片内的像素分别进行映射，待所有三角面片对应关系获得后，即可获得该样本图像纹理映射到的图像；有了形状无关的纹理图像，要得到形状无关的纹理向量，需按照某一固定顺序取形状无关的纹理图像中每一个像素的灰度值生成一个向量G_i，表示为：

G_i＝[g₁,g₂,g₃...,g_n]^T (8)

式中：i为训练样本个数；n为形状无关的纹理图像中所有像素点的个数。

进一步的，这n个样本构成的平均纹理为：

最后采用与构建形状模型相似的方法计算平均纹理的协方差矩阵，并用主成分分析法进行降维，新的非刚性目标物体纹理实例G'表示为：

式中：——样本平均纹理；Ψ_g——前t个较大特征值对应的特征向量构成的2n×t维矩阵；b_g——t维纹理模型参数，控制前t个模式的系数。

进一步的，所述步骤4主动表观模型表示为：

式中：S_a——非刚性目标物体形状模型；G_a——非刚性目标物体纹理模型；

——b的协方差矩阵对应的特征向量；c——主动表观模型参数。

进一步的，所述步骤5模型匹配算法具体包括：

输入：输入图像I，初始参数c₀，包含形状模型参数p₀，纹理模型参数q₀及变换参数u₀；

输出：主动表观模型参数c

1.初始化：纹理误差E₀＝0，E＝-1，c＝c₀

2.While E＜E₀，且未收敛

3.c_n＝c

4.利用纹理模型参数q_n计算纹理A_n，根据形状模型参数p_n计算输入图像映射到平均形状得到的纹理A(w,p_n)；

5.计算纹理误差：E_n＝||A_n-A(w,p_n)||₂

6.Δc＝-RE_n

7.c＝c_n+Δc//更新主动表观模型参数c，c中包含形状模型参数p、纹理模型参数q及变换参数u

8.由当前形状模型参数p，纹理模型参数q计算纹理A和A(w,p)

9.计算纹理误差：E＝||A-A(w,p)||₂

Return c。

本发明的优点及有益效果如下：

本发明设计了一种面向非刚性物体的虚实遮挡处理方法，该方法借助了基于主动表观模型的非刚体跟踪技术和基于深度计算的虚实遮挡处理技术，解决了产品增强现实装配引导过程中非刚性物体遮挡装配引导信息情况下的虚实遮挡问题。实验结果表明，在AR装配环境中，当非刚性物体与虚拟装配引导信息发生遮挡关系时，本方法在非刚性物体边界处能取得良好的遮挡处理效果，避免了“阴影”的出现。而且本方法对于装配过程中非刚性物体的扭曲、形变也能很好地处理。

为了对非刚性物体的虚实遮挡处理过程进行加速，本文仅比较仅非刚性物体与虚拟物体的Z坐标值，这大大降低了系统的处理时间。其次，采用GPU对深度值获取及比较过程并行处理，提高运算速度。最后，仅在分割区域s内进行坐标值比较，避免了整幅图像深度值比较带来的运算量大的问题，降低运算量。

附图说明

图1是本发明提供优选实施例基于主动表观模型的增强现实虚实遮挡处理方法流程图；

图2表示纹理信息对齐映射方法。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明设计了一种面向非刚性物体的虚实遮挡处理方法，该方法借助了基于主动表观模型的非刚体跟踪技术和基于深度计算的虚实遮挡处理技术，解决了产品增强现实装配引导过程中非刚性物体遮挡装配引导信息情况下的虚实遮挡问题。实验结果表明，在AR装配环境中，当非刚性物体与虚拟装配引导信息发生遮挡关系时，本方法在非刚性物体边界处能取得良好的遮挡处理效果，避免了“阴影”的出现。而且本方法对于装配过程中非刚性物体的扭曲、形变也能很好地处理。该方法主要包括以下步骤：

1.形状样本对齐

在构建形状模型之前，首先需要在非刚性物体表面标记一定数量的标记点，并将这些标记点作为目标物体的形状特征。本文标记点采用手工标记的方法从训练图像数据中获得，那么，任一幅训练图像中非刚性物体的形状可以用这m个坐标点连接成的向量S_i来表示：

S_i＝[x₁,y₁,x₂,y₂...,x_m,y_m]^T (12)

训练样本集可以表示为：Ω＝{S₁,S₂,S₃...S_n}其中，n＝1,2,3...

对于一组训练样本，由于个体差异导致非刚性目标物体大小、姿态、位置存在较大偏差，因此在对训练集形状进行统计分析之前，首先需要通过相似性变换进行归一化处理，寻找出形状之间的对应关系，获得对齐的形状样本。

设S_L和S_M分别为训练样本集Ω中的两个形状向量，通过将S_L进行T(·)相似变换使S_L和S_M两样本中标记点的距离平方和最小。即使误差函数E最小，从而使两样本中非刚性目标物体形状上保持一致。误差函数E可表示为：

E＝|T(S_L)-S_M|² (13)

式2中T(·)相似变换可表示为：

式3中u＝s cosθ，v＝s sinθ，s为缩放因子，且s²＝u²+v²；θ为旋转因子，且t为位移因子。

为了将训练样本集Ω中的所有形状进行对齐，采用广义对齐算法 (GeneralizedProcrustes analysis，GPA)进行迭代运算，其原理为：1，任意选择参考形状(通常在可用实例中选择)。2，对齐所有实例到当前参考形状。3，计算当前对齐形状集合的平均形状。4，如果平均形状和参考形状之间的差异超过一个阈值，则重新设置参考平均形状并继续步骤2。因此，将训练样本集Ω中的所有形状进行对齐的具体实现方法如下：

Step1：在训练样本集Ω中选择任一形状向量作为平均形状的初始估计，并对其进行尺度变换，使

Step2：利用式(2)和式(3)将训练样本集中所有的形状向量与目前平均形状进行对齐；

Step3：从对齐的形状中再次计算新的平均形状，并对其进行尺度变换，使

Step4：一次迭代之后，假如新的平均形状向量与相似变换前的平均形状向量间差异小于阈值τ，则停止迭代，否则返回Step 2继续迭代。

2.平均形状模型构建

训练样本集对齐之后非刚性目标物体的轮廓在形状和位置上都趋向归一化。设对齐后的训练样本集表示为：则这n个样本构成的平均形状为：

相应的协方差矩阵为：

对协方差矩阵进行特征分解获得形状主要变化方式，即获得特征值λ_s及其对应的特征向量ξ_s。然后将所有的特征值进行降序排列：

λ_s,1＞λ_s,2＞λ_s,3＞...λ_s,2m (17)

特征值降序排列后对应的特征向量集合：

H_s＝{ξ_s,1,ξ_s,2...,ξ_s,2m} (18)

为了降低训练集的维数，使训练集的形状变化用尽量小的变化方式集合来描述，降低运算的复杂性。本文采用主成分分析法(Principle Component Analysis， PCA)进行降维处理。取前t个最大特征值，使其所决定的非刚性物体形变占所有特征向量所决定的目标物体形变总量的比例不小于r，r取值一般在0.9～0.98 之间，本文取0.98，可用式(8)表示：

因为较大的t个特征值对应的特征向量可以近似的表示形状模式的变化，因此，任一新的非刚性目标物体的形状变化都可以通过调整平均形状模型的特征向量得到，新的非刚性目标物体形状实例S'可以表示为：

式中：

——样本平均形状；

Ψ_s——前t个较大特征值对应的特征向量ξ_s,i构成的2m×t维矩阵；

b_s——t维形变模型参数，控制前t个形变模式的系数。由于特征向量相互正交，因此b_s可以表示为

表1形状模型构建算法

3.纹理模型构建

形状模型仅能利用物体的形状约束，没有利用物体所有的可见信息，不能够体现目标物体内部的的纹理特征(物体表面的花纹或线条)。因此，为了提高非刚性物体跟踪的鲁棒性，构建反映非刚性物体全局纹理变化规律的统计纹理模型。

但是由于采样大小、姿态、位置的不同，导致各训练样本标记点轮廓内像素个数不相同，难以获得不同样本图像相同纹理信息之间的准确对应关系，因此不能直接使用标记点轮廓内的图像纹理信息构建纹理模型。首先需要将训练样本中目标物体的形状向量通过分段线性仿射统一到平均形状内，从而获得与形状无关、具有相同纹理信息维度(像素点个数)和对应关系的纹理向量。

为了使纹理信息能够映射到平均形状中，利用Delaunay三角算法将平均形状和训练样本目标物体对应的形状进行三角剖分。从而将目标物体纹理划分为若干三角面片。将每个三角面片内的像素分别进行映射，待所有三角面片对应关系获得后，即可获得该样本图像纹理映射到的图像，映射方法如图2所示。

(a)表示训练样本形状内的任意三角形，其内任意一像素点p坐标为(x,y)，需要在平均形状内((b))找到对应点p'，根据比例关系：

(x,y)^T＝(x’_i,y'_i)^T+α[(x'_j,y'_j)^T-(x’_i,y'_i)^T]+β[(x'_k,y'_k)^T-(x’_i,y'_i)^T] (21)

式11中各坐标已知，因此可以求得α和β的值。同理，平均形状内的对应点p'也满足上述比例关系，因此可以获得p'的坐标值。从而获得与形状无关的纹理图像。

有了形状无关的纹理图像，要得到形状无关的纹理向量，需按照某一固定顺序取形状无关的纹理图像中每一个像素的灰度值生成一个向量G_i，表示为：

G_i＝[g₁,g₂,g₃...,g_n]^T (22)

式中：

i为训练样本个数；n为形状无关的纹理图像中所有像素点的个数。

另外，由于不同样本图像中，同一对应像素点的亮度和光照都会不同，因此需要对纹理进行归一化处理。最终获得与形状无关的归一化后的纹理信息：

因此，这n个样本构成的平均纹理为：

最后采用与构建形状模型相似的方法计算平均纹理的协方差矩阵，并用主成分分析法(Principle Component Analysis，PCA)进行降维，新的非刚性目标物体纹理实例G'可以表示为：

式中：

——样本平均纹理；

Ψ_g——前t个较大特征值对应的特征向量构成的2n×t维矩阵；

b_g——t维纹理模型参数，控制前t个模式的系数。由于特征向量相互正交，因此b_g可以表示为

4.主动表观模型构建

在完成了形状模型和纹理模型构建后，任意新的非刚性物体输入图像都可以用形状模型参数b_s和纹理模型参数b_g来表示。将形状和纹理模型联合起来建立主动表观模型，引入新的向量b，则：

式中：

W_s——调整形状模型和纹理模型之间的权重系数，它是一个对角阵，计算方法为其中

同时为进一步降低模型的复杂性，对b进行主成分分析处理(PrincipleComponent Analysis，PCA)处理，主动表观模型可以表示为：

式中：

S_a——非刚性目标物体形状模型；

G_a——非刚性目标物体纹理模型；

——b的协方差矩阵对应的特征向量；

c——主动表观模型参数。

式(16)也可以写成如下形式：

式中：

S_a——非刚性目标物体形状模型；

G_a——非刚性目标物体纹理模型；

——有训练样本集得到的平均形状；

S_i——m个独立的形状模式；

p_i——对应的形状模型系数；

G_i——n个独立的纹理模式；

q_i——对应的纹理模型系数；

从式(17)可以看出，若给定主动表观模型参数，即可从获得目标物体的形状向量和纹理向量，从而获得目标物体图像。

5.模型匹配与非刚性物体分割

输入图像与模型的匹配就是求解输入图像和最相似的模型实例之间的最小纹理误差：

式中：

——输入图像估计纹理；

A(N(W(x,b_s)；u))——使用估计的形状模型参数p将输入图像映射到平均形状得到的纹理。

c——主动表观模型参数。

设c₀为初始输入图像表观模型参数，表观模型参数c中包含主动表观模型全部需要的参数，即形状模型参数p、纹理模型参数q、以及形变参数u(旋转、平移、缩放参数)，模型参数c的更新策略为：

c＝c₀+Δc (30)

因此误差一级泰勒展开式：

令误差E(c+Δc)＝0得:

则：

Δc＝-RE(c) (33)

式中：

具体匹配过程算法见表2：

表2模型匹配算法

6.非刚性物体遮挡实现

为了获得正确的虚实遮挡效果，通过第三章的虚实注册结果，将得到的相机位置和姿态经过坐标系转换后赋值给Unity3D中的虚拟相机，并通过相机内部参数计算其视场角，同样赋值给虚拟相机，使得虚拟相机与物理相机“等价”，这里的“等价”指的是在各自世界坐标系中处于相同的位置和姿态以及具有相同的视场角。因此，在不考虑各自相机畸变的情况下可以认为虚拟相机采集的虚拟场景图像与深度传感器彩色相机采集的真实场景图像在图像坐标上是对齐的，每个像素点对应的空间点在各自世界坐标系中的世界坐标也是一致的。由于深度传感器上深度相机所采集深度图像的每一个像素与其彩色相机采集的彩色图像在图像坐标上是一一对应的，由此可以将深度传感器上深度相机与Unity3D 中深度相机获取的深度图像在图像坐标上也做到一一对应。

当前视角下设非刚性物体在输入图像中的分割区域为s。通过彩色图像到深度图像的映射，实时获取分割区域内非刚性物体每一个像素点的深度值，并对非刚性物体和虚拟装配引导信息的深度值进行比较。如果非刚性物体上某一点的Z坐标值大于虚拟信息的Z坐标值，即

则将真实物体上的像素渲染到合成图像上，否则渲染虚拟引导信息上的像素，从而实现虚实遮挡。

为了对非刚性物体的虚实遮挡处理过程进行加速，本文仅比较仅非刚性物体与虚拟物体的Z坐标值，这大大降低了系统的处理时间。其次，采用GPU对深度值获取及比较过程并行处理，提高运算速度。最后，仅在分割区域s内进行坐标值比较，避免了整幅图像深度值比较带来的运算量大的问题，降低运算量。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种基于主动表观模型的增强现实虚实遮挡处理方法，其特征在于，借助了基于主动表观模型的非刚体跟踪技术和基于深度计算的虚实遮挡处理技术，具体包括：

步骤1、将训练样本集Ω中的形状样本对齐的步骤，包括：(1)在训练样本集Ω中选择任一形状向量作为平均形状的初始估计，并对其进行尺度变换，使

(2)将训练样本集中所有的形状向量与目前平均形状进行对齐；

(3)从对齐的形状中再次计算新的平均形状，并对其进行尺度变换，使

(4)一次迭代之后，假如新的平均形状向量与相似变换前的平均形状向量间差异小于阈值τ，则停止迭代，否则返回Step 2继续迭代；

步骤2：平均形状模型的构建步骤：

(1)将对齐后的训练样本集和相应的协方差矩阵表示出。

(2)对协方差矩阵进行特征分解获得形状主要变化方式，即获得特征值及其对应的特征向量。然后将所有的特征值进行降序排列。

(3)为了降低训练集的维数，使训练集的形状变化用尽量小的变化方式集合来描述，降低运算的复杂性。本文采用主成分分析法(Principle Component Analysis，PCA)进行降维处理。

(4)最后采用形状模型构建算法进行形状模型构建。

步骤3：纹理模型的构建步骤：

(1)首先需要将训练样本中目标物体的形状向量通过分段线性仿射统一到平均形状内，从而获得与形状无关、具有相同纹理信息维度和对应关系的纹理向量；

(2)为了使纹理信息能够映射到平均形状中，利用Delaunay三角算法将平均形状和训练样本目标物体对应的形状进行三角剖分，从而将目标物体纹理划分为若干三角面片，将每个三角面片内的像素分别进行映射，待所有三角面片对应关系获得后，即可获得该样本图像纹理映射到的图像；

(3)最后采用与构建形状模型相似的方法计算平均纹理的协方差矩阵，并用主成分分析法PCA进行降维；

步骤4：主动表观模型的构建步骤：在完成了形状模型和纹理模型构建后，任意新的非刚性物体输入图像都可以用形状模型参数b_s和纹理模型参数b_g来表示。将形状和纹理模型联合起来建立主动表观模型；

步骤5：模型匹配与非刚性物体分割步骤：

(1)输入图像与模型的匹配就是求解输入图像和最相似的模型实例之间的最小纹理误差；

(2)按照模型匹配算法进行模型匹配与非刚性物体分割。

2.根据权利要求1所述的一种基于主动表观模型的增强现实虚实遮挡处理方法，其特征在于，所述步骤1将训练样本集Ω中的形状样本对齐的步骤具体包括：Step1：在训练样本集Ω中选择任一形状向量作为平均形状的初始估计，并对其进行尺度变换，使S₀表示任一形状向量，表示任一形状向量的平均形状；

Step2：利用式(2)和式(3)将训练样本集中所有的形状向量与目前平均形状进行对齐；误差函数E表示为：

E＝|T(S_L)-S_M|² (1)，

T(S_L)表示训练样本集Ω中的一个形状向量的相似变换，S_L和S_M分别为训练样本集Ω中的两个形状向量；

式(2)中T(·)相似变换表示为：

式(3)中u＝scosθ，v＝ssinθ，s为缩放因子，u表示缩放因子与旋转因子的余弦表示，v表示缩放因子与旋转因子的正弦表示，且s²＝u²+v²；θ为旋转因子，且t为位移因子，t_x表示x方向的位移因子t_y表示y方向的位移因子。

3.根据权利要求2所述的一种基于主动表观模型的增强现实虚实遮挡处理方法，其特征在于，为了将训练样本集Ω中的所有形状进行对齐，采用广义对齐GPA算法进行迭代运算。

4.根据权利要求2所述的一种基于主动表观模型的增强现实虚实遮挡处理方法，其特征在于，所述步骤2平均形状模型的构建步骤，具体包括：训练样本集对齐之后非刚性目标物体的轮廓在形状和位置上都趋向归一化，设对齐后的训练样本集表示为： 表示第n个样本构成的形状，则这n个样本构成的平均形状为：

表示前面的n个样本的形状求平均值；

相应的协方差矩阵为：

对协方差矩阵进行特征分解获得形状主要变化方式，即获得特征值λ_s及其对应的特征向量ξ_s，m表示m个坐标点，然后将所有的特征值进行降序排列：

λ_s,1＞λ_s,2＞λ_s,3＞...λ_s,2m (5)

特征值降序排列后对应的特征向量集合：

H_s＝{ξ_s,1,ξ_s,2...,ξ_s,2m} (6)

任一新的非刚性目标物体的形状变化都可以通过调整平均形状模型的特征向量得到，新的非刚性目标物体形状实例S'可以表示为：

式中：——样本平均形状；Ψ_s——前t个较大特征值对应的特征向量ξ_s,i构成的2m×t维矩阵；b_s——t维形变模型参数，控制前t个形变模式的系数，由于特征向量相互正交，因此b_s可以表示为

5.根据权利要求2所述的一种基于主动表观模型的增强现实虚实遮挡处理方法，其特征在于，所述步骤3纹理模型的构建步骤具体包括：首先将训练样本中目标物体的形状向量通过分段线性仿射统一到平均形状内，从而获得与形状无关、具有相同纹理信息维度和对应关系的纹理向量；

为了使纹理信息能够映射到平均形状中，利用Delaunay三角算法将平均形状和训练样本目标物体对应的形状进行三角剖分，从而将目标物体纹理划分为若干三角面片，将每个三角面片内的像素分别进行映射，待所有三角面片对应关系获得后，即可获得该样本图像纹理映射到的图像；有了形状无关的纹理图像，要得到形状无关的纹理向量，需按照某一固定顺序取形状无关的纹理图像中每一个像素的灰度值生成一个向量G_i，表示为：

G_i＝[g₁,g₂,g₃...,g_n]^T (8)

式中：i为训练样本个数；n为形状无关的纹理图像中所有像素点的个数。

6.根据权利要求5所述的一种基于主动表观模型的增强现实虚实遮挡处理方法，其特征在于，这n个样本构成的平均纹理为：

最后采用与构建形状模型相似的方法计算平均纹理的协方差矩阵，并用主成分分析法进行降维，新的非刚性目标物体纹理实例G'表示为：

式中：——样本平均纹理；Ψ_g——前t个较大特征值对应的特征向量构成的2n×t维矩阵；b_g——t维纹理模型参数，控制前t个模式的系数。

7.根据权利要求5所述的一种基于主动表观模型的增强现实虚实遮挡处理方法，其特征在于，所述步骤4主动表观模型表示为：

式中：S_a——非刚性目标物体形状模型；G_a——非刚性目标物体纹理模型；

——b的协方差矩阵对应的特征向量；c——主动表观模型参数。

8.根据权利要求7所述的一种基于主动表观模型的增强现实虚实遮挡处理方法，其特征在于，所述步骤5模型匹配算法具体包括：

输入：输入图像I，初始参数c₀，包含形状模型参数p₀，纹理模型参数q₀及变换参数u₀；

输出：主动表观模型参数c

1.初始化：纹理误差E₀＝0，E＝-1，c＝c₀

2.While E＜E₀，且未收敛

3.c_n＝c

4.利用纹理模型参数q_n计算纹理A_n，根据形状模型参数p_n计算输入图像映射到平均形状得到的纹理A(w,p_n)；

5.计算纹理误差：E_n＝||A_n-A(w,p_n)||₂

6.Δc＝-RE_n

7.c＝c_n+Δc//更新主动表观模型参数c，c中包含形状模型参数p、纹理模型参数q及变换参数u

8.由当前形状模型参数p，纹理模型参数q计算纹理A和A(w,p)

9.计算纹理误差：E＝||A-A(w,p)||₂

Return c。