CN103400409A - 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法 - Google Patents

Abstract

本发明提供一种基于摄像头姿态快速估计的覆盖范围3D可视化方法，包括进行三维场景建模，获得三维场景模型并进行增强，进行三维场景建模时从视频的每一帧中恢复一幅深度图像；依据三维场景模型和摄像头的安装位置，将摄像头注册到三维场景模型中，通过摄像头姿态估计获得摄像机参数，确定视频与三维场景模型间的投影映射关系；在三维场景模型中根据深度阴影纹理原理进行显示，交互式拾取三维场景模型中的目标，根据投影映射关系计算目标在当前摄像头参数模式下的成像区域。

Description

一种基于摄像头姿态快速估计的覆盖范围3D可视化方法

技术领域

本发明涉及计算机视觉及增强现实技术领域，尤其是涉及一种摄像头姿态快速估计及覆盖范围3D可视化方法。

背景技术

随着计算机图形学和计算机视觉的不断发展，利用计算机技术高效逼真地交互模拟真实世界已经成为现实。增强现实技术在现实世界中应用越来越广，作用也越来越重要。大量摄像头的增加，在带来海量视频数据的同时，也对科学、高效的资源管理提出来更高的要求。

现有摄像机姿态估计多采用摄像机标定及特征跟踪的方法来实现。摄像机标定在桌面摄像机、机器人及工业控制领域被广泛使用。但在基于增强现实环境的安防领域，该类方法存在诸多应用不便，体现在：

1.应用场景受限。现有标定方法基于精确的标定物，或者要对摄像机进行复杂的姿态控制操作，才能计算出摄像机参数。在很多应用场合，这些标定物无法安放到现场，同时对于枪机摄像机也无法进行姿态控制操作，从而导致传统方法无法应用的情况。

2.覆盖范围计算不够精确直观。目前对摄像机覆盖范围的计算多采用扇形模拟或理论值估算。前者仅能对摄像机方向、安装位置等信息进行描述，后者在此基础上加入摄像机参数模型，能够估算出大致的覆盖范围，但无法得出更加精确和直观的结果。

具体来说，现有摄像机标定方法可分为传统摄像机标定方法、基于主动视觉的标定方法和摄像机自标定方法。传统摄像机标定方法，使用固定的标定参照物，通过建立参照物3D坐标与2D坐标的对应关系，求解摄像机内外参数，具有精度高、鲁棒性好等特征，但对应用环境有严格要求。基于主动视觉的标定方法，需要控制摄像机做某些特殊运动，算法简单但不能适用于摄像机运动未知或无法控制的场合。摄像机自标定方法利用相机内参数约束关系求解方程，标定过程与场景和摄像机运动无关，应用灵活，但精度较低。

发明内容

本发明建立一种摄像头姿态快速估计及覆盖范围3D可视化方法，其目的在于：

1.实现摄像头姿态快速估计，辅助完成其它应用。摄像头内外参数对智能视频应用具有重要意义，如为了实现相邻摄像头的视频拼接、运动目标的跨摄像头跟踪，在已知摄像头内外参数的情况下，实现起来将容易得多。

2.基于视频序列重构和增强真实场景模型，为摄像头覆盖范围3D可视化做准备。通过增强现实技术，可以有效地解决视频场景重建过程中存在的深度恢复问题，实现摄像头场景注册和视场（Field of View,以下均简称为FOV）的三维可视化。

3.对已有摄像头FOV的三维可视化，科学管理及调配资源。通过在场景三维模型中实时显示摄像头FOV，可以方便的制定对可疑目标的360度全覆盖方案，避免出现覆盖死角。

4.结合镜头焦距、安装高度、角度等因素，评估待安装摄像头覆盖范围，为科学布设摄像头提供依据。通常只能在摄像头已安装完毕传回图像后，才能看到其精确的覆盖范围，此时发现安装位置不合理再去调整，代价就比较大。本发明可以在安装摄像头之前，通过设置摄像头参数及安装位置、角度等参数，直接模拟出覆盖范围。

本发明的技术方案为一种基于摄像头姿态快速估计的覆盖范围3D可视化方法，包括以下步骤：

步骤1，进行三维场景建模，获得三维场景模型并进行增强，进行三维场景建模时从视频的每一帧中恢复一幅深度图像；

步骤2，依据三维场景模型和摄像头的安装位置，将摄像头注册到三维场景模型中，通过摄像头姿态估计获得摄像机参数，确定视频与三维场景模型间的投影映射关系；

步骤3，在三维场景模型中根据深度阴影纹理原理进行显示，交互式拾取三维场景模型中的目标，根据投影映射关系计算目标在当前摄像头参数模式下的成像区域。

而且，步骤1中，从视频的每一帧中恢复一幅深度图像实现方式如下，

进行摄像机运动参数恢复，从视频的帧序列中第1帧处理到第n帧，对于每一帧，保持其它帧的视差图像不变，重复执行以下两步处理两次，

步骤2.1，深度初始化，若是对当前帧第一次执行步骤2.1，则采用集束优化算法最小化函数恢复深度图像，若是对当前帧第二次执行步骤2.1，则在已有深度图像的基础上采用集束优化算法最小化函数优化深度信息；

设一个摄像机自由移动拍摄的视频为n帧序列I^,表示为I^＝{I_t|t＝1,…,n}，其中I_t表示第t帧视频图像，I_t(x)表示第t帧视频图像上像素x的亮度；设I_t(x)是一个RGB颜色向量，目标是恢复一个视差图像序列D^＝{D_t|t＝1,…,n}，其中D_t表示恢复后第t帧视差图像，D_t(x)表示恢复后第t帧视差图像上像素x的亮度，D_t(x)简写成d_x后定义为d_x＝1/z_x，z_x表示恢复后第t帧视差图像上像素x的深度值；

所述集束优化算法最小化函数为 $E(\hat{D};\hat{I})=\underset{t=1}{\overset{n}{\mathrm{\Σ}}}(E_d(D_t;\hat{I},\hat{D}\backslash D_t)+E_s\left(D_t\right))$

其中，这里数据项E_d(.)衡量视差D^对于给定的序列I^的符合性，而平滑项E_s(.)则约束视差的平滑性；

步骤2.2，深度分割优化，对目标物体和场景图像进行分割，改进深度质量，得到新的深度图像；若是对当前帧第一次执行步骤2.2，返回步骤2.1，若是对当前帧第二次执行步骤2.2，输出所得深度图像。

而且，所述摄像机参数包括内参数和外参数，步骤2中，通过摄像头姿态估计获得摄像机参数时，首先进行基本映射关系计算，然后进行基本映射关系优化；

所述进行基本映射关系计算，实现方式如下，

步骤3.1，根据视频的覆盖范围，用结构不变特征算法提取三维场景模型纹理中具有结构不必特征的纹理子图，提取纹理子图在三维场景模型中的映射关系，将纹理子图及映射信息写入纹理子图映射信息库；

所述结构不变特征算法包括采用LSD直线检测算法提取场景中的直线结构，然后结合图像的灰度区域分块信息计算结构线段，将所有结构线段和线段端点作为结构不变特征；

步骤3.2，对视频中的实时图像进行高斯滤波和亮度均衡预处理，将处理后的实时图像应用结构不变特征算法提取场景结构不变特征，然后将实时图像的结构不变特征和步骤3.1中提取出的纹理子图的结构不变特征进行场景匹配，建立实时图像与纹理子图的配准关系；

步骤3.3，结合纹理子图映射信息库，利用实时图像与纹理子图的配准关系，计算实时图像的映射信息，获得基本映射关系的矩阵，基本映射关系的矩阵由内参数和外参数构成；计算实时图像的映射信息时，基于2D-3D点对，利用Tsai的两步法实现；

所述进行基本映射关系计算，实现方式为，设内参数不变，基于另外的2D-3D点对，将基本映射关系的矩阵中内参数和外参数作为初始值，对每对2D-3D点对进行3D映射，获得映射误差P_e，利用LM算法选取P_e最小值的外参数并与设定阈值进行比较，小于该设定阈值则将当前外参数作为最终优化结果，否则继续优化。

而且，步骤3中，在三维场景模型中根据深度阴影纹理原理进行显示的实现如下，

第一，在摄像机坐标系中渲染场景得到Z缓冲，将Z缓冲存储在用于摄像机投影纹理的alpha通道中，每个场景点的第一个alpha值代表首次从摄像头中心视图射线到达该点的深度值，记为alpha1；

第二，使用自动纹理坐标生成第二次渲染，将纹理坐标的顶点坐标设置为对应的摄像机顶点的深度值，获得第二个alpha值并存储，记为alpha2；

第三，对于从虚拟摄像机可见的所有场景点，分别比较alpha1和alpha2，alpha1=alpha2的场景点采用对应的摄像机获得的视频纹理图像进行渲染，剩余的点利用三维场景模型纹理进行渲染，实现摄像机视场显示。

而且，设视频与三维场景模型间的投影映射关系为矩阵M，步骤3中，根据投影映射关系计算目标在当前摄像头参数模式下的成像区域时根据如下公式实现，

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=M\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中，(u,v)为目标中某点的图像坐标，(X,Y,Z)为相应点的空间坐标。

本发明利用计算机视觉技术，估算出摄像机姿态，并结合增强现实技术重构真实场景的三维模型，实现摄像机覆盖区域的可视化标注及三维展示。包括将摄像头注册到真实比例的三维模型中，建立模型坐标系下的摄像机参数，实现摄像头覆盖区域的精确可视化，同时可根据设置的摄像机参数、镜头参数、安装位置模拟成像效果，为摄像机的布点安装、镜头选择提供参考。综合来说，本发明除了突破现有技术缺点外，还具有如下优点：

1.无需任何外置设备，即可精确计算摄像机姿态；

2.不影响设备工作状态，仅需截取一张图像就能实现姿态估计；

3.覆盖范围三维可视化，直接在三维场景中显示摄像头的覆盖范围；

4.辅助摄像机镜头选择，根据不同的镜头参数，自动计算覆盖范围并直观显示；

5.从真实拍摄的视频数据中实现深度信息的高精度恢复以及视频场景的层次结构估计，有效解决了基于视频的增强现实创作中面临的几何一致性和光照一致性问题。

附图说明

图1是本发明实施例的总体处理流程图。

图2是本发明实施例的深度恢复流程图。

图3是本发明实施例的摄像头3D-2D配准处理流程图。

图4是本发明实施例的摄像机参数优化处理流程图。

图5是本发明实施例的FOV显示及交互计算处理流程图。

具体实施方式

针对现有技术，本发明要解决的技术问题主要包括：

1.基于三维模型的摄像头内外参数计算方法。在不使用标定参照物和控制摄像头运动的情况下，通过交互方法建立图像与三维模型的对应关系，计算并优化出摄像头内外参数。

2.视频序列中场景稠密深度信息的恢复。由摄像机参数信息和视频序列每一帧像素具有几何一致性和颜色一致性的特性，利用集束优化方法计算场景深度信息。

3.摄像头FOV的三维显示。根据摄像头的内外参数，计算摄像头的有效覆盖范围，并在三维模型中以阴影纹理的形式进行显示。

4.被摄目标在图像中所占像素大小计算。根据目标在场景中的具体位置和大小，代入摄像机成像模型，计算其在图像中的像素分辨率。

以下结合附图和实施例详细说明本发明技术方案。

针对现有方法在实际应用中的各种不足，本发明实施例提出了一种摄像头姿态快速估计及覆盖范围3D可视化方法。该方法包括视频场景重建与增强处理、摄像头姿态估计、FOV可视化及交互计算三部分。首先依据三维场景模型和摄像头的安装位置，将摄像头注册到三维场景模型中，然后利用2D-3D点对关系计算摄像头姿态，并根据注册信息对摄像头外参数进行优化，计算精确投影矩阵，利用三维渲染技术，根据投影矩阵计算摄像头覆盖区域并在三维场景模型中通过阴影纹理的原理进行显示，通过交互式拾取场景模型中的目标，计算该目标在当前摄像头参数模式下的成像大小。其具体流程图如图1所示。

实施例包括以下步骤：

步骤1：进行三维场景建模，获得场景模型，主要包括三维场景模型的重建和增强处理、实时视频与三维模型融合，从而实现真实场景的精确重构。对实时视频序列帧进行处理，从帧序列中获得场景纹理、光照、深度以及几何信息，用于恢复三维几何运动信息，并利用这些信息完成三维场景模型重建工作；然后对三维场景模型做进一步增强处理，主要解决视频与模型的几何一致性、光照一致性和遮挡一致性等问题。

步骤2：依据三维场景模型和摄像头的安装位置，将摄像头注册到三维场景模型中，然后利用2D-3D点对关系计算摄像头姿态，并对摄像头参数进行优化，实现摄像头姿态估计，摄像头姿态估计获得摄像机内外参数信息，确定视频与模型间的投影映射关系；

步骤3：在三维场景模型中通过阴影纹理的原理进行显示，交互式拾取场景模型中的目标，计算该目标在当前摄像头参数模式下的成像大小。场景模型中目标信息获取，包括目标在世界坐标系中的三维坐标及投影映射后获得的图像坐标。

实施例的具体流程实现详细说明如下：

进行步骤1前，先对采集视频的摄像机进行定焦标定和场景连续拍摄。通过定焦标定获取定焦模式下拍摄样图和摄像机内参数；场景连续拍摄是指对待重建场景进行视频拍摄，拍摄时使摄像机以一定速度围绕待重建场景一周，从而得到待重建场景的全貌视频。

所述定焦标定是指将摄像机焦距调整到固定值（该固定值可以是任意值，根据拍摄场景的范围而定），采用棋盘格标定法计算摄像机内参数。

所述摄像机内参数，为摄像机焦距f，径向畸变px，图像中心点坐标（cx，cy）；

所述摄像机属性及位置，为摄像机实现场景注册和外参数确定提供依据，提高投影映射关系的鲁棒性；

所述全貌视频，为摄像机正对着待重建场景，并围绕待重建对象移动一周拍摄得到的视频。移动速度视摄像机位置与待重建场景的距离而定，总体而言，距离越近要求移动速度越小。适当的移动速度和平稳的拍摄过程能有效地降低深度重建的误差。

1.场景重建

利用三维几何实现虚拟与真实空间交互技术，其真实性和处理效率严重依赖于几何及其相关信息(纹理、光照、运动等)的建模与绘制技术。针对这种局限性，本发明采取从真实拍摄的视频数据中恢复出三维几何和运动信息并进行重用，包括摄像机移动参数、场景深度信息和点云等信息的高精度恢复以及视频场景的层次结构估计等，有效解决了人工建模的误差问题。同时，利用全貌视频真实的恢复场景的纹理信息，实现三维模型精度与真实度的结合，即利用增强现实技术将计算机产生的虚拟信息合成到真实世界场景中，实现与真实世界的结合，以解决解决视频与模型的几何一致性、光照一致性和遮挡一致性等问题。

因为实际拍摄的图像或视频数据不可避免地存在着图像噪声、无特征区域以及遮挡等情况，导致自动地恢复出高质量的稠密深度非常困难。对于一个摄像机自由移动拍摄的视频序列，本发明提出了一个新颖的方法，为每帧自动地恢复一幅深度图像，并达到如下两个目标：

1)位于不同帧上的相同像素，其深度具有高度一致性

针对实时视频序列帧图像中相同像素点的深度信息，视频序列的实时获取时间保证图像中像素点在光照和纹理因素上具有一致性，结合真实场景信息，不同帧上目标像素点所描述的场景信息相同，深度信息相等；

2)不同深度的像素位于不同的深度层次上

真实场景中目标在实时视频序列中所具有的深度信息决定三维场景重建与增强处理的真实性和可靠性，不同深度的像素在做投影映射获得图像坐标的具体过程中，其深度值影响像素在场景中的强弱变化及光照和纹理显示情况。不同深度层次的目标需求排除了摄像机覆盖区域显示计算中遮挡因素的干扰，提高计算效率。

为了完成这两个目标，本发明提出了一个集束优化(Bundle Optimization)方法，来解决上述的深度求解的各种问题。

主要实现流程如下所述：

给定一个摄像机自由移动拍摄的n帧视频序列I^,表示为I^＝{I_t|t＝1,…,n}，其中I_t表示第t帧视频图像，I_t(x)表示第t帧视频图像上像素x的亮度。假设I_t(x)是一个RGB颜色向量，本发明的目标是恢复一个视差图像序列D^＝{D_t|t＝1,…,n}，其中D_t表示恢复后第t帧视差图像，D_t(x)表示恢复后第t帧视差图像上像素x的亮度。D_t(x)(简写成d_x)定义为d_x＝1/z_x，这里z_x表示恢复后第t帧视差图像上像素x的深度值。

为了进行视频序列上的深度恢复，本发明定义如下求解模型：

$E(\hat{D};\hat{I})=\underset{t=1}{\overset{n}{\mathrm{\Σ}}}(E_d(D_t;\hat{I},\hat{D}\backslash D_t)+E_s\left(D_t\right))$ 公式1

这里数据项(data term)E_d(.)衡量视差D^对于给定的序列I^的符合性，而平滑项(smoothness term)E_s(.)则约束视差的平滑性。对于任意一帧上的某个像素，根据多视图几何关系，在其它帧上会有相应的像素与之对应；这些像素之间不仅满足颜色一致性约束，还应该满足几何一致性约束。为此，本发明提出的集束优化框架，显式地将序列各帧上的像素之间的关联建立起来，实现多帧上的同时优化。

本领域技术人员可自行根据需要设计数据项和平滑项，为便于实施参考起见，提供实施例的具体设计如下：

第t帧的数据项E_d(.)可以表示为公式2所示：

$E_d^t(D_t;\hat{I},\hat{D}\backslash D_t)=\underset{t}{\mathrm{\Σ}}1-\mathrm{\μ}\left(x\right)\·L_{\mathrm{init}}(x,D_t\left(x\right))$ 公式2

其中，μ(x)是一个自适应的归一化因子，L_init(x,D_t(x))为视差概率。

第t帧的空域平滑项可以如下定义：

$E_s\left(D_t\right)=\underset{x}{\mathrm{\Σ}}\underset{y\∈N\left(x\right)}{\mathrm{\Σ}}\mathrm{\λ}(x,y)\·\mathrm{\ρ}(D_t\left(x\right),D_t\left(y\right))$ 公式3

这里N(x)表示与像素x相邻的像素集合；λ(x,y)控制平滑项的权重，根据像素x与其相邻像素y的颜色或亮度的差异性，决定该值的大小，通常在平坦的区域加强平滑性，在边界区域保持不连续性，从而使得深度不连续性跟颜色或亮度的突变相吻合；ρ(·)是一个截断函数，定义如下：

ρ(D_t(x),D_t(y))＝min{|D_t(x)-D_t(y)|,η}      公式4

这里η决定函数的上界。

所述的深度求解方法为集束优化算法，如图2所示，其具体实现方式如下：

首先进行摄像机运动参数恢复。对实时视频序列进行逐帧读取，使用sift特征点算法进行摄像机运动跟踪，进行摄像机姿态估计，包括摄像机内参数和摄像机旋转、平移参数。

然后，从视频序列（即实时帧序列）中第1帧处理到第n帧，对于每一帧，保持其它帧的视差图像不变，重复执行以下处理两次，

（1）深度初始化。对于实时帧序列的每一帧，若是第一次执行，则使用预设默认值采用集束优化算法最小化函数(公式1)恢复深度图像，实现深度初始化，若不是第一次执行，则在已有深度图像的基础上采用集束优化算法最小化函数(公式1)优化深度信息。对于图像上的每一点，根据多视图几何关系，在其它帧上会有相应的像素与之对应且像素之间满足颜色一致性约束和几何一致性约束。

（2）深度分割优化。依据现有技术中的图像分割（Graph Cut算法）原理，对实时视频序列中的目标物体和场景图像进行分割，实现目标坐标的优化，改进深度质量，得到新的深度图像。若是第一次执行，则根据所得新的深度图像返回执行（1）进一步采用集束优化算法最小化函数(公式1)优化，若不是第一次执行，则输出所得深度图像。

2.摄像头姿态估计

摄像机姿态估计包括摄像头内外参数的估计及优化，是指在完成场景重建后，使用固定在某一特定位置的摄像机再次拍摄场景图像，通过该图像估算固定位置摄像机的拍摄姿态。

所述的摄像机外参数即摄像机平移参数和旋转参数，获取摄像机实际安装位置及旋转角度并向三维场景模型中注册，实现摄像头场景注册。

所述的摄像机内参数由焦距、图像中心坐标及径向畸变参数确定，通过建立2D-3D特征点对，利用两步法标定该系列参数。

所述的摄像机外参数优化，包括摄像头2D-3D配准，在假定内参数不变的情况下，利用LM算法寻找映射误差最小值，优化摄像机外参数，实现基本映射关系的精确获取。

详细实现说明如下：

（1）基本映射关系计算

摄像头基本映射关系由摄像头内参数、平移参数和旋转参数共同确定。三维场景模型是依据真实视频序列重建和增强制作而成，具有很高的重建精度，因此根据摄像头的安装位置和角度，可以初步确定摄像头平移参数和旋转参数，实现摄像头注册。摄像头内参数由焦距、图像中心坐标及径向畸变确定，在二维视频帧和相应的三维场景模型中，选取10-12组2D-3D点对（可由本领域技术人员预先选取），建立2D-3D特征点对，再利用Tsai的两步法标定该系列参数。

采用基于结构不变特征的场景配准方法，在不对摄像头进行额外标定操作的情况下，提取摄像头内外参数和图像特征，解决真实场景视频与三维模型的配准问题，详细处理流程如图3所示。

摄像头2D-3D配准主要流程为：

第一，根据视频的覆盖范围，用结构不变特征算法（即特征选择算法）提取三维模型纹理中具有明显结构不变特征的纹理子图，提取纹理子图在模型中的映射关系（具体实施时可对提取结果进行优化），将纹理子图及映射信息写入数据库（具体实施时可建立专用的纹理子图映射信息库），作为视频精确配准的基准参考点，提高融合过程的运算速度。

所述结构不变特征，为场景中建筑轮廓、道路边界等直线结构信息。本发明的结构不变特征算法包括采用LSD直线检测算法提取场景中的直线结构，然后结合图像的灰度区域分块信息计算结构线段，将所有结构线段和线段端点作为结构不变特征。

所述纹理子图映射信息，为纹理子图中的像素点图像坐标与该点在场景模型的空间坐标的对应关系。

第二，对实时视频中的图像进行高斯滤波和亮度均衡预处理，将处理后的实时图像应用结构不变特征算法提取场景结构不变特征，然后将实时图像的结构不变特征和第一步中提取出的纹理子图的结构不变特征进行场景匹配，建立实时图像与纹理子图的配准关系；

第三，结合纹理子图映射信息库，利用实时图像与纹理子图的配准关系，计算实时图像的映射信息，获得基本的映射关系矩阵。

（2）基本映射关系优化

在基本映射关系计算过程中，由于采用了一次纹理映射、一次图像匹配，会带来累计误差，需要对求得的摄像机外参数进行优化。通常采用的方法是，假设摄像机内参不变的情况下，选取4-8组新的2D-3D点对（可由本领域技术人员预先选取），将上文获得的摄像机内外参数作为初始值，对每对特征匹配点进行3D映射，获得映射误差P_e。利用LM算法选取P_e最小值的外参，并与设定的阈值进行比较，小于该阈值则将此平移和旋转参数作为摄像机外参数值的最终优化结果，否则将继续优化。若P_e值始终大于等于设定阈值，则视优化前的外参数为最优值。如图4所示，对（1）所得基本的映射关系矩阵进行分解，得到内参数和外参数，根据2D-3D点对和安装位置信息进行外参数LM优化，从而实现摄像机参数整体优化。

3.摄像机视场（FOV）可视化及交互计算

摄像机视场（FOV）可视化是指在实时视频与三维场景模型融合的基础上，将摄像头覆盖区域在三维场景中以可视化的方式呈现。

成像大小交互式计算是指通过交互式拾取场景模型中的目标，获得目标在空间坐标系中的坐标序列，计算该目标在当前摄像头参数模式下的图像坐标序列，从而计算出目标成像区域大小。

详细实现说明如下：

（1）FOV显示

所述的指定视频的空间位置及其在模型中的显示方式与视频对应的摄像机内外参数有关。通过视频投影映射基本计算公式，获得真实场景中的点坐标在其对应的三维模型中的坐标信息。其投影纹理坐标由摄像机平移向量和旋转向量的乘积矩阵、视频在三维场景中的透视变换矩阵以及纹理坐标的显示范围矩阵相乘获得。

所述的阴影纹理原理，包括视频做投影映射过程中对于遮挡问题的解决办法。遮挡问题的处理与真实场景和三维模型场景中的深度值相联系。其中，三维模型场景中的深度值与摄像头的Z缓冲深度值有关，摄像机视域中对应的场景点的深度值由对应视线的深度Z缓冲值决定。比较虚拟视角下每一场景点对应的这两个深度值，得出该点是否在摄像头视域范围中。具有两个相同深度值的点可以被摄像机看见，并利用该摄像机获得的视频纹理图像进行渲染，以多通道渲染算法实现遮挡处理。

对于实时的视频融合显示，需要考虑指定视频的空间位置及其在模型中的显示方式。视频在模型中的空间位置与视频对应的摄像机外参数有关，视频在模型中的显示方式与视频对应的摄像机内参数有关。因此，可以结合上述方法中求得的摄像机内外参数计算实时视频的空间位置以及在模型中的显示方式。视频投影映射的基本计算公式如公式2所示。

[x,y,1]^T＝F×P×M[X_w,Y_w,Z_w,1]^T   公式2

其中，点[X_w,Y_w,Z_w,1]为模型中点的齐次坐标，即点在世界坐标系中的位置，点[x,y,1]为与点对应的投影纹理齐次坐标。矩阵M定义了摄像机在世界坐标系中的位置和姿态，为摄像机平移向量和旋转向量的乘积。矩阵F定义了视频在三维场景中的透视变换，可以通过透视投影视景体来直观表示。矩阵P用以限定纹理坐标的显示范围。为简化计算，通常可将F和P定义如下公式所示。

$F=\left[\begin{array}{cccc}\frac{l_x}{2}& 0& 0& 0\\ 0& \frac{l_y}{2}& 0& 0\\ 0& 0& 0& 1\end{array}\right],$ $P=\left[\begin{array}{cccc}\frac{2f}{l_x}& 0& -\frac{2p_x}{l_x}& 0\\ 0& \frac{2f}{l_y}& -\frac{{2p}_y}{l_y}& 0\\ 0& 0& -\frac{Z_{\mathrm{far}}+Z_{\mathrm{near}}}{Z_{\mathrm{far}}-Z_{\mathrm{near}}}& -\frac{2Z_{\mathrm{far}}\×Z_{\mathrm{near}}}{Z_{\mathrm{far}}-Z_{\mathrm{near}}}\\ 0& 0& -1& 0\end{array}\right]$

l_x为摄像机视口宽度，l_y为视口高度，f为摄像机焦距，Z_far、Z_near为视椎体远裁剪面和近裁减面坐标，（p_x，p_y）为摄像机坐标系下图像的中心点坐标，且p_x和p_y满足：

$F\×P={\left[\begin{array}{cccc}f& 0& {-p}_x& 0\\ 0& f& {-p}_y& 0\\ 0& 0& -1& 0\end{array}\right]}_{Z_{\mathrm{far}},Z_{\mathrm{near}}}$

视频投影中遮挡处理所包含的核心思想与目标物分别在两个场景中的深度值关联，其中，第一个深度值与摄像头的Z缓冲深度值对应。摄像头视域中对应的场景点的深度值由对应视线的Z缓冲值。第二个深度值是摄像头中场景点的真实值。通过比较虚拟视角下每一场景点对应的这两个深度值，可以得出该点是否在摄像头视域范围中。具有两个相同深度值的点可以被摄像头看见，并应利用该摄像头获得的视频纹理图像进行渲染。遮挡处理技术是利用多通道渲染算法实现的。第一次在摄像头坐标系中渲染场景就可以得到其Z缓冲，Z缓冲被存储在用于摄像头投影纹理的alpha通道。每个场景点的第一个alpha值代表首次从摄像头中心视图射线到达该点的深度值。第二次渲染使用自动纹理坐标生成，并将纹理坐标的顶点坐标设置为对应的摄像头顶点的深度值，这是第二个alpha值。因此，对于从虚拟摄像机可见的所有点，用两个alpha值的比较来确定哪些点是被摄像头照亮的，被摄像头照亮的点相应的采用其对应的摄像头获得的视频纹理图像进行渲染，剩余的点利用模型纹理进行渲染。

如图5左边所示，所述的多通道渲染算法用以解决视频投影遮挡问题，具体实现方式如下，

第一，在摄像机坐标系中渲染场景得到其Z缓冲，将Z缓冲存储在用于摄像机投影纹理的alpha通道中。每个场景点的第一个alpha值代表首次从摄像头中心视图射线到达该点的深度值，记为alpha1。

第二，使用自动纹理坐标生成第二次渲染，将纹理坐标的顶点坐标设置为对应的摄像机顶点的深度值，获得第二个alpha值并存储，记为alpha2。

第三，对于从虚拟摄像机可见的所有点，用两个alpha值的比较来确定哪些点是被摄像机照亮的，相应的采用其对应的摄像机获得的视频纹理图像进行渲染，剩余的点利用模型纹理进行渲染，从而实现FOV显示。

（2）交互式区域计算

所述的成像区域大小交互式计算中，主要根据投影矩阵建立点的空间坐标与图像坐标之间的对应关系对成像区域面积进行计算。空间坐标与图像坐标之间存在一一对应的关系，图像坐标可由空间坐标和投影矩阵相乘获得。所述的投影矩阵为摄像机的旋转参数、平移参数以及摄像机内参构成，为3×4的投影矩阵。选择两个及以上的三维空间点，计算出由该三维点序列组成的空间目标在图像上的图像坐标的理论值，从而计算出成像区域和成像大小。

通过前面的分析，可以使用投影矩阵M建立点的空间坐标与图像坐标之间的对应关系公式：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=M\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中(u,v)为点的图像坐标，(X,Y,Z)为点的空间坐标（即空间点坐标），M为3×4的投影矩阵。利用这种映射关系，采集场景中的结构点和图像中的结构点，并且建立了它们之间的对应关系，即一个空间点对应一个图像点，现在将再次利用点的空间坐标和和投影矩阵，来计算指定目标在图像平面的大小。如图5右边所示，具体思路如下：

1）选取一点p_i，记点p_i的空间坐标为(X_iw,Y_iw,Z_iw)，对应的图像坐标为(u_i,v_i)；

2）将p_i的空间坐标(X_iw,Y_iw,Z_iw)带入上述对应关系公式，计算该点在投影矩阵M下映射到图像平面的坐标理论值(u_i,v_i)，即平面点坐标；

选择两个及以上的三维空间点，即可计算出由该三维点序列组成的空间目标相应平面点坐标序列，得到该三维点序列组成的空间目标在图像上的成像区域和成像大小，得到成像区域。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于摄像头姿态快速估计的覆盖范围3D可视化方法，其特征在于，包括以下步骤：

步骤1，进行三维场景建模，获得三维场景模型并进行增强，进行三维场景建模时从视频的每一帧中恢复一幅深度图像；

步骤2，依据三维场景模型和摄像头的安装位置，将摄像头注册到三维场景模型中，通过摄像头姿态估计获得摄像机参数，确定视频与三维场景模型间的投影映射关系；

步骤3，在三维场景模型中根据深度阴影纹理原理进行显示，交互式拾取三维场景模型中的目标，根据投影映射关系计算目标在当前摄像头参数模式下的成像区域。

2.根据权利要求1所述基于摄像头姿态快速估计的覆盖范围3D可视化方法，其特征在于：步骤1中，从视频的每一帧中恢复一幅深度图像实现方式如下，

进行摄像机运动参数恢复，从视频的帧序列中第1帧处理到第n帧，对于每一帧，保持其它帧的视差图像不变，重复执行以下两步处理两次，

步骤2.1，深度初始化，若是对当前帧第一次执行步骤2.1，则采用集束优化算法最小化函数恢复深度图像，若是对当前帧第二次执行步骤2.1，则在已有深度图像的基础上采用集束优化算法最小化函数优化深度信息；

设一个摄像机自由移动拍摄的视频为n帧序列I^,表示为I^＝{I_t|t＝1,…,n}，其中I_t表示第t帧视频图像，I_t(x)表示第t帧视频图像上像素x的亮度；设I_t(x)是一个RGB颜色向量，目标是恢复一个视差图像序列D^＝{D_t|t＝1,…,n}，其中D_t表示恢复后第t帧视差图像，D_t(x)表示恢复后第t帧视差图像上像素x的亮度，D_t(x)简写成d_x后定义为d_x＝1/z_x，z_x表示恢复后第t帧视差图像上像素x的深度值；

所述集束优化算法最小化函数为 $E(\hat{D};\hat{I})=\underset{t=1}{\overset{n}{\mathrm{\Σ}}}(E_d(D_t;\hat{I},\hat{D}\backslash D_t)+E_s\left(D_t\right))$

其中，这里数据项E_d(.)衡量视差D^对于给定的序列I^的符合性，而平滑项E_s(.)则约束视差的平滑性；

步骤2.2，深度分割优化，对目标物体和场景图像进行分割，改进深度质量，得到新的深度图像；若是对当前帧第一次执行步骤2.2，返回步骤2.1，若是对当前帧第二次执行步骤2.2，输出所得深度图像。

3.根据权利要求1或2所述的基于摄像头姿态快速估计的覆盖范围3D可视化方法，其特征在于：所述摄像机参数包括内参数和外参数，步骤2中，通过摄像头姿态估计获得摄像机参数时，首先进行基本映射关系计算，然后进行基本映射关系优化；

所述进行基本映射关系计算，实现方式如下，

步骤3.1，根据视频的覆盖范围，用结构不变特征算法提取三维场景模型纹理中具有结构不必特征的纹理子图，提取纹理子图在三维场景模型中的映射关系，将纹理子图及映射信息写入纹理子图映射信息库；

所述结构不变特征算法包括采用LSD直线检测算法提取场景中的直线结构，然后结合图像的灰度区域分块信息计算结构线段，将所有结构线段和线段端点作为结构不变特征；

步骤3.2，对视频中的实时图像进行高斯滤波和亮度均衡预处理，将处理后的实时图像应用结构不变特征算法提取场景结构不变特征，然后将实时图像的结构不变特征和步骤3.1中提取出的纹理子图的结构不变特征进行场景匹配，建立实时图像与纹理子图的配准关系；

步骤3.3，结合纹理子图映射信息库，利用实时图像与纹理子图的配准关系，计算实时图像的映射信息，获得基本映射关系的矩阵，基本映射关系的矩阵由内参数和外参数构成；计算实时图像的映射信息时，基于2D-3D点对，利用Tsai的两步法实现；

所述进行基本映射关系计算，实现方式为，设内参数不变，基于另外的2D-3D点对，将基本映射关系的矩阵中内参数和外参数作为初始值，对每对2D-3D点对进行3D映射，获得映射误差P_e，利用LM算法选取P_e最小值的外参数并与设定阈值进行比较，小于该设定阈值则将当前外参数作为最终优化结果，否则继续优化。

4.根据权利要求1或2所述的基于摄像头姿态快速估计的覆盖范围3D可视化方法，其特征在于：步骤3中，在三维场景模型中根据深度阴影纹理原理进行显示的实现如下，

第一，在摄像机坐标系中渲染场景得到Z缓冲，将Z缓冲存储在用于摄像机投影纹理的alpha通道中，每个场景点的第一个alpha值代表首次从摄像头中心视图射线到达该点的深度值，记为alpha1；

第二，使用自动纹理坐标生成第二次渲染，将纹理坐标的顶点坐标设置为对应的摄像机顶点的深度值，获得第二个alpha值并存储，记为alpha2；

第三，对于从虚拟摄像机可见的所有场景点，分别比较alpha1和alpha2，alpha1=alpha2的场景点采用对应的摄像机获得的视频纹理图像进行渲染，剩余的点利用三维场景模型纹理进行渲染，实现摄像机视场显示。

5.根据权利要求1或2所述的基于摄像头姿态快速估计的覆盖范围3D可视化方法，其特征在于：设视频与三维场景模型间的投影映射关系为矩阵M，步骤3中，根据投影映射关系计算目标在当前摄像头参数模式下的成像区域时根据如下公式实现，

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=M\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中，(u,v)为目标中某点的图像坐标，(X,Y,Z)为相应点的空间坐标。

Images