CN110047039A - 一种面向虚拟现实交互的冗余视场全景影像构建方法 - Google Patents

Abstract

本发明提出一种面向虚拟现实交互的冗余视场全景影像构建方法。不同于现有方法先拼接后投影变换的技术路线，本发明所提方法并不显式地生成全景影像，而是通过对影像采集装置以及相应交互算法的设计，在多图像配准等初始化操作基础上，直接将投影变换后的原始影像呈现给用户，当用户视线方向变化或视场角增大以致视野范围超出当前原始影像时，平滑地将当前呈现的影像内容来源切换为相应方向的另一原始影像，避免了全景拼接过程中视觉异常现象的出现，改善了虚拟现实交互的用户体验。

Description

一种面向虚拟现实交互的冗余视场全景影像构建方法

技术领域

本发明属于计算机视觉领域，涉及全景影像构建方法，尤其涉及一种面向虚拟现实交互的冗余视场全景影像构建方法。

背景技术

随着计算机视觉基础理论和处理器性能的不断进步，以虚拟现实(VirtualReality，VR)为代表的新型人机交互模式在近年得到了快速发展。全景影像支持大角度范围内视线方向的自由变换，能够给用户提供良好的沉浸式体验，因此广泛应用于各种虚拟现实系统，是实现虚拟现实交互的重要途径之一。全景影像的呈现效果成为影响虚拟现实交互体验的重要因素。

现有的全景影像构建方法可分为折反射全景、鱼眼全景与拼接式全景三类。其中，折反射全景与鱼眼全景都难以完全覆盖360×180度的全立体角，并且存在局部虚焦和分辨率不均匀的问题。而拼接式全景兼具高分辨率和高成像质量的优点，通过合理的分镜头布局能够覆盖全立体角，逐渐成为目前主流的全景影像构建方法。

拼接式全景成像首先采用拼接融合的方式将多路影像合成为一路更大视场角(Field-Of-View，FOV)、更高分辨率的全景影像，然后根据用户的视线方向和视场角大小，将全景影像的部分内容经投影变换后呈现给用户。在多路影像采集过程中，由于光学结构的限制，多路相机的光心并不能完全重合，导致图像重叠区域的物体形状和大小不一致，即存在结构偏差，进而造成拼接所得全景影像中存在模糊、扭曲、断裂等视觉异常现象。近年来，大量基于不同数学原理的局部自适应全景拼接方法被提出，以消除结构偏差对全景影像质量的影响。但由于拍摄过程中大量不可控因素的存在以及自然场景本身的复杂性，这一难题并未得到完善的解决。

发明内容

本发明的目的是通过以下技术方案实现的。

本发明提出一种面向虚拟现实交互的冗余视场全景影像构建方法。不同于现有方法先拼接后投影变换的技术路线，所提方法并不显式地生成全景影像，而是通过对影像采集装置以及相应交互算法的设计，在多图像配准等初始化操作基础上，直接将投影变换后的原始影像呈现给用户，当用户视线方向变化或视场角增大以致视野范围超出当前原始影像时，平滑地将当前呈现的影像内容来源切换为相应方向的另一原始影像，避免了全景拼接过程中视觉异常现象的出现，改善了虚拟现实交互的用户体验。

具体地，本发明采用的技术方案是：

一种面向虚拟现实交互的冗余视场全景影像构建方法，包括以下步骤：

S1.设计并搭建冗余视场的多路影像采集装置，确保在视场角不超过一定阈值的情况下，任意视线方向的整个视野范围都同时被至少两路原始影像覆盖；

S2.在S1中搭建得到的多路影像采集装置的基础上，采用光束平差法配准得到多路原始影像、全景成像平面以及呈现给用户的观察图像平面之间的投影变换关系；

S3.在S1中搭建得到的多路影像采集装置与S2中配准所得投影变换关系的基础上，基于视线方向与视场角的变化，建立用户视野中所呈现影像内容来源的平滑切换策略，以实现高质量的虚拟现实交互。

进一步地，所述步骤S1的具体方法包括：

为实现任意实现方向的冗余视场，相邻两路相机的重叠视场要大于常规情况下的人眼视场。本发明采用环形分布于水平圆周支架上的四路超广角鱼眼相机进行原始影像的采集。记单路鱼眼相机的水平方向视场角为θ_f，各路相机均匀地分布于圆周支架上，因此相邻两相机的光轴夹角为θ_r＝90°，则相邻两路相机水平方向的重叠视场角为θ_a＝θ_f-θ_r＝θ_f-90°。

人眼在放松状态下左右扫一眼的横向视场角为120度，极限状态可接近180度。虚拟现实头显所呈现的画面要符合人体构造和行为习惯才能保证沉浸感的实现，因此，对于头戴式显示器，最佳视场角是120度。对于借助手机等移动设备显示屏的VR眼镜，由于设备体积的限制，沉浸感最好的视场角则通常在80到90度之间。

若采用θ_f＝220°的超广角鱼眼相机进行原始影像采集，则重叠视场角θ_a＝130°，大于常规情况下人眼120度的水平视场角，能够满足一般情况下虚拟现实交互的需求。

不同相机之间采用外触发的形式进行帧间同步，以确保各路影像之间的时间一致性。

进一步地，所述步骤S2的具体方法包括：

鱼眼镜头能够比普通镜头拍摄到更大试场的图像，但会造成图像中被拍摄物体的形变，原因在于鱼眼镜头的成像过程是非线性的，其映射函数(Mapping Function)不同于普通镜头，通常可写为：

r＝fθ

其中，θ为进入镜头的入射光线与光轴的夹角，f为相机的等效焦距，r为入射光线成像点与主点(光轴与图像平面的交点)的距离。

记空间中一点P在相机C_i的相机坐标系中的坐标为x_Ci＝(x_Ci,y_Ci,z_Ci)^T，将x_Ci映射到单位球面上得x_ni＝(x_ni,y_ni,z_ni)^T＝x_Ci/|x_Ci|，则入射角

θ_i＝arccos(z_ni)

考虑畸变的影响，实际入射角可表示为

θ_di＝θ_i(1+k_i1θ_i ²+k_i2θ_i ⁴+k_i3θ_i ⁶+k_i4θ_i ⁸)

其中，k_i＝(k_i1,k_i2,k_i3,k_i4)为鱼眼透镜的径向畸变参数。进一步计算沿x轴与y轴方向的入射角

上述变换过程可简化表示为

其中，f_i(·)是参数为k的可逆非线性函数。

最终，根据映射函数，可得入射光线成像点的图像坐标为

其中，为成像点的齐次图像坐标，K_i为相机C_i的内参数矩阵，具体形式为

记点P在相机C_i与C_j的相机坐标系中的坐标分别为x_Ci与x_Cj，二者之间的变换关系可表示为

x_Cj＝R_ijx_Ci+t_ij

其中，R_ij与t_ij分别为C_i相机坐标系到C_j相机坐标系的旋转矩阵与平移向量，属于多相机成像系统的外参数。通常情况下，被拍摄场景到相机的距离远大于相机之间的基线长度，即|x_Cj|≈|x_Ci|＞＞t_ij，因此，可近似地认为x_Cj＝R_ijx_Ci。

通过特征提取与匹配，得到相机C_i与C_j同步采集所得图像中的匹配特征点{(x_i,l,x_j,_l)l＝1,…,n_ij}。其中，n_ij为匹配特征点数量。则应有如下关系成立：

上式可简化表示为

x_j,_l＝Q_ij(x_i,l；K_i,K_j,k_i,k_j,R_ij)

其中，Q_ij(·)表示根据相机C_i与C_j的内外参数确定的投影变换关系，将相机C_i中成像点坐标映射到相机C_j图像平面的投影函数。

调用光束平差法(Bundle Adjustment)，将所有成像参数(相机内外参数与畸变参数)作为一个整体进行估计，其代价函数为

其中，m为相机数量。最小化代价函数E(·)可得相机内参数K_i，i＝1,…,m，畸变参数k_i，i＝1,…,m与外参数R_ij，i,j＝1,…,m。

记R_i1＝(r_i1x,r_i1y,r_i1z)，在C₁的相机坐标系中，相机C_i的光轴方向(即C_i相机坐标系z轴方向)可由R_i1的第三列r_i1z表示。设置用于生成全景影像的虚拟相机C_P，则C_P的y轴方向r_Py取为

其中，Z＝(r_11z,r_21z,…r_m1z)。上式可通过奇异值分解求解，r_Py的取值为Z^T最小特征值对应的右奇异向量(least significant right singular vector)。

C_P的x轴方向r_Px取为

r_Px＝r_Py×r_11z＝r_Py×(0,0,1)^T

C_P的z轴方向r_Px取为

r_Pz＝r_Px×r_Py

则C_P到C₁相机坐标系的旋转矩阵可表示为R_P1＝(r_Px,r_Py,r_Pz)。进一步地，可计算C_P到任意实体相机C_i的相机坐标系的旋转矩阵为R_Pi＝R_1iR_P1。则C_i相机坐标系下的空间点x_Ci在C_P相机坐标系下的坐标可表示为x_CP＝R_Pi ^Tx_Ci。

根据虚拟现实交互的需求设置虚拟相机C_P的的等效焦距f_P，通常取以等距矩形投影(Equirectangular Projection)作为全景影像的投影模型，则覆盖360×180度全立体角全景影像的分辨率为(2πf_P)×(πf_P)，C_P的内参数矩阵为

将x_CP映射到单位球面上x_nP＝(x_nP,y_nP,z_nP)^T＝x_CP/|x_CP|，则等距矩形投影所对应球面坐标可计算如下：

上述变换过程可简化表示为

其中,g_i(·)为可逆非线性函数

进一步可得到空间点x_CP在全景影像中的成像点x_P＝(x_P,y_P)^T

其中，为x_P的齐次坐标表示。

全景影像与实体相机C_i拍摄所得影像之间的投影关系可表示为

上式可简化表示为

其中，Q_Pi(·)为可逆非线性函数。

设置虚拟现实交互过程中用于生成第一人称透视影像的虚拟相机C_V，则C_V的光轴方向(即C_V相机坐标系z轴方向)平行于用户视线方向。设C_V相对于C_P的欧拉角为(β,α,γ)，其中β为偏航角，α为俯仰角和γ为滚转角(旋转依此围绕y轴、x轴、z轴，即先偏航，再俯仰，再滚转，顺时针为正)，则可得C_P到C_V相机坐标系的旋转矩阵为

则C_P相机坐标系下的空间点x_CP在C_V相机坐标系下的坐标可表示为x_CV＝R_PVx_CP。

虚拟相机C_V的内参数矩阵为

其中，f_V为C_V的等效焦距，θ_Vx与θ_Vy分别为C_V在x方向与y方向的视场角。进一步可得到空间点x_CV在第一人称透视影像中的成像点x_V＝(x_V,y_V)^T

其中，为x_V的齐次坐标表示。

第一人称透视影像与全景影像之间的投影关系可表示为

上式可简化表示为

x_P＝Q_VP(x_V；K_P,K_V,R_Pi,R_PV)

其中，Q_VP(·)为可逆非线性函数。

第一人称透视影像与实体相机C_i拍摄所得影像之间的投影关系可表示为

上式可简化表示为

x_i＝Q_Vi(x_V；K_i,k_i,K_V,R_Pi,R_PV)

其中，Q_Vi(·)为可逆非线性函数。

进一步地，所述步骤S3的具体方法包括：

在虚拟现实交互过程中，用户可以自主的选择视线方向(即相机C_V的光轴方向，也是C_V相机坐标系z轴方向)与绕视线方向的画面倾斜。据此可以确定C_V相对于C_P的欧拉角，进而得到C_P到C_V相机坐标系的旋转矩阵R_PV。本发明直接由实体相机拍摄所得原始影像通过投影变换生成第一人称画面。通常情况下，交互过程中欧拉角的变化是连续的，并且不会高速旋转视线方向(高速旋转视线方向会造成眩晕)。因此，用户视野中所呈现影像内容来源的切换不会过于频繁。为得到高质量的虚拟现实交互，首先要确定影像内容来源的切换时机。

根据多路影像采集装置结构可知，除视线方向指向正上方或正下方附近的极限情况外，用户的整个视野范围都被当前影像内容来源相机C_i所采集原始影像覆盖的条件为

θ_Vfi<(θ_f-θ_V)/2

其中，θ_f为C_i的水平视场角，θ_V为虚拟相机C_V沿水平方向的视场角，由于C_V是透视的，则θ_V可计算如下

虚拟相机C_V视场角θ_Vx与θ_Vy通常固定为某一特定值或由用户自由设定。θ_Vfi为当视线方向与相机C_i光轴的在水平方向的夹角，可计算如下

θ_Vfi＝β-β_Pi

其中，β_Pi分别为相机C_i光轴相对于相机C_P光轴的偏航角。记

则β_Pi可计算如下

当用户的整个视野范围即将无法被当前影像内容来源相机C_i所采集原始影像覆盖时，由于任意视线方向的整个视野范围都同时被至少两路原始影像覆盖，将影像内容来源切换为相邻的另一路原始影像即可。

为得到高质量的虚拟现实交互，本发明采用短时间内蒙太奇(Montage)渐变的方式进行影像内容来源的切换。给定以帧数表示的时间窗口t_M，则在切换过程中，第一人称影像的画面I(x,y；t)随时间t由当前时刻t₀到t₀+t_M的渐变过程可表示为

其中，I_init(x,y；t)与I_next(x,y；t)分别为切换前后原始影像来源经投影变换所得第一人称影像画面。

对于视场角θ_V>θ_a或视线方向指向正上方或正下方附近等较少出现的极限情况，采用多路原始影像经投影变换后羽化融合的方式生成用户第一视角影像，此时可能出现由拼接引起的视觉异常现象。

本发明提出一种面向虚拟现实交互的冗余视场全景影像构建方法。不同于现有方法先拼接后投影变换的技术路线，所提方法并不显式地生成全景影像，而是通过对影像采集装置以及相应交互算法的设计，在多图像配准等初始化操作基础上，直接将投影变换后的原始影像呈现给用户，当用户视线方向变化或视场角增大以致视野范围超出当前原始影像时，平滑地将当前呈现的影像内容来源切换为相应方向的另一原始影像，避免了全景拼接过程中视觉异常现象的出现，改善了虚拟现实交互的用户体验。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明的总体流程图。

图2为多路影像采集装置示意图。

图3为影像内容来源切换示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明提出一种面向虚拟现实交互的冗余视场全景影像构建方法。首先，设计并搭建冗余视场的多路影像采集装置，确保在视场角不超过一定阈值的情况下，任意视线方向的整个视野范围都同时被至少两路原始影像覆盖。然后，采用光束平差法配准得到多路原始影像、全景成像平面以及呈现给用户的观察图像平面之间的投影变换关系。最后，基于视线方向与视场角的变化，建立用户视野中所呈现影像内容来源的平滑切换策略，以实现高质量的虚拟现实交互。总体流程图如图1所示。

本发明提供的面向多人增强现实交互的空间一致性保持方法通过以下步骤实现：

S1.设计并搭建冗余视场的多路影像采集装置，确保在视场角不超过一定阈值的情况下，任意视线方向的整个视野范围都同时被至少两路原始影像覆盖；

为实现任意实现方向的冗余视场，相邻两路相机的重叠视场要大于常规情况下的人眼视场。如图2所示，本发明采用环形分布于水平圆周支架上的四路超广角鱼眼相机进行原始影像的采集。记单路鱼眼相机的水平方向视场角为θ_f，各路相机均匀地分布于圆周支架上，因此相邻两相机的光轴夹角为θ_r＝90°，则相邻两路相机水平方向的重叠视场角为θ_a＝θ_f-θ_r＝θ_f-90°。

人眼在放松状态下左右扫一眼的横向视场角为120度，极限状态可接近180度。虚拟现实头显所呈现的画面要符合人体构造和行为习惯才能保证沉浸感的实现，因此，对于头戴式显示器，最佳视场角是120度。对于借助手机等移动设备显示屏的VR眼镜，由于设备体积的限制，沉浸感最好的视场角则通常在80到90度之间。

若采用θ_f＝220°的超广角鱼眼相机进行原始影像采集，则重叠视场角θ_a＝130°，大于常规情况下人眼120度的水平视场角，能够满足一般情况下虚拟现实交互的需求。

不同相机之间采用外触发的形式进行帧间同步，以确保各路影像之间的时间一致性。

S2.在S1中搭建得到的多路影像采集装置的基础上，采用光束平差法配准得到多路原始影像、全景成像平面以及呈现给用户的观察图像平面之间的投影变换关系；

鱼眼镜头能够比普通镜头拍摄到更大试场的图像，但会造成图像中被拍摄物体的形变，原因在于鱼眼镜头的成像过程是非线性的，其映射函数(Mapping Function)不同于普通镜头，通常可写为：

r＝fθ

其中，θ为进入镜头的入射光线与光轴的夹角，f为相机的等效焦距，r为入射光线成像点与主点(光轴与图像平面的交点)的距离。

记空间中一点P在相机C_i的相机坐标系中的坐标为x_Ci＝(x_Ci,y_Ci,z_Ci)^T，将x_Ci映射到单位球面上得x_ni＝(x_ni,y_ni,z_ni)^T＝x_Ci/|x_Ci|，则入射角

θ_i＝arccos(z_ni)

考虑畸变的影响，实际入射角可表示为

θ_di＝θ_i(1+k_i1θ_i ²+k_i2θ_i ⁴+k_i3θ_i ⁶+k_i4θ_i ⁸)

其中，k_i＝(k_i1,k_i2,k_i3,k_i4)为鱼眼透镜的径向畸变参数。进一步计算沿x轴与y轴方向的入射角

上述变换过程可简化表示为

其中，f_i(·)是参数为k的可逆非线性函数。

最终，根据映射函数，可得入射光线成像点的图像坐标为

其中，为成像点的齐次图像坐标，K_i为相机C_i的内参数矩阵，具体形式为

记点P在相机C_i与C_j的相机坐标系中的坐标分别为x_Ci与x_Cj，二者之间的变换关系可表示为

x_Cj＝R_ijx_Ci+t_ij

其中，R_ij与t_ij分别为C_i相机坐标系到C_j相机坐标系的旋转矩阵与平移向量，属于多相机成像系统的外参数。通常情况下，被拍摄场景到相机的距离远大于相机之间的基线长度，即|x_Cj|≈|x_Ci|＞＞t_ij，因此，可近似地认为x_Cj＝R_ijx_Ci。

通过特征提取与匹配，得到相机C_i与C_j同步采集所得图像中的匹配特征点{(x_i,l,x_j,l)|l＝1,…,n_ij}。其中，n_ij为匹配特征点数量。则应有如下关系成立：

上式可简化表示为

x_j,_l＝Q_ij(x_i,l；K_i,K_j,k_i,k_j,R_ij)

其中，Q_ij(·)表示根据相机C_i与C_j的内外参数确定的投影变换关系，将相机C_i中成像点坐标映射到相机C_j图像平面的投影函数。

调用光束平差法(Bundle Adjustment)，将所有成像参数(相机内外参数与畸变参数)作为一个整体进行估计，其代价函数为

其中，m为相机数量。最小化代价函数E(·)可得相机内参数K_i，i＝1,…,m，畸变参数k_i，i＝1,…,m与外参数R_ij，i,j＝1,…,m。

记R_i1＝(r_i1x,r_i1y,r_i1z)，在C₁的相机坐标系中，相机C_i的光轴方向(即C_i相机坐标系z轴方向)可由R_i1的第三列r_i1z表示。设置用于生成全景影像的虚拟相机C_P，则C_P的y轴方向r_Py取为

其中，Z＝(r_11z,r_21z,…r_m1z)。上式可通过奇异值分解求解，r_Py的取值为Z^T最小特征值对应的右奇异向量(least significant right singular vector)。

C_P的x轴方向r_Px取为

r_Px＝r_Py×r_11z＝r_Py×(0,0,1)^T

C_P的z轴方向r_Px取为

r_Pz＝r_Px×r_Py

则C_P到C₁相机坐标系的旋转矩阵可表示为R_P1＝(r_Px,r_Py,r_Pz)。进一步地，可计算C_P到任意实体相机C_i的相机坐标系的旋转矩阵为R_Pi＝R_1iR_P1。则C_i相机坐标系下的空间点x_Ci在C_P相机坐标系下的坐标可表示为x_CP＝R_Pi ^Tx_Ci。

根据虚拟现实交互的需求设置虚拟相机C_P的的等效焦距f_P，通常取f_P＝m_iax(f_i)。以等距矩形投影(Equirectangular Projection)作为全景影像的投影模型，则覆盖360×180度全立体角全景影像的分辨率为(2πf_P)×(πf_P)，C_P的内参数矩阵为

将x_CP映射到单位球面上x_nP＝(x_nP,y_nP,z_nP)^T＝x_CP/|x_CP|，则等距矩形投影所对应球面坐标可计算如下：

上述变换过程可简化表示为

其中,g_i(·)为可逆非线性函数

进一步可得到空间点x_CP在全景影像中的成像点x_P＝(x_P,y_P)^T

其中，为x_P的齐次坐标表示。

全景影像与实体相机C_i拍摄所得影像之间的投影关系可表示为

上式可简化表示为

其中，Q_Pi(·)为可逆非线性函数。

设置虚拟现实交互过程中用于生成第一人称透视影像的虚拟相机C_V，则C_V的光轴方向(即C_V相机坐标系z轴方向)平行于用户视线方向。设C_V相对于C_P的欧拉角为(β,α,γ)，其中β为偏航角，α为俯仰角和γ为滚转角(旋转依此围绕y轴、x轴、z轴，即先偏航，再俯仰，再滚转，顺时针为正)，则可得C_P到C_V相机坐标系的旋转矩阵为

则C_P相机坐标系下的空间点x_CP在C_V相机坐标系下的坐标可表示为x_CV＝R_PVx_CP。

虚拟相机C_V的内参数矩阵为

其中，f_V为C_V的等效焦距，θ_Vx与θ_Vy分别为C_V在x方向与y方向的视场角。进一步可得到空间点x_CV在第一人称透视影像中的成像点x_V＝(x_V,y_V)^T

其中，为x_V的齐次坐标表示。

第一人称透视影像与全景影像之间的投影关系可表示为

上式可简化表示为

x_P＝Q_VP(x_V；K_P,K_V,R_Pi,R_PV)

其中，Q_VP(·)为可逆非线性函数。

第一人称透视影像与实体相机C_i拍摄所得影像之间的投影关系可表示为

上式可简化表示为

x_i＝Q_Vi(x_V；K_i,k_i,K_V,R_Pi,R_PV)

其中，Q_Vi(·)为可逆非线性函数。

S3.在S1中搭建得到的多路影像采集装置与S2中配准所得投影变换关系的基础上，基于视线方向与视场角的变化，建立用户视野中所呈现影像内容来源的平滑切换策略，以实现高质量的虚拟现实交互。

在虚拟现实交互过程中，用户可以自主的选择视线方向(即相机C_V的光轴方向，也是C_V相机坐标系z轴方向)与绕视线方向的画面倾斜。据此可以确定C_V相对于C_P的欧拉角，进而得到C_P到C_V相机坐标系的旋转矩阵R_PV。本发明直接由实体相机拍摄所得原始影像通过投影变换生成第一人称画面。通常情况下，交互过程中欧拉角的变化是连续的，并且不会高速旋转视线方向(高速旋转视线方向会造成眩晕)。因此，用户视野中所呈现影像内容来源的切换不会过于频繁。为得到高质量的虚拟现实交互，首先要确定影像内容来源的切换时机。

如图3所示，根据多路影像采集装置结构可知，除视线方向指向正上方或正下方附近的极限情况外，用户的整个视野范围都被当前影像内容来源相机C_i所采集原始影像覆盖的条件为

θ_Vfi<(θ_f-θ_V)/2

其中，θ_f为C_i的水平视场角，θ_V为虚拟相机C_V沿水平方向的视场角，由于C_V是透视的，则θ_V可计算如下

虚拟相机C_V视场角θ_Vx与θ_Vy通常固定为某一特定值或由用户自由设定。θ_Vfi为当视线方向与相机C_i光轴的在水平方向的夹角，可计算如下

θ_Vfi＝β-β_Pi

其中，β_Pi分别为相机C_i光轴相对于相机C_P光轴的偏航角。记

则β_Pi可计算如下

当用户的整个视野范围即将无法被当前影像内容来源相机C_i所采集原始影像覆盖时，由于任意视线方向的整个视野范围都同时被至少两路原始影像覆盖，将影像内容来源切换为相邻的另一路原始影像即可。

为得到高质量的虚拟现实交互，本发明采用短时间内蒙太奇(Montage)渐变的方式进行影像内容来源的切换。给定以帧数表示的时间窗口t_M，则在切换过程中，第一人称影像的画面I(x,y；t)随时间t由当前时刻t₀到t₀+t_M的渐变过程可表示为

其中，I_init(x,y；t)与I_next(x,y；t)分别为切换前后原始影像来源经投影变换所得第一人称影像画面。

对于视场角θ_V>θ_a或视线方向指向正上方或正下方附近等较少出现的极限情况，采用多路原始影像经投影变换后羽化融合的方式生成用户第一视角影像，此时可能出现由拼接引起的视觉异常现象。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种面向虚拟现实交互的冗余视场全景影像构建方法，其特征在于包括以下步骤：

搭建冗余视场的多路影像采集装置，使得在视场角不超过阈值的情况下，任意视线方向的整个视野范围都同时被至少两路原始影像覆盖；

基于所述多路影像采集装置，采用光束平差法配准得到多路原始影像、全景成像平面以及呈现给用户的观察图像平面之间的投影变换关系；

基于所述多路影像采集装置与所述配准所得投影变换关系，基于视线方向与视场角的变化，建立用户视野中所呈现影像内容来源的平滑切换策略，以实现虚拟现实交互。

2.根据权利要求1所述的面向虚拟现实交互的冗余视场全景影像构建方法，其特征在于：

所述搭建冗余视场的多路影像采集装置，使得在视场角不超过阈值的情况下，任意视线方向的整个视野范围都同时被至少两路原始影像覆盖，包括：

采用环形分布于水平圆周支架上的四路超广角鱼眼相机进行原始影像的采集；

不同相机之间采用外触发的形式进行帧间同步，确保各路影像之间的时间一致性。

3.根据权利要求2所述的面向虚拟现实交互的冗余视场全景影像构建方法，其特征在于：

所述视场角为130度。

4.根据权利要求2或3所述的面向虚拟现实交互的冗余视场全景影像构建方法，其特征在于：

所述采用光束平差法配准得到多路原始影像、全景成像平面以及呈现给用户的观察图像平面之间的投影变换关系，包括：

调用光束平差法，将所有成像参数作为一个整体进行估计。

5.根据权利要求4所述的面向虚拟现实交互的冗余视场全景影像构建方法，其特征在于：

所述成像参数包括相机内外参数与畸变参数。

6.根据权利要求5所述的面向虚拟现实交互的冗余视场全景影像构建方法，其特征在于：

所述任意视线方向的整个视野范围都同时被至少两路原始影像覆盖的条件为：

θ_Vfi<(θ_f-θ_V)/2

其中，θ_f为实体相机的水平视场角，θ_V为虚拟相机沿水平方向的视场角，θ_Vfi为视线方向与实体相机光轴的在水平方向的夹角。

7.根据权利要求6所述的面向虚拟现实交互的冗余视场全景影像构建方法，其特征在于：

设用于生成第一人称透视影像的虚拟相机相对于用于生成全景影像的虚拟相机的欧拉角为(β,α,γ)，其中β为偏航角，α为俯仰角和γ为滚转角，则所述θ_V计算如下

其中，θ_Vx与θ_Vy为用于生成第一人称透视影像的虚拟相机的视场角。

8.根据权利要求7所述的面向虚拟现实交互的冗余视场全景影像构建方法，其特征在于：

所述θ_Vfi计算如下

θ_Vfi＝β-β_Pi

其中，β_Pi为实体相机光轴相对于用于生成全景影像的虚拟相机光轴的偏航角。

9.根据权利要求8所述的面向虚拟现实交互的冗余视场全景影像构建方法，其特征在于：

当用户的整个视野范围无法被当前影像内容来源相机所采集原始影像覆盖时，将影像内容来源切换为相邻的另一路原始影像。

10.根据权利要求9所述的面向虚拟现实交互的冗余视场全景影像构建方法，其特征在于：

采用短时间内蒙太奇渐变的方式进行所述影像内容来源切换；给定以帧数表示的时间窗口t_M，在切换过程中，第一人称影像的画面I(x,y；t)随时间t由当前时刻t₀到t₀+t_M的渐变过程表示为

其中，I_init(x,y；t)与I_next(x,y；t)分别为切换前后原始影像来源经投影变换所得第一人称影像画面。