CN103345736A - 一种虚拟视点绘制方法 - Google Patents

Abstract

本发明公开了一种虚拟视点绘制方法，所述方法包括：获取摄像机所拍摄的一组左右视点图像，对该组视点图像进行SIFT特征提取，生成特征点和特征向量；通过特征向量对左右视点图像的特征点进行基于欧式距离的特征匹配，获得匹配点对集合；对匹配点对集合使用随机抽样一致法和八点法计算基础矩阵；通过基础矩阵使用单应性分解计算左右视点图像的单应性矩阵，并使用对应的单应性矩阵对左右视点图像进行校正；对校正后的左右视点图像进行立体匹配，插值合成中间视点图像；对合成的中间视点图像进行后置变换，获得虚拟视点图像；对虚拟视点图像进行空洞填充，输出最终虚拟视点图像。本发明提高了实时性，扩大了应用范围，已制作成软件用于实验与应用。

Description

一种虚拟视点绘制方法

技术领域

本发明涉及图像处理及基于双目视觉的立体成像领域，特别涉及一种虚拟视点绘制方法。

背景技术

虚拟视点绘制技术是指通过两个或多个摄像机视点上所得到的同一三维场景的图像，计算出本不存在的虚拟摄像机视点的场景图像。它涉及计算机图形学、计算机视觉和数字图像处理等领域。

现有技术中主要通过基于图像的绘制（Image Based Rendering，IBR）实现虚拟视点绘制技术。不同的IBR技术可理解为全光函数（Plenoptic Function）在一定条件下的具体表现，IBR技术包括：使用隐含几何信息的IBR方法。

使用隐含几何信息的IBR方法只需要很少的输入图像，可以在一定误差条件下，以较小的代价来快速生成场景画面，同时所生成的图像质量很高，符合实时虚拟视点重现的要求。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有的虚拟视点绘制方法中一部分无法获得高质量的虚拟视点图像，另一部分则需要在采集图像前对摄像机进行费时的标定且需要同时获得深度图像，这些方法无法保证实时性，在宽基线情况下工作不够理想，使用范围较窄。

发明内容

本发明提供了一种虚拟视点绘制方法，本发明提高了实时性，扩大了应用范围，详见下文描述：

一种虚拟视点绘制方法，所述方法包括：

获取摄像机所拍摄的一组左右视点图像，对该组视点图像进行SIFT特征提取，生成特征点和特征向量；

通过所述特征向量对左右视点图像的特征点进行基于欧式距离的特征匹配，获得匹配点对集合；

对所述匹配点对集合使用随机抽样一致法和八点法计算基础矩阵；通过所述基础矩阵使用单应性分解计算左右视点图像的单应性矩阵，并使用对应的单应性矩阵对左右视点图像进行校正；

对校正后的左右视点图像进行立体匹配，插值合成中间视点图像；对合成的中间视点图像进行后置变换，获得虚拟视点图像；对所述虚拟视点图像进行空洞填充，输出最终虚拟视点图像。

所述对所述匹配点对集合使用随机抽样一致法和八点法计算基础矩阵的过程具体为：

首先从所述匹配点对集合中随机选择8个匹配点对，将所述8个匹配点对作为随机样本集，使用所述随机样本集通过八点法计算基础矩阵参数，建立一个基础矩阵候选模型；设立一个对极距离阈值，计算所有匹配点对相对于模型的对极距离，所述对极距离小于所述对极距离阈值的匹配点对符合所述基础矩阵候选模型，当符合所述基础矩阵候选模型后匹配点对的数量大于给定的数量阈值时，所述基础矩阵候选模型为要求解的基础矩阵。

所述对校正后的左右视点图像进行立体匹配，插值合成中间视点图像的过程具体为：

将所述校正后的左右视点图像中每一行分成若干个由相同亮度的连续像素点组成的等值段，然后在同一行的等值段中根据亮度的相似性建立对应关系，根据等值段对应关系及选择的虚拟投影中心在左右两个投影中心连线上的位置，使用线性插值计算出校正后的左右视点图像上对应点在中间视点图像上位置，并赋予亮度值。

所述对合成的中间视点图像进行后置变换，获得虚拟视点图像的过程具体为：

根据需求来设定虚拟视点图像的位置和角度,计算从合成的中间视点图像所在位置和角度处变换到设定的虚拟视点图像处的单应性矩阵,使用单应性矩阵的逆矩阵计算出与虚拟视点图像上的点对应的中间视点图像上的点,如果该中间视点图像上的点是空洞,则虚拟视点图像上与其对应的点也是空洞；如果该中间视点图像上的点不是空洞,则将该点的像素值赋给虚拟视点图像上与其对应的点。

本发明提供的技术方案的有益效果是：本方法只需获取同一三维场景下的两个不同视点的图像且无需获得深度图，采集图像前不需要对摄像机进行费时的标定，整个过程全自动，故适用范围广，应用性强。本发明综合SIFT特征提取、SIFT匹配、基础矩阵、图像校正、立体匹配、插值、后置变换以及空洞填充等，提出一套完整的实时虚拟视角绘制方法，提高了实时性，扩大了应用范围，已制作成软件用于实验与应用。

附图说明

图1为本发明的基于视图变形的实时虚拟视点绘制方法的流程；

图2为对极几何原理的示意图；

图3为视图变形中图像校正、立体匹配、后置变换三个步骤的示意图；

图4为第一对左右视点图像；

图5为通过第一对左右视点图像使用视图插值方法合成的虚拟视点图像；

图6为通过第一对左右视点图像使用本发明方法合成的虚拟视点图像；

图7为第二对左右视点图像；

图8为通过第二对左右视点图像使用第一对左右视点图像的基础矩阵和本发明方法合成的虚拟视点图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本方法首先判断摄像机的位置或角度是否发生变化，如果没有发生变化，则使用原有的基础矩阵进行后续处理；如果发生了变化，则对当前拍摄的左右视点图像进行特征提取、特征匹配并计算基础矩阵，然后根据基础矩阵计算单应性矩阵并采用视图变形技术（ViewMorphing）^[1]进行后续处理，其中，视图变形技术是使用隐含几何信息的IBR方法之一，该技术利用几何投影原理从同一三维场景下两个不同视点的图像重构出光心连线上的每一个新视点的图像。实际应用中，该技术受匹配精度的影响较大，下面对实时虚拟视点绘制方法进行详细介绍：

101：获取摄像机所拍摄的一组左右视点图像，对该组视点图像进行SIFT（尺度不变特征转换）特征提取，生成特征点和特征向量；

首先，将两台摄像机环绕景物放置，并调节摄像机使所拍摄的图像最大亮度相同。然后获取一组摄像机所拍摄的左右视点图像，对该组视图进行SIFT特征提取，左右视点图像都生成若干个特征点和特征向量。

SIFT特征^[2]对旋转、尺度缩放、仿射变换、视角变化、光照变化等图像变化因素保持一定的不变性，对物体运动、遮挡、噪声等因素也保持较好的可匹配性，适用于本发明中同一三维场景不同视点所拍摄图像的特征匹配。

102：通过特征向量对左右视点图像的特征点进行基于欧式距离的特征匹配，获得匹配点对集合；

采用特征向量的欧式距离作为特征点的相似性度量，并使用最近邻距离比值法^[2]进行判定，即从左视点图像中任选一个特征点A，将特征点A所对应的特征向量与右视点图像中所有特征点对应的特征向量分别进行基于欧式距离的计算，获取若干个欧式距离，当最小欧式距离与次最小欧式距离的比值小于某一阈值时，最小欧氏距离时右视图中所对应的特征点B与特征点A匹配正确，以此类推获得匹配点对集合。其中，本发明使用0.8作为阈值，具体实现时，根据实际应用中的需要进行设定，本发明实施例对此不做限制。

103：对匹配点对集合使用随机抽样一致RANSAC算法^[3]和八点法^[4]计算基础矩阵；

基础矩阵是摄像机在未标定的情况下同一三维场景中两个不同视点处得到的二维图像之间的对极几何关系的代数表示。为了清晰地解释基础矩阵的物理意义，下面将结合图2介绍对极几何原理。

图2是对极几何的示意图，两台摄像机分别由投影中心C₀、C₁和成像平面（投影中心对应的平行四边形）表示，投影中心C₀、C₁的连线叫做基线，基线与成像平面的交点称为极点，用e₀、e₁表示。两个投影中心C₀、C₁与三维空间点P₀所在的平面π叫做对极平面，对极平面与成像平面的交线称为极线（l₀和l₁），所有极线都经过极点（即极线l₀经过极点e₀，极线l₁经过极点e₁）。由于对极平面π相交左右成像平面于一对极线，可见一对极线间存在对应关系。

三维空间点P₀在左右成像平面所成的像点，用a₀、a₁表示，所成的像点在对应的极线上。即极点实际上是一台摄像机的投影中心在另一台摄像机的成像平面的所成的像点。投影中心C₀与其成像平面上的任意一点a₀所构成的射线在另一成像平面上的投影是一条线段，该线段即是极线l₁。因此，在寻找a₀的匹配点时，不用搜索整幅图像，而只需要在对应极线上搜索。这就是对极几何的极线约束，将搜索空间从二维降低为一维，不但可以明显提高匹配速度，还可以提高匹配准确度。

基础矩阵表示的就是对极几何所描述的图像点与其极线的对应关系。由于e₀在投影中心C₁的成像平面上的像点是e₁且极线存在对应关系（可得a₀与e₀所在的极线l₀和a₁与e₁所在的极线l₁之间有对应关系），因此可知获得了基础矩阵，就可以确定左右视点图像上极线的对应关系。

图2中的基础矩阵用F表示，点a₀和a₁的齐次坐标分别用m₀和m₁表示，极线l₀和l₁的齐次坐标分别用n₀和n₁表示，由基础矩阵定义可知

Fm₀=n₁   (1)

Fm₁=n₀   (2)

由于a₀在l₀上，a₁在l₁上，可知

n₀m₀ ^T=0   (3)

n₁m₁ ^T=0   (4)

由上面四个式子可得

m₁ ^TFm⁰=0   (5)

m₀ ^TFm₁=0   (6)

则可以根据左右视点图像对应点的关系求得基础矩阵。

RANSAC算法是一种通过迭代在一组包含离群的被观测数据中估算出数学模型参数的方法，本发明将该算法应用于基础矩阵计算，能够大幅降低匹配点对集合中误匹配点对对基础矩阵计算的影响，提高在实际应用中虚拟视点绘制的效果。使用RANSAC算法计算基础矩阵的基本思想是：首先从匹配点对集合中随机选择8个匹配点对，将8个匹配点对作为随机样本集，使用随机样本集通过八点法计算基础矩阵参数，建立一个基础矩阵候选模型。设立一个对极距离阈值，计算所有匹配点对相对于该模型的对极距离，认为对极距离小于距离阈值的匹配点对符合该基础矩阵候选模型，当符合基础矩阵候选模型后匹配点对的数量大于给定的数量阈值时，就认为这个基础矩阵候选模型就是要求解的基础矩阵，否则小于给定的数量阈值时，则这个基础矩阵候选模型不是最优的模型，重复上述过程直到找到基础矩阵最优模型。

其中，对极距离阈值和数量阈值根据实际应用中的需要进行设定，具体实现时，本发明实施例对此不做限制。

当摄像机的位置和角度未发生变化而景物发生变化时，投影中心C₀的成像平面上的像点a₀表示的是空间点P₁而不是P₀，但P₁在投影中心C₁的成像平面上的像点a₂依然在极线l₁上，故极线的对应关系不变。可得当摄像机的位置和角度未发生变化，基础矩阵不必重新计算。

104：通过基础矩阵使用单应性分解^[5]计算左右视点图像的单应性矩阵，并使用对应的单应性矩阵对左右视点图像进行校正，使其变换成平行视图；

利用基础矩阵计算出左右视点图像的单应性矩阵，使用左视点图像的单应性矩阵对左视点图像进行二维投影变换（即图像校正），使用右视点图像的单应性矩阵对右视点图像进行二维投影变换（即图像校正）。图像校正使变换后的图像满足标准平行双目视觉系统的要求（即图像间的对应极线平行于x轴且具有相同y轴坐标），图像校正是为了进行立体匹配时只需要在图像间同行进行搜索。

在图3中I₀上任意一点的齐次坐标为x₀，与x₀对应的

I₁、

上的点的齐次坐标分别为y₀、x₁、y₁，令F_x是I₀和I₁的基础矩阵、F_y是

和

的基础矩阵，则有

x₀ ^TF_xx₁=0    (7)

y₀ ^TF_yy₁=0    (8)

x₀与y₀的关系由单应性矩阵H₀表示，x₁与y₁的关系由单应性矩阵H₁表示，即

y₀=H₀x₀   (9)

y₁=H₁x₁   (10)

将式(9)、(10)代入式(8)可得

x₀ ^TH₀ ^TF_yH₁x₁=0   (11)

比较(7)、(11)可得

H₀ ^TF_yH₁=F_x    (12)

由于

和

是标准平行视图，可知F_y是已知且恒定的。F_x是由上一步求出，则可使用单应性分解求出H₀和H₁。知道了左右视点图像的单应性矩阵，便可以将I₀变换成和将I₁变换成

105：对校正后的左右视点图像进行立体匹配，插值合成中间视点图像；

立体匹配是指在校正后的左右视点图像上建立像素点的对应关系。本发明使用一种基于灰度特征的立体匹配方法，不仅能够保证匹配准确度，还能够达到实时性的要求。将校正后的左右视点图像中每一行分成若干个由具有相同亮度的连续像素点组成的等值段，然后在校正后的左右视点图像间同一行的等值段中根据其亮度的相似性建立对应关系。根据等值段对应关系及选择的虚拟投影中心在左右两个投影中心连线上的位置，使用线性插值计算出校正后的左右视点图像上对应点在中间视点图像上位置，并对其赋予对应的亮度值。合成的中间视点图像也是平行视图。由于左右视点图像在内容上可能存在差异，校正后的左右视点图像上的点并不能够全部建立对应关系，这会使合成的中间视点图像上存在空洞，在合成中间视点图像时记录空洞所在位置。图3中

和

合成

描述了上述过程。

106：对合成的中间视点图像进行后置变换，获得虚拟视点图像；

根据自己的需求来设定虚拟视点图像的位置和角度,计算从合成的中间视点图像所在位置和角度处变换到设定的虚拟视点图像处的单应性矩阵,使用单应性矩阵的逆矩阵计算出与虚拟视点图像上的点对应的中间视点图像上的点,如果该中间视点图像上的点是空洞,则虚拟视点图像上与其对应的点也是空洞；如果该中间视点图像上的点不是空洞,则将该点的像素值赋给虚拟视点图像上与其对应的点。使用这样的逆向映射能够减少在虚拟视点图像上空洞的数量。图3中变换成I_s描述了上述过程。

107：对虚拟视点图像进行空洞填充，改善视觉效果，输出最终虚拟视点图像。

对获得的虚拟视点图像上的空洞使用邻域范围像素点亮度值进行双线性插值实现空洞填充，然后对图像进行适度的平滑处理，本发明中使用的是3x3的中值滤波^[6]。至此，获得了最终的虚拟视点图像。

下面以具体的试验来验证本发明实施例提供的一种虚拟视点绘制方法的可行性，详见下文描述：

本发明的实验器材包括两台普通的摄像机，实验过程中将两台摄像机环绕景物放置，调节摄像机使所拍摄的图像最大亮度相同。本发明中使用左右两台摄像机采集的人脸图像作为实验数据，具体实现时可根据实际情况选择。图4为左右两台摄像机所拍摄的第一对左右视点图像。图5是通过视图插值（View Interpolation）^[7]方法使用第一对左右视点图像合成的虚拟视点图像，视图插值也是使用隐含几何信息的IBR方法之一，该方法同视图变形都只需要同一三维场景下两张不同视点处的普通图像，而不需要使用深度摄像机在获取普通图像的同时获取深度图像。图6是通过本发明的方法使用第一对左右视点图像合成的虚拟视点图像，与图5在视觉效果上对比可以明显地的看出图6比图5的效果更清晰，更有真实感。图7为左右两台摄像机所拍摄的第二对左右视点图像，使用由第一对左右视点图像计算的基础矩阵作为第二对左右视点图像合成虚拟视点图像时所需的基础矩阵，计算得到如图8的虚拟视点图像。由实验效果可见，在实际应用中，当摄像机的位置和角度没有发生变化时，可以不再计算基础矩阵并把原有的基础矩阵应用到后续图像。

参考文献

[1]S.M.Seitz and C.R.Dyer.View morphing.In SIGGRAPH96Conference Proceedings,pages21–30,1996.

[2]D.G.Lowe.Distinctive image features from scale-invariant keypoints.

International Journal of Computer Vision,60(2):91–110,2004.

[3]M.A.Fischler and R.C.Bolles.Random Sample Consensus:A Paradigm for ModelFitting with Applications to Image Analysis and Automated Cartography.

Communications of the ACM,24(6):381–395,1981.

[4]Zhengyou Zhang.Determining the epipolar geometry and its uncertainty:A review.International Journal of Computer Vision,27(2):161-195,1998.

[5]C.Loop and Zhengyou Zhang.Computing rectifying homographise for stereo vision.Proceedings of the IEEE Computer Society Conference on Computer Vision and PatternRecognition,v1,pages125-131,1999.

[6]冈萨雷斯.数字图像处理(第三版)[M].北京:电子工业出版社,2011.

[7]S.E.Chen and L.Williams.View interpolation for image synthesis.Proc ACM SIGGRAPH93Conf Computer Graphics,p279-285,1993.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种虚拟视点绘制方法，其特征在于，所述方法包括：

获取摄像机所拍摄的一组左右视点图像，对该组视点图像进行SIFT特征提取，生成特征点和特征向量；

通过所述特征向量对左右视点图像的特征点进行基于欧式距离的特征匹配，获得匹配点对集合；

对所述匹配点对集合使用随机抽样一致法和八点法计算基础矩阵；通过所述基础矩阵使用单应性分解计算左右视点图像的单应性矩阵，并使用对应的单应性矩阵对左右视点图像进行校正；

对校正后的左右视点图像进行立体匹配，插值合成中间视点图像；对合成的中间视点图像进行后置变换，获得虚拟视点图像；对所述虚拟视点图像进行空洞填充，输出最终虚拟视点图像。

2.根据权利要求1所述的一种虚拟视点绘制方法，其特征在于，所述对所述匹配点对集合使用随机抽样一致法和八点法计算基础矩阵的过程具体为：

首先从所述匹配点对集合中随机选择8个匹配点对，将所述8个匹配点对作为随机样本集，使用所述随机样本集通过八点法计算基础矩阵参数，建立一个基础矩阵候选模型；设立一个对极距离阈值，计算所有匹配点对相对于模型的对极距离，所述对极距离小于所述对极距离阈值的匹配点对符合所述基础矩阵候选模型，当符合所述基础矩阵候选模型后匹配点对的数量大于给定的数量阈值时，所述基础矩阵候选模型为要求解的基础矩阵。

3.根据权利要求1所述的一种虚拟视点绘制方法，其特征在于，所述对校正后的左右视点图像进行立体匹配，插值合成中间视点图像的过程具体为：

将所述校正后的左右视点图像中每一行分成若干个由相同亮度的连续像素点组成的等值段，然后在同一行的等值段中根据亮度的相似性建立对应关系，根据等值段对应关系及选择的虚拟投影中心在左右两个投影中心连线上的位置，使用线性插值计算出校正后的左右视点图像上对应点在中间视点图像上位置，并赋予亮度值。

4.根据权利要求1所述的一种虚拟视点绘制方法，其特征在于，所述对合成的中间视点图像进行后置变换，获得虚拟视点图像的过程具体为：

根据需求来设定虚拟视点图像的位置和角度,计算从合成的中间视点图像所在位置和角度处变换到设定的虚拟视点图像处的单应性矩阵,使用单应性矩阵的逆矩阵计算出与虚拟视点图像上的点对应的中间视点图像上的点,如果该中间视点图像上的点是空洞,则虚拟视点图像上与其对应的点也是空洞；如果该中间视点图像上的点不是空洞,则将该点的像素值赋给虚拟视点图像上与其对应的点。

Images