CN102547350B - 一种基于梯度光流算法合成虚拟视点方法及立体显示装置 - Google Patents

Abstract

本发明公开了一种基于梯度光流算法合成虚拟视点方法，包括以下步骤：开始步骤；用双目视差立体相机采集左视图像和右视图像，将左视图像作为初始图像，右视图像作为目标图像，虚拟视点看成相机在由左到右运动的过程中，等间隔地拍摄而成；利用一阶梯度光流估计，估计图像中各个像素点在由左视图像到右视图像的运动过程中产生的瞬时速度，即光流场；合成虚拟视点；结束步骤。还公开了一种基于以上合成虚拟视点方法的立体显示装置。本发明可用于立体显示技术领域，在满足人眼流畅地裸视观看三维视频的前提下，合成的虚拟视点图像平滑、自然，质量较好，能够满足基本三维显示器输入图像的要求。

Description

一种基于梯度光流算法合成虚拟视点方法及立体显示装置

技术领域

本发明涉及图像显示技术领域，尤其涉及一种基于梯度光流算法合成虚拟视点方法及立体显示装置。

背景技术

根据目前国内外调研的文献，裸视3D图像显示技术正逐步成为研究热点。利用视差相机拍摄的图像合成裸视三维显示器所需的虚拟视点合成图像算法，是裸视三维显示处理的关键技术。

目前，国内外针对虚拟视点合成算法的研究主要集中在两个方面：1)基于模型绘制法；2)基于图像绘制法。两种方法各有优缺点。基于模型绘制的方法合成的图像质量好，但由于该种方法是采用对三维场景进行建模来完成虚拟视点的合成，运算量大，所以合成速度较慢，往往满足不了实时的要求。基于图像绘制的方法合成速度较快，能够满足实时性要求，但在合成图像之前，需要对知道三维场景的几何信息及摄像机的精确物理模型参数，往往在校准过程中会产生较大误差，所以合成图像的质量较差。

发明内容

本发明解决的技术问题在于提出即能合成具有较好质量的图像，又能满足系统实时性要求的虚拟视点合成算法。

为了解决以上问题，本发明提供一种基于梯度光流算法合成虚拟视点方法，包括以下步骤：

开始步骤；

用双目视差立体相机采集左视图像和右视图像，将左视图像作为初始图像，右视图像作为目标图像，虚拟视点看成相机在由左到右运动的过程中，等间隔地拍摄而成；

利用一阶梯度光流估计，估计图像中各个像素点在由左视图像到右视图像的运动过程中产生的瞬时速度，即光流场；

合成虚拟视点；

结束步骤。

进一步，作为一种优选方案，在所述合成虚拟视点步骤之前，包括：对求出的光流场进行光流聚类，插值得到像素在均匀运动的假设下在任意虚拟视点中的位置。

本发明还公开了一种立体显示装置，包括：

图像采集处理模块，用双目视差立体相机采集左视图像和右视图像，将左视图像作为初始图像，右视图像作为目标图像，虚拟视点看成相机在由左到右运动的过程中，等间隔地拍摄而成；

梯度光流算法模块，利用一阶梯度光流估计，估计图像中各个像素点在由左视图像到右视图像的运动过程中产生的瞬时速度，即光流场；

虚拟视点合成模块，对求出的光流场进行光流聚类，插值得到像素在均匀运动的假设下在任意虚拟视点中的位置，合成虚拟视点；

基于多视点的渲染交织模块，用于立体显示前的交织；

三维显示模块，用于显示三维立体图像。

本发明实由于采用基于梯度光流算法来合成虚拟视点，在满足人眼流畅地裸视观看三维视频的前提下，合成的虚拟视点图像平滑、自然，质量较好，能够满足基本三维显示器输入图像的要求。

附图说明

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1梯度光流算法合成虚拟视点流程图；

图2裸视三维视频系统结构图；

图3虚拟视点合成原理示意图。

具体实施方式

以下参照图1-3对本发明的实施例进行说明。

为使上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

基本的裸视立体显示装置包括：采集、处理、传输和显示等模块。首先是采集模块，使用不同空间排列方式的多摄像机阵列采集得到三维视频信息，这时需对各摄像机进行标定与同步操作。为提高采集得到的信号质量，使其有利于后续的三维重建与显示，通常需要对采集得到的视频信息进行各种预处理操作，如自动曝光、自动聚焦和自动白平衡等。通常，为了减少视频的数据量，达到实时传输的目的。在视频的采集端，往往只采集所需视频的其中几路。那么，就需要通过已有的视点视频信息，利用虚拟视点合成算法，生成其他未拍摄的视点视频信息，从而进行三维场景重建等操作。最后，将处理后得到的多路视频信号表示为具有预先设定数据格式或交织方式的视频信号，通过裸视立体显示装置呈现给观看者进行观看。

一个具体的裸视立体显示装置如附图2所示，包括：图像采集处理模块1，用双目视差立体相机采集左视图像和右视图像，将左视图像作为初始图像，右视图像作为目标图像，虚拟视点看成相机在由左到右运动的过程中，等间隔地拍摄而成；梯度光流算法模块2，利用一阶梯度光流估计，估计图像中各个像素点在由左视图像到右视图像的运动过程中产生的瞬时速度，即光流场；虚拟视点合成模块3，对求出的光流场进行光流聚类，插值得到像素在均匀运动的假设下在任意虚拟视点中的位置，合成虚拟视点；基于多视点的渲染交织模块4，用于立体显示前的交织；三维显示模块5，用于显示三维立体图像。为了减少摄像机标定和同步操作带来的误差，图像采集处理模块1采用一种较新颖的视频获取方案——立体视觉系统(双目视差相机)。该系统集成了已经进行了标定操作的双摄像机，可以获得同步的左右两路视频信号。另外，基于裸视立体显示装置的要求，需要将9个来自不同视点的视频信息输入到三维显示模块5，经过交织处理后才能完成最终的三维显示，原理如附图3所示，其中左视图像7和右视图像9分别是从左右观看三维物体6的图像，虚拟视点图像8是来自不同视点的视频信号。所以，需要将采集得到的左右图像(7，9)，利用虚拟视点合成模块3合成出其他7个中间的虚拟视点。就目前国内外在虚拟视点合成模块3算法上的研究进展来看，基于模型绘制法和基于图像绘制法是主要的两种方法。基于模型绘制的方法合成的图像质量好，但运算量大，合成速度较慢，往往满足不了裸视三维显示系统实时性的要求。而基于图像绘制的方法合成速度较快，能够满足实时性要求，但这也是以损失图像的质量作为代价的。

正是基于以上分析，本发明提出了一种梯度光流算法，合成所需的7个虚拟视点。该算法能够弥补上述两种算法在效率和质量方面的不足，达到即能满足实时性要求，又能合成较好质量图像的目的。算法原理如附图3所示。需要合成的中间7个虚拟视点图像8可以看作是相机在由左到右运动的过程中，在不同的位置等间隔地拍摄而成的图像，那么通过估计像素在不同时刻的速度，就可求出在匀速运动的前提下像素的位置，进而合成虚拟视点。而光流是运动物体在观测成像面上像素运动的瞬时速度，所以，通过求出成像面上的光流场就可实现上述目标，流程见附图1。下面对梯度光流法合成虚拟视点方法的原理作简要介绍。

一种基于梯度光流算法合成虚拟视点方法，包括以下步骤：

在S11步骤，开始；

在S12、S13步骤，用双目视差立体相机采集左视图像和右视图像，将左视图像作为初始图像，右视图像作为目标图像，虚拟视点看成相机在由左到右运动的过程中，等间隔地拍摄而成；

在S14步骤，利用一阶梯度光流估计，估计图像中各个像素点在由左视图像到右视图像的运动过程中产生的瞬时速度，即光流场；

在S16步骤，合成虚拟视点；

在S17步骤，结束。

运动可以用运动场描述，运动场由图像中每个点的运动(速度)矢量构成。在某一特定的时刻，图像中一点对应目标表面的某个点，这两个点靠投影关系联系起来。假定物点相对于摄像机存在一定的运动，则这个运动会导致对应像点也产生速度，每个象素点的速度矢量构成运动场。

所谓光流是这图像中灰度模式运动速度，它是景物中可见点的三维速度矢量在成像平面上的投影，它表示了景物表面点在图像中位置的瞬间变换。根据视觉感知原理，客观物体在空间上一般是相对连续运动的，在运动过程中，投射到传感器平面上的图像实际上也是连续变化的。根据这一特性，可以得到基本的光流约束方程(optical flow constraint equation)，它表示灰度对时间的变化率等于灰度的空间梯度与光流速度的点积。

(E_x，E_y)g(u，v)＝-E_t                  (2-1)

E表示图像上的点(x，y)在时刻t的灰度，u和v表示光流在该点的水平和垂直移动分量。光流约束方程表明，如果一个固定的观察者观察一幅活动的场景，那么所得到的图像上某一点的灰度(一阶)时间变化率是场景亮度变化率与该点运动速度的乘积。

在图像上存在着大量的连续性、平滑性等性质，Horn和Schunck[3]所采用的方法的基本思想是在求解光流时，光流本身尽可能的平滑，即引入平滑性约束条件。将研究对象看作无变形刚体，其上面各相邻点具有相同的运动速度，这个条件可以用来帮助求解光流约束方程。根据相邻点具有相同运动速度的条件可知速度的变化率为零，得到欧拉方程。对欧拉方程进行一些变形，并对其求解，就要得到所要求出的光流场：

$u=\stackrel{\‾}{u}-\frac{E_x[E_x\stackrel{\‾}{u}+E_y\stackrel{\‾}{v}+E_t]}{{\mathrm{\λ}}^2+E_x^2+E_y^2}$

$v=\stackrel{\‾}{v}-\frac{E_y[E_x\stackrel{\‾}{u}+E_y\stackrel{\‾}{v}+E_t]}{{\mathrm{\λ}}^2+E_x^2+E_y^2}---(2-2)$

和

分别表示u邻域和v邻域中的均值，λ的取值主要考虑图中的噪声情况。如果噪声较强时，说明数据的置信度较低，需要更多地依赖光流约束，所以λ取值较大；反之λ取值较小。

为了加快运算速度，在估计出每个像素点的光流后，对图像中不同的目标进行光流聚类S15，插值得到像素在均匀运动的假设下在任意虚拟视点中的位置。然后再根据左图像合成中间的虚拟视点。

如上所述，对本发明的实施例进行了详细地说明，但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领域的技术人员来说是显而易见的。因此，这样的变形例也全部包含在本发明的保护范围之内。

Claims (5)

1.一种裸视立体显示用的基于梯度光流算法合成虚拟视点方法，其特征在于：包括以下步骤：

开始步骤；

用双目视差立体相机采集左视图像和右视图像，将左视图像作为初始图像，右视图像作为目标图像，虚拟视点看成相机在由左到右运动的过程中，等间隔地拍摄而成；

利用一阶梯度光流估计，估计图像中各个像素点在由左视图像到右视图像的运动过程中产生的瞬时速度，即光流场；

对求出的光流场进行光流聚类，插值得到像素在均匀运动的假设下在任意虚拟视点中的位置，进而合成虚拟视点；

结束步骤。

2.如权利要求1所述的裸视立体显示用的基于梯度光流算法合成虚拟视点方法，其特征在于：合成虚拟视点为7幅虚拟图像。

3.一种裸视立体显示装置，其特征在于，包括：

图像采集处理模块，用双目视差立体相机采集左视图像和右视图像，将左视图像作为初始图像，右视图像作为目标图像，虚拟视点看成相机在由左到右运动的过程中，等间隔地拍摄而成；

梯度光流算法模块，利用一阶梯度光流估计，估计图像中各个像素点在由左视图像到右视图像的运动过程中产生的瞬时速度，即光流场；

虚拟视点合成模块，对求出的光流场进行光流聚类，插值得到像素在均匀运动的假设下在任意虚拟视点中的位置，合成虚拟视点；

基于多视点的渲染交织模块，用于立体显示前的交织；

三维显示模块，用于显示三维立体图像。

4.如权利要求3所述的裸视立体显示装置，其特征在于：所述梯度光流算法模块、虚拟视点合成模块和基于多视点的渲染交织模块由一台计算机工作站实现。

5.如权利要求4所述的裸视立体显示装置，其特征在于：所述计算机工作站为双CPU。

Images