CN101799939A - 基于左右视点图像的中间视点快速、自适应生成算法 - Google Patents

Abstract

本发明属于图像处理技术，具体涉及基于左右视点图像的中间视点快速、自适应生成算法。为准确获取双镜头的多视点立体图像，得到真正虚拟视点处的图像，本发明采用的技术方案是，包括下列步骤：首先输入摄像机拍摄的左右两视点图像提取左右两幅图像的角点；使用归一化协方差的方法提取左右两视图的匹配的角点对；对左右两视图根据提取出的准确匹配点对经过逐点插入法进行Delaunay三角剖分；对于虚拟视点图像的每一个三角网格求出一个逆变换矩阵；利用逆变换矩阵，求出三角网格中每一点在左右视点图像中对应的点，将对应点的像素值赋给中间虚拟视点网格中的点，最终，可以产生中间虚拟视点的图像。本发明主要应用于图像处理。

Description

基于左右视点图像的中间视点快速、自适应生成算法

技术领域

本发明属于图像处理技术、基于双镜头的多视点立体图像的获取。具体讲本发明涉及基于左右视点图像的中间视点快速、自适应生成算法。

背景技术

目前的虚拟视点生成方案：

一、Eric Chen提出一种生成虚拟视点图像的方法，它首先要已知摄相机的位置方向参数和图像的像素深度信息，由此建立图像间的匹配关系，通过线性插值，可生成当前视点的虚拟场景画面。由于需预先提供相机参数和深度信息，这种方法在应用上有很大局限性。

二、McMillan提出一种通过重投影拼接生成新视点图像的方法，它假定采集的图像都是以相同的摄像机内参数拍摄的，而这是不可能实现的，因此，在应用中也存在局限性。

三、三维透视重投影本身不是一个线性变换，但是，对于平行面图像之间的重投影可以通过线性插值实现。Seitz根据这一性质，提出了VIEW MORPHING这种方法，将源图像变换到一个规范化的结构模式定义下，使得它们的图像平面与视点连线平行后，通过对应点插值产生对应于新视点的中间图像，再经过一个后置变换将中间插值生成的图像还原到初始的结构模式环境，从而实现新视点图像生成。Seitz提出了一种可以作为生成新视点图像的原理框架算法，但在实际应用中，受图像像素匹配精度影响，所得图像质量并不好。并且，该方法只适应摄像机环绕景物运动采集的源图像，对摄像机前后运动采集的图像无能为力。

四、大连理工大学的胡志萍在其博士论文《图像特征提取匹配和新视点图像生成技术研究》中提出一种基于摄像机横向和纵向移动采集的图像生成新视点图像的方法，该方法在生成图像中优先保证轮廓对应。对于通过摄像机横向和纵向运动采集的四幅图像的视点所围成的四边形内任意一新视点的图像，可通过生成两个纵向视点变化连线上的辅助视点图像实现。这两个辅助视点的连线通过新视点，围绕景物做的环绕运动。再由辅助视点图像生成新视点图像。

新视点图像生成算法具体如下

1.由基于点特征和线特征的宽基线匹配得到源图像之间的极线几何约束。

2.由直线段间的相对位置和极线几何约束关系确定两幅图像间的直线段对应关系再根据极线几何约束关系，确定两幅图像轮廓点的精确对应关系。

3.根据极点位置判断摄像机运动方式，如为摄像机纵向运动，经过预处理，确定远视点图像中的无对应区域。以远视点图像中的对应区域和近视点图像作为源图像。4.对两幅源图像进行校正，校正图像中对应极线位于同一水平线上，确定遍历整个图像的对应极线。把图像中所有源极线的位置，即源极线与图像边界的交点坐标，存于坐标数组中，把所有源极线上像素的颜色存于颜色数组中，相应的每条源极线的长度存于长度数组中。

5.对所有源极线按对应轮廓点进行分段，得到对应极线的对应段。把分段后的信息存于分段数组中，它们包括每段的起点和终点像素在源极线上的位置。

6.由动态规划匹配法根据灰度的相似性实现对应段内点与点之间的匹配。把匹配关系存于匹配数组中。

7.根据对应源极线上对应点之间的插值生成新视点校正图像的极线。生成极线的位置存于极线位置数组，生成极线的颜色存于极线颜色数组中，相应的每条极线的长度存于极线数组中。

8.根据保存的极线端点的位置，将新视点的校正图像后置变换为新视点图像。如为摄像机纵向运动采集图像，生成的为初始目标图像。

9.对摄像机前后运动时，处理极线上的无对应区域。

10.用周围像素点的加权平均来填补新视点图像中的空洞。

此算法针对的不是两幅视图平行的情况，首先得将图像预变换在同一平面上，然后进行匹配，且用的是动态规划的匹配方法，复杂度较高，插值生成后的图像还得进过后变换来得到最后的虚拟视点图像。预变换和后变换都会有偏差，导致最后得到的并不是真正虚拟视点处的图像。

发明内容

为克服现有技术的不足，本发明的目的在于准确获取双镜头的多视点立体图像，得到真正虚拟视点处的图像。

为达到上述目的，本发明采用的技术方案是，基于左右视点图像的中间视点快速、自适应生成算法，包括下列步骤：

首先输入摄像机拍摄的左右两视点图像，依据Harris算子分别提取左右两幅图像的角点；

使用归一化协方差的方法提取左右两视图的匹配的角点对，再利用RANSAC算法剔除错误的匹配点对；

对左右两视图根据提取出的准确匹配点对经过逐点插入法进行Delaunay三角剖分，形成三角网；

利用线性插值的方法找出中间虚拟视点图像对应的三角网，对于虚拟视点图像的每一个三角网格求出一个逆变换矩阵；

利用逆变换矩阵，求出三角网格中每一点在左右视点图像中对应的点，将对应点的像素值赋给中间虚拟视点网格中的点，最终，可以产生中间虚拟视点的图像。

所述使用归一化协方差的方法提取左右两视图的匹配的角点对，再利用RANSAC算法剔除错误的匹配点对，进一步细化为，首先在已提取出角点的左视图中取一角点P₁(i，j)，然后在待匹配的右视图中以像素点(i，j)为中心，取一个M×N的矩形，将矩形中的每个提取出来的角点P₂与P₁点进行相似度衡量，相似度大于预设阈值0.8的点即为可能匹配点。顺序将左视图中的每个特征点与右视图匹配，得到左右视图对中所有的可能的匹配角点对，最后利用RANSAC算法对匹配点对再进行错误匹配点对的剔除，其中，P_i与P₁的相似度衡量是用相关窗口(2k+1)(2l+1)内图像子区域的归一化协方差相关值来确定。

所述对左右两视图根据提取出的准确匹配点对经过逐点插入法进行Delaunay三角剖分，形成三角网，进一步细化为：

(1)构造一个超级三角形，包含所有散点，放入三角形链表；

(2)将点集中的散点依次插入，在三角形链表中找出其外接圆包含插入点的三角形，称为该点的影响三角形，删除影响三角形的公共边，将插入点同影响三角形的全部顶点连接起来，从而完成一个点在Delaunay三角形链表中的插入；

(3)根据优化准则对局部新形成的三角形进行优化。将形成的三角形放入Delaunay三角形链表；

(4)循环执行上述两步，直到所有散点插入完毕。

本发明可以产生如下的有益效果：

本发明所使用的算法是基于平行视图，所以避免了预变换和后置变换，并且匹配复杂度低，匹配精度高，所以整个系统的复杂度较低，生成的图像较好。本设计综合运用角点检测技术、匹配、三角剖分以及插值等，提出来了一套完整的中间虚拟视点生成算法，并可制作成软件，便于应用。

附图说明

图1SUSAN圆形模板。

图2在右视图搜索P₁(i，j)点的对应点。

图3逐点插入法图。

图4Delaunay网格的变形过程示意图图。

图5算法流程图图。

图6左视图。

图7右视图。

图8左视图角点图。

图9右视图角点图。

图10匹配后的左右视图。

图11三角剖分。

图12虚拟视点图像图。

具体实施方式

本本发明所使用的技术背景简介如下。

角点检测算法：

1、SUSAN算子

SUSAN算子使用的是圆形模板(又称为窗口或核)来进行角点探测，圆形模板有等方向性的特点.一股使用模板的半径为3～4个像元，如图1所示.

模板置于每一个像元，将模板的每一个像元与中心像元进行比较，

在模板中为像元

的灰度值，t为灰度差别的阈值，c叫做相似比较函数，

为模板中心的像素，

为其他的像素.模板中所有像元都进行这个比较，然后计算c的合计值n.

$n\left(\stackrel{\→}{r_0}\right)=\mathrm{\Σc}(\stackrel{\→}{r},\stackrel{\→}{r_0})---\left(2\right)$

合计值n就是USAN区域的像元个数，即获得了USAN区域的面积.下一步把它与几何阈值进行比较获得最终的响应函数.

式中：R为响应函数，g为固定阈值，探测角点时g选取

模板像元个数，7×7模板的

2、沈俊算子

对数字图像分别按行和列各进行两次反向的递归滤波计算。

设原数字图像f(x，y)，先按行进行(0≤x≤n)

f₁(x，y)＝f₁(x，y-1)+a₀×[f(x，y)-f₁(x，y-1)]    y＝1，2，3，…，n

f₂(x，y)＝f₂(x，y-1)+a₀×[f₁(x，y)-f₂(x，y+1)]   y＝n-1，n-2，…，1，0

式中，f₂(x，y)即为按行进行正、反向两次递归滤波后的输出，其中，a₀是(0，1)之间的一个数，当a₀越接近于1，边缘检测的定位精度越高；随着a₀的减小，抗干扰能力增强，但边缘细节丢失增多，边缘检测的精度将受影响。在此基础上再对它按列(0≤y≤n)进行两次正、反向滤波，即：

f₃(x.y)＝f₃(x-1，y)+a₀×[f₂(x，y)-f₃(x-1，y)]        x＝1，2，…，n

f₄(x，y)＝f₄(x+1，y)+a₀×[f₃(x，y)-f₄(x+1，y)]       x＝n-1，n-2，…，1，0

这样f₄(x，y)即为第一步运算结果。

计算f₄(x，y)与原图像的差，并对其进行二值化处理，将所有的正值都赋1，其他像素都为0。

设某一阈值t，除去二值化后面积小于阈值t的区域，则留下的区域的边界即为差值图像的零交叉点，为候选边缘点。

对于上述的每一零交叉点，取一个以该点为中心的窗口W，W中对应于二值化中1区域和0区域的两部分在原始图像中的灰度值的均值之差即作为该点的灰度梯度值，保留灰度梯度值大于某一阈值的零交叉点，即为最终求得的边缘。

3、Harris算子

Harris算子是本专利所使用的算子，是C.Harris和M.J.Stephens提出的一种基于信号的点特征提取算子，具有计算简单、提取的角点特征均匀合理、可以定量提取特征点以及算子稳定的特点。

匹配算法：

1、基于灰度匹配的方法：

这是本专利所使用的，基于灰度匹配的方法。也称作相关匹配算法，用空间二维滑动模板进行图像匹配，不同算法的区别主要体现在模板及相关准则的选择方面。

已有的基于灰度的匹配方法很多，如：Leese于1971年提出的MAD算法：为使模板匹配高速化。Barnea于1972年提出了序贯相似性检测法——SSDA法，这种算法速度有了较大提高，但是其精度低，匹配效果不好，而且易受噪声影响。随后陈宁江等提出的归一化灰度组合相关法，山海涛等提出基于灰度区域相关的归一化灰度匹配法等。其中，归一化积相关匹配法较其它方法更具有优势。

设参考图S是大小为M×M的图像，实时图T是大小为N×M的图像，并且M＞N。图像匹配是将实时图T叠放在参考图S上平移，模板覆盖下的那块大小为N×N的搜索范围图叫做子图S_uv，(u，v)为这块子图的左上角像点在图中的坐标，称为参考点，(u，v)的取值范围为：

1≤u，v＜M-N+1       (1)

归一化相关算法(NCC)：

$\mathrm{NCC}(u,v)=\frac{\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}(S_{u+x,v+y}-\stackrel{\‾}{S_{\mathrm{uv}}})(T_{\mathrm{xy}}-\stackrel{\‾}{T})}{\sqrt{\underset{x=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}{(S_{u+x,v+y}-\stackrel{\‾}{S_{\mathrm{uv}}})}^2}\sqrt{\underset{x=1}{\overset{N}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{(T_{\mathrm{xy}}-\stackrel{\‾}{T})}^2}}---\left(2\right)$

式中S_uv和T分别为像图和实时图的均值：

$\stackrel{\‾}{S_{\mathrm{uv}}}=\frac{1}{N^2}\underset{x=1}{\overset{N-1}{\mathrm{\Σ}}}\underset{y=1}{\overset{N-1}{\mathrm{\Σ}}}{S}_{\mathrm{uv}}(x,y)---\left(3\right)$

$\stackrel{\‾}{T}=\frac{1}{N^2}\underset{x=1}{\overset{N-1}{\mathrm{\Σ}}}\underset{y=1}{\overset{N-1}{\mathrm{\Σ}}}T(x,y)---\left(4\right)$

基于灰度相关匹配能够获得较高的定位精度，但是它的运算量大，难以达到实时性要求。

2、基于特征匹配的方法：

基于特征匹配的方法。首先在原始图像中提取特征，然后再建立两幅图像之间特征的匹配对应关系。

常用的特征匹配基元包括点、线、区域等显著特征。图像特征相比像素点数量上少得多，特征间的匹配度量随位置变化尖锐，容易找出准确的匹配位置，特征提取能大大减少噪声影响，对灰度变化、形变和遮挡有较强的适应力。基于特征的图像匹配方法在实际中的应用越来越广泛，也取得了很大的成果，基于图像特征的匹配方法主要有以下四种：

(1)图像点匹配技术。图像点匹配技术可以分为两类：一类是建立模板和待匹配图像的特征点集之间的点一点对应关系，然后计算对应点之间的相似性度量来确定图像匹配与否；另一类是无须建立显示的点-点对应关系，主要有最小均方差匹配、快速点匹配、Hausdorff点距离匹配等。

(2)边缘线匹配技术。边缘线可以通过区域分割、边缘检测等得到。采用边缘线段的优点是孤立边缘点的偏差对边缘线段的影响很小。还加入边缘连接性约束。

(3)闭合轮廓匹配技术。轮廓匹配，是模式识别和三维重建的一个最基本问题，常见的有Fourier描述子、HRP描述子等。Fourier描述子反映的是轮廓线的全局特征。HRP描述子相比则反映了闭合边界的局部特征，能够很好的处理轮廓线的局部变化和遮掩性，降低了算法的复杂度。

(4)使用高级特征的匹配技术。利用图像特征间的几何约束，将特征属性值之间简单比较的结果作为相似性度量，从而进一步提高匹配算法的速度。主要有图像匹配法、松弛法和能量最小化法等。基于特征匹配方法，一股都具有较好抗几何失真和灰度失真的能力，对噪声干扰也有一定的抑制能力，其难点在于自动、稳定、一致的特征提取，并且特征提取过程会损失大量的图像信息，因而不易硬件实现。目前，对自然环境下的景物图像进行分割或特征提取仍然是一项困难的工作。

三角剖分算法：

1、分治算法

Shamos和Hoey提出了分治算法的思想，并给出一个生成Voronoi图的分治算法。Lewis和Robinson将分治算法思想应用于生成Delaunay三角网。他们给出了一个“问题简化”算法，递归地分割点集，直至子集中只包含三个点而形成三角形，然后自下而上地逐级合并生成最终的三角网。以后Lee和Schachter又改进和完善了Lewis和Robinson的算法。

Lee和Schachter算法：

把点集{P_i}以横坐标为主，纵坐标为辅按升序排序，然后递归地执行以下步骤：

(1)把点集{P_i}分为近似相等的两个子集{P_L}和{P_R}。

(2)在{P_L}和{P_R}中生成三角网。

(3)用Lawson提出的局部优化算法LOP优化所生成的三角网，使之成为Delaunay三角网。

(4)找出连接{P_L}和{P_R}中两个凸壳的底线和顶线。

(5)由底线至顶线合并{P_L}和{P_R}中的两个三角网。

2、三角网生长法

Green和Sibson首次实现了一个生成Dirichlet多边形图的生长算法。Brassel和Reif也发表了类似的算法。McCullagh和Ross通过把点集分块和排序改进了点搜索方法，减少了搜索时间。Maus也给出了一个非常相似的算法。

三角网生成算法的基本步骤是：

(1)以任一点为起始点。

(2)找出与起始点最近的数据点相互连接形成Delaunay三角形的一条边作为基线，按Delaunay的两条基本性质，找出与基线构成Delaunay三角形的第三点。

(3)基线的两个端点与第三点相连，成为新的基线。

(4)迭代以上两步直至所有基线都被处理。

上述过程表明，三角网生长算法的思路是，先找出点集中相距最短的两点连接成为一条Delaunay边，然后按照Delaunay三角网的性质找出包含此边的Delaunay三角形的另一个端点，依次处理所有新生成的边，直至最终完成。

3、逐点插入法

逐点插入算法是本专利所采用的算法，思路非常简单，先在包含所有数据点的一个多边形中建立初始三角网，然后将余下的点逐一插入，用LOP算法确保其成为Delaunay三角网。

现有图像变形算法算法：

根据特征表达方式的不同，通常可以将常规的图像变形算法分为四种：网格变形算法，域变形算法，点变形算法和复杂特征变形算法。

1、图像网格变形算法

网格变形算法首先在图像中选择若干特征控制点，建立图像的特征网格模型，通过改变图像上有限的控制点，使图像的其余部分在某种规则的约束下自动调整，同时保证改变控制点的位置仅影响该点附近的一个小区域的图像。

网格变形技术最早是Douglas Smythe在电影Willow中成功应用的。这种方法首先用网格来控制图像扭曲，然后再采用溶解技术获得中间图像。该技术具有快速、直观和高效的优点.

Nishita等人利用非均匀控制网格描述特征，提出了基于2D样条网格映射的图像变形方法，该方法首先定义起始图像和终止图像间的对应网格点，网格点之间的位移通过插值方法进行计算。该方法变形速度快，具有局部控制功能，变形效果流畅逼真，但其变形控制较为困难。

宋德军等人利用B样条曲面方法构造图像变形中的映射关系，该算法首先在起始图像上标定一组特征点，插值生成B样条曲面，然后由用户操作改变特征点的位置，再插值生成与终止图像相对应的B样条曲面。该方法使得变形过程更容易控制，也更灵活，但是速度比较慢。

Kouzani等人提出了三角形网格变形算法，该算法能够获得更为丰富的变形效果；Takashi等人提出了多分辨网格插值的3D网格变形算法，这种算法易于数据存储，控制能力强，可以克服传统技术中存在的不稳定，难于控制以及联接不规则等缺点。

基于Delaunay三角剖分的图像变形方法总体上类似于基于网格变形的方法。

2、图像域变形算法

图像域变形算法是利用起始图像和终止图像中有代表性的线段对来定义两幅图像间的特征坐标映射，其他的点通过到线段的距离来确定对准关系。通常用逆向映射来估计图像变形，依次扫描目标图像的每一个像素，在原始图像中找出对应像素，这样目标图像的每一个像素都会有适当的填充。

图像域变形算法最早是由Thaddeus Beier和Shawn Neely提出的，这种方法比网格法更富有表现力且更加容易表达用户的设计思想。操作中只需要在起始图像和终止图像中的关键特征点处标定特征线段对，不必对非特征点进行标定，即可产生相当不错的流畅渐变效果。

Vitaly等人提出了利用同构平面三角形一致的凸边界特征实现变形的方法。该方法中的相应理论认为，如果相应顶点对准的两个平面三角形的拓扑结构相等，则他们是同构的。在变形过程中，通过角度和边长的插值计算中间平面三角形，三角形的局部特性可以稳定的保持，图像渐变效果自然。

王建宁等人提出了一种基于三角形特征对应的变形方法，该方法在离散的特征对应点的基础之上构造了一系列三角形之间的对应关系，然后通过三角形内部的线性关系求得图像间各点的对应关系。这种做法使得插值的区域缩小了，加强了局部的信息向导，在速度上取得了优势。同时由于本算法的开销与场景复杂度无关，而只与图像大小有关，所以容易取得快速、逼真的变形效果。

Lee等人提出了一个分段线性近似的最优化方法，该方法加快了域变形处理算法的速度，并且变形效果更加流畅自然。

3图像点变形算法

图像点变形算法是一种新的图像变形算法，其变形函数完全建立在对离散特征点插值的基础上。通常图像对于特征的描述可归纳为点、线段或者曲线的集合。另一方面，由于线段和曲线都是由点组成的，所以所有对于特征的描述可以完全统一为一个点集合。这样基于点特征的图像渐变增强了形状变化与交叉融合溶解度的控制，利用非统一混和技术还可以产生不同混和率下的更加有趣的特技动画效果。

Lee等人提出了基于能量函数的最小化算法，根据点对集合的位置约束产生C1-连续和一对一的变形，利用多网格松弛方法(MRM)求解产生变形或过渡变换率的线性系统。算法的关键问题是如何将特征用一个点集表示。算法可以产生自然的形变效果，避免图像折叠失真，但是其计算量较高。Lee等人还提出了多级自由形态变形(MFFD)的概念，是对Sederberg等人提出的FFD技术的扩展。通过分层控制格产生一一对应的C2-连续变形函数，得到流畅的图像渐变效果。算法增强了特征表现力，简化了人工操作。

自组织特征映射算法的主要目标是，自适应的在一个拓扑排序方式下，将任意维的模式变换到一维或者二维神经元阵列上。算法可应用到矢量量化、语音识别、人脸识别等不同领域。Su等人提出了基于Kohonen自组织特征映射的算法来实现2D图像的变形。利用一个简化的图像模型确定邻域位置函数，从而获得自然的变形效果，仅利用少量的控制点就可以提供丰富的图像渐变效果。

4、复杂特征变形算法

复杂特征变形算法中应用了一些先进技术和理论，这些技术对于传统方法进行了补充和扩展。传统技术的局限性包括，无法进行不同视角图像的渐变，无法填充形状变换产生的空洞，无法对单独的一幅图像进行渐变处理，无法实现超过两幅图像的渐变等等。复杂特征渐变已经弱化了传统意义上的特征的概念，更加注重渐变表达的生动性，以及超现实的视觉特技。

Seitz和Dyer提出了一种View Morphing技术，它可以保证生成图像的真实性，且不需要知道图像的3D信息，这避免了图像的3D重建，因而具有极大的应用价值。一股的视图变形技术需要知道图像的投影矩阵，可是用目前的技术，从图像直接获得投影矩阵是很困难的。View Morphing技术事先不需要知道图像的投影矩阵，就可以对摄像机刚体运动所获得的两幅图像进行插补运算，获得中间视点的图像.该算法具有手工操作量少，视觉效果自然的特点。

Paul等人提出了一种利用2D离散小波产生视点渐变的视角合成技术。该技术不需要摄像机校准和图像深度信息。首先估计出视点图像对的基本矩阵，然后进行平行视点转换和图像预变换。利用小波变换方法对变换后的图像对分层处理。两幅图像中的对应小波系数通过线性插值产生多分辨率的中间视点，最后进行图像后处理产生正确视点图像。

Lee等人扩展了传统的基于两幅图像间的变形技术，提出了基于多幅图像间的变形算法，它是一种有效的图像特征区域选择合成技术，可进行多幅图像控制选择区域间的无缝拼接或非统一的特征混和。

本发明目的在于：

目前，多视点立体图像的实时获取方法与技术仍然是多视点自由立体成像技术尚未解决的瓶颈问题。要实时采集多个视点的立体图像，通常的做法是用平行排列的N个摄像机同时拍摄同一场景，从而来获得不同位置(视点)的N幅图像。但这种方法本身存在许多问题：(1)系统笨重，实时采集不方便，只能用于固定场景的多视点立体图像获取。(2)由于舒适容像的需要，对多个摄像机的光学参数和成像参数的一致性程度提出了非常高的要求，给校准、光学系统的调整带来了很大的难度。(3)采集到的多视点图像数据量过大，不利于压缩、传输和存储。

而通过本发明提出的算法，不需要多台平行的摄像机，而只用两台平行的相隔一定距离的摄像机，获得两幅平行的有视差的图像，再通过本专利所使用的算法就可以生成两摄像机中间多个视点位置的虚拟视点图像。

下面进一步详细说明本发明的技术方案。

一.首先输入摄像机拍摄的左右两视点图像，依据Harris算子分别提取左右两幅图像的角点。

Harris算子是C.Harris和M.J.Stephens提出的一种基于信号的点特征提取算子，具有计算简单、提取的角点特征均匀合理、可以定量提取特征点以及算子稳定的特点。其处理过程表示如下：

$M=G\left(\tilde{s}\right)\⊗\left[\begin{array}{cc}{g^2}_x& g_x{g}_y\\ g_x{g}_y& {g^2}_y\end{array}\right]---\left(1\right)$

I＝det(M)-k·tr²(M)，k＝0.04         (2)

其中，g_x为x方向的梯度，g_y为y方向的梯度，G(s)为高斯模板，det为矩阵的行列式，tr为矩阵直迹，k为默认常数。矩阵I中每一点的元素值对应于原图相应点的兴趣值。

M阵的特征值是自相关函数的一阶曲率，如果两个曲率值都相当高，那么就认为该点是角点。

二.使用归一化协方差的方法提取左右两视图的匹配的角点对，再利用RANSAC算法剔除错误的匹配点对。

首先在已提取出角点的左视图中取一角点P₁(i，j)，然后在待匹配的右视图中以像素点(i，j)为中心，取一个(2k+1)×(2l+1)的矩形，其中k与l根据需要设定(本设计中k＝l＝3)，将矩形中的每个提取出来的角点P₂与P₁点进行相似度衡量，相似度大于预设阈值0.8的点即为可能匹配点。顺序将左视图中的每个特征点与右视图匹配，最后得到左右视图对中所有的可能的匹配角点对。

P_i与P₁的相似度衡量是用相关窗口(2k+1)(2l+1)内图像子区域的归一化协方差相关值来表示的。表示如图2。

取左视图特征点P₁(i，j)，右视图特征点P₂(i，j)。设左右视图中像素点(i，j)处的灰度值分别为I₁(i，j)，I₂(i，j)。

归一化协方差可定义为：

$\mathrm{Score}(I1,I2)=\frac{\underset{m=-k}{\overset{k}{\mathrm{\Σ}}}\underset{m=-l}{\overset{l}{\mathrm{\Σ}}}[I_1(i+m,j+n)-\stackrel{\‾}{I_1(i,j)}]\×[I_2(i+m,j+n)-\stackrel{\‾}{I_2(i,j)}]}{(2k+1)(2l+1)\sqrt{{\mathrm{\σ}}^2\left(I_1\right)\×{\mathrm{\σ}}^2\left(I_2\right)}}---\left(1\right)$

窗口大小：

S＝(2k+1)(2l+1)

2k+1，2l+1为窗口的长和宽。

左视图所选窗口内灰度方差：

$\mathrm{\σ}\left(I_1\right)=\frac{1}{S}\underset{m=-k}{\overset{k}{\mathrm{\Σ}}}\underset{n=-l}{\overset{l}{\mathrm{\Σ}}}{[I_1(i+m,j+n)-\stackrel{\‾}{I_1(i,j)}]}^2---\left(2\right)$

右视图所选窗口内灰度方差：

$\mathrm{\σ}\left(I_2\right)=\frac{1}{S}\underset{m=-k}{\overset{k}{\mathrm{\Σ}}}\underset{n=-l}{\overset{l}{\mathrm{\Σ}}}{[I_2(i+m,j+n)-\stackrel{\‾}{I_2(i,j)}]}^2---\left(3\right)$

I₁(i，j)和I₂(i，j)为左右视图所选窗口内灰度平均值。

$\stackrel{\‾}{I_1(i,j)}=\frac{1}{S}\underset{m=-k}{\overset{k}{\mathrm{\Σ}}}\underset{n=-l}{\overset{l}{\mathrm{\Σ}}}{I}_1(i+m,j+n)---\left(4\right)$

$\stackrel{\‾}{I_2(i,j)}=\frac{1}{S}\underset{m=-k}{\overset{k}{\mathrm{\Σ}}}\underset{n=-l}{\overset{l}{\mathrm{\Σ}}}{I}_2(i+m,j+n)---\left(5\right)$

通过上述求得的可能匹配点对中，可能存在一对多或者多对一的情况，因为是将左视图中角点在右视图中所有与其互协方差大于0.8的点作为了可能的匹配点对。

下一步需要从可能的匹配点中找出正在的匹配点对。设一对匹配点对为(m_1i，m_2j)，m_1i是左视图的一个点，m_2j是右视图中的匹配点，N(m_1i)是m_1i点的R领域点的集合，N(m_2j)是m_2j点的R领域点的集合，如果(m_1i，m_2j)是一个准确的匹配点对，在其领域内就可以看到很多的准确匹配点对(n_1k，n_2l)n_1k在m_1i附近，n_2l在m_2l附近。定义匹配强度SM，计算方法如下式：

$S_m(m_{1i},m_{2j})=c_{\mathrm{ij}}\underset{n_{1k}\∈N(m_{1i},)}{\mathrm{\Σ}}\left[\underset{n_{2l}\∈N\left(m_{2j}\right)}{\max }\frac{c_{\mathrm{kl}}\mathrm{\δ}(m_{1i},m_{2j};n_{1k},n_{2l})}{1+\mathrm{dist}(m_{1i},m_{2j};n_{1k},n_{2l})}\right]---\left(6\right)$

其中c_ij和c_kl是匹配点对(m_1i，m_2j)和(n_1k，n_2l)的互协方差，dist(m_1i，m_2j；n_1k，n_2l)是两对匹配点的平均距离，其定义如下式：

δ(m_1i，m_2j；n_1k，n_2l)的定义为式(8)：

r是距离差比例，定义如下式

$r=\frac{|\mathrm{dist}(m_{1i},n_{1k})-\mathrm{dist}(m_{2j},n_{2l})|}{\mathrm{dist}(m_{1i},m_{2j};n_{1k},n_{2l})}---\left(9\right)$

其中ε_γ距离差阈值，本设计中取为0.3.

利用公式(6)，就可以求出匹配强度SM，对于一对多的情况，如左视图的m_1i在右视图中有两个匹配点，分别为m_2j，m_2k，利用匹配强度的计算公式，分别计算出S_m(m_1i，m_2j)和S_m(m_1i，m_2k)，两个中值最大的就是正确的匹配点对。

上述找到的匹配点对中仍可能存在错误的匹配点对，利用RANSAC算法对匹配点对再进行错误匹配点对的剔除，其基本思想是：首先从观测数据集中随机选取8个匹配点对，称这8个匹配点对为随机样本集，通过随机样本集来计算基本矩阵参数，建立一个基本矩阵候选模型。设立一个对极距离阈值，计算所有匹配点对相对于该模型的对极距离，认为对极距离小于距离阈值的点符合基本矩阵候选模型，称这些点对为模型的支集，如果这个模型的支集足够大，RANSAC就认为这个基本矩阵就是我们要求解的基本矩阵。如果这个支集中匹配点对的数目小于给定的阈值，则这个模型不是最优的模型。重复上述过程直到找到基本矩阵最优模型。利用最优基本矩阵，将那些对极距离大于设定阈值的匹配点对剔除。

下面比较系统地叙述RANSAC算法：

基本步骤是：

1.样本空间中有n个匹配点对，随机样本集中需要有8个点对。

2.由随机样本集得到候选模型

S(S1，S2，S3，S4，S5，S6，S7，S8)——＞F(F1，F2，F3，F4，F5，F6，F7，F8)。

3.由F及对极距离阈值L，检测所有匹配点对，得到候选模型F的支集：M(m对)。

4.检测：是否m大于阈值T。

否，重新选8对匹配点，继续以上进程。

是，则得到目标模型F。

5.进步，以一致集M中m对匹配点对目标模型的参数F进行优化，得到优化后的模型F’。

6.利用优化的模型F，将对极距离大于阈值的匹配点对剔除。

7.每随机选点一次，设计数器count+1，重复k次没有找到模型参数，终止。

三.对左右两视图根据提取出的准确匹配点对经过逐点插入法进行Delaunay三角剖分，形成三角网。

(1)构造一个超级三角形，包含所有散点，放入三角形链表。

(2)将点集中的散点依次插入，在三角形链表中找出其外接圆包含插入点的三角形(称为该点的影响三角形)，删除影响三角形的公共边，将插入点同影响三角形的全部顶点连接起来，从而完成一个点在Delaunay三角形链表中的插入。具体做法如图3所示。

(3)根据优化准则对局部新形成的三角形进行优化。将形成的三角形放入Delaunay三角形链表。

(4)循环执行上述两步，直到所有散点插入完毕。

四.利用线性插值的方法找出中间虚拟视点图像对应的三角网，对于虚拟视点图像的每一个三角网格求出一个逆变换矩阵。

首先给定两幅图像，将这两幅图像分别称之为I_s和I_d，即源图像和目标图像，在这两幅图像上定义一系列相应的控制点对，由在源图像上的控制点系列和源图像矩形区域的4个顶点，可以在源图像上构造一个Delaunay三角网，此Delaunay三角网中的所有三角形组成了一个源控制网格M_s，它的形状由控制点的坐标和Delaunay三角剖分算法共同确定。第2个网格M_d指定了它们在目标图像中的对应位置。具体变形过程如图4所示，为简单起见，图中只有一个控制点。图中显示出网格M_s和M_d分别对左图和右图形成全覆盖，M_s和M_d一起用于定义空间坐标转变，此空间坐标转变将I_s中所有点映射到I_d上去。这些网格要求限于拓扑同构，即不允许有区域折叠和不连续的情况发生，对于实际的变形应用来说，这并不是一个十分苛刻的要求.因此，在M_d上的结点可以根据需要远离M_s，只要它们不引起自相交即可。此外，为了简化起见，这些网格仅限于有固定的边界。

由于三角形网格M_s和M_d限于拓扑同构，网格中的三角形为一一对应，并且它们对相应的图像I_s和I_d形成全覆盖，所以整个图像的变形可以简化为其中对应的三角形区域的变形。

将图4中的T_s变形为T_d采用反向变形技术。反向变形可以保证目标图像中每一个点都能在原始图像中找到对应的点，所以这里采用反向变形技术。

设T_s和T_d的对应顶点分别为P_S1、P_S2、P_S3和P₁、P₂、P₃，则由这6个点可唯一确定一个仿射变换：

$\left[\begin{array}{c}{P}_{\mathrm{sx}}\\ P_{\mathrm{sy}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{P}_{\mathrm{dx}}\\ P_{\mathrm{dy}}\\ 1\end{array}\right]---\left(10\right)$

式(10)中P_dx和P_dy为T_d中某点P_d的x，y坐标，P_sx和P_sy为T_s中对应点P_s的x，y坐标。令

$A=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\end{array}\right]---\left(11\right)$

则

$A=\left[\begin{array}{ccc}{P}_{S1x}& P_{S2x}& P_{S3x}\\ P_{S1y}& P_{S2y}& P_{S3y}\end{array}\right]{\left[\begin{array}{ccc}{P}_{1x}& P_{2x}& P_{3x}\\ P_{1y}& P_{2y}& P_{3y}\\ 1& 1& 1\end{array}\right]}^{-1}---\left(12\right)$

五.利用逆变换矩阵，求出三角网格中每一点在左右视点图像中对应的点，将对应点的像素值赋给中间虚拟视点网格中的点。最终，可以产生中间虚拟视点的图像。

只要三角形T_d没有退化为一条直线或一个点，式(12)是一定可解的，实际上若T_d发生了退化，但由于网格中所有的三角形的边界和与其相邻三角形的边界是重合的，式不可解也不影响整个图像变形的效果。

必须注意的是，因为三角形运动包含三角形形变，所以T_d内的像素点通过仿射变换映射到T_s内时不一定正好在图像像素的栅格上，即(P_sx，P_sy)不一定正好是整数，这时需要双线性内插得到预测图像。

(1)设(P_sx，P_sy)的整数部分为(P_sx0，P_sy0)，那么有dx＝P_sx-P_dx，dy＝P_sy-P_dy。

(2)T_d的预测图像由下式确定：

(P_dx，P_dy)＝(1-dx)(1-dy)(P_sx0，P_sy0)+(1-dx)dy(P_sx0，P_sy0+1)+dx(1-dy)(P_sx0+1，P_sy0)+dxdy(P_sx0+1，P_sy0+1)  (13)

下面结合附图进一步详细说明本发明：

(1)获取左视图图6和右视图图7。

(2)提取左右视图的角点，分别得到左视图和右视图的角点图，如图8，图9。

(3)对左、右视图进行角点匹配，剔除错误的匹配点。匹配后的左右视图如图10所示。

(4)依据角点对左视图进行Delaunay三角剖分，形成三角网。如图11所示。

(5)插值生成中间的虚拟试点。如图12所示。

Claims (3)

1.一种基于左右视点图像的中间视点快速、自适应生成算法，其特征是，包括下列步骤：

首先输入摄像机拍摄的左右两视点图像，依据Harris算子分别提取左右两幅图像的角点；

使用归一化协方差的方法提取左右两视图的匹配的角点对，再利用RANSAC算法剔除错误的匹配点对；

对左右两视图根据提取出的准确匹配点对经过逐点插入法进行Delaunay三角剖分，形成三角网；

利用线性插值的方法找出中间虚拟视点图像对应的三角网，对于虚拟视点图像的每一个三角网格求出一个逆变换矩阵；

利用逆变换矩阵，求出三角网格中每一点在左右视点图像中对应的点，将对应点的像素值赋给中间虚拟视点网格中的点，最终，可以产生中间虚拟视点的图像。

2.根据权利要求1所述的一种基于左右视点图像的中间视点快速、自适应生成算法，其特征是，所述使用归一化协方差的方法提取左右两视图的匹配的角点对，再利用RANSAC算法剔除错误的匹配点对，进一步细化为，首先在已提取出角点的左视图中取一角点P₁(i，j)，然后在待匹配的右视图中以像素点(i，j)为中心，取一个M×N的矩形，将矩形中的每个提取出来的角点P₂与P₁点进行相似度衡量，相似度大于预设阈值0.8的点即为可能匹配点。顺序将左视图中的每个特征点与右视图匹配，得到左右视图对中所有的可能的匹配角点对，最后利用RANSAC算法对匹配点对再进行错误匹配点对的剔除，其中，P_i与P₁的相似度衡量是用相关窗口(2k+1)(2l+1)内图像子区域的归一化协方差相关值来确定。

3.根据权利要求1所述的一种基于左右视点图像的中间视点快速、自适应生成算法，其特征是，所述对左右两视图根据提取出的准确匹配点对经过逐点插入法进行Delaunay三角剖分，形成三角网，进一步细化为：

(1)构造一个超级三角形，包含所有散点，放入三角形链表；

(2)将点集中的散点依次插入，在三角形链表中找出其外接圆包含插入点的三角形，称为该点的影响三角形，删除影响三角形的公共边，将插入点同影响三角形的全部顶点连接起来，从而完成一个点在Delaunay三角形链表中的插入；

(3)根据优化准则对局部新形成的三角形进行优化。将形成的三角形放入Delaunay三角形链表；

(4)循环执行上述两步，直到所有散点插入完毕。

Images