CN101414379B - 生成全景图像的设备和方法 - Google Patents

Abstract

公开了一种产生全景图像的方法和设备，用于产生平面主导的场景的多视点全景图像。该方法包括：估计每个均包含至少一个平面的输入图像中的主导平面；基于输入图像关于主导平面的位置关系将输入图像作变形处理，使输入图像之间部分重叠；以及融合输入图像，产生全景图像。利用本发明的上述设备和方法，可以在不需要先验知识的情况下，根据场景中的主导平面来缝合图像，进而形成多视点的全景图像。

Description

生成全景图像的设备和方法

技术领域

本发明涉及计算机图像处理技术，具体涉及一种生成全景图像的设备和方法，尤其是一种产生平面主导的场景的多视点的全景图像的设备和方法。

背景技术

近年来，图像缝合技术无论在日常生活中还是商业中都得到了越来越多的应用。例如，用户可以用相机拍摄下某一位置周围的局部的图像，然后利用图像缝合技术将这些局部的图像缝合起来，形成该位置的全景图像。或者，用手机上的摄像头拍摄下多幅小视场的画面，然后利用图像缝合技术将这些图像缝合在一起，形成大视场的画面。

例如，非专利文献1(M.Shi，and J.Y.Zheng，A Slit Scanning Depthof Route Panorama from Stationary Blur，Proc.of CVPR，Vol.1，pp.1047-1054，2005)提出以低速用高帧频的相机扫描场景，从每一帧中提取窄条，然后通过将这些窄条简单地缝合在一起来形成最终的全景图像。另外，还可以对窄条宽度进行调整，以部分地对付场景结构的深度变化带来的不利影响。

非专利文献2(A.Agarwalal et al.，Photographing Long Scenes withMulti-Viewpoint Panoramas，Sigraph06，pp.853-86 1，2006)提出在像素水平上，而并非在窄条水平上对图像进行缝合。例如，通过指定一些在最终的多视点全景图像中要体现出的特征，利用马尔可夫随机场最优化技术来基于这些特征从任意形状的图像区域形成全景图像。

非专利文献3(S.Kang，R.Szeliski，and M.Uyttendaele，SeamlessStitching using Multi-Perspective Plane Sweep，MSR-TR-2004-48)提出了基于场景结构来缝合图像。例如，将一对图像中的重叠区域分割成子区域，每个子区域被分配了各自的虚拟相机视角，然后针对每个子区域使用平面扫描算法(plane sweep algorithm)来获得相似景深的映射图，使得最终产生的全景图像的画面表现是一致的。

但是，上述非专利文献1提出的方法存在的问题是，构成的全景图像随着景深的变化产生了畸变，虽然通过调整窄条的宽度可以消除一些畸变，但是在景深沿着图像的垂直轴变化的情况下，产生的景深畸变则很难消除。另外，对于普通的用户来说，获得高速的视频摄像机也是很困难的。

另外，上述非专利文献2提出的方法存在的问题是，该方法只能处理大致上平坦的场景，而且要由用户自己来确定画面中的平面场景。在非专利文献2中，为了针对全景图像中的每个像素选择合适的视点，需要很强的运算能力来执行最优化操作。

另外，上述非专利文献3提出的方法存在的问题是，相邻图像中的直线在重叠区变成了曲线，为此，该方法只能在非重叠区对图像进行拼接。

因此，由于无法采集到任一场景图像的精确景深数据，尤其在以不同的角度拍摄的多个重叠物体的情况下，很难将图像精确地缝合在一起。如何在没有诸如景深和场景结构之类先验知识的情况下，来缝合多幅图像以形成全景图像，就成了一个非常困难的问题。

发明内容

鉴于上述问题，完成了本发明。本发明的目的是提供一种生成全景图像的设备和方法，能够根据场景中的主导平面缝合图像来形成平面主导场景的多视点以及高质量的全景图像。

在本发明的一个方面，提出了一种产生全景图像的方法，包括：估计每个均包含至少一个平面的输入图像中的主导平面；基于输入图像关于主导平面的位置关系将输入图像作变形处理，使输入图像之间部分重叠；以及融合输入图像，产生全景图像。

在本发明的另一方面，提出了一种产生全景图像的设备，包括：估计装置，用于估计每个均包含至少一个平面的输入图像中的主导平面；变形装置，基于输入图像关于主导平面的位置关系将输入图像变形，以使输入图像之间部分重叠；以及融合装置，融合所述输入图像，以产生全景图像。

利用本发明的上述设备和方法，可以在不需要先验知识的情况下，根据场景中的主导平面来缝合图像，进而形成多视点的全景图像。

另外，本发明通过不同图像中相应特征的聚类来确定不同的平面，从而解决了要估计景深的问题，并且可以估计不同平面对象的运动。

另外，基于场景图像中的平面结构来选择拼接缝，而非像传统技术那样将拼接缝选择为直线，进一步提高了全景图像的缝合质量。

附图说明

从下面结合附图的详细描述中，本发明的上述特征和优点将更明显，其中：

图1示出了根据本发明实施例的设备的结构框图；

图2是说明如图1所示的对应关系确定单元的操作过程的示意图；

图3是说明如图1所示的融合单元的操作过程的示意图；

图4(a)是说明‘鬼影’现象的示意图；

图4(b)是用本发明的方法消除了‘鬼影’现象的示意图；

图5是说明如何选择缝合线的示意图；

图6是本发明的方法的流程图。

具体实施方式

下面，参考附图详细说明本发明的优选实施方式。

图1示出了本发明实施例的设备的结构框图。如图1所示，根据本发明实施例的设备用于从输入的多幅图像产生全景图像，例如主要由建筑物的表面之类的表面构成的场景，街景或风景区景色等，该设备包括：对应关系确定单元10，用于从输入的两幅图像中找到二者之间的对应关系，例如图像I₁上的某个区域实际上对应于图像I₂上的某个区域，也就是说两图像中有部分是可以重叠的；平面结构估计单元20，利用参数变换算法，例如8参数变换算法或者2参数变换算法，根据所述对应关系确定单元10所确定的图像I₁和图像I₂之间的对应关系，基于图像的聚类特征来估计图像中平面的个数和位置；主导平面提取单元30，用于从图像所包含的多个平面中找到具有最大的视觉冲击的平面，作为主导平面，该主导平面是根据图像的特征进行选择的，具体选择过程以下详细描述；主导平面运动估计单元40，利用主导平面的参数变换来估计所确定的主导平面在不同图像之间的运动，在本实施例中采用8参数变换来实现；变形单元50，用于通过插值方法对图像I₁和图像I₂的主导平面进行插值，以便将图像I₁或者图像I₂变形成可彼此融合，并且使得二者部分重合；融合单元60，从图像I₁和图像I₂的重叠区域中选择出适当的区域，作为融合区，并且将图像I₁和图像I₂在融合区中的对应像素融合，从而将图像I₁和图像I₂缝合在一起；以及后处理单元70，用于对缝合后的图像进行均衡、对象移除和纹理修复之类的操作，进而输出最终的全景图像。

这样，针对其他的图像进行同样的操作，可以从相关联的多幅图像创建全景图像。下面结合附图2～5详细说明本发明的设备所包含的各个单元的具体处理过程。

图2是说明如图1所示的对应关系确定单元的确定输入图像之间的对应关系过程的示意图。如图2所示，对应关系确定单元10对输入的图像I₁和图像I₂进行特征检测，例如检测图像中的SIFT或者HarrisCorner，然后在二者之间进行特征匹配，从而确定图像I₁中的特征与图像I₂中的特征之间的对应关系。例如图2中所示的区域P1中的若干个特征分别对应于图像I₂中区域P1’的相应特征，则可以建立起区域P1和区域P1’之间的对应关系。同理，图像I₁中的区域P2的若干个特征与图像I₂中区域P2’中的特征之间存在匹配关系，则建立起区域P2和区域P2’的对应关系。

在建立起对应关系之后，平面结构估计单元20对图像I₁和图像I₂中的平面结构进行估计，以便确定图像I₁和图像I₂中的平面个数和位置。不同视点和视角拍摄对平面进行拍摄所获得图像可以由非专利文献4(R.Szeliski，Image Mosaicing for Tele-Reality Applications，Digital Equipment Corporation Cambridge Research Lab，TechnicalReport CRL-94-2，1994)所描述的8参数变换来建立联系。该非专利文献4通过引用被合并于此。

假设图像I₁中的像素(x₁，y₁)在图像I₂中的对应像素是(x₂，y₂)，则下面的等式成立：

$x_2=T_x(x_1,y_1)=\frac{m_0{x}_1+m_1{y}_1+m_2}{m_6{x}_1+m_7{y}_1+1},$ $y_2=T_y(x_1,y_1)=\frac{m_3{x}_1+m4y_1+m_5}{m_6{x}_1+m_7{y}_1+1}\·\·\·\left(1\right)$

其中m₀～m₇是8个参数。由于存在8个参数，因此用4个非退化的对应对(corresponding pair)就可以完全计算出参数矢量[m₀，m₁，m₂，m₃，m₄，m₅，m₆，m₇]’，它对应于8维空间中的一个点。

然后，在平面结构估计单元20中，利用聚类的方法，例如非专利文献5(A.K.Jain，M.N.Murty，and P.J.Flynn，Data Clustering：A Review，ACM Computing Surveys，Vol.31，No.3，September 1999)所描述的凝聚聚类方法，来确定场景图像中所包含的平面的个数，它等于聚类的个数，而8参数可以用来描述每一个平面。该非专利文献5通过引用被合并于此。

换言之，通过聚类算法，将图像中的特征聚类之后，通过判断图像中聚类的个数就可以判断出图像中包含的平面的数目，并且通过前面提到的8参数来描述每个平面，它可以通过聚类的均值来估计。

如上所述，主导平面提取单元30用来提取平面结构估计单元20所估计出的平面中的主导平面，也就是这些平面中最具有视觉冲击的平面。例如，将与平面结构估计单元20所估计图像中的最大的那个聚类所对应的平面选择为主导平面。但是，由于未考虑到图像覆盖面积的大小，这种方法可能会不准确。为了进一步提高主导平面的判断准确度，可以从这些平面中寻找其8参数变换在图像I₁和图像I₂之间具有最小强度差的那个平面。上述的强度差通常用均方差来衡量：

$\mathrm{MSE}=\underset{x,y\∈I_2}{\mathrm{\Σ}}{(I_1(T_x(x,y),T_y(x,y))-I_2(x,y))}^2---\left(2\right)$

当然，也可以对覆盖面积、聚类尺寸和MSE进行加权求和的方式来确定哪个平面是主导平面。这样，可以对输入图像I₁和图像I₂分别确定两图中的主导平面，例如图像I₁中的区域P1和图像I₂中的区域P2。

然后，主导平面运动提取单元40通过对图像I₁和图像I₂中的主导平面进行8参数变换来确定主导平面在两幅图像之间的运动量，也就是确定图像I₁中的主导平面和图像I₂中的主导平面之间的相对位置。

接下来，变形单元50根据所确定的图像I₁和图像I₂的主导平面之间的位置关系，利用预定的插值算法来对图像I₁和/或图像I₂进行变形(warp)，以便将二者部分重叠，如图3所示。

如上所述，融合单元60对图像I₁和图像I₂之间的重叠区域中选定的融合区域进行融合，而非对整个重叠区进行融合，以便保证图像I₁和图像I₂之间的平滑过渡。在融合区之外，最终合成图像的内容分别来自图像I₁和图像I₂。图3示出了已经通过8参数变换变形后的一副图像与另一幅图像之间的重叠区和融合区。

如图3所示，图像I₁和图像I₂在水平方向上有平移，并且在垂直方向上也有平移，因此形成了由阴影部分表示的矩形重叠区域。在重叠区域中，可以将重叠区中间线两侧的区域作为融合区，也可以按照某种准则选择其他部分的区域作为融合区，例如从图3中可以看出，融合区域的中间线偏离了重叠区域的中间线一段距离。

如上所述，选择融合区的一个方法是将重叠区的中间线两侧的区域作为融合区，这是因为在每幅图像的中间区域由相机的透镜所产生的畸变是最小的。这种方法对于缝合主导平面所占据的区域是非常有利的。但是对于由其他平面所占据的区域的缝合，将会产生如图4(a)所示的‘鬼影’现象。

为了消除‘鬼影’现象，就需要寻找出最优的融合区，也就是两幅图像的重合区中相互之间具有最小强度差的区域，来进行图像的缝合。因此，通过使下式最小化来求出最优融合区：

$\underset{B_1,B_2\⋐\mathrm{\Ω}}{J(\mathrm{\α},\mathrm{\β})}=\underset{\stackrel{(X_1+\mathrm{\α},y_1+\mathrm{\β})\∈B_1}{(x_2+\mathrm{\α},y_2+\mathrm{\β})\∈B_2}}{\mathrm{\Σ}}{(I_1(x_1+\mathrm{\α},y_1+\mathrm{\β})-I_2(x_2+\mathrm{\α},y_2+\mathrm{\β}))}^2...\left(3\right)$

其中I₁和I₂是两幅图像中对应像素的强度，α是从重叠区域的中间线算起的水平位移，β是从底边算起的垂直位移，Ω表示重叠区，B1和B2分别表示图像I₁和图像I₂的融合区。图4(b)示出了基于最优融合区进行图像缝合后得到的结果，从图4(b)中可以看出，‘鬼影’现象被消除了，图像质量明显提高。

作为另一选择，缝合线并非必须是如图3所示的直线，而是可以是曲折线。例如，利用平面结构估计单元20所得到的结果，可以得知缝合线必定横穿主导平面而不会横穿其他的平面。如图5所示，缝合线穿过了图像I₁和图像I₂的主导平面P1和P1’，而绕开了其他的平面P2、P2’、P3和P3’。这样，既能够使得主导平面的缝合过程中不会产生‘鬼影’现象，也将缝合操作对其他平面的影响降低到最低。

在将图像I₁和图像I₂进行融合之后，后处理器70对缝合后的图像进行均衡、对象移除和纹理修复之类的操作，进而输出最终的全景图像。

虽然上面以8参数变换为例，对本发明的实施例做了描述，但是也可以利用2参数变换来描述摄像机的运动，尤其在摄像机焦距固定，垂直于所拍摄的场景并且随着运动方向运动时。2参数变换包括水平和垂直两个方向的位移，可以表示如下：

x₂＝T_x(x₁，y₁)＝x₁+Δx，y₂＝Ty(x₁，y₁)＝y₁+Δy    …(4)

其中Δx表示由于摄像机的移动引起的主导平面在水平方向的位移，而Δy表示由于摄像机的抖动引起的主导平面在垂直方向的位移。在这种情况下，上述提及的聚类算法可以用来分析二维空间中的平面结构，这可以在保持图像质量的情况下大大提高处理效率。

下面对照附图6说明根据本发明实施方式的方法的流程图。

如图6所示，在步骤S601，对应关系确定单元10对输入的图像I₁和图像I₂进行特征检测，例如检测图像中的SIFT或者Harris Corner，然后在二者之间进行特征匹配，从而确定图像I₁中的特征与图像I₂中的特征之间的对应关系。

在步骤S602，在建立起对应关系之后，平面结构估计单元20对图像I₁和图像I₂中的平面结构进行估计，以便确定图像I₁和图像I₂中的平面个数和位置。不同视点和视角拍摄对平面进行拍摄所获得图像可以由非专利文献4(R.Szeliski，Image Mosaicing for Tele-RealityApplications，Digital Equipment Corporation Cambridge Research Lab，Technical Report CRL-94-2，1994)所描述的8参数变换来建立联系。该非专利文献4通过引用被合并于此。

在步骤S603，主导平面提取单元30用来提取平面结构估计单元20所估计出的平面中的主导平面，也就是这些平面中最具有视觉冲击的平面。例如，将与平面结构估计单元20所估计图像中的最大的那个聚类所对应的平面选择为主导平面。

在步骤S604，主导平面运动提取单元40通过对图像I₁和图像I₂中的主导平面进行8参数变换来确定主导平面在两幅图像之间的运动量，也就是确定图像I₁中的主导平面和图像I₂中的主导平面之间的相对位置。

在步骤S605，变形单元50根据所确定的图像I₁和图像I₂的主导平面之间的位置关系，利用预定的插值算法来对图像I₁和/或图像I₂进行变形(warp)，以便将二者部分重叠，如图3所示。

在步骤S606，融合单元60对图像I₁和图像I₂之间的重叠区域中选定的融合区域进行融合，而非对整个重叠区进行融合，以便保证图像I₁和图像I₂之间的平滑过渡。在融合区之外，最终合成图像的内容分别来自图像I₁和图像I₂。图3示出了已经通过8参数变换变形后的一副图像与另一幅图像之间的重叠区和融合区。

在步骤S607，在将图像I₁和图像I₂进行融合之后，后处理器70对缝合后的图像进行均衡、对象移除和纹理修复之类的操作，进而输出最终的全景图像。

上面的描述仅用于实现本发明的实施方式，本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均应该属于本发明的权利要求来限定的范围，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (12)

1.一种产生全景图像的方法，包括：

估计每个均包含至少一个平面的输入图像中的主导平面；

对输入图像中的主导平面进行参数变换确定主导平面在待缝合图像之间的运动量，确定待缝合图像的主导平面之间的相对位置；

基于输入图像关于主导平面的位置关系将输入图像作变形处理，使输入图像之间部分重叠；以及

融合输入图像，产生全景图像；

其中，所述融合步骤包括：

由所述输入图像之间的重叠部分中选择缝合区；

由缝合区将具有重叠部分的两输入图像融合，

所述缝合区为仅仅横穿所述至少一个平面中的所述主导平面的缝合线。

2.如权利要求1所述的方法，其中所述估计步骤包括：

检测确定输入图像之间的匹配对应关系；

应用聚类算法估计输入图像中的平面结构；

根据图像中的特征确定所输入图像的平面结构中的主导平面；以及

估计输入图像之间的运动，以确定输入图像关于主导平面的位置关系。

3.如权利要求2所述的方法，其中确定主导平面的步骤是：

根据聚类算法所估计的图像中的每个平面具有的聚类确定图像聚类最大的平面为主导平面。

4.如权利要求2所述的方法，其中在确定主导平面时，将图像聚类与图像特征中的图像覆盖面积、聚类尺寸以及MSE加权求和确定。

5.如权利要求2所述的方法，其中所述主导平面在输入图像之间具有最小的强度差。

6.如权利要求1所述的方法，其中所述参数变换是8参数或2参数变换。

7.一种产生全景图像的设备，包括：

估计装置，用于估计每个均包含至少一个平面的输入图像中的主导平面，并对输入图像中的主导平面进行参数变换确定主导平面在待缝合图像之间的运动量，确定待缝合图像关于主导平面的相对位置；

变形装置，基于输入图像关于主导平面的位置关系将输入图像变形，以使输入图像之间部分重叠；以及

融合装置，融合所述输入图像，以产生全景图像；

其中，所述融合装置在输入图像的重叠区域中选择缝合区，并且沿着缝合区将所述输入图像融合；

所述缝合区为仅仅横穿所述至少一个平面中的所述主导平面的缝合线。

8.如权利要求7所述的设备，其中所述估计装置包括：

对应关系确定单元，用于检测确定输入图像之间的匹配对应关系；

平面结构估计单元，用于应用聚类算法估计输入图像中的平面结构；

主导平面提取单元，用于根据图像中的特征确定所输入图像的平面结构中的主导平面；以及

主导平面运动估计单元，用于估计输入图像之间的运动，以确定输入图像关于主导平面的位置关系。

9.如权利要求8所述的设备，其中所述主导平面提取单元根据聚类算法所估计的图像中的每个平面具有的聚类确定图像聚类最大的平面，作为所述主导平面。

10.如权利要求8所述的设备，其中所述主导平面提取单元将图像聚类与图像特征中的图像覆盖面积、聚类尺寸以及MSE加权求和来确定所述主导平面，作为所述主导平面。

11.如权利要求8所述的设备，其中所述主导平面在输入图像之间具有最小的强度差。

12.如权利要求7所述的设备，其中所述参数变换是8参数或2参数变换。

Images