CN109767381A - 一种基于特征选择的形状优化的矩形全景图像构造方法 - Google Patents

Abstract

本发明公开了一种基于特征选择的形状优化的矩形全景图像构造方法，所述方法包括：基于普通相机以非固定方式拍摄的具有重叠的两幅图像进行拼接，获取形状未失真、且信息未丢失的矩形全景图像；将拍摄图像作为输入图像，并对输入图像进行特征点匹配，利用聚类算法筛选误匹配的特征点以及孤立的特征点；利用筛选后的特征点对输入图像重叠区域进行图像配准操作；在非重叠区域进行渐变扭曲变换以此减少图像产生的透视失真；建立基于边界约束和中心区域保留的网格优化模型，求得最优的矩形网格顶点，最后通过插值方法获得最后的矩形全景图像。本发明通过非固定拍摄具有重叠区域的图像，在尽量减少信息丢失情况下产生矩形全景图像。

Description

一种基于特征选择的形状优化的矩形全景图像构造方法

技术领域

本发明涉及图像处理技术及全景成像领域，特别涉及一种针对普通相机以非固定方式拍摄的具有重叠的两幅图像，进行基于特征选择的形状优化的矩形全景图像构造方法。

背景技术

随着虚拟现实技术的发展，人们对大视角图像的需求越来越大。然而，由于成像设备的限制，在单镜头拍摄中很难捕捉到大视角图像。因此，研究人员提出了一些生成大视角图像的研究方法。

图像拼接可以将多个相邻的单一小视角图像(图1(a))拼接成大视角的单一图像。图像拼接是通过投影扭曲(例如圆柱、球面或透视)对图像进行视角变换获得同一视角下的配准图像。由于镜头的不规则移动，拼接后的全景图片几乎不可避免地存在重影或边界不规则等问题(图1(b))。

为了查看、发布和打印这些图像，一般的方法是将全景图像裁剪成矩形的全景图像(图1(c))，这里存在形状失真和一些信息丢失等问题。

为了解决透视变换等全局模型的不足和提高配准的精度^[1-3]。最近研究人员提出了几种局部扭曲模型，如光滑变仿射变换(SVA)^[3]和逼近的投影变换(APAP)^[4]。为了获得更好的配准精度，这些方法没有依赖于单一的全局变换，而是在重叠区域采用局部的变换模型达到多个图像局部配准的目的。APAP方法是在重叠区域上采用多个局部透视变换来对图像进行局部配准；对于非重叠区域，APAP方法仍采用全局的投影变换。这种方法在重叠区域可能会造成局部形状畸变，这种畸变会受到匹配特征点的影响，比如在非显著区域^[5]中特征点个数较少(特别是一或两个)时，重叠区域会出现局部形状畸变。Zhanget.al^[6]提出了一种混合配准模型，该模型结合了投影变换和内容保持的图像变形方法，避免了图像局部失真。然而，这些方法都是基于全局投影变换的基础上对图像局部进行调整，这会导致拼接后的图像在非重叠区域被过度拉伸和非均匀放大，导致形状失真。

为了减少图像拼接时的形状畸变，近年来一些学者采用透视变换向相似变换过渡的方法来减少透视变换引起的形状失真^[7–12]。Changetal.^[7]提出了一种图像拼接的保形半投射(SPHP)扭曲方法，在重叠区域采用投影变换对图像进行配准，非重叠区域采用相似变换实现图像从投影到相似的渐变。这种方法能够减少透视失真但，但是它能引起图像非自然的旋转。Linet al.^[9]提出了一种自适应尽可能自然的(AANAP)变换方法，该方法将非重叠区域的单应线性化，并通过简单直接的基于距离的权值策略将这些同构与全局相似变换相结合，以减轻透视失真。Yu et.al^[10]提出了一种全局相似先验的自然图像拼接方法，该方法约束了每幅图像的变换，使其整体上类似于一个相似变换。他们采用局部扭曲模型，用网格引导每个图像的扭曲。Xiang et al.^[12]提出了一种具有全局相似约束的线性指导局部扭曲方法来减少图像拼接的形状失真。他们的方法在保持图像结构的同时，使用相应的直线来指导精确的配准。为了减少非重叠区域的投影失真，它们通过加权策略将全局相似约束与投影变换相结合。然而，这些方法都是从透视变换到相似变换的过渡，可能会出现拼接图像非自然旋转的现象。

上述方法可以减少形状失真，但要查看、发布和打印拼接图像，需要将边界不规则的拼接图像变为矩形全景图像。一般的方法是将全景图像裁剪成矩形的全景图像(图1(c))，这里存在形状失真和一些信息丢失等问题^[13-15]。He et al.^[15]提出了一种内容感知扭曲算法，该算法是对已经拼接完成的全景图像进行矩形全景图像变换。他们采用了缝隙选择方法^[16]来重新填充不规则的边界，使得在不出现信息丢失的现象的情况下，生成矩形全景图像。也就是说，该方法的输入为拼接全景图，输出为矩形全景图。

然而本方法是针对普通相机以非固定方式拍摄的具有重叠的两幅图像进行矩形全景图像构造，输入的图像是具有重叠区域的两幅图像，输出的是矩形全景图像。

发明内容

本发明提供了一种基于特征选择的形状优化的矩形全景图像构造方法，本发明通过非固定拍摄具有重叠区域的图像，在尽量减少信息丢失情况下产生矩形全景图像，详见下文描述：

一种基于特征选择的形状优化的矩形全景图像构造方法，所述方法包括：

基于普通相机以非固定方式拍摄的具有重叠的两幅图像进行拼接，获取形状未失真、且信息未丢失的矩形全景图像；

对输入图像进行特征点匹配，利用聚类算法筛选误匹配的特征点以及孤立的特征点；

利用筛选后的特征点对输入图像重叠区域进行图像配准操作；在非重叠区域进行渐变扭曲变换以此减少图像产生的透视失真；

建立基于边界约束和中心区域保留的网格优化模型，求得最优的矩形网格顶点，最后通过插值方法获得最后的矩形全景图像。

其中，所述利用筛选后的特征点对输入图像重叠区域进行图像配准操作具体为：

根据移动直接线性变换对图像的重叠区域进行配准操作。

进一步地，所述在非重叠区域建立渐变扭曲变换具体为：在垂直和水平方向上逐渐改变网格线的角度，使之趋于垂直或者水平；

假设第i行，第j列的水平网格线为L_x,i,j，L_x,i,j与水平线之间的夹角为θ_x,i,j，Δθ_x,i是差分角，具体为：

其中，α_i，β_j是微分角度的尺度因子，

初始的网格线为：

V_x,1,j＝V_x,1,j-1+ΔV_x,1

V_y,1,j＝V_y,1,j-1+ΔV_x,1tan(θ_x,1,j)

ΔV_x,1＝V_x,1,j-1-V_x,1,j-2.

依照初始网格顶点以及微分角度，就能确定其他在非重叠区域的网格顶点。

其中，所述建立基于边界约束和中心区域保留的网格优化模型包括：边界约束、网格形状约束、以及总能量函数。

进一步地，所述边界约束具体为：

其中，v′_i,1(x)为新网格中的第i行第1列顶点的横坐标，v′_i,n(x)为新网格第i行第n列顶点的横坐标，v′_1,j(y)为新网格中第1行第j列的顶点的纵坐标，v′_m,j(y)为新的网格中第m行第j列顶点的纵坐标；左边界为w_l,右边界值为w_r,上边界值为h_t,下边界值为h_b。

其中，所述网格形状约束具体为：

a_i,j＝exp(-||v_i,j(x)-c_x||²/σ₁ ²·||v_i,j(y)-c_y||²/σ₂)

其中，a_i,j为权重因子，v_i,j(x)，v_i,j(y)为利用移动直接线性变换后的网格顶点的横坐标、纵坐标，c_x,c_y是图像的中心位置，σ₁,σ₂为水平和垂直差，E_q(i,j)为第i，j个网格形状约束。

进一步地，所述总能量函数为：

本发明提供的技术方案的有益效果是：

1、本方法打破了相机拍摄方式的限制，实现了将随意捕捉到的重叠图像拼接成无重影、形状优化和信息保护功能的矩形全景图像；

2、本发明克服了全局变换引起的形状失真，采用渐变扭曲变换对图像非重叠区域进行形状优化，减少了图像出现形状失真的现象；

3、本方法建立了基于边界约束和中心区域保留的网格优化模型，避免了生成的全景图像信息丢失，实现了现实场景的逼真再现；

4、实验结果表明，本方法能有效地将不同的视图图像拼接起来，生成矩形全景图，而不产生重影、形状失真和信息丢失。

附图说明

图1为传统全景拼接方法得到的结果示意图；

其中，(a)为输入图像，(b)为通过透视变换法拼接图像，(c)为裁剪图像。

图2为一种基于特征选择的形状优化的矩形全景图像构造方法的流程图；

图3为将不同的特征点集应用于MDLT方法，得到了不同的结果；

其中，(a)(b)(c)为通过原始SIFT检测，RANSAC选取和本方法选取的不同的特征点集；(d)为显示输入图像；(e)(f)为(b)和(c)用MDLT变换特征点集后得到的转换结果图。

图4为网格的变化过程示意图；

其中，(a)为参考网格；(b)为MDLT和渐变扭曲变换后的网格；(c)为(a)图和(b)图融合后的网格；(d)为本文提出的变换方法处理后的网格。

图5为不同拼接方法得出的全景图之间的比较结果。

其中，(a)为圆柱形全景图，(b)为APAP方法，(c)为渐变扭曲方法，(d)为本文提出的方法。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例提出了一种基于特征选择的矩形全景图的形状优化方法，参见图2，该方法包括以下步骤：

101：基于普通相机以非固定方式拍摄的具有重叠的两幅图像进行拼接，获取形状未失真、且信息未丢失的矩形全景图像；

其中，通过本步骤的操作打破了平时全景图像构造必须以固定的水平移动和固定点旋转的拍摄方式。

102：首先对输入图像进行特征点匹配，然后利用聚类算法筛选误匹配的特征点以及孤立的特征点；

其中，该步骤102具体为：

对于非固定方式拍摄的具有重叠的两幅图像的特征选择，首先检测两幅图像匹配的SIFT特征点，并用Ransac(Random Sample Consensus，随机样本一致性)方法对特征点进行初步的筛选，筛选后的特征点集为：f₁,f₂,…,f_n，然后利用每个特征点的位置信息(f_ix,f_iy)以及所在位置的显著性值f_is组成的特征点的特征信息，根据聚类算法(该聚类算法为本领域技术人员所公知，本发明实施例对此不做赘述)对图像特征点进行筛选，避免孤立特征点对拼接后的图像形状的影响。

其中，根据聚类算法对图像特征点进行筛选的步骤为本领域技术人员所公知，本发明实施例对此不做赘述。

103：利用筛选后的特征点对输入图像重叠区域进行图像配准操作；在非重叠区域建立渐变扭曲变换以此减少图像产生的透视失真；

其中，该步骤103包括：

利用MDLT(moving directly linear transformation，移动的直接线性变换)方法只对图像的重叠区域进行配准操作，具体为：

假设(f_k,f′_k)为图像1和图像2匹配的第k个特征点，将图像分为m*n个网格，第(i,j)个网格点为V_i,j，根据MDLT方法得到两幅图像在重叠区域配准公式如下：

其中，w_k,i,j＝max(exp(-||V_i,j-f_k||²/σ²),γ)，x_f，y_f为特征点f_k的横纵坐标，N为特征点个数，h'_i,j为网格顶点V_i,j对应的变换参数，N为特征点的个数，f_k为第k个特征点，σ²为方差值，h₁、h₂以及h₃为变换的参数值，γ为修正值，取0.08，m为网格的行数，n为网格的列数。

对输入图像重叠区域进行图像配准操作之后，在非重叠区域建立渐变扭曲变换以此减少图像产生的透视失真。渐变扭曲变换的特征在于在垂直方向和水平方向上逐渐改变网格线的角度，使之趋于垂直或者水平，假设第i行，第j列的水平网格线为L_x,i,j，L_x,i,j与水平线之间的夹角为θ_x,i,j，Δθ_x,i是差分角，则θ_x,i,j具体为：

假设第i行，第j列的垂直方向的网格线为L_y,i,j，L_y,i,j与水平线之间的夹角为θ_y,i,j，Δθ_y,j是差分角，则θ_y,i,j具体为：

其中，α_iβ_j是微分角度的尺度因子，a为图像宽度，b为图像

高度,δ₁为临界值。

初始的网格顶点为：

V_x,1,j＝V_x,1,j-1+ΔV_x,1

(4)

V_y,1,j＝V_y,1,j-1+ΔV_x,1tan(θ_x,1,j) (5)

.ΔV_x,1＝V_x,1,j-1+V_x,1,j-2 (6)

其中，V_x,1,j为网格中第1行第j列顶点的横坐标，也是非重叠区域中网格点的第1行第1列的恒坐标，V_x,1,j-1为网格中第1行第j-1列顶点的横坐标，也是重叠区域中网格点的第1行第j-1列的恒坐标，V_x,1,j-2为网格中第1行第j-2列顶点的横坐标，也是重叠区域中网格点的第1行第j-2列的恒坐标.。ΔV_x,1为横坐标的差值。

根据初始的网格顶点以及微分角度，就能确定其他在非重叠区域的网格顶点。

104：建立基于边界约束和中心区域保留的网格优化模型，求得最优的矩形网格顶点，最后通过插值方法获得最后的矩形全景图像。

其中，在MDLT和渐变扭曲变换之后，拼接的图像形状不是矩形的，为了获得矩形的全景图像，很多人通过裁剪的方法来获得，但是裁剪的方法能够丢失图像中有用的信息，为了保留图像中重要的信息，提出中心不变的形状优化模型，这个形状优化模型尽量保持图像在中心区域的形状不变，具体为：

假设在MDLT和渐变扭曲变换之后的图像网格顶点为v_i,j，扭曲变换之后的网格顶点为v_i′_,j，建立下面的网格扭曲模型，其中该网格扭曲模型由边界约束、网格形状约束、以及总能量函数组成，具体为：

一、边界约束：

假设微分扭曲变换之后的图像左边界为w_l,右边界值为w_r,上边界值为h_t,下边界值为h_b，边界约束定义为：

其中，v′_i,1(x)为新网格中的第i行第1列顶点的横坐标，v′_i,n(x)为新网格第i行第n列顶点的横坐标，v′_1,j(y)为新网格中第1行第j列的顶点的纵坐标，v′_m,j(y)为新的网格中第m行第j列顶点的纵坐标。

二、网格形状约束：

因为人眼更多关注图像的中心区域，保持图像的中心区域变形，第i，j个网格形状约束为：

其中，v′_i,j为新的网格中第i行第j列的顶点，v′_i,j-1为新的网格中第i行第j-1列的顶点，v_i,j-1为新的网格中第i行第j-1列的顶点。

所有网格的形状约束为：

其中，a_i,j为权重因子，v_i,j(x)为利用MDTL变换后的网格顶点的横坐标，v_i,j(y)为利用MDTL变换后的网格顶点的纵坐标，c_x,c_y是图像的中心位置，σ₁,σ₂为水平和垂直差。

总的能量函数为：

综上所述，本发明实施例为了避免重叠区域的局部失真，通过特征聚类分析选择匹配的特征点，结合了MDLT(移动直接线性变换)方法和本发明所提出的渐变扭曲方法来减少全局透视失真形状扭曲；最后，建立了基于边界约束和中心区域保留的网格优化模型，求得最优的矩形网格顶点，最后通过插值方法获得最后的矩形全景图像。

实施例2

下面结合具体的计算公式、实例，对实施例1中的方案进行进一步地介绍，详见下文描述：

一、移动的直接线性变换介绍(MDLT)

假设f和f’是重叠图像上的一对匹配点。它们可以通过投影变换或单应性来映射。比如f′＝Hf是全局投影变换的方法，会导致不对齐。Zaragoza et.al提出了MDLT估值方法来计算本地的H。MDLT是使用局部相关单应性对每个网格顶点进行变换。让特征点附近的网格顶点分配更高的权重；投影变换对局部结构有较好的影响。这个表达式如下所示

二、本文提出的方法

MDLT方法可以通过保持全局投影和允许局部非投影性偏差来获得高度精确的校准。然而在重叠区域依然存在局部畸变(是由特征点造成的)，在非重叠区域存在全局形状畸变。因此，为了减少重叠区域的局部失真，首先选择匹配的特征点，然后用MDLT方法对图像进行校准；最后，提出渐变扭曲方法对图像进行逐步变换，以此来避免全局形状的畸变。

1)特征点的选择

在本节中，本方法对输入图像进行校准并且避免形状畸变。基于特征点的图像校准首先需要找到匹配的特征点(一般是SIFT特征点[18])。采用随机样本一致性(RANSAC^[1])来消除离群值。虽然这些特征点经过RANSAC选择后几乎都是匹配点，但如果这些特征点包含了不突出区域内的单个点，则局部区域会发生形状畸变。图3展示了不同特征点集使用MDLT方法的变换结果。图3(a)为初始获得的匹配sift特征点，可以看出存在一些不匹配特征点，不能直接用于图像校准。图3(b)为RANSAC选择的匹配的sift特征点。从图3(e)显示了图3(b)中基于这些特征点的变换图像。在局部重叠区域存在一些失真(见方框)。这种失真会影响矩形全景图的生成，因此需要选择特征点来避免这种失真。

一些位于不明显区域的特征点会引起图像的局部失真。本方法要消除重叠区域的这些点。首先，在使用RANSAC方法后再采用聚类方法^[19]对的特征点进行分类，然后剔除个数较低的类。特征点信息由位置组成，其显著值^[5]表示为：

其中，s_i为样本点特征，f_ix,f_iy,f_{is_v}分别为横坐标、纵坐标，以及第(i，j)个位置显著性的值，S为样本点集合。

本方法可以使用聚类方法^[19]对样本S中的N个点进行分类，并选择特征点。图3(c)和图3(f)为筛选之后的特征点和依赖于特征点进行变换的图像。可以看到，在这部分局部区域几乎没有局部变形的现象。

2)渐变扭曲变换

将图像扭曲问题表述为网格变形问题。将MDLT方法应用到图像重叠区域的网格顶点。因为网格顶点在重叠区域，而不是非重叠区域，所以权值是w_k,i,j＝exp(-||v_i,j-f_k||²/σ²)。假设重叠区域中经过MDLT方法处理后的顶点为v_i,j,o。依靠重叠区域内的顶点，本方法可以计算出这些非重叠区域内的顶点。在这里，本方法采用渐变扭曲方法。其思想是通过迭代法逐渐改变线的倾斜角，使得水平方向的线的倾斜角度收敛接近于零，垂线方向的线的倾斜角收敛接近于90度。

假设第i行，第j列的水平网格线为^L _x,i,j，L_x,i,j与水平线之间的夹角为θ_x,i,j，Δθ_x,i是水平方向的差分角，具体为：

其中，α_i，β_j是微分角度的尺度因子，θ_y,i,j为第i行第j列垂直方向的网格线与垂直线的夹角，θ_x,i,j-1为第i行第j-1列水平方向的网格线与水平线的夹角，Δθ_y,i为垂直方向的差分角，δ₁为最小差分角，θ_y,i-1,j为第i-1行第j列垂直方向的网格线与垂直线的夹角，Δθ_y,j为是垂直方向的差分角。

初始的网格线为：

依照初始网格顶点以及微分角度，就能确定网格线，进一步确定非重叠区域的网格顶点。

3)矩形优化

经过以上的变换方法，图像进行了配准，并对变换的图像进行了形状优化。然而，此时图像的边界是不规则的，为了生成矩形全景图，建立了以下的网格顶点优化模型，它可以表示为：

v′_i,j＝f(v_i,j) (17)

其中，v′_i,j为网格优化后的网格顶点，f(v_i,j)为优化函数。

通过求解基于边界项和网格变形项的能量最小化框架来解决网格变换问题。下面详细描述了能量项：

(a)边界项：

边界项用于保证矩形全景图。首先，假设左边的边界值是w_l，右边的边界值是w_r，上面的边界值是h_t，下面的边值是h_b。边界项网格约束定义为

(b)网格变换项：

当图像的网格发生变化时需要约束。由于人们看到的是照片，他们往往对图像中心附近的物体感兴趣^[5]，希望围绕中心位置的网格线保持原来的大小，在图像的边界位置发生更多的变化。边界项定义为：

四项变形项分别是：

其中，c_x,c_y为图中心位置的像素，σ₁,σ₂为水平和垂直方差。

总能量函数是

由于能量E是v′_i,j的二次函数，通过一个稀疏线性求解器求解极小化问题。

图4显示网格变化的过程。图4(a)显示的是参考图像上的参考网格。图4(b)通过MDLT和渐变扭曲后在变换图像上显示出变换的网格，可以看到在重叠区域保持透视变换来校准参考值，在非重叠区域保持原始网格的形状。图4(c)显示的是参考图像与变换图像相结合后的网格。在图4(d)中，可以看到网格为矩形，而且中心区域的形状没有发生改变，图像中心对应的形状不变，图像边界发生更多的变换。在得到输出网格后，采用双线性插值算法^[20]得到最终的矩形全景图像。

综上所述，本发明实施例通过非固定拍摄具有重叠区域的图像，在尽量减少信息丢失情况下产生矩形全景图像。

实施例3

为了验证该方法的有效性，在本节中对偶然捕获的不同视图的图像进行了实验，并将生成全景图的结果与其他三种拼接方法进行比较，即用Photoshop CS6、APAP变换方法^[4]、立体拼接图像形状优化方法^[17]等方法绘制柱状全景图。对比结果如图5所示。此外，还展示了该方法得出的更多的结果。APAP变换利用局部投影变换来使图像精确校准。渐变扭曲方法采用渐变思想来避免形状失真。

图5(a)为圆柱形全景图。图像裁剪后存在一定的形状失真、信息丢失等问题。如图5(b)所示，当缺乏形状约束，无法产生良好的全景图像时，APAP方法可以很好地将输入图像的重影进行校准。由于APAP将局部投影变换外推到非重叠区域，这样会造成过度的拉伸和非均匀放大。如图5(c)所示，尽管文献[17]可以减少透视变换带来的形状失真，但裁剪后的图像出现的信息丢失。与此相反，本方法通过特征选择避免了局部失真，另外，本方法同时结合了MDLT和渐变扭曲方法，保证了图像的校准和减少了形状失真，并且通过二次网格优化减少了信息损失。本方法(查看5(d))可以生成不存在重影，形状失真和信息缺失的矩形全景图。

实验结果表明了该方法的有效性，该方法可以在不产生重影、减少形状失真和避免信息丢失的情况下，对不同的视图图像进行拼接，生成矩形全景图。

参考文献

[1]R.Szeliski,“Image alignment and stitching:a tutorial landsat”Foundations and trends in computer graphics and vision,vol.2,no.1,pp.1–104,2006.

[2]L.Zelnik-Manor,G.Peters,P.Perona,“Squaring the circleinpanoramas,”In Proc.ICCV.,pp.1292–1299,2005.

[3]W.Y.Lin,S.Liu,Y.Mastsushita et al.,“Smoothly varyingaffinestitching,”In Proc.CVPR.,pp.345–352,2011.

[4]J.Zaragoza,T.J.Chin,and Q.H.Tran,“As-projective-as-possible imagestitchingwithmovingDLT,”IEEE Trans.PatternAnal.Mach.Intell.,vol.36,no.7,pp.1285–1298,2014.

[5]S.Goferman,L.Zelnik-Manor,and A.Tal,“Context-aware saliencydetection,”IEEE Trans.Pattern Anal.Mach.Intell.,vol.34,no.10,pp.1915–1926,2012.

[6]F.Zhang,F.Liu,“Parallax-tolerant image stitching,”In Proc.CVPR,pp.3262–3269,2014.[7]C.H.Chang,Y.Sato,Y.Y.Chuang,“Shape-preservinghalf-projective warps for imagestitching,”In Proc.CVPR.,pp.3254–3261,2014.

[8]Q.Chai,S.Liu,“Shape-optimizing hybrid warping for imagestitching,”In Proc.ICIP.,pp.1–6,2016.

[9]C.Lin,S.Pankanti,K.N.Ramamurthy,A.Y.Aravkin,“Adaptive as-natural-aspossible imagestitching,”In Proc.CVPR.,pp.1155–1163,2015.

[10]Y.Lu,Z.Z.Hua,K.Gao,T.F.Xu,“Multi-Perspective Image Stitching andRegularizationvia Hybrid Structure Warping,”Computing in ScienceEngineering.,vol.20,no.2,pp.10–23,2018.

[11]Y.S.Chen,Y.Y.Chuang,“Natural Image Stitching with GlobalSimilarity Prior,”In Proc.ECCV.,pp.186–201,2016.

[12]T.Z.Xiang,G.S.Xia,X.Bai et al.,“Image stitching by line-guidedlocal warping withglobal similarity constraint,”Computer Vision and PatternRecognition,arXiv:1702.07935,2017.

[13]C.Barnes,E.Shechtman,A.Finkelstein,D.B.Goldman,“Patch-match:Arandomizedcorrespondence algorithm for structural image editing,”ACMTrans.Graph.,vol.28,no.3,pp.1–8,2012.

[14]J.Kopf,W.Kienzle,S.Drucker,S.B.Kang,“Quality prediction for imagecompletion,”ACM Trans.Graph.,vol.31,no.6,pp.1–8,2012.

[15]K.He,H.Chang,J.Sun.,“Rectangling panoramic images via warping,”ACM Trans.Graph.,vol.32,no.4,pp.1–9,2013.

[16]S.Avidan,A.Shamir,“Seam Carving for Content-Aware ImageResizing,”ACM Trans.Graph.,vol.26,no.3,pp.1–10,2007.

[17]W.Q.Yan,C.P.Hou,“Reducing perspective distortion for stereoscopicimage stitching,”InProc.IEEE ICME.workshop,pp.1–6,2016.

[18]D.G.Lowe,“Distinctive image features from scale-invariantkeypoints,”Int.J.Comput.Vis,vol.60,no.2,pp.91–110,2004.

[19]A.Rodriguez,A.Laio,Machine learning.Clustering by fast search andfind of densitypeaks,.Science,vol.344,no.6191,pp.1492–1496,2014.

[20]P.S.Heckbert,“Fundamentals of texture mapping and image warping,”M.S.thesis,Dept.Elect.Eng.Comput.Sci.,Univ.California,Berkeley,Berkeley,CA,USA,1989.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于特征选择的形状优化的矩形全景图像构造方法，其特征在于，所述方法包括：

基于普通相机以非固定方式拍摄的具有重叠的两幅图像进行拼接，获取形状未失真、且信息未丢失的矩形全景图像；

对输入图像进行特征点匹配，利用聚类算法筛选误匹配的特征点以及孤立的特征点；

利用筛选后的特征点对输入图像重叠区域进行图像配准操作；在非重叠区域进行渐变扭曲变换以此减少图像产生的透视失真；

建立基于边界约束和中心区域保留的网格优化模型，求得最优的矩形网格顶点，最后通过插值方法获得最后的矩形全景图像。

2.根据权利要求1所述的基于特征选择的形状优化的矩形全景图像构造方法，其特征在于，所述利用筛选后的特征点对输入图像重叠区域进行图像配准操作具体为：

根据移动直接线性变换对图像的重叠区域进行配准操作。

3.根据权利要求1所述的基于特征选择的形状优化的矩形全景图像构造方法，其特征在于，所述在非重叠区域建立渐变扭曲变换具体为：在垂直和水平方向上逐渐改变网格线的角度，使之趋于垂直或者水平；

假设第i行，第j列的水平网格线为L_x,i,j，L_x,i,j与水平线之间的夹角为θ_x,i,j，Δθ_x,i是差分角，具体为：

其中，α_i，β_j是微分角度的尺度因子，

初始的网格线为：

V_x,1,j＝V_x,1,j-1+ΔV_x,1

V_y,1,j＝V_y,1,j-1+ΔV_x,1tan(θ_x,1,j)

ΔV_x,1＝V_x,1,j-1-V_x,1,j-2.

依照初始网格顶点以及微分角度，就能确定其他在非重叠区域的网格顶点。

4.根据权利要求1所述的基于特征选择的形状优化的矩形全景图像构造方法，其特征在于，所述建立基于边界约束和中心区域保留的网格优化模型包括：边界约束、网格形状约束、以及总能量函数。

5.根据权利要求4所述的基于特征选择的形状优化的矩形全景图像构造方法，其特征在于，所述边界约束具体为：

其中，v′_i,1(x)为新网格中的第i行第1列顶点的横坐标，v′_i,n(x)为新网格第i行第n列顶点的横坐标，v′_1,j(y)为新网格中第1行第j列的顶点的纵坐标，v′_m,j(y)为新的网格中第m行第j列顶点的纵坐标；左边界为w_l,右边界值为w_r,上边界值为h_t,下边界值为h_b。

6.根据权利要求5所述的基于特征选择的形状优化的矩形全景图像构造方法，其特征在于，所述网格形状约束具体为：

a_i,j＝exp(-||v_i,j(x)-c_x||²/σ₁ ²·||v_i,j(y)-c_y||²/σ₂)

其中，a_i,j为权重因子，v_i,j(x)，v_i,j(y)为利用移动直接线性变换后的网格顶点的横坐标、纵坐标，c_x,c_y是图像的中心位置，σ₁,σ₂为水平和垂直差，E_q(i,j)为第i，j个网格形状约束。

7.根据权利要求6所述的基于特征选择的形状优化的矩形全景图像构造方法，其特征在于，所述总能量函数为：