CN105931185A - 一种多视角图像自动拼接方法 - Google Patents

Abstract

本发明公开了一种多视角图像自动拼接方法，属于图像拼接领域。通过逼近投影变换模型，提高了重叠区域融合的精度；使用全局最优相似变换，解决了拼接图发生透视变形的问题；将逼近投影变换模型与全局最优相似变换相结合，使得拼接图的局部更加精准，总体更加自然，很好地提高了图像拼接的性能；使用多波段融合技术，解决拼接图曝光差异的问题，进一步提高了图像拼接的精度。本方法首先提取图像特征点；其次计算局部投影变换模型；接着计算全局最优相似变换模型；然后将局部投影变换模型与全局最优相似变换模型相结合；最后使用多波段融合技术得到最终的拼接图。

Description

一种多视角图像自动拼接方法

技术领域

本发明属于图像拼接领域，具体地说是一种多视角图像自动拼接方法。

背景技术

图像拼接的目标是将多幅有重叠区域的图像进行融合，得到一幅看起来非常自然的宽视角图像。图像拼接方法在航空航天、军事应用、医学图像分析、遥感图像处理等多个领域有着广泛的应用。但是由于摄像机视差、镜头畸变、场景光照等诸多因素的影响，鲁棒的图像处理方法一直是一个极富挑战性的问题。目前，对于图像拼接的研究在某些条件下取得了较好的效果，但是由于三维场景与相机参数的复合作用，使得在摄像机在有些情况下获取的图像的拼接性能较差。

当前的多视角图像自动拼接方法，通常需要摄像机满足同一轴心的要求，即摄像机围绕同一竖直轴旋转，拼接时使用柱面或球面图像拼接算法，该算法有较大的局限性，在摄像机不满足条件时，会出现鬼影、产生较大的透视变形等问题。

发明内容

为了解决上述问题，本发明提供了一种多视角图自动拼接方法，通过计算局部投影变换模型，提高图像拼接的精度，减小鬼影问题的产生，同时结合全局最优相似变换，减小透视变形的问题，提高多视角图像自动拼接的性能。

实现本发明目的的一种多视角图像自动拼接方法是使用现有的逼近投影变换方法，通过计算拼接图像重叠区域的逼近投影变换，提高重叠区域拼接的精度，通过计算全局相似变换矩阵，减小拼接图像的透视变形，最后通过多波段融合算法对拼接图像进行处理，消除曝光差异的影响；

具体步骤如下：

步骤一：图像特征点提取：

使用尺度不变特征转换算法(SIFT)提取参考图像与目标图像的特征点，首先构建尺度空间，高斯差分尺度空间；然后在高斯差分尺度空间中进行极值点检测，关键点精确定位；最后确定关键点的模值与方向，生成关键点描述子；

步骤二：计算图像的逼近投影变换：

对于待拼接图像，计算目标图像到参考图像的变换模型，计算目标图像中每个像素点的局部投影变换模型，使用经典的直接线性转换(Direct Linear Transformation，DLT)算法计算逼近投影变换模型，

计算逼近投影变换模型，使用公式1中的目标函数：

$\begin{array}{cc}{h}_{*}=\underset{h}{\arg \min }\underset{i=1}{\overset{N}{\Σ}}{||{\mathrm{\ω}}_{*}^i{\mathrm{\α}}_{i}h||}^2,& subjectto||h||=1\end{array}---\left(1\right)$

${\mathrm{\ω}}_{*}^i={\left(\exp \right(-{||x_{*}-x_i||}^2/{\mathrm{\σ}}^2\left)\right)}^2---\left(2\right)$

公式2中x_*为目标图像中任一像素点，x_i表示第i个特征匹配点在原始图像中的坐标。ω_*是权重参数，用于提高局部投影变换的精度；

得到局部投影变换模型的目标函数之后，在目标函数中添加一个权重参数，该参数能够保证对于目标图像中的像素点，距离较近的点有更高的权重，距离较远的点有相等的较小的权重，保证局部投影变换的精度；

步骤三：计算全局最优相似变换：

获取图像的特征点之后，使用分组对应特征点的方式来计算参考图像与目标图像之间的最优相似变换模型；使用每一组内点计算一个相似变换矩阵，对内点数目从多到少进行排序，将旋转角度从小到大进行排序，选择排序之和最小的相似变换矩阵作为最优相似变换模型；

首先使用阈值为ε_g的随机采样一致性算法(RANSAC)去除外点；然后，使用阈值为ε_l(ε_l＜ε_g)的RANSAC算法查找有最多内点的单应矩阵，移除内点；重复执行上一步骤，直到内点数目小于设定值η；使用每一组内点计算一个相似变换矩阵，对内点数目从多到少进行排序，将旋转角度从小到大进行排序，选择排序之和最小的相似变换矩阵作为最优相似变换模型；

步骤四：结合局部变换与全局最优相似变换：

单独对目标图像进行局部投影变换，虽然能保证重叠区域有较高精度，但是不能解决透视变形的问题，为此，结合步骤三计算得到的全局最优相似变换，对目标图像与参考图像进行调整；得到全局相似变换之后，为了减轻拼接图的透视变形，将相似变换与投影变换相结合：对目标图像调整之后，需要对参考图像进行补偿；

使用公式3计算目标图像的变换模型，同时结合局部投影变换与全局相似变换，使用公式4对参考图像进行变换，以补偿目标图像变换的影响：

${\hat{H}}_i^{\left(t\right)}={\mathrm{\μ}}_h{H}_i^{\left(t\right)}+{\mathrm{\μ}}_{s}S---\left(3\right)$

${\hat{H}}_i^{\left(r\right)}={\hat{H}}_i^{\left(r\right)}{\left({\hat{H}}_i^{\left(r\right)}\right)}^{-1}---\left(4\right)$

其中，表示第i个局部单应矩阵，是更新的第i个局部单应矩阵，S是全局相似变换，μ_h和μ_s是加权系数，上标t表示目标图像，上标r表示参考图像；

步骤五：多波段融合处理：

经上述步骤得到的拼接图，没有解决曝光差异造成的影响，使用多波段融合处理技术，通过构建拉普拉斯尺度空间，对目标图像与参考图像的每一层分别进行融合，将得到的每一层再进行相加得到拼接图。

本发明的有益效果是：使用步骤二中计算得到的逼近投影变换模型，提高了重叠区域融合的精度；使用全局最优相似变换，解决了拼接图发生透视变形的问题；将逼近投影变换模型与全局最优相似变换相结合，使得拼接图的局部更加精准，总体更加自然，很好地提高了图像拼接的性能；最后，使用多波段融合技术对拼接图进行处理，很好地解决的曝光差异的问题，进一步提高了图像拼接的精度。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明实施方式作进一步地详细描述。本发明的多视角自动图像拼接方法是使用现有的逼近投影变换方法，通过计算拼接图像重叠区域的逼近投影变换，提高重叠区域拼接的精度，通过计算全局相似变换矩阵，减小拼接图像的透视变形，最后通过多波段融合算法对拼接图像进行处理，消除曝光差异的影响；

具体步骤如下：

步骤一：图像特征点提取：

使用尺度不变特征转换算法(SIFT)提取参考图像与目标图像的特征点，首先构建尺度空间，高斯差分尺度空间；然后在高斯差分尺度空间中进行极值点检测，关键点精确定位；最后确定关键点的模值与方向，生成关键点描述子；

步骤二：计算图像的逼近投影变换：

对于待拼接图像，计算目标图像到参考图像的变换模型，本发明计算目标图像中每个像素点的局部投影变换模型，使用经典的直接线性转换(Direct LinearTransformation，DLT)算法计算变换模型，

计算逼近投影变换模型，使用公式1中的目标函数：

$\begin{array}{cc}{h}_{*}=\underset{h}{\arg \min }\underset{i=1}{\overset{N}{\Σ}}{||{\mathrm{\ω}}_{*}^i{\mathrm{\α}}_{i}h||}^2,& subjectto||h||=1\end{array}---\left(1\right)$

${\mathrm{\ω}}_{*}^i={\left(\exp \right(-{||x_{*}-x_i||}^2/{\mathrm{\σ}}^2\left)\right)}^2---\left(2\right)$

公式2中x_*为目标图像中任一像素点，x_i表示第i个特征匹配点在原始图像中的坐标。ω_*是权重参数，用于提高局部投影变换的精度；N为匹配特征点数目，由特征提取自动确定。

得到局部投影变换模型的目标函数之后，在目标函数中添加一个权重参数，该参数能够保证对于目标图像中的像素点，距离较近的点有更高的权重，距离较远的点有相等的较小的权重，保证局部投影变换的精度；

使用I、I′分别表示参考图像与目标图像，x＝[x y]^T、x′＝[x′ y′]^T表示一对匹配特征点，使用投影变换的方式将目标图像中像素点映射到参考图像，下述公式表示映射关系x′＝h(x)：

$h_x\left(x\right)=\frac{h_{1}x+h_{2}y+h_3}{h_{7}x+h_{8}y+h_9}---\left(1\right)$

$h_y\left(x\right)=\frac{h_{4}x+h_{5}y+h_6}{h_{7}x+h_{8}y+h_9}---\left(2\right)$

其次坐标形式的映射关系如下：

${\hat{x}}^{\′}=H\hat{x}---\left(3\right)$

其中，分别为x与的其次坐标表示形式，H∈R^3×3表示投影变换的单应矩阵，使用表示H的第j行。

DLT算法是估计单应矩阵H的基本方法，该方法通过参考图像与目标图像中的匹配点集合来计算；对公式(3)进行重写：

$O_{3\×1}=\left[\begin{array}{ccc}{O}_{1\×3}& -{\hat{x}}^T& y^{\′}{\hat{x}}^T\\ {\hat{x}}^T& O_{1\×3}& -x^{\′}{\hat{x}}^T\\ -y^{\′}{\hat{x}}^T& x^{\′}{\hat{x}}^T& O_{1\×3}\end{array}\right]h,h=\left[\begin{array}{c}h1\\ h2\\ h3\end{array}\right]---\left(4\right)$

由于O_3×1∈R^3×9的前两行是线性独立的，所以令α_i∈R^2×9表示公式(4)的前两行，对于有N个匹配点的集合，使用DLT算法估计单应矩阵H的目标函数如下：

$\begin{array}{cc}\hat{h}=\underset{h}{\arg \min }\underset{i=1}{\overset{N}{\Σ}}{||{\mathrm{\α}}_{i}h||}^2=\underset{h}{\arg \min }{||Ah||}^2,& subjectto||h||=1\end{array}---\left(5\right)$

为了提高投影变换模型的精度，在目标函数中加入一个权重参数ω_*，目标函数则改写为：

$\begin{array}{cc}{h}_{*}=\underset{h}{\arg \min }\underset{i=1}{\overset{N}{\Σ}}{||{\mathrm{\ω}}_{*}^i{\mathrm{\α}}_{i}h||}^2,& subjectto||h||=1\end{array}---\left(6\right)$

${\mathrm{\ω}}_{*}^i={\left(\exp \right(-{||x_{*}-x_i||}^2/{\mathrm{\σ}}^2\left)\right)}^2---\left(7\right)$

其中x_*为目标图像中任一像素点，x_i表示第i个特征匹配点在原始图像中的坐标。

步骤三：计算全局最优相似变换：

获取图像的特征点之后，使用分组对应特征点的方式来计算参考图像与目标图像之间的最优相似变换模型；使用每一组内点计算一个相似变换矩阵，对内点数目从多到少进行排序，将旋转角度从小到大进行排序，选择排序之和最小的相似变换矩阵作为最优相似变换模型；

首先使用阈值为ε_g的随机采样一致性算法(RANSAC)去除外点；然后，使用阈值为ε_l(ε_l＜ε_g)的RANSAC算法查找有最多内点的单应矩阵，移除内点；重复执行上一步骤，直到内点数目小于设定值η；使用每一组内点计算一个相似变换矩阵，对内点数目从多到少进行排序，将旋转角度从小到大进行排序，选择排序之和最小的相似变换矩阵作为最优相似变换模型。本例中取值为ε_g取值为0.1，ε_l取值为0.01，η取值为50。

步骤四：结合局部变换与全局最优相似变换：

单独对目标图像进行局部投影变换，虽然能保证重叠区域有较高精度，但是不能解决透视变形的问题，为此，结合步骤三计算得到的全局最优相似变换，对目标图像与参考图像进行调整；得到全局相似变换之后，为了减轻拼接图的透视变形，本发明将相似变换与投影变换相结合；如果只调整目标图像的变换模型，会导致变换之后的拼接图的重叠区域出现不对齐现象；因此，在对目标图像调整之后，需要对参考图像进行补偿。

使用公式3计算目标图像的变换模型，同时结合局部投影变换与全局相似变换，使用公式4对参考图像进行变换，以补偿目标图像变换的影响：

${\hat{H}}_i^{\left(t\right)}={\mathrm{\μ}}_h{H}_i^{\left(t\right)}+{\mathrm{\μ}}_{s}S---\left(3\right)$

${\hat{H}}_i^{\left(r\right)}={\hat{H}}_i^{\left(t\right)}{\left({\hat{H}}_i^{\left(t\right)}\right)}^{-1}---\left(4\right)$

其中，表示第i个局部单应矩阵，是更新的第i个局部单应矩阵，S是全局相似变换，μ_h和μ_s是加权系数，上标t表示目标图像，上标r表示参考图像。

目标图像中局部投影变换模型与全局相似变换模型结合过程使用如下公式表示：

${\hat{H}}_i^{\left(t\right)}={\mathrm{\μ}}_h{H}_i^{\left(t\right)}+{\mathrm{\μ}}_{s}S---\left(8\right)$

其中，表示第i个局部单应矩阵，是更新的第i个局部单应矩阵，S是全局相似变换，μ_h和μ_s是加权系数，上标t表示目标图像；对于μ_h和μ_s，添加约束μ_h+μ_s＝1，且μ_h与μ_s的取值范围都在0到1之间，具体计算公式如下：

μ_s(i)＝1-μ_h(i) (10)

式中，k是目标图像在方向上的投影点，o_r与o_t分别是参考图像与变形的目标图像的中心点；k_m与k_M分别是的最小值与最大值对应的点；p(i)表示拼接图中第i个位置的像素点。

使用下列公式计算参考图像的变换模型：

${\hat{H}}_i^{\left(r\right)}={\hat{H}}_i^{\left(t\right)}{\left({\hat{H}}_i^{\left(t\right)}\right)}^{-1}---\left(11\right)$

通过结合全局相似变换，减小了拼接图的透视变形。

步骤五：多分辨率融合处理：

经上述步骤得到的拼接图，没有解决曝光差异造成的影响，使用多波段融合处理技术，通过构建拉普拉斯尺度空间，对目标图像与参考图像的每一层分别进行融合，将得到的每一层再进行相加得到拼接图。

对原始图像与目标图像进行扩展，然后对其进行多分辨率分析，将原始图像与目标图像各自分解成一系列带宽近似为一个倍频的图像，拼接在所有分辨率相同的范围内进行，最后将分解得到的一系列图像拼接并相加，这样能够消除曝光差异对拼接图带来的影响，得到更好的拼接效果。

详细如下所述：

首先构造高斯金字塔，使用G₀表示高斯金字塔的最底层，使用G_L表示第L层，高斯金字塔共N层，N的取值为：

N＝log2{min(M,N)}-t (12)

式中M,N为原图像的大小，t为塔顶图像的最小维数的对数值。通过将G_L-1与低通滤波窗口w(m,n)进行卷积运算构造G_L，然后将卷积结果进行隔行隔列降采样处理：

$G_L=\underset{m=-2}{\overset{2}{\Σ}}\underset{n=-2}{\overset{2}{\Σ}}w(m,n)\×G_{L-1}(2i+m,2j+n)---\left(13\right)$

w(m,n)＝w(m)w(n) (14)

其中0<L<N，0≤i≤C_L，0≤i≤R_L，C_L和R_L分别是金字塔第L层图像的行数和列数，w(0)＝α,w(-1)＝w(1)＝1/4,w(-2)＝w(2)＝1/4-α/2，α取值为0.4。

各层分别融合，在图像相加时为保证图像大小一致，使用插值方法，使一个大小为C_L×R_L的图像扩展到大小为C_L-1×R_L-1的图像：

$G_L^{\&prime;}=\underset{m=-2}{\overset{2}{\&Sigma;}}\underset{n=-2}{\overset{2}{\&Sigma;}}w(m,n)\&times;G_L(\frac{i-m}{2},\frac{j-n}{2})---\left(15\right)$

构造拉普拉斯金字塔：

$\{\begin{array}{c}{L}_N=G_N\\ L_L=G_L-G_{L-1}\end{array}---\left(16\right)$

使用G_L作为权值进行像素融合：L_L＝G_LL_AL+(1-G_L)L_BL，L_AL与L_BL分别表示两幅图像的拉普拉斯金字塔，将融合之后的多分辨率图像各个分量图融合得到最后的结果图：

G₀＝L_L0+Expand(L_L1)+Expand(Expand(L_L2))+...Expand(Expand...(L_LN)) (17)

G₀即为融合后的图像。

Claims (1)

1.一种多视角图像自动拼接方法，其特征在于，图像自动拼接方法是使用现有的逼近投影变换方法，通过计算拼接图像重叠区域的逼近投影变换，提高重叠区域拼接的精度，通过计算全局相似变换矩阵，减小拼接图像的透视变形，最后通过多波段融合算法对拼接图像进行处理，消除曝光差异的影响；

具体步骤如下：

步骤一：图像特征点提取：

使用尺度不变特征转换算法提取参考图像与目标图像的特征点，首先构建尺度空间，高斯差分尺度空间；然后在高斯差分尺度空间中进行极值点检测，关键点精确定位；最后确定关键点的模值与方向，生成关键点描述子；

步骤二：计算图像的逼近投影变换：

对于待拼接图像，计算目标图像到参考图像的变换模型，计算目标图像中每个像素点的局部投影变换模型，使用经典的直接线性转换算法计算逼近投影变换模型，

计算逼近投影变换模型，使用公式1中的目标函数：

$h_{*}=\underset{h}{\mathrm{argmin}}\underset{i=1}{\overset{N}{\&Sigma;}}\left|\right|{\mathrm{\&omega;}}_{*}^i{\mathrm{\&alpha;}}_{i}h|{|}^2,subjectto|\left|h\right||=1---\left(1\right)$

${\mathrm{\&omega;}}_{*}^i={\left(\exp \right(-\left|\right|x_{*}-x_i|{|}^2/{\mathrm{\&sigma;}}^2\left)\right)}^2---\left(2\right)$

公式2中x_*为目标图像中任一像素点，x_i表示第i个特征匹配点在原始图像中的坐标。ω_*是权重参数，用于提高局部投影变换的精度；

得到局部投影变换模型的目标函数之后，在目标函数中添加一个权重参数，该参数能够保证对于目标图像中的像素点，距离较近的点有更高的权重，距离较远的点有相等的较小的权重，保证局部投影变换的精度；

步骤三：计算全局最优相似变换：

获取图像的特征点之后，使用分组对应特征点的方式来计算参考图像与目标图像之间的最优相似变换模型；使用每一组内点计算一个相似变换矩阵，对内点数目从多到少进行排序，将旋转角度从小到大进行排序，选择排序之和最小的相似变换矩阵作为最优相似变换模型；

首先使用阈值为ε_g的随机采样一致性算法去除外点；然后，使用阈值为ε_l(ε_l＜ε_g)的RANSAC算法查找有最多内点的单应矩阵，移除内点；重复执行上一步骤，直到内点数目小于设定值η；使用每一组内点计算一个相似变换矩阵，对内点数目从多到少进行排序，将旋转角度从小到大进行排序，选择排序之和最小的相似变换矩阵作为最优相似变换模型；

步骤四：结合局部变换与全局最优相似变换：

单独对目标图像进行局部投影变换，虽然能保证重叠区域有较高精度，但是不能解决透视变形的问题，为此，结合步骤三计算得到的全局最优相似变换，对目标图像与参考图像进行调整；得到全局相似变换之后，为了减轻拼接图的透视变形，将相似变换与投影变换相结合：对目标图像调整之后，需要对参考图像进行补偿；

使用公式3计算目标图像的变换模型，同时结合局部投影变换与全局相似变换，使用公式4对参考图像进行变换，以补偿目标图像变换的影响：

${\hat{H}}_i^{\left(t\right)}={\mathrm{\&mu;}}_h{H}_i^{\left(t\right)}+{\mathrm{\&mu;}}_{s}S---\left(3\right)$

${\hat{H}}_i^{\left(r\right)}={\hat{H}}_i^{\left(t\right)}{\left({\hat{H}}_i^{\left(t\right)}\right)}^{-1}---\left(4\right)$

其中，表示第i个局部单应矩阵，是更新的第i个局部单应矩阵，S是全局相似变换，μ_h和μ_s是加权系数，上标t表示目标图像，上标r表示参考图像；

步骤五：多波段融合处理：

经上述步骤得到的拼接图，没有解决曝光差异造成的影响，使用多波段融合处理技术，通过构建拉普拉斯尺度空间，对目标图像与参考图像的每一层分别进行融合，将得到的每一层再进行相加得到拼接图。