CN104077764A - 一种基于图像拼接的全景图合成方法 - Google Patents

Abstract

本发明公开了一种基于图像拼接的全景图合成方法，对全景图分块拍摄，得到全景图的分块拍摄图像，相邻的分块拍摄图像之间存在影像重合度；将所得分块拍摄图像按每一个像素转换成对应的二维数组矩阵，采用齐次坐标系来表示分块拍摄图像中各像素的坐标，采用基于图像灰度相似度和最大似然估计的算法，计算矩阵M；采用最小化相邻元素图像灰度值的平方和来估算矩阵M中的未知变量；采用LM迭代算法来求解相应的非线性最小二乘问题。本发明中采用基于图像灰度相似度和最大似然估计的算法来计算矩阵M，这种算法确保了所得解的最优性，并且无需提供容易辨识的特征点。计算量相对较小且匹配误差小，可以实现精确匹配。

Description

一种基于图像拼接的全景图合成方法

技术领域

本发明公开了一种基于图像拼接的全景图合成方法，涉及图像处理技术领域。

背景技术

全景图是一种重要的场景表示方法，在实际应用中主要有两种方式来获得，直接法和图像拼接法。直接法使用特殊的全景相机等器材可以直接获取，但是拍摄用的器材通常比较昂贵，而且拍照时需要精确地校准摄像机，实用性较差，而采用普通摄像机图像拼接获得全景图是一种低成本而且比较灵活的方法。采用图像拼接的方式获取全景图这种方式对拍照的器材没有太高的要求，可以使用普通的照相机。

图像拼接(Photo graphic mosaic)或称蒙太奇拼贴，是一种影像处理技术，广泛应用于虚拟环境构建和电影特效的制作。其基本原理是通过对包含某一大场景部分信息的各小照片的校准，将这些校准和标定后的小照片无缝地合成为一张包含场景全部信息的大图像。

图像拼接技术主要包括两个关键环节即图像配准和图像融合对于图像融合部分，由于其耗时不太大，且现有的几种主要方法效果差别也不多，所以总体来说算法上比较成熟。而图像配准部分是整个图像拼接技术的核心部分，它直接关系到图像拼接算法的成功率和运行速度，因此配准算法的研究是多年来研究的重点。目前的图像配准算法基本上可以分为两类:基于频域的方法(相位相关方法)和基于时域的方法。

相位相关法最早是由Kuglin和Hines在1975年提出的，并且证明在纯二维平移的情形下，拼接精度可以达到1个像素，多用于航空照片和卫星遥感图像的配准等领域。该方法对拼接的图像进行快速傅立叶变换，将两幅待配准图像变换到频域，然后通过它们的互功率谱直接计算出两幅图像间的平移矢量，从而实现图像的配准。由于其具有简单而精确的特点，后来成为最有前途的图像配准算法之一。但是相位相关方法一般需要比较大的重叠比例(通常要求配准图像之间有50％的重叠比例)，如果重叠比例较小，则容易造成平移矢量的错误估计，从而较难实现图像的配准。

基于时域的方法又可具体分为基于特征的方法和基于区域的方法。基于特征的方法首先找出两幅图像中的特征点(如边界点、拐点)，并确定图像间特征点的对应关系，然后利用这种对应关系找到两幅图像间的变换关系。这一类方法不直接利用图像的灰度信息，因而对光线变化不敏感，但对特征点对应关系的精确程度依赖很大。这一类方法采用的思想较为直观，大部分的图像配准算法都可以归为这一类。基于区域的方法是以一幅图像重叠区域中的一块作为模板，在另一幅图像中搜索与此模板最相似的匹配块，这种算法精度较高，但计算量过大。

按照匹配算法的具体实现又可以分为直接法和搜索法两大类，直接法主要包括变换优化法，它首先建立两幅待拼接图像间的变换模型，然后采用非线性迭代最小化算法直接计算出模型的变换参数，从而确定图像的配准位置。该算法效果较好，收敛速度较快，但是它要达到过程的收敛要求有较好的初始估计，如果初始估计不好，则会造成图像拼接的失败。搜索法主要是以一幅图像中的某些特征为依据，在另一幅图像中搜索最佳配准位置，常用的有比值匹配法，块匹配法和网格匹配法。比值匹配法是从一幅图像的重叠区域中部分相邻的两列上取出部分像素，然后以它们的比值作模板，在另一幅图像中搜索最佳匹配。这种算法计算量较小，但精度较低；块匹配法则是以一幅图像重叠区域中的一块作为模板，在另一幅图像中搜索与此模板最相似的匹配块，这种算法精度较高，但计算量过大；网格匹配法减小了块匹配法的计算量，它首先要进行粗匹配，每次水平或垂直移动一个步长，记录最佳匹配位置，然后在此位置附近进行精确匹配，每次步长减半，然后循环此过程直至步长减为0。这种算法较前两种运算量都有所减小，但在实际应用中仍然偏大，而且粗匹配时如果步长取的太大，很可能会造成较大的粗匹配误差，从而很难实现精确匹配。

图像拼接的关键在于对各个元素图片的标定，即确定变换矩阵M。

发明内容

本发明所要解决的技术问题是：针对现有技术的缺陷，提供一种基于图像拼接的全景图合成方法。

本发明为解决上述技术问题采用以下技术方案：

一种基于图像拼接的全景图合成方法，具体步骤如下：

步骤一、对全景图分块拍摄，得到全景图的分块拍摄图像，相邻的分块拍摄图像之间存在影像重合度；

步骤二、将步骤一所得分块拍摄图像按每一个像素转换成对应的二维数组矩阵，采用齐次坐标系来表示分块拍摄图像中各像素的坐标，分块拍摄图像的几何变换表达式如下：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ w^{\′}\end{array}\right]=\left[\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ m_6& m_7& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ w\end{array}\right]$

其中，m₀至m₇分别表示像素点的四个主要方向上，该像素点与邻近像素点的灰度变化情况，即像素点的兴趣值；(x,y,w)表示齐次坐标系中分块拍摄图像上某一像素的位置，对应的笛卡尔坐标为(x/w,y/w)；x，y表示像素点旧坐标，w表示尺度参数；(x',y',w')表示在其他分块拍摄图像中与(x,y,w)相对应的像素坐标；

设定矩阵M为变换矩阵，当发生刚性变换时，表示为：

$M_{\mathrm{rigid}-2D}=\left[\begin{array}{ccc}\cos \mathrm{\θ}& -\sin & {\mathrm{\τ}}_x\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& {\mathrm{\τ}}_y\\ 0& 0& 1\end{array}\right]$

其中，θ表示变换矩阵的旋转角度；τ_x、τ_y表示刚体变换矩阵中沿x、y方向的平移量；

当发生线性几何变换时，矩阵M用仿射变换来表示，即：

$M_{\mathrm{affine}-2D}=\left[\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ 0& 0& 1\end{array}\right];$

步骤三、采用基于图像灰度相似度和最大似然估计的算法，计算矩阵M，计算公式为：

$x^{\′}=\frac{m_{0}x+m_{1}y+m_2}{m_{6}x+m_{7}y+1};$

$y^{\′}=\frac{m_{3}x+m_{4}y+m_5}{m_{6}x+m_{7}y+1};$

其中，x′、y′表示求出的像素新坐标；

步骤四、采用最小化相邻元素图像灰度值的平方和来估算矩阵M中的未知变量，相应的最小二乘问题表示为：

E＝Σ[I′(x′,y′)-I(x,y)]²＝Σe²

其中，I(x,y)表示图像数据在点(x,y)处的灰度值；I′(x′,y′)表示图像数据在点(x′,y′)处的灰度值；e表示二者灰度差值；

步骤五、采用LM迭代算法来求解上述非线性最小二乘问题；

步骤六、检查误差e的大小，并且将其与设定的阈值进行比较，误差e低于设定的阈值时，计算结束；误差e高于设定的阈值时，还需要再次迭代运算，直到误差满足设定的阈值要求为止。

作为本发明的进一步优选方案，完成步骤一至步骤六之后，用平滑滤波的方法对拼接后的图像进行再次处理。

作为本发明的进一步优选方案，步骤二中所述像素是指分块拍摄图像在当前位置的颜色索引值或颜色值，当分块拍摄图像是灰度图像是，像素用灰度值表示；当分块拍摄图像是彩色图像时，像素用复数个灰度值来表示。

作为本发明的进一步优选方案，步骤二中所述刚性变换包括平移变换和旋转变换。

作为本发明的进一步优选方案，步骤二中所述线性几何变换包括平移变换，旋转变换和尺度变换。

作为本发明的进一步优选方案，对于分块拍摄图像中非整数坐标处的灰度值，采用双线性插值来进行估算。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明中采用了一种基于图像灰度相似度和最大似然估计的算法来计算矩阵M，这种算法确保了所得解的最优性，并且无需提供容易辨识的特征点。计算量相对较小且匹配误差小，可以实现精确匹配。

附图说明

图1是本发明的步骤流程示意图。

图2是实施例正方形图形，依次经过刚性、仿射和投射变换后可能出现的形状示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明所公开的一种基于图像拼接的全景图合成方法，具体步骤如下：

步骤一、对全景图分块拍摄，得到全景图的分块拍摄图像，相邻的分块拍摄图像之间存在影像重合度；

步骤二、将步骤一所得分块拍摄图像按每一个像素转换成对应的二维数组矩阵，采用齐次坐标系来表示分块拍摄图像中各像素的坐标，分块拍摄图像的几何变换表达式如下：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ w^{\′}\end{array}\right]=\left[\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ m_6& m_7& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ w\end{array}\right]$

其中，m₀至m₇分别表示像素点的四个主要方向上，该像素点与邻近像素点的灰度变化情况，即像素点的兴趣值；(x,y,w)表示齐次坐标系中分块拍摄图像上某一像素的位置，对应的笛卡尔坐标为(x/w,y/w)；x，y表示像素点旧坐标，w表示尺度参数；(x',y',w')表示在其他分块拍摄图像中与(x,y,w)相对应的像素坐标；

设定矩阵M为变换矩阵，当发生刚性变换时，表示为：

$M_{\mathrm{rigid}-2D}=\left[\begin{array}{ccc}\cos \mathrm{\θ}& -\sin & {\mathrm{\τ}}_x\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& {\mathrm{\τ}}_y\\ 0& 0& 1\end{array}\right]$

其中，θ表示变换矩阵的旋转角度；τ_x、τ_y表示刚体变换矩阵中沿x、y方向的平移量；

当发生线性几何变换时，矩阵M用仿射变换来表示，即：

$M_{\mathrm{affine}-2D}=\left[\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ 0& 0& 1\end{array}\right];$

步骤三、采用基于图像灰度相似度和最大似然估计的算法，计算矩阵M，计算公式为：

$x^{\′}=\frac{m_{0}x+m_{1}y+m_2}{m_{6}x+m_{7}y+1};$

$y^{\′}=\frac{m_{3}x+m_{4}y+m_5}{m_{6}x+m_{7}y+1};$

其中，x′、y′表示求出的像素新坐标；

步骤四、采用最小化相邻元素图像灰度值的平方和来估算矩阵M中的未知变量，相应的最小二乘问题表示为：

E＝Σ[I′(x′,y′)-I(x,y)]²＝Σe²

其中，I(x,y)表示图像数据在点(x,y)处的灰度值；I′(x′,y′)表示图像数据在点(x′,y′)处的灰度值；e表示二者灰度差值；

步骤五、采用LM迭代算法来求解上述非线性最小二乘问题；

步骤六、检查误差e的大小，并且将其与设定的阈值进行比较，误差e低于设定的阈值时，计算结束；误差e高于设定的阈值时，还需要再次迭代运算，直到误差满足设定的阈值要求为止。

作为本发明的进一步优选方案，完成步骤一至步骤六之后，用平滑滤波的方法对拼接后的图像进行再次处理。

作为本发明的进一步优选方案，步骤二中所述像素是指分块拍摄图像在当前位置的颜色索引值或颜色值，当分块拍摄图像是灰度图像是，像素用灰度值表示；当分块拍摄图像是彩色图像时，像素用复数个灰度值来表示。

作为本发明的进一步优选方案，步骤二中所述刚性变换包括平移变换和旋转变换。

作为本发明的进一步优选方案，步骤二中所述线性几何变换包括平移变换，旋转变换和尺度变换。

作为本发明的进一步优选方案，对于分块拍摄图像中非整数坐标处的灰度值，采用双线性插值来进行估算。

本发明的步骤流程示意图如图1所示，数字图像可以理解为一个广义的二维数组(矩阵)，组成的每一个元素称为像素，像素是指图像在当前位置的颜色索引值或颜色值(灰度图像为灰度值，彩色图像则需要多个值来表示)。例如一幅由200行300列灰度图像可以用200×300的矩阵来存储。对于图像中非整数坐标处的灰度值，可以通过双线性插值来估算。因此，对于数字图像的变换和标定，可以通对二维或高维数组处理来实现。为了简化几何变换的矩阵表达形式，本文采用齐次坐标系来表示图像中各像素的坐标。在此坐标系下，图像的几何变换的一般表达形式可以由下式给出。

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ w^{\′}\end{array}\right]=\left[\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ m_6& m_7& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ w\end{array}\right]$

其中，(x,y,w)表示齐次坐标系中二维图像上某一像素的位置，对应的笛卡尔坐标为(x/w,y/w)，(x',y',w')为在其他元素图像中与(x,y,w)相对应的像素坐标。矩阵M为变换矩阵，当只考虑平移和旋转变换，即刚性变换时，式

错误！未找到引用源。可以表示为：

$M_{\mathrm{rigid}-2D}=\left[\begin{array}{ccc}\cos \mathrm{\θ}& -\sin & {\mathrm{\τ}}_x\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& {\mathrm{\τ}}_y\\ 0& 0& 1\end{array}\right]$

对于一般形式的线性几何变换(平移，旋转和尺度)，矩阵M可以用仿射变换来表示，即

$M_{\mathrm{affine}-2D}=\left[\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ 0& 0& 1\end{array}\right]$

图2列举了一个正方形图形，当依次经过刚性、仿射和投射变换后，其可能出现的形状如图2所示。

图像拼接的关键在于对各个元素图片的标定，即确定变换矩阵M。本中采取了一种基于图像灰度相似度和最大似然估计的算法来计算矩阵M。这种算法确保了所得解的最优性，并且无需提供容易辨识的特征点。

$x^{\′}=\frac{m_{0}x+m_{1}y+m_2}{m_{6}x+m_{7}y+1}$

$y^{\′}=\frac{m_{3}x+m_{4}y+m_5}{m_{6}x+m_{7}y+1}$

本算法通过最小化相邻元素图像灰度值的平方和来估算矩阵M中的各未知变量，相应的最小二乘问题可以表示为：

E＝Σ[I′(x′,y′)-I(x,y)]²＝Σe²

其中，I(x,y)表示图像数据在点(x,y)处的灰度值。该非线性最小二乘法的解可以通过LM(Levenberg-Margquardt)迭代算法来求解。

为了最终能合成完整且正确的图像，对素材图像有一定的要求，需确保相邻元素图像之间存在一定的影像重合度。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种基于图像拼接的全景图合成方法，其特征在于，具体步骤如下：

步骤一、对全景图分块拍摄，得到全景图的分块拍摄图像，相邻的分块拍摄图像之间存在影像重合度；

步骤二、将步骤一所得分块拍摄图像按每一个像素转换成对应的二维数组矩阵，采用齐次坐标系来表示分块拍摄图像中各像素的坐标，分块拍摄图像的几何变换表达式如下：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ w^{\′}\end{array}\right]=\left[\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ m_6& m_7& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ w\end{array}\right]$

其中，m₀至m₇分别表示像素点的四个主要方向上，该像素点与邻近像素点的灰度变化情况，即像素点的兴趣值；(x,y,w)表示齐次坐标系中分块拍摄图像上某一像素的位置，对应的笛卡尔坐标为(x/w,y/w)；x，y表示像素点旧坐标，w表示尺度参数；(x',y',w')表示在其他分块拍摄图像中与(x,y,w)相对应的像素坐标；

设定矩阵M为变换矩阵，当发生刚性变换时，表示为：

$M_{\mathrm{rigid}-2D}=\left[\begin{array}{ccc}\cos \mathrm{\θ}& -\sin & {\mathrm{\τ}}_x\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}& {\mathrm{\τ}}_y\\ 0& 0& 1\end{array}\right]$

其中，θ表示变换矩阵的旋转角度；τ_x、τ_y表示刚体变换矩阵中沿x、y方向的平移量；

当发生线性几何变换时，矩阵M用仿射变换来表示，即：

$M_{\mathrm{affine}-2D}=\left[\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ 0& 0& 1\end{array}\right];$

步骤三、采用基于图像灰度相似度和最大似然估计的算法，计算矩阵M，计算公式为：

$x^{\′}=\frac{m_{0}x+m_{1}y+m_2}{m_{6}x+m_{7}y+1};$

$y^{\′}=\frac{m_{3}x+m_{4}y+m_5}{m_{6}x+m_{7}y+1};$

其中，x′、y′表示求出的像素新坐标；

步骤四、采用最小化相邻元素图像灰度值的平方和来估算矩阵M中的未知变量，相应的最小二乘问题表示为：

E＝Σ[I′(x′,y′)-I(x,y)]²＝Σe²

其中，I(x,y)表示图像数据在点(x,y)处的灰度值；I′(x′,y′)表示图像数据在点(x′,y′)处的灰度值；e表示二者灰度差值；

步骤五、采用LM迭代算法来求解上述非线性最小二乘问题；

步骤六、检查误差e的大小，并且将其与设定的阈值进行比较，误差e低于设定的阈值时，计算结束；误差e高于设定的阈值时，还需要再次迭代运算，直到误差满足设定的阈值要求为止。

2.如权利要求1所述的一种基于图像拼接的全景图合成方法，其特征在于：完成步骤一至步骤六之后，用平滑滤波的方法对拼接后的图像进行再次处理。

3.如权利要求1所述的一种基于图像拼接的全景图合成方法，其特征在于：步骤二中所述像素是指分块拍摄图像在当前位置的颜色索引值或颜色值，当分块拍摄图像是灰度图像是，像素用灰度值表示；当分块拍摄图像是彩色图像时，像素用复数个灰度值来表示。

4.如权利要求1所述的一种基于图像拼接的全景图合成方法，其特征在于：步骤二中所述刚性变换包括平移变换和旋转变换。

5.如权利要求1所述的一种基于图像拼接的全景图合成方法，其特征在于：步骤二中所述线性几何变换包括平移变换，旋转变换和尺度变换。

6.如权利要求3所述的一种基于图像拼接的全景图合成方法，其特征在于：对于分块拍摄图像中非整数坐标处的灰度值，采用双线性插值来进行估算。