CN103971352A - 一种基于广角镜头的快速图像拼接方法 - Google Patents

Abstract

本发明公开了一种基于广角镜头的快速图像拼接方法，（1）对各广角镜头所采集到的图像进行畸变矫正；（2）将畸变矫正后的图像进行柱面映射，针对每个广角镜头，生成一张二维离散坐标映射表；（3）载入每个广角镜头的二维离散坐标映射表，该表对各广角镜头所采集到的各畸变图像依次进行畸变矫正和柱面映射；（4）求取柱面映射后各相邻视角图像之间的平移参数，对各相邻视角图像进行配准；（5）对配准后的各相邻视角图像进行融合：分别针对配准后的各相邻视角图像序列建立拉普拉斯金字塔，分别对高频和低频金字塔图像重叠区进行线性融合，得到各相邻视角图像融合后的图像。本发明方法具有拼接速度快，实时性高的优点。

Description

一种基于广角镜头的快速图像拼接方法

技术领域

本发明涉及视图像处理领域，特别涉及一种基于广角镜头的快速图像拼接方法。

背景技术

全景图的构建对于有效的扩大图像视野，及获取有效信息有着重要的意义，在摄像机的图像处理技术，汽车电子及手机等移动通信设备领域有着广泛的应用。目前构建全景图像的方法主要有两种：一种是采用如鱼眼镜头、反折射全向成像和全景环形透镜这种特殊摄像机获取图像，然后矫正成像畸变，一次性成像，这种方法空间分辨率较低，外加上其价格昂贵，仅适用于一些专业场合。另一种方法是通过单台摄像机旋转拍摄一系列不同视角的图像或多台摄像机拍摄一系列图像，然后将多幅有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼接成一幅大型的无缝高分辨率全景图像。图像拼接技术的出现源于摄影学需求，现已广泛应用于视频监控、虚拟现实、计算机视觉、医学图像处理等领域，具有十分广阔的市场前景。一般来说，图像拼接的过程由图像预处理，图像配准和图像融合三个步骤组成，其中图像配准是图像拼接的核心技术。

目前应用较多的图像拼接技术包括：

第一，单视点拼接模型。即通过固定视点拍摄多幅图像，然后根据图像之间的单应性矩阵（Homography）来实现图像之间的对齐。这种单视点模型是目前大多数拼接方法采用的方案。单视点模型不存在视差，通过单应矩阵就可以实现对齐。

第二，多视点拼接模型。通过不同的视点拍摄多幅图像，然后采用单应矩阵进行初始对齐。初始对齐的图像之间存在视差，视差会在两幅图像之间的重叠区部分形成重影。因此采用多视点模型进行全景拼接需要单独的视差补偿模块。

公告号为CN101673395B的中国发明专利，提出了一种通用的对拍摄无限制的图像拼接方法。针对采用多视点模型进行拼接存在重影的问题，提出了一种基于密深度图的图像拼接方法。该方法通过计算得到的两幅图像之间的深度图来补偿视差，能一定程度解决重影的问题。依据目前的研究现状，基于稠密深度图和光流法是目前比较适用的视差补偿方案。但是，稠密深度图的计算非常耗时，对复杂场景、光照变化、图像质量差等条件，存在精度低的缺陷。以上缺陷使得基于稠密深度图的视差补偿方法很难应用到实时性要求高的场景，例如视频会议、视频监控。此外，针对上述方法中的视差补偿方案，若要实现360度全景拼接，需要对每两幅图像进行深度图计算，难以满足实时性要求。

目前比较常见的桌面拼接软件Autostitch、Microsoft ICE、Photoshop CS6中的全景拼接功能，针对无畸变图像进行拼接。采用无畸变的图像进行拼接，要实现360度全景，考虑40度的视场角度和三分之一的重叠区要求，需要13个视角，仅考虑局部配准，需要进行12次配准和融合操作，计算量非常大，因此图像拼接速度非常慢。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种拼接速度快以及实时性强的广角镜头的快速图像拼接方法。

本发明的目的通过下述技术方案实现：一种基于广角镜头的快速图像拼接方法，包括以下步骤：

（1）获取广角镜头所采集到的图像，对各广角镜头所采集到的图像进行畸变矫正，并获取畸变矫正前后图像的坐标映射表；

（2）将畸变矫正后的图像进行柱面映射，并获取柱面映射前后图像的坐标映射表，针对每个广角镜头，将该表与畸变矫正前后图像的坐标映射表进行合成，然后在该合成表中按照每q*q的像素块窗口选择一个点坐标来组成一张二维离散坐标映射表并对其进行存储；其中所述二维离散坐标映射表构建过程通过柱面映射和畸变矫正的映射进行求逆，得到柱面映射后图像点的坐标与原始输入的畸变图像点坐标之间的对应关系；

（3）载入每个广角镜头所存储的二维离散坐标映射表，利用坐标插值法得到完整的二维坐标映射表，然后根据该表对各广角镜头所采集到的各畸变图像依次进行畸变矫正和柱面映射；

（4）采用快速归一化互相关算法求取柱面映射后各相邻视角图像之间的平移参数，根据平移参数对上述步骤（3）处理后的各相邻视角图像进行配准；

（5）对步骤（4）中配准后的各相邻视角图像进行融合：首先分别针对步骤（4）中配准后的各相邻视角图像序列建立拉普拉斯金字塔，然后分别对高频和低频金字塔图像重叠区进行线性融合，得到各相邻视角图像融合后的图像，即广角镜头所采集到的各相邻视角图像拼接后的图像。

优选的，采用所述广角镜头拍摄水平方向360度的视场，通过上述步骤（3）至（5）对所述广角镜头所采集的各相邻视角图像进行拼接，得到360度全景图像；各视角图像的获取由所述步骤（1）中通过单台广角镜头转动采集各视角的图像，或者通过多台广角镜头分别采集各视角的图像。

优选的，所述步骤（1）中畸变矫正前后图像的坐标映射表获取过程如下：

（1-1）选取径向畸变模型：

$\left(\begin{array}{c}{x}^d-x^c\\ y^d-y^c\end{array}\right)=L\left(r\right)\left(\begin{array}{c}{x}^u-x^c\\ y^u-y^c\end{array}\right);$

其中，

$\left\{\begin{array}{c}L\left(r\right)=1+{\mathrm{\κ}}_1{r}^2+{\mathrm{\κ}}_2{r}^4+......\\ r=\sqrt{{(x^u-x^c)}^2+{(y^u-y^c)}^2}\end{array}\right.;$

其中(x^c,y^c)为畸变中心点坐标，(x^d,y^d)为畸变点坐标，(x^u,y^u)为畸变矫正后点坐标；κ₁,κ₂,…为畸变参数；

（1-2）获取径向畸变模型中的畸变参数：各广角镜头针对标准的棋盘格标定板拍摄一张图像，根据直线标定法通过上述径向畸变模型对棋盘格上每一行和每一列共线的点进行线性约束并构建线性方程：

A_n×mK_m×1=B_n×1；

其中n为棋盘格上共线的直线数，系数矩阵A和B由畸变中心点坐标和畸变图像中处于棋盘格的同一条直线上的畸变点构建；

其中畸变参数K_m×1为：

$K=\left[\begin{array}{c}{\mathrm{\κ}}_1\\ {\mathrm{\κ}}_2\\ \·\\ \·\\ \·\\ {\mathrm{\κ}}_m\end{array}\right];$

m为径向畸变模型所选取的多项式项数；κ₁,κ₂，...,κ_m为畸变参数；

（1-3）通过上述构建的线性方程得到径向畸变模型的畸变参数K_m×1：

K_m×1=(A_m×n ^TA_m×n)^-1A_m×n ^TB_n×1；

（1-4）从畸变参数矩阵K_m×1中选取径向畸变模型中低阶项的畸变参数，并将其代入到上述径向畸变模型中，通过上述径向畸变模型对广角镜头所采集的棋盘格图像进行一次畸变矫正；

（1-5）对广角镜头所采集到的棋盘格图像进行一次畸变矫正后，采用如下低阶多项式畸变模型进行二次矫正：

$\left\{\begin{array}{c}{x}^d=x^c+(x^u-x^c)(1+k_1({(x^u-x^c)}^2+{(y^u-y^c)}^2))\\ y^d=y^c+(y^u-y^c)(1+k_2({(x^u-x^c)}^2+{(y^u-y^c)}^2))\end{array}\right.$

在a～b范围内选取畸变参数k₂，并且将畸变参数k₁调整为：k₁《k₂，然后将畸变参数k₁和k₂代入到上述低阶多项式畸变模型对一次畸变矫正后的图像进行二次矫正，并获取到畸变矫正前后棋盘格图像的坐标映射表；其中该低阶多项式畸变模型中(x^d,y^d)为步骤（1-4）一次矫正后图像的点坐标，(x^u,y^u)为通过该低阶多项式畸变模型进行二次畸变矫正后的点坐标。

更进一步的，所述步骤（1-5）中a为10^-6，b为10^-8，所述步骤（1-5）中畸变参数k₁调整为0。

更进一步的，所述步骤（2）中畸变矫正后的图像进行柱面映射的过程为：将上述步骤（1-5）中畸变矫正后的图像输入到柱面映射的模型中，从而得到柱面映射前后图像的坐标映射表；其中所述柱面映射的模型为：

$\left\{\begin{array}{c}x\′=f\arctan \left(\frac{x^u-x^c}{f}\right)+f\arctan \left(\frac{x^c}{f}\right)\\ y\′=f\frac{y^u-y^c}{\sqrt{{(x^u-x^c)}^{+}+f^2}}+y^c\end{array}\right.;$

其中(x^u,y^u)为步骤（1-5）中二次畸变矫正后图像点的坐标，即柱面映射前的点坐标；(x',y')为柱面映射后的点坐标，(x^c,y^c)为畸变中心点坐标。

优选的，所述步骤（2）中q为8或者16，即在合成表中按照每8*8或者16*16的像素块窗口选择一个点坐标来组成一张二维离散坐标映射表并对其进行存储。

优选的，所述步骤（4）中采用快速归一化互相关算法求取各相邻视角图像之间的平移参数的过程如下：

（4-1）在各相邻视角图像的左视图图像与右视图图像重叠区内获取部分图像t作为特征图像，在各相邻视角图像的右视图图像与左视图重叠区内取部分区域图像f作为模板图像；

（4-2）将步骤（1）中获取的特征图像t及模板图像f进行以下卷积运算，获取点(u,v)为坐标起始点的特征图像t与其在模板图像f中覆盖区域之间的相关系数λ(u,v)：

$\mathrm{\λ}(u,v)=\frac{{\mathrm{\Σ}}_{x,y}[f(x,y)-{\stackrel{\‾}{f}}_{u,v}][t(x-u,y-v)-\stackrel{\‾}{t}]}{{\left\{{\mathrm{\Σ}}_{x,y}\right[f(x,y)-{\stackrel{\‾}{f}}_{u,v}{]}^2{\mathrm{\Σ}}_{x,y}[(x-u,y-v)-\stackrel{\‾}{t}{]}^2\}}^{0.5}};$

其中和分别表示上述覆盖区域上特征图像t和模板图像f的像素均值；f(x,y)表示在特征图像t覆盖范围下的坐标范围内的模板图像f中的部分图像；

（4-3）特征图像t在模板图像中f中逐点移动，通过步骤（4-2）求取特征特征图像t与其在模板图像f中覆盖区域之间的相关系数λ(u,v)，从而得到特征图像t与模板图像f之间的互相关矩阵M_CR；

（4-4）从互相关系数矩阵M_CR选取出最大相关系数值，通过该最大相关系数值对应的坐标点获取各相邻图像之间的平移参数，通过该平移参数实现相邻视角图像之间的配准。

更进一步的，所述步骤（4-1）中获取的特征图像t为小于或等于模板图像f的二分之一。

优选的，所述步骤（5）中首先将配准后的各相邻视角图像序列转换成YCbCr颜色空间，然后分别针对图像的Y、Cb和Cr三个通道建立拉普拉斯金字塔，最后分别对高频和低频金字塔图像重叠区进行线性融合，得到各相邻视角图像融合后的图像。

优选的，所述步骤（2）中畸变矫正后的图像在进行柱面映射前先进行图像剪切，并且记录剪切点坐标以及剪切之后的图像分辨率大小，用于后续构建柱面映射前后的坐标映射表。

本发明相对于现有技术具有如下的优点及效果：

（1）本发明的图像拼接方法首先针对各广角镜头分别生成畸变矫正后的图像和柱面映射前后图像的合成表，并在该合成表中按照每q*q的像素块窗口选择一个点坐标来组成一张二维离散坐标映射表并对其进行存储。各广角镜头在载入该二维离散坐标映射表后，即可按照该表对其所采集的图像进行畸变矫正和柱面映射，可以有效避免畸变矫正和柱面映射带来的非线性操作，提升图像拼接的速度。另外本发明中所存储二维离散坐标映射表是由畸变矫正后的图像和柱面映射前后图像的合成表选取的点坐标所组成的，通过稀疏坐标映射表的处理方法，可以有效减少存储空间，同时也可以节省读取时所花费的时间，进一步提高了本发明图像拼接方法的速度。本发明图像拼接方法在线性融合时，采用分频线性融合算法，相比于其他的线性融合，此算法能保留更多的图像细节，相比于多频带融合算法，速度提升一倍以上。

（2）本发明的图像拼接方法是通过广角镜头采集图像的，当将本发明图像拼接方法用于水平方向360度全景图像构建时，只需要利用115度的广角镜头拍摄4至5个视角的图像即可，因此本发明方法在保证水平方向360度视场范围完全覆盖无盲区的条件下，显著减少参与拼接的图像数，可有效控制参与配准和融合的相邻图像对，提升拼接的实时性能，非常适合应用于全景视频获取平台。

（3）本发明的图像拼接方法通过一张二维离散查找表一次完成图像畸变矫正和柱面映射，通过积分图像优化的快速归一化互相关算法进行配准，分频的YCbCr图像通道融合，能在保证一定的拼接质量的基础上提升系统的实时性能。

（4）本发明图像拼接方法针对畸变图像进行两次矫正，因此本发明提升了图像拼接的质量。另外由于广角镜头畸变失真以及透视失真等因素的影响，相邻视角重叠区相同物体可能出现尺度大小不一致的问题，因此，对畸变校正后图像进行柱面映射时，畸变中心坐标设置为柱面投影的中心坐标，从而有效减轻尺度大小不一致所造成的影响。

（5）本发明图像拼接方法在图像融合之前将输入图像序列以YCbCr411格式转换到YCbCr颜色空间，因而在图像的Cb和Cr颜色通道，图像缩小，可以减小图像融合操作的计算量，进一步提高图像拼接的速度。

（6）本发明的图像拼接方法可以应用于单台广角镜头或多台广角镜头的全景视频监控系统以及相关采用类似工作模式的应用系统，具有较高的工程使用价值。针对多个广角镜头所采集图像的视频监控应用场合，可对多台广角镜头所采集的多路图像同步进行图像拼接，大大提高了视频监控的实时性。

附图说明

图1是本发明图像拼接方法的流程图。

图2是如图1所述方法的模块示意图。

图3是本发明单视点模型示意图。

图4是本发明多视点模型示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1和2所示，本实施例公开了一种基于广角镜头的快速图像拼接方法，包括以下步骤：

（1）获取广角镜头所采集到的图像，对各广角镜头所采集到的图像进行畸变矫正，并获取畸变矫正前后图像的坐标映射表；其中本实施例中畸变矫正前后图像的坐标映射表获取过程如下：

（1-1）选取径向畸变模型：

$\left(\begin{array}{c}{x}^d-x^c\\ y^d-y^c\end{array}\right)=L\left(r\right)\left(\begin{array}{c}{x}^u-x^c\\ y^u-y^c\end{array}\right);$

其中，

$\left\{\begin{array}{c}L\left(r\right)=1+{\mathrm{\κ}}_1{r}^2+{\mathrm{\κ}}_2{r}^4+......\\ r=\sqrt{{(x^u-x^c)}^2+{(y^u-y^c)}^2}\end{array}\right.$

其中(x^c,y^c)为畸变中心点坐标，(x^d,y^d)为畸变点坐标，(x^u,y^u)为畸变矫正后即无畸变点坐标；κ₁,κ₂,…为畸变参数；

（1-2）获取径向畸变模型中的畸变参数：准备一张打印有标准棋盘格的平面标定板，各广角镜头针对标准的棋盘格标定板拍摄一张图像，其中拍摄的图像如图2所示发生畸变，根据直线标定法通过上述径向畸变模型对棋盘格上每一行和每一列共线的点进行线性约束并构建线性方程：

A_n×mK_m×1=B_n×1；

其中n为棋盘格上共线的直线数，系数矩阵A和B由畸变中心点坐标和畸变图像中处于棋盘格的同一条直线上的畸变点构建；

其中畸变参数K_m×1为：

$K=\left[\begin{array}{c}{\mathrm{\κ}}_1\\ {\mathrm{\κ}}_2\\ \·\\ \·\\ \·\\ {\mathrm{\κ}}_m\end{array}\right];$

m为径向畸变模型所选取的多项式项数，在本实施例中m为2；κ₁,κ₂，...,κ_m为畸变参数；

（1-3）通过上述构建的线性方程得到径向畸变模型的畸变参数K_m×1：

K_m×1=(A_m×n ^TA_m×n)^-1A_m×n ^TB_n×1；

（1-4）从畸变参数矩阵K_m×1中选取径向畸变模型中前面的几项低阶项，在本实施例中选择前两项κ₁和κ₂；并将选取的畸变参数κ₁和κ₂代入到上述径向畸变模型中，通过上述径向畸变模型对广角镜头所采集的棋盘格图像进行一次畸变矫正；对于一般的广角镜头，图像坐标系的横坐标和纵坐标两个方向的畸变程度存在差异，即畸变参数不完全由畸变点到畸变中心的距离决定。因此，基于对称模型矫正后的图像需要通过以下步骤进行二次矫正。

（1-5）对广角镜头所采集到的棋盘格图像进行一次畸变矫正后，采用如下低阶多项式畸变模型进行二次矫正：

$\left\{\begin{array}{c}{x}^d=x^c+(x^u-x^c)(1+k_1({(x^u-x^c)}^2+{(y^u-y^c)}^2))\\ y^d=y^c+(y^u-y^c)(1+k_2({(x^u-x^c)}^2+{(y^u-y^c)}^2))\end{array}\right.$

在10^-6～10^-8范围内选取畸变参数k₂，并且将畸变参数k₁调整为零，然后将上述调整后的畸变参数k₁和k₂代入到该低阶多畸变模型对一次畸变矫正后的图像进行二次矫正，对横向和纵向两个方向的畸变参数进行手动微调，并获取到畸变矫正前后棋盘格图像的坐标映射表。其中在二次矫正时选取的畸变参数k₂对图像做进一步的手动微调。二次矫正时畸变模型中k₁≠k₂，因此本实施例二次矫正为基于非对称畸变模型；该低阶多项式畸变模型中(x^d,y^d)为步骤（1-4）一次矫正后图像的点坐标，(x^u,y^u)为通过该低阶式畸变多项模型进行二次畸变矫正后的点坐标。

（2）如图2中所示，由于畸变校正之后图像周边区域扩展放大，因此需要对矫正后的图像进行剪切，其中剪切的原则是保留尽可能多的有效像素区域，记录剪切点坐标以及剪切之后的图像分辨率大小，用于后续构建柱面映射前后的坐标映射表。畸变矫正后的图像进行剪切后的图像再进行柱面映射，并获取柱面映射前后图像的坐标映射表，针对每个广角镜头，将该表与剪切后的畸变矫正前后图像的坐标映射表进行合成，然后在该合成表中按照每8*8的像素块窗口选择一个点坐标来组成一张二维离散坐标映射表并以文本文件的形式对其进行存储；二维离散坐标映射表构建过程通过柱面映射和畸变矫正的映射进行求逆，得到柱面映射后图像点的坐标与原始输入的畸变图像点坐标之间的对应关系；

其中畸变矫正后的图像进行柱面映射的过程为：将上述步骤（1-5）中畸变矫正及剪切后的图像输入到柱面映射的模型中，从而得到柱面映射前后图像的坐标映射表；其中柱面映射的模型为：

$\left\{\begin{array}{c}x\′=f\arctan \left(\frac{x^u-x^c}{f}\right)+f\arctan \left(\frac{x^c}{f}\right)\\ y\′=f\frac{y^u-y^c}{\sqrt{{(x^u-x^c)}^{+}+f^2}}+y^c\end{array}\right.;$

其中(x^u,y^u)为步骤（1-5）中二次畸变矫正后图像的点坐标，即柱面映射前的坐标；(x',y')为柱面映射后的点坐标，(x^c,y^c)为畸变中心点坐标。在本实施例中由于广角镜头畸变失真以及透视失真等因素的影响，相邻视角重叠区相同物体可能出现尺度大小不一致的问题。因此，对畸变校正后图像进行柱面映射时，柱面投影中心坐标需要设置为畸变中心坐标，从而有效减轻尺度大小不一致所造成的影响。

（3）载入每个广角镜头所存储的二维离散坐标映射表，利用坐标插值法得到完整的二维坐标映射表，然后根据该表对各广角镜头所采集到的各畸变图像依次进行畸变矫正和柱面映射，通过双线性插值法获取柱面映射后的图像；

（4）采用快速归一化互相关算法求取柱面映射后各相邻视角图像之间的平移参数，根据平移参数对上述步骤（3）处理后的各相邻视角图像进行配准；其中本实施例中采用快速归一化互相关算法求取各相邻视角图像之间的平移参数的过程如下：

（4-1）在各相邻视角图像的左视图图像与右视图图像重叠区内获取部分图像t作为特征图像，在各相邻视角图像的右视图图像与左视图重叠区内取部分区域图像f作为模板图像；其中特征图像t的大小小于或等于模板图像f的二分之一。

（4-2）将步骤（1）中获取的特征图像t及模板图像f进行以下卷积运算，获取点(u,v)为坐标起始点的特征图像t与其在模板图像f中覆盖区域之间的相关系数λ(u,v)：

$\mathrm{\λ}(u,v)=\frac{{\mathrm{\Σ}}_{x,y}[f(x,y)-{\stackrel{\‾}{f}}_{u,v}][t(x-u,y-v)-\stackrel{\‾}{t}]}{{\left\{{\mathrm{\Σ}}_{x,y}\right[f(x,y)-{\stackrel{\‾}{f}}_{u,v}{]}^2{\mathrm{\Σ}}_{x,y}[(x-u,y-v)-\stackrel{\‾}{t}{]}^2\}}^{0.5}};$

其中和分别表示上述覆盖区域上特征图像t和模板图像f的像素均值；f(x,y)表示在特征图像t覆盖范围下的坐标范围内的模板图像f中的部分图像；

（4-3）将特征图像t在模板图像中f中逐点移动，通过步骤（4-2）求取特征图像t与其在模板图像f中覆盖区域之间的相关系数λ(u,v)，从而得到特征图像t与模板图像f之间的互相关矩阵M_CR；假设特征图像分辨率大小为w×h（w为图像宽，h为图像高），模板图像分辨率大小W×H（W为图像宽，H为图像高），将特征图像在模板图像进行卷积运算可以得到一个大小为(W-w)×(H-h)的相关系数矩阵M_CR，

（4-4）从互相关系数矩阵M_CR选取出最大相关系数值，通过该最大相关系数值对应的坐标点获取各相邻图像之间的平移参数，通过该平移参数实现相邻视角图像之间的配准。

（5）对步骤（4）中配准后的各相邻视角图像进行融合：首先将配准后的各相邻视角图像序列转换成YCbCr颜色空间，然后分别针对图像的Y、Cb和Cr三个通道建立拉普拉斯金字塔，最后分别对高频和低频金字塔图像重叠区进行线性融合，得到各相邻视角图像融合后的图像。

在本实施例中可以采用视角大小为115度的广角镜头拍摄水平方向360度的全景视场，然后通过上述步骤（3）至（5）对广角镜头所采集的各相邻视角图像进行拼接，得到360度全景图像；其中在本实施了中只需要利用115度的广角镜头拍摄4至5个视角的图像即可得到360度全景图像，因此本实施例方法在保证水平方向360度视场范围完全覆盖的条件下，显著减少了参与拼接的图像数，可以有效控制参与配准和融合的相邻图像对，提升拼接系统的实时性能。

其中如图3所示，本实施例步骤（1）中可以通过单台广角镜头22转动来采集各视角的图像，此时通过水平旋转云台11，拍摄多张待拼接的畸变图像。当然，如图4所示，本实施例步骤（1）中也可以通过多台水平共轴放置的广角镜头1、2、3…n分别采集各视角的图像。针对多台广角镜头所采集图像的应用场合，可对多路图像同步进行图像拼接，进一步提高了图像拼接的实时性。

本实施例步骤（4）中相关系数计算复杂度较高，需要采用快速算法来提高计算效率，因此分子部分通过变换域的方法计算，针对特征图像移动后的每一次起始坐标点(u,v)，分母中特征图像均值t为常数，模板图像伴随特征图像的移动卷积逐点变化。预计算特征图像在模板图像中的卷积区域积分图像，通过积分图像加减运算获取模板区域图像像素值之和，有效避免由于逐点计算造成的计算代价大的弊端。

本实施例步骤（1）中所采用的基于直线标定的镜头矫正原理如下：

径向畸变模型描述如下:

$\left(\begin{array}{c}{x}^d-x^c\\ y^d-y^c\end{array}\right)=L\left(r\right)\left(\begin{array}{c}{x}^u-x^c\\ y^u-y^c\end{array}\right);---\left(1\right)$

畸变函数为下式所示的偶次多项式模型:

$\left\{\begin{array}{c}L\left(r\right)=1+{\mathrm{\κ}}_1{r}^2+{\mathrm{\κ}}_2{r}^4+......\\ r=\sqrt{{(x^u-x^c)}^2+{(y^u-y^c)}^2}\end{array}\right.;---\left(2\right)$

若仅考虑二次项,则径向畸变模型描述如下：

$\left\{\begin{array}{c}{x}^d=x^c+(x^u-x^c)(1+k_1({(x^u-x^c)}^2+{(y^u-y^c)}^2))\\ y^d=y^c+(y^u-y^c)(1+k_2({(x^u-x^c)}^2+{(y^u-y^c)}^2))\end{array}\right.$

由广角摄像单元采集到的图像，目标场景中直线状的线条由于镜头畸变会变成曲线；经过畸变校正之后，畸变曲线被矫正为与实际场景一致的直线。经过畸变校正后，图像上位于一条直线上的三个点坐标分别为（x₀ ^u，y₀ ^u）、（x₁ ^u，y₁ ^u）、（x₂ ^u，y₂ ^u），且三个点满足式（4），

$\left|\begin{array}{ccc}{x_0}^u& {x_1}^u& {x_2}^u\\ {y_0}^u& {y_1}^u& {y_2}^u\\ 1& 1& 1\end{array}\right|=0;---\left(4\right)$

由于畸变点坐标已知，因此可以通过式（3）将无畸变点坐标表示为畸变点坐标和畸变系数的方程，如式（5）。

X^u=f(X^d,K)； （5）

其中X^u=(x^u,y^u)，X^d=(x^d,y^d)，K={κ₁,κ₂,…,κ_m}，κ_m为畸变模型式（2）中所取的多项式最高阶次的系数，由式（5）进一步得到式（6）：

$\left|\begin{array}{ccc}f({x_0}^d,K)& f({x_1}^d,K)& f({x_2}^d,K)\\ f({y_0}^d,K)& f({y_1}^d,K)& f({y_2}^d,K)\\ 1& 1& 1\end{array}\right|=0;---\left(6\right)$

将式（3）代入式（6），便可以构建关于畸变参数K的一个线性约束方程。利用上述特性，本实施例构造了如步骤（1-2）所示的关于畸变参数K的一个线性约束方程，通过该线性方程求出畸变参数K，然后将求出的畸变参数代入到本实施例所选取的径向畸变模型（1）中对本实施例的图像进行一次矫正，从而得到一次畸变矫正后的图像，本实施例在一次畸变矫正后，手动选取畸变参数代入到本实施例的二阶多项式畸变模型（3）中，对一次畸变矫正后的图像进行二次矫正，以得到高质量的图像。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于广角镜头的快速图像拼接方法，其特征在于，包括以下步骤：

（1）获取广角镜头所采集到的图像，对各广角镜头所采集到的图像进行畸变矫正，并获取畸变矫正前后图像的坐标映射表；

（2）将畸变矫正后的图像进行柱面映射，并获取柱面映射前后图像的坐标映射表，针对每个广角镜头，将该表与畸变矫正前后图像的坐标映射表进行合成，然后在该合成表中按照每q*q的像素块窗口选择一个点坐标来组成一张二维离散坐标映射表并对其进行存储；其中所述二维离散坐标映射表构建过程通过柱面映射和畸变矫正的映射进行求逆，得到柱面映射后图像点的坐标与原始输入的畸变图像点坐标之间的对应关系；

（3）载入每个广角镜头所存储的二维离散坐标映射表，利用坐标插值法得到完整的二维坐标映射表，然后根据该表对各广角镜头所采集到的各畸变图像依次进行畸变矫正和柱面映射；

（4）采用快速归一化互相关算法求取柱面映射后各相邻视角图像之间的平移参数，根据平移参数对上述步骤（3）处理后的各相邻视角图像进行配准；

（5）对步骤（4）中配准后的各相邻视角图像进行融合：首先分别针对步骤（4）中配准后的各相邻视角图像序列建立拉普拉斯金字塔，然后分别对高频和低频金字塔图像重叠区进行线性融合，得到各相邻视角图像融合后的图像，即广角镜头所采集到的各相邻视角图像拼接后的图像。

2.根据权利要求1所述的基于广角镜头的快速图像拼接方法，其特征在于，采用所述广角镜头拍摄水平方向360度的视场，通过上述步骤（3）至（5）对所述广角镜头所采集的各相邻视角图像进行拼接，得到360度全景图像；各视角图像的获取由所述步骤（1）中通过单台广角镜头转动采集各视角的图像，或者通过多台广角镜头分别采集各视角的图像。

3.根据权利要求1所述的基于广角镜头的快速图像拼接方法，其特征在于，所述步骤（1）中畸变矫正前后图像的坐标映射表获取过程如下：

（1-1）选取径向畸变模型：

$\left(\begin{array}{c}{x}^d-x^c\\ y^d-y^c\end{array}\right)=L\left(r\right)\left(\begin{array}{c}{x}^u-x^c\\ y^u-y^c\end{array}\right);$

其中，

$\left\{\begin{array}{c}L\left(r\right)=1+{\mathrm{\κ}}_1{r}^2+{\mathrm{\κ}}_2{r}^4+......\\ r=\sqrt{{(x^u-x^c)}^2+{(y^u-y^c)}^2}\end{array}\right.;$

其中(x^c,y^c)为畸变中心点坐标，(x^d,y^d)为畸变点坐标，(x^u,y^u)为畸变矫正后点坐标；κ₁,κ₂,…为畸变参数；

（1-2）获取径向畸变模型中的畸变参数：各广角镜头针对标准的棋盘格标定板拍摄一张图像，根据直线标定法通过上述径向畸变模型对棋盘格上每一行和每一列共线的点进行线性约束并构建线性方程：

A_n×mK_m×1=B_n×1；

其中n为棋盘格上共线的直线数，系数矩阵A和B由畸变中心点坐标和畸变图像中处于棋盘格的同一条直线上的畸变点构建；

其中畸变参数K_m×1为：

$K=\left[\begin{array}{c}{\mathrm{\κ}}_1\\ {\mathrm{\κ}}_2\\ \·\\ \·\\ \·\\ {\mathrm{\κ}}_m\end{array}\right];$

m为径向畸变模型所选取的多项式项数；κ₁,κ₂，...,κ_m为畸变参数；

（1-3）通过上述构建的线性方程得到径向畸变模型的畸变参数K_m×1：

K_m×1=(A_m×n ^TA_m×n)^-1A_m×n ^TB_n×1；

（1-4）从畸变参数矩阵K_m×1中选取径向畸变模型中畸变参数，并将其代入到上述径向畸变模型中，通过上述径向畸变模型对广角镜头所采集的棋盘格图像进行一次畸变矫正；

（1-5）对广角镜头所采集到的棋盘格图像进行一次畸变矫正后，采用如下低阶多项式径向畸变模型进行二次矫正：

$\left\{\begin{array}{c}{x}^d=x^c+(x^u-x^c)(1+k_1({(x^u-x^c)}^2+{(y^u-y^c)}^2))\\ y^d=y^c+(y^u-y^c)(1+k_2({(x^u-x^c)}^2+{(y^u-y^c)}^2))\end{array}\right.$

在a～b范围内选取畸变参数k₂，并且将畸变参数k₁调整为：k₁《k₂，然后将畸变参数k₁和k₂代入到上述低阶多项式畸变模型对一次畸变矫正后的图像进行二次矫正，并获取到畸变矫正前后棋盘格图像的坐标映射表；其中该低阶多项式畸变模型中(x^d,y^d)为步骤（1-4）一次矫正后图像的点坐标，(x^u,y^u)为通过该低阶多项式畸变模型进行二次畸变矫正后的点坐标。

4.根据权利要求3所述的基于广角镜头的快速图像拼接方法，其特征在于，所述步骤（1-5）中a为10^-6，b为10^-8，所述步骤（1-5）中畸变参数k₁调整为0。

5.根据权利要求3所述的基于广角镜头的快速图像拼接方法，其特征在于，所述步骤（2）中畸变矫正后的图像进行柱面映射的过程为：将上述步骤（1-5）中畸变矫正后的图像输入到柱面映射的模型中，从而得到柱面映射前后图像的坐标映射表；其中所述柱面映射的模型为：

$\left\{\begin{array}{c}x\′=f\arctan \left(\frac{x^u-x^c}{f}\right)+f\arctan \left(\frac{x^c}{f}\right)\\ y\′=f\frac{y^u-y^c}{\sqrt{{(x^u-x^c)}^{+}+f^2}}+y^c\end{array}\right.;$

其中(x^u,y^u)为步骤（1-5）中二次畸变矫正后图像点的坐标，即柱面映射前的点坐标；(x',y')为柱面映射后的点坐标，(x^c,y^c)为畸变中心点坐标。

6.根据权利要求1所述的基于广角镜头的快速图像拼接方法，其特征在于，所述步骤（2）中q为8或者16，即在合成表中按照每8*8或者16*16的像素块窗口选择一个点坐标来组成一张二维离散坐标映射表并对其进行存储。

7.根据权利要求1所述的基于广角镜头的快速图像拼接方法，其特征在于，所述步骤（4）中采用快速归一化互相关算法求取各相邻视角图像之间的平移参数的过程如下：

（4-1）在各相邻视角图像的左视图图像与右视图图像重叠区内获取部分图像t作为特征图像，在各相邻视角图像的右视图图像与左视图重叠区内取部分区域图像f作为模板图像；

（4-2）将步骤（1）中获取的特征图像t及模板图像f进行以下卷积运算，获取点(u,v)为坐标起始点的特征图像t与其在模板图像f中覆盖区域之间的相关系数λ(u,v)：

$\mathrm{\λ}(u,v)=\frac{{\mathrm{\Σ}}_{x,y}[f(x,y)-{\stackrel{\‾}{f}}_{u,v}][t(x-u,y-v)-\stackrel{\‾}{t}]}{{\left\{{\mathrm{\Σ}}_{x,y}\right[f(x,y)-{\stackrel{\‾}{f}}_{u,v}{]}^2{\mathrm{\Σ}}_{x,y}[(x-u,y-v)-\stackrel{\‾}{t}{]}^2\}}^{0.5}};$

其中 t分别表示上述覆盖区域上特征图像t和模板图像f的像素均值；f(x,y)表示在特征图像t覆盖范围下的坐标范围内的模板图像f中的部分图像；

（4-3）特征图像t在模板图像中f中逐点移动，通过步骤（4-2）求取特征特征图像t与其在模板图像f中覆盖区域之间的相关系数λ(u,v)，从而得到特征图像t与模板图像f之间的互相关矩阵M_CR；

（4-4）从互相关系数矩阵M_CR选取出最大相关系数值，通过该最大相关系数值对应的坐标点获取各相邻图像之间的平移参数，通过该平移参数实现相邻视角图像之间的配准。

8.根据权利要求7所述的基于广角镜头的快速图像拼接方法，其特征在于，所述步骤（4-1）中获取的特征图像t的大小为小于或等于模板图像f的二分之一。

9.根据权利要求1所述的基于广角镜头的快速图像拼接方法，其特征在于，所述步骤（5）中首先将配准后的各相邻视角图像序列转换成YCbCr颜色空间，然后分别针对图像的Y、Cb和Cr三个通道建立拉普拉斯金字塔，最后分别对高频和低频金字塔图像重叠区进行线性融合，得到各相邻视角图像融合后的图像。

10.根据权利要求1所述的基于广角镜头的快速图像拼接方法，其特征在于，所述步骤（2）中畸变矫正后的图像在进行柱面映射前先进行图像剪切，并且记录剪切点坐标以及剪切之后的图像分辨率大小，用于后续构建柱面映射前后的坐标映射表。