CN104299215A - 一种特征点标定和匹配的图像拼接方法 - Google Patents

Abstract

本发明提供了一种特征点标定和匹配的图像拼接方法，拍摄得到30％重叠的参考基准图像和观察配准图像，在参考基准图像的重叠区域中设置4个特征点，并在观察配准图像中找到对应的4个特征点，对观察配准图像进行投影变换，进行基于渐入渐出视频图像无缝拼接处理，得到拼接图像，若拼接图像有重影和缝隙，则调整特征点重新拼接。本发明能够省略图像特征点检测、特征匹配计算，减少图像拼接算法的计算量。

Description

一种特征点标定和匹配的图像拼接方法

技术领域

本发明属于图像拼接技术领域。

背景技术

图像拼接技术是数字图像处理一个重要的研究领域，就是将多幅相互间存在重叠部分的图像序列进行空间配准，经重采样融合后形成一幅包含各图像序列信息、宽视角场景、完整和高清晰的新图像，其本质是对待拼接图像重复区域配准和图像融合的过程。在图像拼接技术中，基于特征点提取是一种较为行之有效的常规方法。该方法遵循步骤如下：首先提取两幅待拼接图像的特征点，然后将两幅图像中的特征点配对，最后求解投影变换矩阵及配准图像矩阵转换，最终完成两幅图像同一空间的拼接。

对图像拼接效果、处理速度起重要作用的是特征点检测和特征点匹配。两幅图像特征点检测、匹配的方法多种多样，然而这些方法要么是拼接质量高、计算量大，要么就是计算量小、拼接质量低。如何快速地检测特征点，并完成特征点的准确匹配，是有效完成图像拼接的关键。

传统图像拼接算法描述如下：

1)检测基准图像、配准图像特征点或特征模块；

2)完成两幅图像的特征点匹配；

3)选择匹配最优的4对特征点；

4)根据4对特征点求解投影变换矩阵；

5)进行基于投影变换矩阵的配准图像投影变换；

6)最后完成基准图像、配准图像同一空间的无缝拼接。

传统图像拼接算法通用性广，能完成动态拍摄两幅图像自动拼接，但具有计算量大缺陷。例如，Zhang等学者提出的一种图像拼接中筛选特征点匹配对的方法，该方法通过有针对性地优先抽取特征更为相似的、空间上更为分散的特征点对，较快较好地筛选出正确的匹配对。

发明内容

为了克服现有技术的不足，本发明提供一种特征点手动标定和匹配的图像拼接方法，能够省略图像特征点检测、特征匹配计算，减少图像拼接算法的计算量。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：固定两个摄像头，使得采集的图像与水平面的夹角在20°之内，且两个摄像头采集的图像在水平方向具有30％以上重叠区域；以其中一个摄像头采集的图像作为参考基准图像，另一个摄像头采集的图像作为观察配准图像，参考基准图像的重叠区域具有4个以上特征点，所述的特征点两两之间像素距离大于30，且任意三个特征点不在一条直线上，每个特征点周边相邻的8个点中有1、3、5或7个点和该特征点的像素值之差大于64；

步骤2：以某一个特征点J为中心提取5×5像素区域的像素值矩阵f(x_i,y_j)，i＝0,1,2,3,4，j＝0,1,2,3,4，以像素值矩阵f(x_i,y_j)为模板，在观察配准图像的重叠区域中全局搜索，当发现配准图像中某个点P对应的局部领域5×5像素矩阵g(m_i,n_j)满足条件时，即找到观察配准图像中对应的匹配特征点P；遍历参考基准图像中的每一个特征点并重复本步骤，得到4对特征点；

步骤3：对4对特征点从观察配准图像到参考基准图像的投影变换矩阵进行求解，计算出投影变换的8个参数，包括尺度和旋转量，水平、垂直方向位移和水平、垂直方向的变形量，然后对观察配准图像进行投影变换，最后进行基于渐入渐出视频图像无缝拼接处理，得到拼接图像；

步骤4：对参考基准图像、观察配准图像和拼接图像进行分屏显示，判断重叠区域是否有重影和缝隙，若有，则对4对特征点的标定位置进行调整，返回步骤1，若无，则进入下一步；所述的调整是指将特征点上下或左右移位不超过3个像素；

步骤5：撤销参考基准图像、观察配准图像和拼接图像的分屏显示，全屏显示拼接图像。

本发明的有益效果是：本发明通过标定特征点和匹配，能够精确地获取投影变换矩阵，在此基础上完成两个位置相对固定摄像头的视频图像无缝拼接处理，省略了视频图像特征点检测和匹配处理计算量，大大降低了视频图像拼接处理计算量。

本发明所提的技术方案一旦精确获取两个位置相对固定摄像头所采集视频图像的4对匹配特征点，只要两个摄像头相对位置、焦距不变，在此基础上推导出来的投影变换矩阵满足不同场景下的视频图像拼接要求。

附图说明

图1是特征点标定和匹配的图像拼接方法流程图；

图2是调试验证系统硬件组成图；

图3是基准图像；

图4是配准图像；

图5是特征点标定示意图；

图6是特征点配准示意图；

图7是拼接图像。

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明提供一种特征点手动标定和匹配的图像拼接方法，针对两个位置相对固定的摄像头所采集的视频图像，此方法可实现两个以上视频图像的有效、快速拼接，具体步骤如下：

步骤1：固定两个摄像头的位置关系，使得采集的视频图像近似水平(角度控制在±20°之内)，且水平方向具有30％以上重叠区域；同时要求重叠区域具有4个以上，且空间分布分散、容易识别的特征点，以保证特征点可提取性及匹配后投影变换稳定性。

所述的空间分散是指特征点两两之间像素距离大于30，且任意三个特征点不在一条直线上。

所述的容易识别是指该特征点周边相邻的8个点中有1、3、5或7个点，这些点和该特征点的像素值之差均大于64。

步骤2：提取基准图像中标定的某个特征点J像素坐标，以该特征点坐标为中心提取局部领域5×5像素矩阵f(x_i,y_j)，i＝0,1,2,3,4，j＝0,1,2,3,4，以此像素矩阵f(x_i,y_j)为模板，在配准图像对应的30％重叠区域中全局搜索，当发现配准图像中某个点P对应的局部领域5×5像素矩阵g(m_i,n_j)满足条件时，即找到配准图像中对应的匹配特征点P。

按照上述方法可找到另外4个特征点。

基于特征点手动标定和匹配的视频图像拼接的硬件试验平台包括：2个摄像头、1个监视器、1个DSP处理板、1个仿真器和1个调试计算机。其中DSP处理板具有2路视频输入接口、1路视频输出接口和调试接口，并由2个A/D转换模块、1个存储模块、1个DSP处理模块和1个D/A转换模块组成。

步骤3：进行上述手动标定匹配4对特征点的从配准视频图像到基准视频图像的投影变换矩阵参数求解，计算出投影变换8个参数的数值(包括尺度和旋转量，水平、垂直方向位移和水平、垂直方向的变形量。)，然后对配准视频图像进行投影变换，最后进行基于渐入渐出视频图像无缝拼接处理和显示。

步骤4：对基准视频图像、配准视频图像和拼接视频图像进行基于上述硬件试验平台的监视器分屏显示，结合监视器显示视频图像，结合视频图像的拼接质量，对4对特征点的标定位置进行逐步调整，直至实现较高质量的视频图像拼接为止。

所述的逐步调整是指上下、左右移位，使得实际上下、左右偏差小于3个像素。

所述的较高质量是指拼接重叠区无重影和缝隙，至少在1米以外3秒之内觉察不到。

步骤5：撤销基准视频图像、配准视频图像和拼接视频图像分屏显示，上载视频拼接图像全屏显示功能，最终完成视频图像拼接显示。

本发明的实施例包括以下步骤：

步骤1：摄像头1所采集图像为基准图像(如图3)，摄像头2所采集图像为配准图像(如图4)，两个摄像头所采集图像尽可能在同一水平面上，图像重叠区域为各自的大约30％以上，重叠区域具有较多容易识别的特征点，且在空间上比较分散最佳。

步骤2：观察基准图像，完成重叠区域4个特征点的手动标定；观察配准图像，完成重叠区域对应基准图像配对的4个特征点的手动标定；针对基准图像和配准图像实施例，手动标定(如图5)和匹配(如图6)的4对特征点像素坐标如下表所示。

手动标定和匹配的特征点像素坐标

这里(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄)、(x'₁,y'₁),(x'₂,y'₂),(x'₃,y'₃),(x'₄,y'₄)分别为配准图像、基准图像的4对匹配特征点的像素矩阵坐标。

步骤3：在手动标定和匹配的4对特征点的基础上，对图像平移、水平及竖直扫动、旋转、镜头缩放处理的投影变换矩阵M的求解如下。

$\begin{array}{c}M=\left[\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ m_6& m_7& 1\end{array}\right]\\ =\left[\begin{array}{ccc}\frac{(y_3-y_4)({x^{\′}}_1-{x^{\′}}_2)-(y_1-y_2)(0{x^{\′}}_3-{x^{\′}}_4)}{(x_1-x_2)(y_3-y_4)-(x_3-x_4)(y_1-y_2)}& \frac{({x^{\′}}_3-{x^{\′}}_4)(x_1-x_2)-(x_3-x_4)({x^{\′}}_1-{x^{\′}}_2)}{(x_1-x_2)(y_3-y_4)-(x_3-x_4)(y_1-y_2)}& {x^{\′}}_1-m_0{x}_1-m_1{y}_1\\ \frac{({y^{\′}}_1-{y^{\′}}_2)(y_3-y_4)-(y_1-y_2)({y^{\′}}_3-{y^{\′}}_4)}{(x_1-x_2)(y_3-y_4)-(x_3-x_4)(y_1-y_2)}& \frac{(x_1-x_2)({y^{\′}}_3-{y^{\′}}_4)-({y^{\′}}_1-{y^{\′}}_2)(x_3-x_4)}{(x_1-x_2)(y_3-y_4)-(x_3-x_4)(y_1-y_2)}& {y^{\′}}_1-m_3{x}_1-m_4{y}_1\\ 0& 0& 1\end{array}\right]\\ \≈\left[\begin{array}{ccc}0.21914& 0.01990& -159.199\\ -0.16049& 1.01016& -299.725\\ 0& 0& 1\end{array}\right]\end{array}$

投影变换矩阵M中的8个参数的作用如下：

m₀、m₁、m₃、m₄表示尺度和旋转量；

m₂、m₅表示水平、垂直方向位移；

m₆、m₇表示水平、垂直方向的变形量。

步骤4：转换前配准图像的像素矩阵为I(x,y)，转换后配准图像像素矩阵为I'(x',y')，对配准图像的矩阵转换计算公式如下，并对转换后的矩阵通过双线性插值法以完成整形化。

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=M\·\begin{array}{c}\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\end{array}=\begin{array}{}\end{array}\begin{array}{}\end{array}\left[\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ m_6& m_7& 1\end{array}\right]\·\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

步骤5：采用渐入渐出法进行两幅图像的无缝拼接，重叠区域像素宽度为120，过渡因子σ取值范围0≤σ≤1，最终完成两幅图像的无缝拼接(如图7)。本实施例的基准图像的像素为480×640，配准图像的像素为480×640，拼接图像的像素为650×1144，且均为8位灰度图。

针对上述480×640像素基准图像和480×640像素配准图像，基于主频为2.83GHz，内存为1.99GB，双核CPU配置计算机，仿真软件为VC++6.0。基于上述实施例的传统处理方法的特征点(角点)检测、匹配和图像拼接处理时间分别为47.97ms、426.34ms和107.07ms，见下表。由此可得，采用特征点手动标定和匹配的图像拼接方法可省略特征点检测和匹配处理计算量，与传统图像拼接方法比较，两者计算量之比为：

$\frac{107.07}{581.38}=0.184$

传统的图像特征点检测、匹配和拼接处理时间分析

备注：当两个摄像头的相对位置变化时，需要重新进行特征点的标定和匹配；采用本发明方法，类似两个摄像头拼接原理可以完成多幅图像拼接，以实现360°周视全景监控。

Claims (1)

1.一种特征点标定和匹配的图像拼接方法，其特征在于包括下述步骤：

步骤1：固定两个摄像头，使得采集的图像与水平面的夹角在20°之内，且两个摄像头采集的图像在水平方向具有30％以上重叠区域；以其中一个摄像头采集的图像作为参考基准图像，另一个摄像头采集的图像作为观察配准图像，参考基准图像的重叠区域具有4个以上特征点，所述的特征点两两之间像素距离大于30，且任意三个特征点不在一条直线上，每个特征点周边相邻的8个点中有1、3、5或7个点和该特征点的像素值之差大于64；

步骤2：以某一个特征点J为中心提取5×5像素区域的像素值矩阵f(x_i,y_j)，i＝0,1,2,3,4，j＝0,1,2,3,4，以像素值矩阵f(x_i,y_j)为模板，在观察配准图像的重叠区域中全局搜索，当发现配准图像中某个点P对应的局部领域5×5像素矩阵g(m_i,n_j)满足条件时，即找到观察配准图像中对应的匹配特征点P；遍历参考基准图像中的每一个特征点并重复本步骤，得到4对特征点；

步骤3：对4对特征点从观察配准图像到参考基准图像的投影变换矩阵进行求解，计算出投影变换的8个参数，包括尺度和旋转量，水平、垂直方向位移和水平、垂直方向的变形量，然后对观察配准图像进行投影变换，最后进行基于渐入渐出视频图像无缝拼接处理，得到拼接图像；

步骤4：对参考基准图像、观察配准图像和拼接图像进行分屏显示，判断重叠区域是否有重影和缝隙，若有，则对4对特征点的标定位置进行调整，返回步骤1，若无，则进入下一步；所述的调整是指将特征点上下或左右移位不超过3个像素；

步骤5：撤销参考基准图像、观察配准图像和拼接图像的分屏显示，全屏显示拼接图像。