CN111553939A - 一种多目摄像机的图像配准算法 - Google Patents

Abstract

一种多目摄像机的图像配准算法，首先使用单应变换对摄像机之间的运动进行建模并使用一个参数化的单应变换模型表示，然后通过不同视角间图像存在的重叠区域估计出摄像机之间运动参数。在此过程中，针对不同视角之间重叠区域可能存在的情况，采用结合SURF特征点配准和基于最小均方误差的像素配准的算法，准确地匹配两张来自不同视角的图像。最后，为了均分累积配准误差，提高图像的视觉一致性，使用了基于光束平差法对所有的参数化运动模型进行统一建模，并使用Levenberg‑Marquats算法求解得到经过光束平差法后的参数化运动模型。本申请有效地处理基于特征点配准方法失效的情况，并保证在多摄像机配准的情况下不产生配准误差的累积进而生成视觉效果良好的宽视场图像。

Description

一种多目摄像机的图像配准算法

技术领域

本发明属于计算机视觉技术领域，特别是涉及一种多目摄像机的图像配准算法。

背景技术

视觉信息作为人类信息资源中重要的一员在信息社会中扮演着不可缺少的重要角色。当今社会，数码摄像机，摄影等技术已经走进人们的生活成为每个家庭的必须品。视频和图像等多媒体信息也在科技、军事、医疗等诸多领域扮演着重要的角色。视频的采集大多是采用单个设备进行，所能够捕获的视场相对较小，远不及人眼视场，已经很难满足大视场、高分辨率视频应用场景的需求。因此，图像拼接技术应运而生。

图像拼接的基本过程大致可以分为图像预处理(主要包括图像的镜头暗角校正，畸变校正等)，图像配准和图像融合三部分。其中图像配准是用于找到系统中不同图像间的像素位置对应关系的部分，对最终拼接图像的视觉一致性起着至关重要的作用。

目前，国内外已提出不同的图像配准方法，这些方法主要针对不同背景下的问题，但是暂时还没有一种通用的图像配准技术可以完美地适用于所有的场景。常图像配准技术主要包括：基于像素的直接图像配准法和基于特征点的图像配准算法。基于像素的直接图像配准算法是直接使用一对图像中的像素点对参数化的运动模型进行拟合的一种方式。而基于特征点的图像配准算法则是仅使用匹配的特征点对估计参数模型的一种算法。

对于基于像素的直接图像配准法，首先需要在图像间定义一个衡量相似性的损失函数。均方误差函数常用于表示两个项之间的相似程度，通过最小化均方误差可以得到在均方意义上的最优参数估计。假设给定一个模板图像函数I₀(x)，意图找到离散的像素位置{x_i＝(x_i，y_i)}在源图像函数I₁(x)中的位置，假设使用单应变换描述图像间的运动，参数向量为p。则我们可以通过由参数p确定的单应变换矩阵，I₀(x)中的一个像素位置映射到I₁(x′(x；p))的另一个位置。可以定义如式(3-1)的最小均方误差函数：

除了通过均方误差的方式来度量误差之外，还可以通过另一种准则来度量两张图像之间的相似程度，即使用最大化相关的方式。可以定义如下的相关函数：

基于特征点的图像配准算法，首先将待配准的图像提取特征点，然后在不同图像之间使用特征描述子对特征点匹配，找到在给定距离定义下距离最近的特征点匹配对。之后，仅在这些特征点匹配对上，估计出预先定义好的参数化运动模型。通常情况下，使用基于特征点的方法进行配准的鲁棒性好于直接像素点亮度配准的方法。目前已经成为图像配准领域的主流技术，并在图像配准领域及其他计算机视觉的领域下取得了广泛的应用。基于特征点的图像配准中主要涉及以下三个方面：(1)图像中特征点的检测(2)特征点匹配的方法(3)根据匹配点对估计出参数化的运动模型

在国内外也已经有了不少基于特征点的图像配准算法的研究成果，M Brown于2003年提出一种基于尺度不变特征转换(SIFT)特征检测的图像配准方法。为了改善SIFT方法特征提取和描述效率低下的缺陷，Bay等人于2006年提出SURF特征提取方法。2011年的计算机视觉学术研讨会(IEEE international conference on computer vision)上，Roblee提出ORB图像配准方法，该算法的思想是在图像金字塔上先利用改进FAST算法进行角点特征检测，然后再使用改进的BRIEF方法进行特征描述，从而提高了图像拼接的速度。目前，ORB算法是国际上拼接速度较快的算法，但是由于ORB算法不具有尺度不变性，所以其应用范围相比SURF和SIFT算法受限更多。

基于特征点的配准方案具有很强的鲁棒性，甚至可以用于从不同的视图中识别已知的目标。此外，因为在特征点的搜索中引入了尺度空间操作，并且使用主方向(或具有旋转不变性的特征描述子)，所以它们可以匹配在尺度、方向上不同的图像。如果特征很好地分布在图像上，并且描述符设计合理，具有可重复性，那么通常可以找到足够的对应点来完成图像的拼接。但基于特征的方法在纹理太粗的区域容易造成混淆，这些特征通常会不均匀地分布在图像上，且经常容易在图像特征点之间产生错误匹配，因此无法匹配应该对齐的图像对。在这种情况之下，直接像素配准的方法由于度量了图像中每个像素的贡献，更好地利用了图像配准中的所有可用信息，进而可以适用于在该背景下的图像配准问题。

发明内容

为了解决在多目摄像机系统的图像配准任务中，由于涉及大视场宽视角的图像配准将存在(1)图像重叠区域纹理过少的情况，在该种情况下使用传统的基于特征点的图像配准算法由于没有足够的特征点匹配对或存在过多错误匹配对而无法完成图像配准的任务。限制了基于特征点图像配准算法在多摄像机系统中图像配准的应用。(2)在涉及多张图像配准时，可以将图像每两张进行配准然后将所有图像映射到同一坐标系统中，但这将导致配准误差的累积，最终导致拼合图像的视觉不一致性的问题，本发明对现有的图像配准算法进行了改进，本发明提供一种多目摄像机的图像配准算法，在该方法中，先通过SURF算法提取每一张图像的SURF特征点并进行特征点描述，对每一组可能的图像对进行特征点的匹配并进行估计单应矩阵参数估计。为每一个估计的参数计算一个置信系数，对低置信系数的图像对再以高置信系数图像对的单应变换矩阵为估计初值进行改进最小均方误差配准。最后将单应变换矩阵的参数作为光束平差法的参数，进行光束平差法整体参数优化。得到最终的参数化运动模型，为达此目的，本发明提供一种多目摄像机的图像配准算法，其特征在于，包含以下步骤：

步骤1：对所有输入的图像进行SURF特征点提取，并生成SURF特征描述；

步骤2：摄像机的个数为5，依序输入的图像编号0,…i,i+1,…,4，对所有的图像对{i,(i+1)％N}中的两张图像的特征点使用快速最近邻的方式进行匹配；

步骤3：使用RANSAC算法估计出每个图像对间的单应变换矩阵H，并判定在使用该单应变换矩阵前提下，匹配点对中内点即符合该单应变换矩阵的匹配对和外点即不符合该单应变换的匹配对，并根据内外点的数量计算该单应变换矩阵的置信系数f，并比较f与阈值conf_thresh间的关系：

步骤4：置信系数对大于阈值的图像对，直接使用单应变换矩阵H作为其参数化的运动模型；

步骤5：对小于阈值的图像，使用进行改进的基于像素的配准方法进行图像配准；

步骤6：构造所有图像对间的对应点集合，对于置信系数不为0的图像对，直接取所有的内点对作为匹配点对，最终得到匹配点对(x,x')，通过将原图像的重叠区域划分为若干个16*16的块，选取每个块的中心点作为匹配点x，然后通过已经求取的参数p将x映射到y(x；p)找到目标图像中的对应点，然后在一定范围内进行最佳亮度匹配点搜索，在一个选定的半径为4像素的以映射点x′为圆心的圆域内搜索得到对应的匹配点对(x,y)；

步骤7：使用最小均方误差准则同时对齐所有的图像以正确地将所有的失配误差分散到各个图像中；

所使用的误差准则为最小均方误差准则具体的形式为：

步骤8：为了减少在焦距上所可能产生的偏移，需要在残差的每一个项上乘上一个

然后，使用Levenberg-Marquats算法最小化这一三维空间对应的能量准则，以求得优化后的解，最后完成对应的图像配准。

作为本发明进一步改进，所述步骤5和步骤7，其中对每组图像对进行改进最小均方误差配准的方法为：

原图像中的重叠区域所有像素点构成向量为：

i_s＝[I_s(x₁) I_s(x₂) … I_s(x_K)]^T

在单应变换矩阵参数为p时目标图像中对应的像素点构成的向量为：

i_t(p)＝[I_t(y₁(p)) I_t(y₂(p)) … I_t(y_K(p))]^T

然后对这两个向量进行亮度零均值化，得到

和

使用的误差准则为：

使用迭代更新的方式局部最小化该误差准则以获得所需要的配准参数P，假定准确的值为

其中Δp是一个扰动向量，映射函数为

则对参量p使用一阶泰勒展开的形式为：

迭代更新的准则为：

迭代终止判断选择使用迭代次数和收敛性判断，当迭代次数达到预先设定的值或扰动的向量范数小于一定阈值时终止：

||Δp||≤τ。

有益效果：本发明在给出了一种在多目摄像机系统中进行图像配准方法，首先尝试通过SURF特征点匹配算法直接求取各摄像机的参数化运动模型。SURF算法在图像特征点分布均匀的情况下容易得到一个性能良好的解，但若重叠区域不存在足量特征点则无法使用该方法求得精度足够的解。我们充分利用了基于直接像素配准方法不需要利用特征点而是度量了图像中每个像素的贡献的特点，解决了重叠区域特征点不足无法使用特征点配准方法的问题。在获取了每组图像对间单应变换矩阵之后，由于失配误差的累积将产生视觉的不一致性。我们采用了基于光束的Bundle Adjustment方法，选用最小均方误差将所有的图像位置参数共同进行配准。得到了全局配准后每目摄像机对应的参数化运动模型，并由此得到了具有良好视觉一致性的大视场宽视角图像。

附图说明

图1为本发明多目摄像机系统图像配准方案的流程图；

图2为一个给定五输入实施例的输入图像；

图3为图2中(b)的两张图像经过ORB特征提取后的特征分布/匹配情况；

图4为图2中(b)的两张图像经过SURF特征提取后的特征分布/匹配情况；

图5为图2中(b)的两张图像经过SIFT特征提取后的特征分布/匹配情况；

图6,7,8分别为图2中(b)的两张图像通过ORB，SURF，SIFT特征点配准算法计算得到单应变换矩阵并经由多频带图像融合得到的拼接后图像；

图9为使用本发明提出的方法对同样两张图像进行配准并经由多频带图像融合得到的拼接后图像；

图10为直接使用图像对配准不经过Bundle Adjustment方法得到的最终拼接图像；

图11为使用本发明所提出的方法进行图像配准所得到的最终拼接图像。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提供一种多目摄像机的图像配准算法，在该方法中，先通过SURF算法提取每一张图像的SURF特征点并进行特征点描述，对每一组可能的图像对进行特征点的匹配并进行估计单应矩阵参数估计。为每一个估计的参数计算一个置信系数，对低置信系数的图像对再以高置信系数图像对的单应变换矩阵为估计初值进行改进最小均方误差配准。最后将单应变换矩阵的参数作为光束平差法的参数，进行光束平差法整体参数优化。得到最终的参数化运动模型。

本发明的实施例公开了一种多摄像机系统下的配准算法，具体的实现步骤如下：

步骤1：基于特征点的图像预配准；

步骤1.1：SURF特征描述子具有尺度和方向上的不变性，且特征点检测和生成的速度较SIFT和深度学习的方法更快，适合于在多目摄像机系统下的图像配准。因此对所有输入的图像进行SURF特征点提取，并生成SURF特征描述子。

步骤1.2：假定摄像机的个数为N，依序输入的图像编号0,…i,i+1,…,N-1。对所有的图像对[i，(i+1)％N]中的两张图像的特征点使用快速最近邻的方式进行匹配。

步骤1.3：使用RANSAC算法估计出每个图像对间的单应变换矩阵H，并判定在使用该单应变换矩阵前提下，匹配点对中内点(符合该单应变换矩阵的匹配对)和外点(不符合该单应变换的匹配对)。并根据内外点的数量[Lowe]计算该单应变换矩阵的置信系数f:设置一个置信的阈值，conf_thresh，若大于该阈值则保留对应的置信系数，否则将置信系数置为0。

步骤1.4：对于置信系数能够满足大于等于对应阈值的图像对，从单应变换矩阵H中估计得出对应两个摄像机对应的内外参矩阵，首先需要估计焦距。对于旋转全景的一部分,对应的单应变换矩阵具有如下的特性：

由于旋转矩阵为一个正交矩阵，所以有如下的关系：

同时还需满足，不同列向量对应的内积应为0的关系：

h₀₀h₁₀+h₀₁h₁₁+f₀ ^-2h₀₂h₁₂＝0

通过联立以上的两个关系就能够得到：

或：

同理我们也可以得到另一个摄像机的焦距f₁:

使用两种方法都求取一次然后取平均值的方法得到。一般情况下对于多目摄像机而言可以假定所有摄像机的焦距是一样的，所以可以对同一H矩阵求得的两个焦距做几何平均作为该单应矩阵得到的焦距，然后将所有单应矩阵得到的焦距取中位数得到最后估计的焦距。

在得到了对焦距的估计之后，选定一个视角作为基准就可以得到所有视角的旋转矩阵，进而对所有满足置信系数的图像对应的摄像机关联了一个内参矩阵K和外参矩阵R。

步骤2：逐步求精配准

步骤2.1：对于置信系数f为0的图像对，实质上是存在一个单应变换矩阵能够将其关联起来的，但是可能由于重叠区域纹理特征很不明显，导致很少甚至没有特征点而无法使用基于特征点的方法将该单应矩阵估计出来。可以使用基于像素的直接方法对该单应变换矩阵进行估计

步骤2.2：使用直接像素为求解重叠区域为粗纹理情况下的单应变换矩阵。假定此时的单应变换矩阵的参数为p，则在原图像中的所有像素点构成向量为：

i_s＝[I_s(x₁) I_s(x₂) … I_s(x_K)]^T

在单应变换矩阵参数为p时目标图像中对应的像素点构成的向量为：

i_t(p)＝[I_t(y₁(p)) I_t(y₂(p)) … I_t(y_K(p))]^T

然后对这两个向量进行亮度零均值化，得到

和

使用的误差准则为：

使用迭代的方式最小化该误差准则，假定准确的值为p+Δp，其中Δp是一个扰动向量，映射函数为

则对参量p使用一阶泰勒展开的形式为：

则对于向量有：

在迭代初始时刻将参数的初值取为所有图像对中置信系数最高的单应变换矩阵，并根据迭代更新的关系更新该参数向量：

迭代的终止当且仅当迭代次数已经达到预先设定的值，或者增量的范数小于预先设定的一个阈值：

||Δp||≤τ

步骤3：Bundle Adjustment全局优化

步骤3.1：计算出单应变换矩阵后，需要所有构造重叠区域的对应点作为图像间的匹配点对。匹配点之间应满足非共线同时匹配点的数量不宜过多。具体的方法是，对于置信系数不为0的图像对，直接取所有的内点对作为匹配点对。最终得到匹配点对(x,x')

步骤3.2：对于置信系数不为0的图像对，直接取所有的内点对作为匹配点对。

步骤3.3：对于使用逐步求精方法求得单应变换矩阵的图像对，通过将原图像的重叠区域划分为若干个16*16的块，选取每个块的中心点作为匹配点x，然后通过已经求取的参数p将x映射到y(x；p)找到目标图像中的对应点，得到对应的匹配点对(x,y)。

步骤3.4：使用最小均方误差准则同时对齐所有的图像以正确地将所有的失配误差分散到各个图像中。因此我们还需要将对应的参数进行更进一步的全局优化，即对所有的摄像机参数一起进行一次光束平差法。使用基于三维射线的光束平差法对所有的参数进行优化。

每个摄像机的位置参数可以用一个焦距值f_i和一个旋转向量

(或一个与之对应的旋转矩阵R_j)进行表示，根据位置参数能够得到将三维空间中的一个点x_i映射到图像j中的点的等式重新写成：

根据该式，可以在真实的光束位置上对参数进行全局调整。使用5-参数的焦距,旋转向量模型描述每一个位置。可以使用一个在三维光线空间对应的能量准则：

为了减少在焦距上所可能产生的偏移，需要在残差的每一个项上乘上一个

然后，可以使用Levenberg-Marquats算法最小化这一三维空间对应的能量准则，以求得优化后的解，完成最终的图像配准。

本发明的具体实施方式如下：

实施例1：五张由固定3840*2160的鱼眼镜头拍摄得到的输入图像。

鱼眼镜头存在严重的镜头畸变，无法直接用于后续的图像配准操作，因此需要先对每帧视频图像进行畸变矫正。畸变校正之后，先使用经典的基于特征点的图像配准算法尝试对输入的图像进行配准，并和本发明所提出的配准方法进行性能上的比较。对如图2所示的五张输入图像分别尝试进行ORB，SURF和SIFT图像配准。以其中图2(b)中的两张输入图像为例，首先进行ORB特征点提取和匹配(如图3所示)并根据匹配特征点估计出的单应变换矩阵进行图像拼接得到如图6所示的拼接结果；然后使用SURF特征点提取和匹配算法尝试对同样的输入图像进行配准，特征点提取和匹配的结果(如图4所示)使用该方法估计得到单应变换矩阵对输入图像进行拼接后的结果如图7所示；最后使用SIFT图像配准算法对该输入图像对进行配准，基于SIFT的特征点提取和匹配的结果(如图5所示)，使用该方法估计得到的单应变换矩阵拼接后的结果(如图8所示)。由于特征点的稀少，存在大量误匹配的特征点匹配对，因而无法估计出正确的单应变换矩阵。再如图1所示，使用本发明提出的方法进行图像配准，具体的配准步骤为：

(1)对所有输入的图像进行SURF特征点提取，并生成SURF特征描述子，如图4所示。

(2)摄像机的个数为5，依序输入的图像编号0,…i,i+1,…,4。对所有的图像对{i,(i+1)％N}中的两张图像的特征点使用快速最近邻的方式进行匹配。

(3)使用RANSAC算法估计出每个图像对间的单应变换矩阵H，并判定在使用该单应变换矩阵前提下，匹配点对中内点(符合该单应变换矩阵的匹配对)和外点(不符合该单应变换的匹配对)。并根据内外点的数量计算该单应变换矩阵的置信系数f，并比较f与阈值conf_thresh间的关系：

(4)对大于阈值的图像对，直接使用单应变换矩阵H作为其参数化的运动模型。

(5)对小于阈值的图像对(以图2中的(b)为例)使用本发明中所示的方法进行配准，配准的结果如图9所示

(6)构造所有图像对间的对应点集合，对于置信系数不为0的图像对，直接取所有的内点对作为匹配点对。最终得到匹配点对(x,x')，通过将原图像的重叠区域划分为若干个16*16的块，选取每个块的中心点作为匹配点x，然后通过已经求取的参数p将x映射到y(x；p)找到目标图像中的对应点。然后在一定范围内进行最佳亮度匹配点搜索。在一个选定的半径为4像素的以映射点x′为圆心的圆域内搜索得到对应的匹配点对(x,y)。

(7)使用最小均方误差准则同时对齐所有的图像以正确地将所有的失配误差分散到各个图像中。

所使用的误差准则为最小均方误差准则具体的形式为：

为了减少在焦距上所可能产生的偏移，需要在残差的每一个项上乘上一个

然后，可以使用Levenberg-Marquats算法最小化这一三维空间对应的能量准则，以求得优化后的解，最后完成对应的图像配准。

其中图10直接使用图像对配准不经过Bundle Adjustment方法得到的最终拼接图像，图11为使用本发明所提出的方法进行图像配准所得到的最终拼接图像，通过两者对比可以看出明显区别。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (2)

1.一种多目摄像机的图像配准算法，其特征在于，包含以下步骤：

步骤1：对所有输入的图像进行SURF特征点提取，并生成SURF特征描述；

步骤2：摄像机的个数为5，依序输入的图像编号0,…i,i+1,…,4，对所有的图像对{i,(i+1)％N}中的两张图像的特征点使用快速最近邻的方式进行匹配；

步骤3：使用RANSAC算法估计出每个图像对间的单应变换矩阵H，并判定在使用该单应变换矩阵前提下，匹配点对中内点即符合该单应变换矩阵的匹配对和外点即不符合该单应变换的匹配对，并根据内外点的数量计算该单应变换矩阵的置信系数f，并比较f与阈值conf_thresh间的关系：

步骤4：置信系数对大于阈值的图像对，直接使用单应变换矩阵H作为其参数化的运动模型；

步骤5：对小于阈值的图像，使用进行改进的基于像素的配准方法进行图像配准；

步骤6：构造所有图像对间的对应点集合，对于置信系数不为0的图像对，直接取所有的内点对作为匹配点对，最终得到匹配点对(x,x')，通过将原图像的重叠区域划分为若干个16*16的块，选取每个块的中心点作为匹配点x，然后通过已经求取的参数p将x映射到y(x；p)找到目标图像中的对应点，然后在一定范围内进行最佳亮度匹配点搜索，在一个选定的半径为4像素的以映射点x′为圆心的圆域内搜索得到对应的匹配点对(x,y)；

步骤7：使用最小均方误差准则同时对齐所有的图像以正确地将所有的失配误差分散到各个图像中；

所使用的误差准则为最小均方误差准则具体的形式为：

步骤8：为了减少在焦距上所可能产生的偏移，需要在残差的每一个项上乘上一个

然后，使用Levenberg-Marquats算法最小化这一三维空间对应的能量准则，以求得优化后的解，最后完成对应的图像配准。

2.根据权利要求1所述的一种多目摄像机的图像配准算法，其特征在于，所述步骤5和步骤7，其中对每组图像对进行改进最小均方误差配准的方法为：

原图像中的重叠区域所有像素点构成向量为：

i_s＝[I_s(x₁) I_s(x₂)…I_s(x_K)]^T

在单应变换矩阵参数为p时目标图像中对应的像素点构成的向量为：

i_t(p)＝[I_t(y₁(p)) I_t(y₂(p))…I_t(y_K(p))]^T

然后对这两个向量进行亮度零均值化，得到

和

使用的误差准则为：

使用迭代更新的方式局部最小化该误差准则以获得所需要的配准参数P，假定准确的值为

其中Δp是一个扰动向量，映射函数为

则对参量p使用一阶泰勒展开的形式为：

迭代更新的准则为：

迭代终止判断选择使用迭代次数和收敛性判断，当迭代次数达到预先设定的值或扰动的向量范数小于一定阈值时终止：

||Δp||≤τ。

Images