CN111899158B

CN111899158B - 考虑几何畸变的图像拼接方法

Info

Publication number: CN111899158B
Application number: CN202010745127.1A
Authority: CN
Inventors: 郑文涛; 林姝含; 吴刚
Original assignee: Beijing Tianrui Kongjian Technology Co ltd
Current assignee: Beijing Tianrui Kongjian Technology Co ltd
Priority date: 2020-07-29
Filing date: 2020-07-29
Publication date: 2023-08-25
Anticipated expiration: 2040-07-29
Also published as: CN111899158A

Abstract

本发明涉及考虑几何畸变的图像拼接方法，包括特征点提取、特征点配准、计算单应矩阵、估计畸变参数与图像变换参数以及图像变换和融合等步骤，利用匹配特征点及单应矩阵估计各图像的畸变参数和相机内外参数，利用所估计的畸变参数对输入图像进行畸变矫正，然后利用所估计的相机内外参数对矫正后图像进行变换。这种方法把畸变校正和图像对齐二者结合在一起，通过对误差函数进行迭代优化，同时完成畸变校正和图像对齐。

Description

考虑几何畸变的图像拼接方法

技术领域

本发明涉及考虑几何畸变的图像拼接方法。

背景技术

图像拼接通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。图像可以是多个内部参数和布设方向都不同的相机同时拍摄的,也可以是同一相机移动过程中拍摄的。图像拼接的核心是图像配准和图像融合。图像配准指对参考图像和待拼接图像中的匹配信息进行提取，在提取出的信息中寻找最佳的匹配，完成图像间的对齐。图像融合指在完成图像匹配以后，对图像进行缝合，并对缝合的边界进行平滑处理，让缝合自然过渡。

现有的拼接算法都是建立在单个图像的成像模型为理想投影模型这一假设之上的。而实际的相机，由于镜头和相机结构的制造工艺及装配误差，与理想投影模型存在较大偏差，其中镜头的径向畸变是其中最重要的一种几何畸变，几何畸变会导致拼接算法失败，或即使能够拼接也会出现严重的拼缝、重影等。

为消除图象畸变，一种做法是在拼接前加入图像预处理，通过相机标定求出畸变参数，对畸变进行校正。图像标定方法一般分为传统标定方法和自标定方法。传统标定方法是利用结构已知的标定模板，通过建立模板特征点与图像对应点之间的约束方程，然后采用优化方法来求解模型的参数。这类方法标定精度高，但需要精确制造标定模板，而实际应用中的很多情况是无法使用标定模板的。相机自标定方法不需要标定模板，而是直接利用同一相机做旋转平移运动后获得的多幅图像之间对应点对内参数的约束来确定相机内参数的过程。相比传统标定方法相机自标定方法具有更大的灵活性。

然而，由于现有方法是先通过相机标定对畸变进行校正，之后进行通常的图像拼接，二者是完全独立的，在很多图像拼接的实际应用中，这些标定方法是无法实现的。如，对于多个内部参数和布设方向都不同相机的拍摄的图像，由于适配场景的需要，相机一般采用变焦镜头，在部署现场根据场景调节镜头焦距和光圈，而镜头的几何畸变参数是随着变焦、光圈而变化的，无法事先完成标定。而在现场，即使已经把相机焦距和光圈固定好，也往往不允许使用标定模板(相机往往安装在房顶、建筑物高处等)；其次，由于无法让相机做旋转、平移运动，也就无法采用自标定方法。

由于无法通过事先的相机标定消除图象几何畸变，拼接算法往往出现下述问题：1)畸变导致理想的拼接模型不再成立，相机内参数和外参数不能稳定、精确地计算，特别是待拼接的图像数目较多时，拼接过程容易失败；2)即使拼接过程成功，畸变会导致部分区域拼缝明显，整体图像质量无法达到使用要求。

发明内容

本发明针对现有技术的缺点提出考虑几何畸变的图像拼接方法，这种方法把畸变校正和图像对齐二者结合在一起，通过对误差函数进行迭代优化，同时完成畸变校正和图像对齐。

本发明的技术方案是：考虑几何畸变的图像拼接方法，包括下列步骤：

S1.特征点提取：对用于拼接的两幅图像进行特征点提取，获得各图像初步提取的特征点集；

S2.特征点配准：对两幅图像中的特征点进行关联，建立起对应关系，形成预匹配的特征点对集；

S3.计算单应矩阵；从预匹配的特征点对集中剔出外点，形成匹配的特征点对集，依此建立坐标映射的单应矩阵。

S4.估计畸变参数与图像变换参数：利用匹配特征点及单应矩阵，估计各图像的畸变参数和相应的相机内外参数；

S5.图像变换和融合：利用所估计的畸变参数对相应图像进行畸变矫正，然后利用所估计的相机内外参数对矫正后图像进行变换，将两图像映射到相同的坐标系下，实现两图像的融合。

步骤S4中，可以采用下列畸变模型：

r²＝(x/f)²+(y/f)²

其中，(x，y)表示任一图像(图像i或图像j)在矫正前的图像坐标(有畸变情形下的坐标)，表示矫正后无畸变的理想图像坐标，r是矫正前点(x，y)到图像中心的归一化距离，f是设定的归一化常数，p₁、p₂是待估计的畸变参数。

所述f可以为相应的相机焦距(拍摄该图像的相机)或图像尺寸。

优选基于下列模型，采用L-M算法对参数K_i、K_j、R_i、R_j、P_i、P_j进行迭代估计：

优化目标函数为：

其中，

下标i和j分别表示两图像中的图像i和图像j的相应参数(变量)，例如，P_i为图像i的畸变参数P，

第二个下标k表示所用的匹配特征点的序号，例如m_i，k为图像i中的第k个特征点的齐次坐标转置(x，y，1)^T，

K_i、K_j分别是相机i、j(分别用于拍摄图像i和图像j的相机)的内参矩阵，

K_i＝diag(f_i，f_i，1)，

K_j＝diag(f_j，f_j，1)，

f_i、f_j分别是相机i、j的焦距，

R_i、R_j分别是相机i、j的外参矩阵，

m＝(x，y，1)^T，

λ是正则项系数，可依据实验设定。

优选基于下列模型(即在不考虑畸变的情形下)，采用L-M算法对参数K_i、K_j、R_i、R_j进行迭代估计：

优化目标函数为：

其中，

表示图像i上的特征点m_i，k(第k个特征点)依据当前估计参数所预测的在图像j上的对应点坐标，m_j，k是图像j上该对应点的观测坐标(第k个特征点的图像坐标)，

以获得的优化结果K_i、K_j、R_i、R_j作为对参数K_i、K_j、R_i、R_j、P_i、P_j进行迭代估计的K_i、K_j、R_i、R_j初始值。

优选在假设图像j无畸变的情形下，估计图像i的畸变参数P_i，以此估计值作为对参数K_i、K_j、R_i、R_j、P_i、P_j进行迭代估计的R_i初始值。

优选在假设图像i无畸变的情形下，估计图像j的畸变参数P_j，以此估计值作为对参数K_i、K_j、R_i、R_j、P_i、P_j进行迭代估计的P_j初始值。

步骤S1中，优选采用SURF特征点检测算法进行图像特征点的提取，所述特征点为角点。

步骤S3中，优选采用RANSAC算法进行特征点的预匹配，依据最优模型剔出外点，计算获取单应矩阵。

步骤S5中，可以采用羽化法进行两图像重叠区域的融合。

本发明的有益效果是：将畸变校正和图像对齐二者结合在一起，通过相机标定求出畸变参数，有效地实现了对畸变的校正，其不需要标定模板，具有更大的灵活性。

附图说明

图1是本发明的流程图；

图2是本发明涉及的两个径向畸变的示意图。

具体实施方式

本发明的流程如附图1所示，这里以两幅图像为例进行说明，但推广到多幅图像是显而易见的。

本发明包括下列步骤：

1、特征点提取：

在输入的图像中检测特征点。

可以采用角点匹配。角点是很好的匹配特性，在视点变化时角点特征是稳定的，此外，角点的邻域具有强度突变。可以利用角点检测算法对图像进行角点检测。

角点检测算法有Harris角点检测算法、SIFT特征点检测算法(Scale InvariantFeature Transform),FAST算法角点检测算法和SURF特征点检测算法(Speeded-up robustfeature)等，本发明可以选优采用SURF特征。

2、特征点配准：

将第一幅图象中的特征点与第二幅图象中的特征点关联起来，即建立二者之间的对应关系，形成预匹配的特征点对数据集。

3、计算单应矩阵：

可以采用RANSAC算法，从数据集中随机选取一组数据并认为是有效数据(内点)来确定待定参数模型(例如，单应矩阵)，以此模型测试数据集中的所有数据，设定误差阈值，满足该模型的数据成为内点，反之为外点(通常为噪声、错误测量或不正确数据的点)，迭代执行，直到某一个参数模型得到的内点数最大，则该模型为最优模型。

接下来建立两组点的转换关系，也就是图像变换关系。单应性是两个空间之间的映射，常用于表示同一场景的两个图像之间的对应关系，可以匹配大部分相关的特征点，并且能实现图像投影，使一张图通过投影和另一张图实现大面积的重合。

4、估计畸变参数与图像变换参数：

利用匹配特征点及单应矩阵，估计各图像的畸变参数和相机内外参数。这是体现本发明创新性的关键步骤，将在后文详细描述。

5、图像变换和融合：利用所估计的畸变参数对输入图像进行畸变矫正，然后利用所估计的相机内外参数对矫正后图像进行变换，将它们统一到相同的坐标系下。在重叠区域融合像素颜色，以避免接缝。最简单的可用形式是使用羽化(feathering)，它使用加权平均颜色值融合重叠的像素。

其中，特征点提取、特征点配准、计算单应矩阵、图像变换和融合是图像拼接的标准步骤^[1]，可以依据现有技术。

相对于现有技术，本发明在标准的图像拼接流程中加入畸变校正处理。与传统的相机标定方法不同，本发明的标定利用了两幅图像中特征点对的单应矩阵约束。所以,本发明不是简单地在拼接流程中增加一个独立的畸变校正处理,拼接处理和畸变校正是紧密结合在一起,二者是互相依赖的。

要解决的关键技术问题可描述为：给定含有畸变的两幅图像的匹配特征点以及畸变模型，同时估计出畸变参数和拼接变换参数，使得表示变换误差的代价函数达到最小。其中，估计图像的变换参数是指估计相机的内外参数，以便将各输入图像变换到统一的坐标系下，从而完成拼接。

为便于描述，下面先简要介绍在不考虑图像畸情况下的相机内外参估计方法^[2]，然后进一步阐述引入图像畸变后同时估计畸变参数和相机内外参数的方法。

1.不考虑图像畸变的相机参数估计

完成图像特征点配准及单应矩阵估计后，图像i、j间的匹配特征点m_i、m_i满足如下关系：

其中，H是单应矩阵，(x_i，y_i)、(x_j，y_j)分别是图像i、j上特征点的图像坐标，为简化处理，此处及后文所述图像坐标均以图像中心作为坐标原点。

在无穷远假设下(相机间位移为0，且目标场景位于同一平面)，式1可表示为：

其中，K_i＝diag(f_i，f_i，1)、K_j＝diag(f_j，f_j，1)分别是相机i、j的内参矩阵，f_i、f_j分别是相机i、j的焦距，R_i、R_j分别是相机i、j的外参矩阵。

相机参数估计是通过匹配特征点及单应矩阵H估计K_i、K_j、R_i、R_j。利用R_i、R_j的正交性，可估计出相机内参K_i、K_j的初始值(或者说f_i、f_j的初始值)；另外，初始化外参R_i、R_j为单位阵，采用L-M算法可对K_i、K_j、R_i、R_j进行迭代优化，得到最终估计值^[2]。这里，优化目标函数定义为：

其中，k表示匹配特征点序号，表示通过图像i上的特征点m_i，k及当前估计参数所预测的它在图像j上的对应点坐标，m_j，k是图像j上该对应点的观测坐标。最小化err1是希望所有匹配特征点的预测值与观测值间的平方误差和最小。求解该优化问题的L-M算法是一种常用的非线性无条件约束优化方法，在极值点附近达到平方收敛。

2.考虑图像畸变的畸变参数和相机参数估计

(1)畸变模型

图像几何畸变包括径向畸变、切向畸变等多种模型，本发明只考虑最为常用的径向畸变。径向畸变是沿着透镜半径方向分布的畸变，产生原因是光线在远离透镜中心的地方比靠近中心的地方更加弯曲，这种畸变在普通廉价的镜头中表现更加明显，径向畸变主要包括桶形畸变和枕形畸变两种(参见图2)。

本发明采用的径向畸变模型定义如下^[3]：

r²＝(x/f)²+(y/f)²式4

其中，(x，y)表示矫正前有畸变的图像坐标，表示矫正后无畸变的理想图像坐标，r是矫正前(x，y)点到图像中心的归一化距离，f是归一化常数，可设为相机焦距或图像尺寸，p₁、p₂是待估计的畸变参数。

式4可改写为以下矩阵形式：

(2)参数估计

将式5代入式2，可得：

其中，D_i、D_j分别是通过图像i、j上带畸变的图像特征点计算出的上述D矩阵，P_i、P_j是图像i、j的畸变参数。

类似地，可用L-M算法对参数K_i、K_j、R_i、R_j、P_i、P_j进行迭代估计，具体方法如下：

(a)假设图像i、j的畸变参数均为0，则问题退化为不考虑畸变情况下的参数估计，可采用前述方法估计K_i、K_j、R_i、R_j作为相机参数的初始值。

(b)假设图像j无畸变，估计图像i的畸变参数。在图像j无畸变的假设下，式6可转化为

其中，m_j＝(x_j，y_j，1)^T是图像j上的特征点坐标，令

代入式7整理后可得：

其中，是由x_i，y_i依式4计算得到，P_i＝[p_i1，p_i2]^T是待估计的图像i的畸变参数。给定图像i，j的n对匹配特征点，联立n组式9所示的方程，该n组联立方程可表示为矩形形式MP_i＝d，(其中M、d分别为相应的2n*2和2n*1矩阵)，则P_i的最小二乘解为

P_i＝(M^TM)^-1M^Td 式10

其中n大于等于1，可以依据具体情形设定，通常n大一些会使估计结果更准确。

(c)假设图像j无畸变，估计图像i的畸变参数。类似地，假设图像i无畸变，可估计图像j的畸变参数P_j。

(d)以上述估计作为初始值，采用L-M算法迭代优化，得到最终估计值，优化目标函数可定义如下：

其中，是对图像j上的特征点进行矫正后的坐标，是通过图像i上的特征点来预测它在图像j上的对应特征点的矫正后坐标，err2中的前面一项表示希望二者的误差较小；后面引入一个正则项，希望所估计的矫正参数不至太大，以防图像产生较大变形；λ是正则项系数，可依据实验设定。

参数估计完成后，可用矫正参数对各输入图像进行几何矫正，然后再用相机内外参数进行拼接变换。

综上，本发明在图像拼接中考虑了图像畸变因素，基于径向畸变模型，利用迭代优化方法同时估计出畸变参数和相机内外参数，可以达到更好的拼接效果。

本发明公开的各优选和可选的技术手段，除特别说明外及一个优选或可选技术手段为另一技术手段的进一步限定外，均可以任意组合，形成若干不同的技术方案。

参考文献

[1]Brown M,Lowe D G,“Automatic Panoramic Image Stitching UsingInvariant Features”[J],IJCV,2007.

[2]Richard Szeliski,“Image Alignment and Stitching:A Tutorial”,Microsoft Technical Report,2006.

[3]Zhang Z.,“A Flexible New Technique for Camera Calibration”,[M].2000.

Claims

1.考虑几何畸变的图像拼接方法，包括下列步骤：

S3.计算单应矩阵；从预匹配的特征点对集中剔出外点，形成匹配的特征点对集，依此建立坐标映射的单应矩阵；

S5.图像变换和融合：利用所估计的畸变参数对相应图像进行畸变矫正，然后利用所估计的相机内外参数对矫正后图像进行变换，将两图像映射到相同的坐标系下，实现两图像的融合，

步骤S4中，采用下列畸变模型：

r²＝(x/f)²+(y/f)²

其中，(x,y)表示任一图像在矫正前的图像坐标，表示矫正后无畸变的理想图像坐标，r是矫正前点(x,y)到图像中心的归一化距离，f是设定的归一化常数，p₁、p₂是待估计的畸变参数，

基于下列模型，采用L-M算法对参数K_i、K_j、R、R_j、P_i、P_j进行迭代估计：

优化目标函数为：

其中，

下标i和j分别表示两图像中的图像i和图像j的相应参数，

第二个下标k表示所用的匹配特征点的序号，

K_i、K_j分别是相机i、j的内参矩阵，

K_i＝diag(f_i，f_i，1)，

K_j＝diag(f_j，f_j，1)，

f_i、f_j分别是相机i、j的焦距，

R_i、R_j分别是相机i、j的外参矩阵，

m＝(x，y，1)^T，

λ是正则项系数，

基于下列模型，采用L-M算法对参数K_i、K_j、R_i、R_j进行迭代估计：

优化目标函数为：

其中，

表示图像i上的特征点m_i，k依据当前估计参数所预测的在图像j上的对应点坐标，m_j，k是图像j上该对应点的观测坐标，

2.如权利要求1所述的考虑几何畸变的图像拼接方法，其特征在于所述f为相应的相机焦距或图像尺寸。

3.如权利要求1所述的考虑几何畸变的图像拼接方法，其特征在于在假设图像j无畸变的情形下，估计图像i的畸变参数P_i，以此估计值作为对参数K_i、K_j、R_i、R_j、P_i、P_j进行迭代估计的R_i初始值。

4.如权利要求1所述的考虑几何畸变的图像拼接方法，其特征在于在假设图像i无畸变的情形下，估计图像j的畸变参数P_j，以此估计值作为对参数K_i、K_j、R_i、R_j、P_i、P_j进行迭代估计的P_j初始值。

5.如权利要求1-4任一项所述的考虑几何畸变的图像拼接方法，其特征在于步骤S1中，采用SURF特征点检测算法进行图像特征点的提取，所述特征点为角点。

6.如权利要求1-4任一项所述的考虑几何畸变的图像拼接方法，其特征在于步骤S3中，采用RANSAC算法进行特征点的预匹配，依据最优模型剔出外点，计算获取单应矩阵。

7.如权利要求1-4任一项所述的考虑几何畸变的图像拼接方法，其特征在于步骤S5中，采用羽化法进行两图像重叠区域的融合。