CN109754366B - 一种基于二叉树的图像的拼接方法 - Google Patents

Abstract

本发明提供了一种基于二叉树的图像拼接方法，采用基于二叉树模型的自底向上的拼接方式来完成全景图的拼接，通过A‑KAZE算法提取图像的特征点，用双向KNN匹配的方法进行特征点匹配，再通过基于拼接缝的拉普拉斯图像融合方法对待拼接图像进行图像融合，提高了特征点检测的精确性，降低多个待拼接图像拼接后的扭曲，同时能够较好的消除拼接缝及鬼影，提升全景图拼接质量；当全景图的倾斜角度在矫直区间内时，采用矫直模型对所述全景图进行矫直，进一步消除了全景图的扭曲现象。

Description

一种基于二叉树的图像的拼接方法

技术领域

本发明涉及一种图像处理技术领域，尤其涉及一种基于二叉树的图像的拼接方法。

背景技术

图像拼接就是把针对同一场景的相互有部分重叠的一系列图像合成一幅大的宽视角的图像，解决了单幅相机视角不够问题，给人们的日常生活以及科学研究带来了很大帮助。图像拼接技术在宇宙空间探测、医学、地质勘测、军事侦察和公安取证等很多领域都有广泛的应用。在医学领域，图像拼接常常被用来辅助诊断，通过显微镜、超声波、CT等技术获得的图像一般视野都很小，在诊断时，医师需要通过多幅图像的结合来判断病因，图像拼接技术便可以将这些具有共同点的图像拼接到一起，方便医生的会诊工作。在军事领域网的夜视成像技术中，需要将把设备中放置的摄像机捕获的多张图片拼接为单一图像，这样能够让使用者查看到四周情况。

图像拼接技术分为基于特征和基于区域两种，其中基于特征的图像拼接技术计算量小，实时性高，是当今研究的热点，但是传统的基于SIFT的算法在拼接图像数目较多时，由于图像配准时产生的累计误差，导致拼接后的全景图存在扭曲倾斜较为严重。

发明内容

本发明的目的在于提供一种基于二叉树的图像的拼接方法，以解决现有技术中多幅图像拼接后全景图产生扭曲误差的问题。

为了达到上述目的，本发明提供了一种基于二叉树的图像的拼接方法，包括：

步骤S1：提供多个待拼接图像，并执行步骤S2；

步骤S2：采用A-KAZE非线性尺度分解法提取相邻两个所述待拼接图像中的特征点，并将相邻两个所述待拼接图像进行双向KNN特征点匹配，并执行步骤S3；

步骤S3：采用基于拼接缝的拉普拉斯多分辨率融合的方法对相邻的两个待拼接的图像进行图像融合以形成新的待拼接图像，并执行步骤S2，直至多个所述待拼接图像拼接形成全景图。

可选的，将相邻两个所述待拼接图像进行双向KNN特征点匹配的步骤包括：

步骤S21：利用相邻两个所述待拼接图像中的特征点分别对两个所述待拼接图像均建立KD-tree，并分别取其中一个作为参考进行KNN特征点匹配，提取两次KNN特征点匹配的公共匹配作为初始匹配，并执行步骤S22；

步骤S22：采用RANSAC算法剔除所述初始匹配中的外点、保留内点，并估算相邻两个所述待拼接图像之间的仿射变换矩阵，以将相邻两个所述待拼接图像统一至同一坐标系下进行图像融合。

可选的，估算相邻两个所述待拼接图像之间的仿射变换矩阵的步骤包括：

步骤S221：从所述初始匹配中得到的N个匹配特征点对中随机选取r个匹配特征点对计算出预估仿射变换矩阵G，且r个匹配特征点对能够构成一个可逆矩阵；

步骤S222：计算所述初始匹配中剩余的匹配特征点对中经所述预估仿射变换矩阵G变换后得到的特征点与其匹配特征点之间的距离L，若所述距离L小于一阈值，则所述匹配特征点为内点，若所述距离L大于等于所述阈值，则所述匹配特征点为外点；

步骤S223：重复j次步骤S221及步骤S223，每次计算均得到内点的数量，选取内点的数量最大时计算出的预估仿射变换矩阵G为所述仿射变换矩阵，保留内点的数量最大时对应的匹配特征点作为正确的匹配，删除外点对应的匹配特征点。

可选的，当全景图的倾斜角度θ在矫直区间[T₁,T₂]内时对所述全景图进行矫直。

可选的，T₁＜θ＜T₂，

可选的，所述全景图的左上、左下、右上和右下的4个顶点坐标分别为(ax，ay)、(bx，by)、(cx，cy)及(dx，dy)，则倾斜角度

可选的，采用如下公式对所述全景图进行矫直：

其中，S’为矫直后的全景图的图像矩阵，S为所述全景图的图像矩阵，H为透视变换矩阵。

可选的，获取所述透视变换矩阵H的步骤包括：

设所述全景图的四个顶点的坐标分别为(ax，ay)、(bx，by)、(cx，cy)及(dx，dy)，预估的矫直后的全景图的四个对应顶点的坐标分别为(ax，ay)、(bx，by)、(X，ay)和(X，by)，其中，X为预估的矫直后全景图的长度；

根据所述全景图及预估的矫直后的全景图的四个对应顶点的坐标通过以下公式计算出所述透视变换矩阵H：

其中，[x，y，w]是所述全景图的坐标，[x′_i，y′_i，w']是预估的矫直后的全景图的坐标，

是透视变换矩阵H，且w与w'均为1。

可选的，预估的矫直后的全景图的长度X为：

在本发明具有如下有益效果：

1)基于二叉树模型的自底向上的拼接方式来完成全景图的拼接，通过A-KAZE算法提取图像的特征点，用双向KNN匹配的方法进行特征点匹配，再通过基于拼接缝的拉普拉斯图像融合方法对待拼接图像进行图像融合，提高了特征点检测的精确性，降低多个待拼接图像拼接后的扭曲，同时能够较好的消除拼接缝及鬼影，提升全景图拼接质量；

2)当全景图的倾斜角度在矫直区间内时，采用矫直模型对所述全景图进行矫直，进一步消除了全景图的扭曲现象。

附图说明

图1为本发明实施例提供的基于二叉树的图像的拼接方法的流程图；

图2为本发明实施例提供的二叉树拼接模型图；

图3为本发明实施例的提供全景图的示意图；

图4为本发明实施例提供的矫直后的全景图的示意图。

具体实施方式

下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

如图1所示，本实施例提供了一种基于二叉树的图像的拼接方法，包括：

步骤S1：提供多个待拼接图像，并执行步骤S2；

步骤S2：采用A-KAZE非线性尺度分解法提取相邻两个所述待拼接图像中的特征点，并将相邻两个所述待拼接图像进行双向KNN特征点匹配，并执行步骤S3；

步骤S3：采用基于拼接缝的拉普拉斯多分辨率融合的方法对相邻的两个待拼接的图像进行图像融合以形成新的待拼接图像，并执行步骤S2，直至多个所述待拼接图像拼接成完成的全景图。

具体的，首先提供多个待拼接图像，改变待拼接图像的选取次序，与传统图像拼接过程从左到右或从中间到两边的待拼接图像选取次序不同，本实施例采用基于二叉树模型的图像拼接选取方式，将多个待拼接图像序列设置为二叉树的叶子节点，再通过自底向上的方式构造出一棵完整的二叉树，本文中二叉树的一个叶子节点的左右两幅待拼接图像即为相邻的待拼接图像，不是一个叶子节点的左右两幅待拼接图像即使物理上相邻，也不是本文所指的相邻的待拼接图像。

如图2所示，二叉树模型的建立是通过叶子节点建立新的二叉树的过程，根据二叉树的性质，在非空二叉树的i层上，至多有2^i-1个节点(i≥1)，将输入的n(n≥2)幅待拼接图像的集合作为二叉树的叶子节点集S(S₁,S₂,...,S_n)，再通过公式

得到n幅待拼接图像构造的二叉树层数i的值。通过递归的方法采用自底向上的方式，递归i次，每次递归根据统计的相邻的待拼接图像匹配特征点数目选择本次拼接的参考图像，逐步构造出完整的一棵完整二叉树，得到的二叉树根节点，即多幅待拼接图像拼接的全景图。

建立所述二叉树模型序列之后，在构建图像金字塔时SIFT采用的线性高斯扩展滤波，由于高斯滤波在所有尺度上不保留图像的边缘信息，容易造成图像的边界模糊和细节丢失，从而影响特征点定位的精度，而本实施例采用A-KAZE非线性尺度分解的方法来提取相邻的待拼接图像中的特征点，确保特征点定位的精确性。

提取A-KAZE特征点后，利用相邻两个所述待拼接图像(一个作为参考图像，一个作为目标图像)中的特征点分别对两个所述待拼接图像均建立KD-tree，并分别取其中一个作为参考进行KNN特征点匹配，提取两次KNN特征点匹配的公共匹配作为初始匹配，获得初始匹配结果后，采用RANSAC算法剔除外点，保留内点，并估算相邻两个所述待拼接图像之间的仿射变换矩阵，以将相邻两个所述待拼接图像统一至同一坐标系下进行图像融合。具体的步骤如下：

(1)从所述初始匹配中得到的N个匹配特征点对中随机选取r个匹配特征点对计算出预估仿射变换矩阵G，且需要确保r个匹配特征点对能够构成一个可逆矩阵，本实施例中，预估仿射变换矩阵G的公式如下：

其中，α为待拼接图像的旋转角度；u，v为待拼接图像沿x轴与y轴方向的水平位移，相邻两个待拼接图像的仿射变换如下公式所示：

其中，(x′_i,y′_i)和(x_i,y_i)分别为参考图像和目标图像上的匹配特征点，通过求解方程组获得预估仿射变换矩阵G的参数，由于预估仿射变换矩阵G有6个自由度，随机选取r＝3对匹配特征点即可估算出预估仿射变换矩阵G。

(2)其余的匹配特征点对用于测试估算出的仿射变换矩阵G，计算所述目标图像中剩余的匹配特征点对中经所述预估仿射变换矩阵G变换后得到的特征点与其匹配特征点之间的距离L，若所述距离L小于一阈值，则所述匹配特征点为内点，若所述距离L大于等于所述阈值，则所述匹配特征点为外点(外点为误匹配的点)；

(3)重复j次(1)和(2)，每次计算均得到内点的数量，选取内点的数量最大时计算出的预估仿射变换矩阵G为所述仿射变换矩阵，保留内点的数量最大时对应的匹配特征点作为正确的匹配，从而保留正确匹配，删除外点对应的匹配特征点，剔除错误匹配。

假设相邻两个待拼接图像之间的特征点正确匹配的概率(内点概率)为p_i，j次迭代后找到正确变换矩阵的概率如下公式所示：

P＝1-(1-(p_i)^r)^j；

显然，当迭代次数j增加，概率P同样也会增加。例如，当j＝300，p_i＝0.5时，对应变换矩阵估计错误的概率为1.0×10^-18。从配准效果和实时性两方面综合考虑，本文迭代次数j设置为300次。

接下来，采用基于拼接缝的拉普拉斯多分辨率融合的方法来对相邻的待拼接图像进行融合，直至多个所述待拼接图像拼接形成全景图，在提升融合效率的同时保证了图像融合的质量。当拼接多个图像序列时，由于误差积累会产生倾斜扭曲现象，输入的待拼接图像越多倾斜的越明显。因此，本实施例针对多个待拼接图像拼接后的形成的倾斜程度和倾斜形态的不同提出了一种自动矫直模型，对全景图进行倾斜矫直。

如图3所示，设所述全景图的左上、左下、右上和右下的4个顶点坐标分别为(ax，ay)、(bx，by)、(cx，cy)及(dx，dy)，所述全景图的倾斜角度为θ，计算出所述全景图的倾斜角度

当倾斜角度为θ在矫直区间[T₁,T₂]内时对所述全景图进行矫直，本实施例中T₁＜θ＜T₂，

首先，如图4所示，设预估的矫直后的全景图的左上、左下、右上和右下的4个对应顶点的坐标分别为(ax，ay)、(bx，by)、(X，ay)和(X，by)，其中，X为预估的矫直后全景图的长度，其中X为：

接下来，根据所述全景图及预估的矫直后的全景图的四个对应顶点的坐标通过以下公式计算出所述透视变换矩阵H：

其中，[x，y，w]是所述全景图的坐标，[x′_i，y′_i，w′]是预估的矫直后的全景图的坐标，

是透视变换矩阵H，因为所述待拼接图像均为二维图像，所以w与w'均为1。

最后将求得的透视变换矩阵H作用在所述全景图中，并对所述全景图进行双线性插值即可完成图像矫直，具体的，采用如下公式对所述全景图进行矫直：

其中，S’为矫直后的全景图的图像矩阵，S为所述全景图的图像矩阵，H为透视变换矩阵。经过多次实验，分别T₁，T₂取1°和10°较为合适。

综上，在本发明实施例提供的基于二叉树的图像拼接方法中，采用基于二叉树模型的自底向上的拼接方式来完成全景图的拼接，通过A-KAZE算法提取图像的特征点，用双向KNN匹配的方法进行特征点匹配，再通过基于拼接缝的拉普拉斯图像融合方法对待拼接图像进行图像融合，提高了特征点检测的精确性，降低多个待拼接图像拼接后的扭曲，同时能够较好的消除拼接缝及鬼影，提升全景图拼接质量；当全景图的倾斜角度在矫直区间内时，采用矫直模型对所述全景图进行矫直，进一步消除了全景图的扭曲现象。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。

Claims (9)

1.一种基于二叉树的图像的拼接方法，其特征在于，包括：

步骤S1：提供多个待拼接图像，并执行步骤S2；

步骤S2：采用A-KAZE非线性尺度分解法提取相邻两个所述待拼接图像中的特征点，并将相邻两个所述待拼接图像进行双向KNN特征点匹配，并执行步骤S3；

步骤S3：采用基于拼接缝的拉普拉斯多分辨率融合的方法对相邻的两个待拼接的图像进行图像融合以形成新的待拼接图像，并执行步骤S2，直至多个所述待拼接图像拼接形成全景图。

2.如权利要求1所述的基于二叉树的图像的拼接方法，其特征在于，将相邻两个所述待拼接图像进行双向KNN特征点匹配的步骤包括：

步骤S21：利用相邻两个所述待拼接图像中的特征点分别对两个所述待拼接图像均建立KD-tree，并分别取其中一个作为参考进行KNN特征点匹配，提取两次KNN特征点匹配的公共匹配作为初始匹配，并执行步骤S22；

步骤S22：采用RANSAC算法剔除所述初始匹配中的外点、保留内点，并估算相邻两个所述待拼接图像之间的仿射变换矩阵，以将相邻两个所述待拼接图像统一至同一坐标系下进行图像融合。

3.如权利要求2所述的基于二叉树的图像的拼接方法，其特征在于，估算相邻两个所述待拼接图像之间的仿射变换矩阵的步骤包括：

步骤S221：从所述初始匹配中得到的N个匹配特征点对中随机选取r个匹配特征点对计算出预估仿射变换矩阵G，且r个匹配特征点对能够构成一个可逆矩阵；

步骤S222：计算所述初始匹配中剩余的匹配特征点对中经所述预估仿射变换矩阵G变换后得到的特征点与其匹配特征点之间的距离L，若所述距离L小于一阈值，则所述匹配特征点为内点，若所述距离L大于等于所述阈值，则所述匹配特征点为外点；

步骤S223：重复j次步骤S221及步骤S223，每次计算均得到内点的数量，选取内点的数量最大时计算出的预估仿射变换矩阵G为所述仿射变换矩阵，保留内点的数量最大时对应的匹配特征点作为正确的匹配，删除外点对应的匹配特征点。

4.如权利要求1所述的基于二叉树的图像的拼接方法，其特征在于，当全景图的倾斜角度θ在矫直区间[T₁,T₂]内时对所述全景图进行矫直。

5.如权利要求4所述的基于二叉树的图像的拼接方法，其特征在于，T₁＜θ＜T₂，

6.如权利要求5所述的基于二叉树的图像的拼接方法，其特征在于，所述全景图的左上、左下、右上和右下的4个顶点坐标分别为(ax，ay)、(bx，by)、(cx，cy)及(dx，dy)，则倾斜角度

7.如权利要求6所述的基于二叉树的图像的拼接方法，其特征在于，采用如下公式对所述全景图进行矫直：

其中，S’为矫直后的全景图的图像矩阵，S为所述全景图的图像矩阵，H为透视变换矩阵。

8.如权利要求7所述的基于二叉树的图像的拼接方法，其特征在于，获取所述透视变换矩阵H的步骤包括：

设所述全景图的四个顶点的坐标分别为(ax，ay)、(bx，by)、(cx，cy)及(dx，dy)，预估的矫直后的全景图的四个对应顶点的坐标分别为(ax，ay)、(bx，by)、(X，ay)和(X，by)，其中，X为预估的矫直后全景图的长度；

根据所述全景图及预估的矫直后的全景图的四个对应顶点的坐标通过以下公式计算出所述透视变换矩阵H：

其中，[x，y，w]是所述全景图的坐标，[x'_i，y'_i，w']是预估的矫直后的全景图的坐标，

是透视变换矩阵H，且w与w'均为1。

9.如权利要求8所述的基于二叉树的图像的拼接方法，其特征在于，预估的矫直后的全景图的长度X为：

Images