CN109741240A - 一种基于层次聚类的多平面图像拼接方法 - Google Patents

Abstract

本发明公开了一种基于层次聚类的多平面图像拼接方法，包括以下步骤：(一)提取待拼接图像A和B的SIFT特征点，完成特征点的初始匹配；并利用层次聚类方法将图像A的特征点划分为不同平面，筛选误匹配点；(二)对待拼接图像A和B分块，根据每个图像块中心像素周围的特征点平面信息计算图像块所属平面；利用带权重的线性变换方法计算图像A和B中每个对应分块的变换矩阵；最后将图像B映射到图像A的坐标系下；(三)构造待拼接图像A和B的拉普拉斯金字塔，对每一层采取不同的融合权重进行融合，再将融合后的各层拉普拉斯金字塔恢复得到最终的拼接结果。

Description

一种基于层次聚类的多平面图像拼接方法

技术领域

本发明涉及计算机处理图像的方法，特别是涉及一种基于层次聚类的多平面图像拼接方法。

背景技术

图像拼接是将一系列在同一场景下不同角度拍摄的相互之间带有重叠区域的窄视角图像合成为一幅高分辨率的宽视角图像。日常生活中拍摄相机的光心并不固定在一个位置，存在移动，旋转等空间变化，因此，捕获的图像存在视差，就会产生明显的伪影和对不齐。

目前比较主流的针对具有视差的图像拼接方法的基本模型都是基于网格的变换模型，该方法将图像划分为密集网格用全局单应性矩阵代替基本单应性矩阵，对每一个特征点用一个局部单应性矩阵来映射，使用移动直接线性变换进行配准，强调全局投影特性，同时允许局部非投影偏差，在一定程度上缓解了视差造成的拼接误差。但是该算法的配准精度依赖于特征点的均匀度和匹配精度。在拼接过程中，采用传统随机抽样一致性方法用全局单应变换筛选特征点，由于多平面场景，一个平面对应着一个单应变换，因此导致部分正确匹配的特征点会被筛选。一些方法通过增大阈值缓解漏检特征点，但该方法同时会引入错误的匹配点，增加虚警率。

发明内容

发明目的：为了解决上述技术问题，本发明公开了一种基于层次聚类的多平面图像拼接方法，能够提高特征点筛选的精确度，并对重叠区域的不同平面采用不同的单应变换，从而提高了配准的精度。

本发明的基于层次聚类的多平面图像拼接方法，包括以下步骤：

步骤1，提取待拼接图像A和B的SIFT(尺度不变特征变换，Scale-invariantfeature transform，SIFT)特征点，完成特征点的初始匹配，并利用层次聚类方法将图像A的特征点划分为不同平面，筛选误匹配点，得到正确特征匹配点的集合；

步骤2，对待拼接图像A和B分块，根据每个图像块中心像素周围的特征点平面信息计算图像块所属平面；利用带权重的线性变换方法计算图像A和B中每个对应分块的变换矩阵；最后将图像B映射到图像A的坐标系下；

步骤3，构造待拼接图像A和B的拉普拉斯金字塔，对每一层采取不同的融合权重进行融合，再将融合后的各层拉普拉斯金字塔恢复得到最终的拼接结果。

本发明中，步骤1包括以下步骤：

步骤1-1，提取待拼接图像A和B的SIFT特征点(参见David G.Lowe,"Distinctiveimage features from scale-invariant keypoints,"International Journal ofComputer Vision,60,2(2004),pp.91-110)；

步骤1-2，对于图像A中每个SIFT特征点，分别计算与图像B中所有SIFT特征点特征描述子的欧式距离，选择距离最小的点组成匹配对；

步骤1-3，按照SIFT特征点间坐标的欧式距离小于规定阈值的规则对图像A中的特征点进行采样，构建两个以上的最小采样集；

步骤1-4，利用最小二乘法分别计算每个采样集的单应性矩阵；

步骤1-5，定义每对匹配点在不同单应变换下的残差，计算每两个匹配点残差较小的值所对应的单应性矩阵交集的个数，构建相似度矩阵；

步骤1-6，根据相似度矩阵计算每两个特征匹配点的距离，作为聚类的相似度度量，采用凝聚层次聚类，利用平均值合并簇，建立层次聚类树；

步骤1-7，根据聚类后每个类别中包含的特征点与每个单应矩阵的残差均值筛选特征点，得到正确特征匹配点的集合；

本发明中，步骤1-2包括：对于图像A中的SIFT特征点，分别计算每个SIFT特征点与图像B中所有SIFT特征点的特征描述子的欧式距离，并选择最近距离d₁与次近距离d₂，当d₁/d₂小于阈值时，则与距离为d₁的特征点匹配，匹配对记为X＝{x^A,x^B}，其中，x^A和x^B是分别来自于图像A的特征点和来自于图像B的特征点；构建特征点对集为φ＝{X₁，X₂，…，X_N}，其中N为两幅图像特征点匹配的总对数，代表第i个匹配对，i＝1,2,…,N，分别表示第i个匹配对中来自于图像A的特征点和来自于图像B的特征点。

本发明中，步骤1-3包括：从中随机选择1个特征点p，再从图像A中距离点p为d的范围内随机选择其他3个特征点，若4个特征点中任意3点不共线，则构成最小采样集，否则重新选择；按照上述采样规则，得到K个最小采样集；

步骤1-4包括：利用最小二乘法计算每个最小采样集所对应的单应性矩阵，第j个最小采样集所对应的单应性矩阵记为h_j，j＝1,2,…,K。

本发明中，步骤1-5包括：

步骤1-5-1，对于图像B中特征点根据变换矩阵h_j映射得到点计算与图像B中对应的特征点坐标的欧式距离dis₁；再根据h_j的反变换将图像A中的特征点映射到点计算与图像B中对应的特征点坐标的欧式距离dis₂；

步骤1-5-2，定义第i对特征匹配点在第j个单应性矩阵的变换下的残差为dis_i,j，如式(1)所示：

dis_i,j＝dis₁+dis₂ (1)

其中， 为h_j的反变换；

计算特征点对集φ中所有特征匹配点对在所有单应性矩阵的变换下的残差集合为D＝{dis_i,1,dis_i,2,…,dis_i,K}；

步骤1-5-3，对集合D中得到的每个匹配点的残差向量的分量按照升序排列，排序后得到残差向量集合其中f_i(1),f_i(2),…,f_i(K)是对1，2，…，K的一个排序，使得特征点对集φ中的第i对匹配点在第f_i(j)个单应变换下的残差总小于等于在第f_i(j+1)个单应变换下的残差即

步骤1-5-4，根据排序后的残差向量集合D'，得到特征匹配点每个分量所对应的单应矩阵向量其中，为D'的第i对匹配点中顺序为j的残差值所对应的单应性矩阵；

步骤1-5-5，对于特征点对集中第p个特征匹配对对应的单应矩阵向量H_p和第q个特征匹配对对应的单应矩阵向量H_q，计算H_p和H_q前t个值交集的个数t＝0.2*N，p＝1,2,…,N,q＝1,2,…,N，构建相似度矩阵F：

本发明中，步骤1-6包括：

步骤1-6-1，定义X_p和X_q的距离作为层次聚类的相似度度量

其中，表示特征点对集中第q个特征匹配对对应的单应矩阵向量H_q和第N个特征匹配对对应的单应矩阵向量H_N前t个值交集的个数。

步骤1-6-2，利用层次聚类筛选特征点：根据两对特征匹配点间的相似度，利用现有的凝聚层次聚类算法(参考文献Morsier F D,Tuia D,Borgeaud M,et al.Clustervalidity measure and merging system for hierarchical clustering consideringoutliers[J].Pattern Recognition,2015,48(4):1478-1489)。首先将每一个特征点都作为一个独立的簇，再计算两个簇中的点两两的距离和的均值，找到距离较小的两个簇合并，建立层次聚类树，将特征点分为不同的类别；

步骤1-7包括：计算步骤1-6-2划分的第m个类别C_m中所有特征点对的前t个残差的均值η_m，如式(3)所示：

当η_m的值大于阈值ε，则类中所有特征点为错误的匹配点；否则，将其类中包含的特征点x_i加入到正确特征匹配点的集合中，并标记所属平面标签，即L(x_i)＝m。

本发明中，步骤2包括以下步骤：

步骤2-1，分别将待拼接图像A和B划分为大小相同的网格，根据每个网格中心周围的特征点所在平面计算网格所属的平面；

步骤2-2，将图像B映射到图像A的坐标系下。

本发明中，步骤2-1包括：分别将图像A和B划分成大小为x*x的网格，根据步骤1划分的类别结果，统计图像A中距离每个网格中心点坐标为d的范围内集合中特征点所属的类别，选择特征点最多的类别定义为当前网格的所属平面；

步骤2-2包括：

步骤2-2-1，利用带权重的线性变换算法计算每个网格的单应性矩阵，引入权重因子ωⁱ，求取代价函数并取所有结果值的最小值为h_*，如式(4)所示:

其中，h是9维矢量，即单应性矩阵；a_i是集合中每组特征匹配点的坐标对应的方程组系数；ωⁱ是集合中第i对特征匹配点对当前网格的贡献，即权重因子，如果当前像素与集合中第i对特征匹配点属于同一个平面，则该特征匹配点的权重为1；否则，该特征匹配点的权重取基于高斯核函数的径向距离和规格化参数γ的最大值；

步骤2-2-2，计算权重因子ωⁱ，如式(5)所示：

其中，是第n个网格的中心点像素的坐标；σ是尺度因子；γ∈[0,1]；L(x_i)和分别表示集合中第i个特征点x_i所属的平面标签和网格中心点所属的平面标签；

步骤2-2-3，将待拼接图像B的每个网格的像素点坐标乘以对应的单应性矩阵，将其映射到图像A的坐标系下，形成新的图像B^*。

本发明中，步骤3包括以下步骤：

步骤3-1，分别构造待拼接图像A和B的拉普拉斯金字塔；

步骤3-2，新建图像I，大小为两幅图像A和B拼接后的大小；将图像I位于图像A和图像B^*的重叠区的坐标点全部标记为1，其他位置标记为0，作为权重图像；

步骤3-3，建立权重图像I的高斯金字塔，利用权重图像的金字塔层，在待融合图像的各个金字塔层分别进行融合，将融合后的各层拉普拉斯金字塔恢复得到最终的拼接结果。

本发明中，步骤3-3包括：

利用权重图像的金字塔层，在待融合图像的各个金字塔层分别按照式(6)进行融合，融合得到的拉普拉斯金字塔图像为L：

其中，L_k表示融合图像L金字塔的第K层，GW_k(i,j)表示权重图像I的第K层金字塔，和分别表示图像A的金字塔的第K层和图像B的金字塔的第K层，最后对融合得到的各层拉普拉斯金字塔恢复得到最终的拼接结果。

有益效果：本发明是一种针对具有视差的图像拼接方法，提出了基于层次聚类的多平面特征点筛选方法，利用所得的平面信息定义每个特征点对每个局部单应变换贡献的权重。从而降低了特征点筛选的漏检率，提高了图像配准的精度。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1是本发明流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本发明提供了一种基于层次聚类的多平面图像拼接方法，包括以下步骤：

步骤1，提取待拼接图像A和B的SIFT(尺度不变特征变换，Scale-invariantfeature transform，SIFT)特征点，完成特征点的初始匹配，并利用层次聚类方法将图像A的特征点划分为不同平面，筛选误匹配点；

步骤2，对待拼接图像A和B分块，根据每个图像块中心像素周围的特征点平面信息计算图像块所属平面；利用带权重的线性变换方法计算图像A和B中每个对应分块的变换矩阵；最后将图像B映射到图像A的坐标系下；

步骤3，构造待拼接图像A和B的拉普拉斯金字塔，对每一层采取不同的融合权重进行融合，再将融合后的各层拉普拉斯金字塔恢复得到最终的拼接结果。

本发明中，步骤1包括以下步骤：

步骤1-1，提取待拼接图像A和B的SIFT特征点(参考文献：David G.Lowe,"Distinctive image features from scale-invariant keypoints,"InternationalJournal of Computer Vision,60,2(2004),pp.91-110)。

步骤1-2，对于图像A中每个SIFT特征点，分别计算与图像B中所有SIFT特征点特征描述子的欧式距离，选择距离最小的点组成匹配对；

步骤1-3，按照SIFT特征点间坐标的欧式距离小于规定阈值的规则对图像A中的特征点进行采样，构建两个以上的最小采样集；

步骤1-4，利用最小二乘法分别计算每个采样集的单应性矩阵；

步骤1-5，定义每对匹配点在不同单应变换下的残差，计算每两个匹配点残差较小的值所对应的单应性矩阵交集的个数，构建相似度矩阵；

步骤1-6，根据相似度矩阵计算每两个特征匹配点的距离，作为聚类的相似度度量，采用凝聚层次聚类，利用平均值合并簇，建立层次聚类树；

步骤1-7，根据聚类后每个类别中包含的特征点与每个单应矩阵的残差均值筛选特征点。

本发明中，步骤1-2包括：对于图像A中的SIFT特征点，分别计算每个SIFT特征点与图像B中所有SIFT特征点的特征描述子的欧式距离，并选择最近距离d₁与次近距离d₂，当d₁/d₂小于阈值时，则与距离为d₁的特征点匹配，匹配对记为X＝{x^A,x^B}，其中，x^A和x^B是分别来自于图像A的特征点和来自于图像B的特征点；构建特征点对集为φ＝{X₁，X₂，…，X_N}，其中N为两幅图像特征点匹配的总对数，代表第i个匹配对，i＝1,2,…,N，分别表示第i个匹配对中来自于图像A的特征点和来自于图像B的特征点。

本发明中，步骤1-3包括：从中随机选择1个特征点p，再从图像A中距离点p为d的范围内随机选择其他3个特征点，若4个特征点中任意3点不共线，则构成最小采样集，否则重新选择；按照上述采样规则，得到K个最小采样集；

步骤1-4包括：利用最小二乘法计算每个最小采样集所对应的单应性矩阵，第j个最小采样集所对应的单应性矩阵记为h_j，j＝1,2,…,K，具体步骤参考文献Zhou C,Tan DL,Zhu F,et al.A planar homography estimation method based on multi-view totalleast squares[C]Robotics,Intelligent Systems and Signal Processing,2003.Proceedings.2003IEEE International Conference on.IEEE,2003。

本发明中，步骤1-5包括：

步骤1-5-1，对于图像B中特征点根据变换矩阵h_j映射得到点计算与图像B中对应的特征点坐标的欧式距离dis₁；再根据h_j的反变换将图像A中的特征点映射到点计算与图像B中对应的特征点坐标的欧式距离dis₂；

步骤1-5-2，定义第i对特征匹配点在第j个单应性矩阵的变换下的残差为dis_i,j，如式(1)所示：

dis_i,j＝dis₁+dis₂ (1)

其中，

计算特征点对集φ中所有特征匹配点对在所有单应性矩阵的变换下的残差集合为D＝{dis_i,1,dis_i,2,…,dis_i,K}；

步骤1-5-3，对集合D中得到的每个匹配点的残差向量的分量按照升序排列，排序后得到残差向量集合其中f_i(1),f_i(2),…,f_i(K)是对1，2，…，K的一个排序，使得特征点对集φ中的第i对匹配点在第f_i(j)个单应变换下的残差总小于等于在第f_i(j+1)个单应变换下的残差即

步骤1-5-4，根据排序后的残差向量集合D'，得到特征匹配点每个分量所对应的单应矩阵向量其中，为D'的第i对匹配点中顺序为j的残差值所对应的单应性矩阵；

步骤1-5-5，对于特征点对集中第p个特征匹配对对应的单应矩阵向量H_p和第q个特征匹配对对应的单应矩阵向量H_q，计算H_p和H_q前t个值交集的个数t＝0.2*N，p＝1,2,…,N,q＝1,2,…,N，构建相似度矩阵F：

本发明中，步骤1-6包括：

步骤1-6-1，定义X_p和X_q的距离作为层次聚类的相似度度量

步骤1-6-2，利用层次聚类筛选特征点：根据两对特征匹配点间的相似度，利用凝聚层次聚类算法，首先将每一个特征点都作为一个独立的类簇，再计算两个簇中的点两两的距离和的均值，找到距离较小的两个簇合并，建立层次聚类树，将特征点分为不同的类别(参考文献Morsier F D,Tuia D,Borgeaud M,et al.Cluster validity measure andmerging system for hierarchical clustering considering outliers[J].PatternRecognition,2015,48(4):1478-1489.)；

步骤1-7包括：计算步骤1-6-2划分的第m个类别C_m中所有特征点对的前t个残差的均值η_m，如式(3)所示：

当η_m的值大于阈值ε(本发明取值0.02)，则类中所有特征点为错误的匹配点；否则(η_m小于等于0.02)，将其类中包含的特征点x_i加入到正确特征匹配点的集合中，并标记所属平面标签，即L(x_i)＝m。

本发明中，步骤2包括以下步骤：

步骤2-1，分别将待拼接图像A和B划分为大小相同的网格，根据每个网格中心周围的特征点所在平面计算网格所属的平面；

步骤2-2，将图像B映射到图像A的坐标系下。

本发明中，步骤2-1包括：分别将图像A和B划分成大小为x*x的网格，根据步骤1划分的类别结果，统计图像A中距离每个网格中心点坐标为d的范围内特征点所属的类别，选择特征点最多的类别定义为当前网格的所属平面；

步骤2-2包括：

步骤2-2-1，利用带权重的线性变换算法计算每个网格的单应性矩阵，引入权重因子ωⁱ，求取代价函数并取所有结果值的最小值为h_*，如式(4)所示:

其中，h是9维矢量，即单应性矩阵；a_i是集合中每组特征匹配点的坐标对应的方程组系数；ωⁱ是集合中第i对特征匹配点对当前网格的贡献，即权重因子，如果当前像素与集合中第i对特征匹配点属于同一个平面，则该特征匹配点的权重为1；否则，该特征匹配点的权重取基于高斯核函数的径向距离和规格化参数γ的最大值；

步骤2-2-2，计算权重因子ωⁱ，如式(5)所示：

其中，是第n个网格的中心点像素的坐标；σ是尺度因子；γ∈[0,1]；L(x_i)和分别表示集合中第i个特征点x_i所属的平面标签和网格中心点所属的平面标签；

步骤2-2-3，将待拼接图像B的每个网格的像素点坐标乘以对应的单应性矩阵，将其映射到图像A的坐标系下，形成新的图像B^*。

本发明中，步骤3包括以下步骤：

步骤3-1，分别构造待拼接图像A和B的拉普拉斯金字塔；

步骤3-2，新建图像I，大小为两幅图像A和B拼接后的大小；将图像I位于图像A和图像B^*的重叠区的坐标点全部标记为1，其他位置标记为0，作为权重图像；

步骤3-3，建立权重图像I的高斯金字塔，利用权重图像的金字塔层，在待融合图像的各个金字塔层分别进行融合，将融合后的各层拉普拉斯金字塔恢复得到最终的拼接结果。

本发明中，步骤3-3包括：

利用权重图像的金字塔层，在待融合图像的各个金字塔层分别按照式(6)进行融合，融合得到的拉普拉斯金字塔图像为L：

其中，L_k表示融合图像L金字塔的第K层，GW_k(i,j)表示权重图像I的第K层金字塔，和分别表示图像A的金字塔的第K层和图像B的金字塔的第K层，最后对融合得到的各层拉普拉斯金字塔恢复得到最终的拼接结果。

实施例

如图1所示时基于层次聚类的多平面图像拼接方法流程，本实施例详细地介绍了基于层次聚类的多平面图像拼接方法，包括以下三个步骤：

(一)提取待拼接图像A和B的SIFT特征点，完成特征点的初始匹配；并利用层次聚类方法将图像A的特征点划分为不同平面，筛选误匹配点；

(二)对待拼接图像A和B分块，根据每个图像块中心像素周围的特征点平面信息计算图像块所属平面；利用带权重的线性变换方法计算图像A和B中每个对应分块的变换矩阵；最后将图像B映射到图像A的坐标系下；

(三)构造待拼接图像A和B的拉普拉斯金字塔，对每一层采取不同的融合权重进行融合，再将融合后的各层拉普拉斯金字塔恢复得到最终的拼接结果。

本实施例具体实施过程如下。

步骤(一)：

提取待拼接图像A和B的SIFT特征点。对于图像A中的特征点，分别计算每个特征点与图像B中所有特征点的特征描述子的欧式距离，并选择最近距离d₁与次近距离d₂，当d₁/d₂小于阈值0.4时，则与距离为d₁的特征点匹配，匹配对记为X＝{x^A,x^B}，其中，x^A和x^B是分别来自于图像A和B的特征点。因此，构建特征点对集为φ＝{X₁，X₂，…，X_N}，其中N为两幅图像特征点匹配的总对数，代表第i个匹配对。i＝1,2,…,N。

从中随机选择1个特征点p，再从图像A中距离点p为d的范围内随机选择其他3个特征点，若4个点中任意3点不共线，则构成最小采样集，否则重新选择。按照上述采样规则，得到K个最小采样集，本实施例中d＝30，K＝500。

利用最小二乘法计算每个最小采样集所对应的单应性矩阵(homography)，第j个最小采样集所对应的单应性矩阵记为h_j，j＝1,2,…,K。

对于图像B中特征点根据变换矩阵h_j映射得到点计算与图像B中对应的特征点坐标的欧式距离dis₁；再根据h_j的反变换将图像A中的特征点映射到点计算与图像B中对应的特征点坐标的欧式距离dis₂，

定义第i对特征匹配点在第j个单应性矩阵的变换下的残差为dis_i,j，如式(1)所示：

dis_i,j＝dis₁+dis₂ (1)

其中，

计算特征点对集φ中所有特征匹配点对在所有单应性矩阵的变换下的残差为D＝{dis_i,1,dis_i,2,…,dis_i,K}(i＝1,2,…,N)。

对D中得到的每个匹配点的残差向量的分量按照升序排列，排序后得到其中f_i(1),f_i(2),…,f_i(K)是对1，2，…，K的某一排序，使得特征点对集φ中的第i对匹配点在第f_i(j)个单应变换下的残差总小于等于在第f_i(j+1)个单应变换下的残差，即

根据排序后的残差向量D′,得到特征匹配点每个分量所对应的单应矩阵向量其中，为D′的第i对匹配点中顺序为j的残差值所对应的单应性矩阵。

对于特征点对集中第p个特征匹配对对应的单应矩阵向量H_p和第q个特征匹配对对应的单应矩阵向量H_q，计算H_p和H_q的前t个值交集的个数t＝0.2*N，构建相似度矩阵F：

定义X_p和X_q的距离作为层次聚类的相似度度量

最后利用层次聚类筛选特征点。根据两对特征匹配点间的相似度，利用凝聚层次聚类算法，首先将每一个特征点都作为一个独立的类簇，再计算两个集合中的点两两的距离和的均值，找到距离较小的两个簇合并，建立层次聚类树，将特征点分为不同的类别。

计算第m个类别C_m中所有特征点对的前t个残差的均值η_m,如式(3)所示。

当η_m的值大于阈值ε，则类中所有特征点为外点，即错误的匹配点。否则，将其类中包含的特征点x_i加入到内点的集合中，并标记所属平面标签，即L(x_i)＝m，本实施例中，ε＝0.02。

步骤(二)：

分别将图像A和B划分成大小为30*30的网格，根据步骤一中结果，统计图像A中距离每个网格中心点坐标为d的范围内特征点所属的类别，选择最多的类别定义为当前网格的所属平面。

利用带权重的线性变换算法计算每个网格的单应矩阵，引入权重因子ωⁱ，求取代价函数并取多个结果值的最小值为h_*，如式(4)所示:

其中，h是9维矢量，即单应性矩阵；a_i是集合中每组特征匹配点的坐标对应的方程组系数；ωⁱ是集合中第i对特征匹配点对当前网格的贡献，即权重因子，如果当前像素与集合中第i对特征匹配点对属于同一个平面，则该特征匹配点的权重为1；否则，该特征匹配点的权重取基于高斯核函数的径向距离和规格化参数γ的最大值。

计算权重因子ωⁱ，如式(5)所示：

其中，是第n个网格的中心点像素的坐标；σ是尺度因子；γ∈[0,1]是为了防止权重过于接近0而进行的规格化操作，在本实施例中，σ＝8.5，γ＝0.01；L(x_i)和是集合中第i个特征点x_i和网格中心点所属的平面标签。

将待拼接图像B的每个网格的像素点坐标乘以对应的单应矩阵，将其映射到A图像的坐标系下，形成新的图像B^*。

步骤(三)

首先，构造待拼接图像A和B的拉普拉斯金字塔L_A和L_B；新建一幅图像I，大小为两幅图像拼接后的大小。将图像I位于图像A和图像B^*的重叠区的坐标点全部标记为1，其他位置标记为0，作为权重图像。建立权重图像I的高斯金字塔GW,利用权重图像的金字塔层，在待融合图像的各个金字塔层分别按照式(6)进行融合，融合得到的拉普拉斯金字塔图像为L。

其中，L_k表示融合图像L金字塔的第K层，GW_k(i,j)表示权重图像I的第K层金字塔，和分别表示图像A的金字塔的第K层和图像B的金字塔的第K层，最后通过融合得到的各层拉普拉斯金字塔恢复得到最终的拼接结果。

本发明的创新点包括：

(1)采用全局单应变换的随机抽样一致性算法筛选特征点，存在将不同平面的正确特征匹配点误筛选。本专利自定义层次聚类的相似度度量，将特征点聚集成多个类别，分别对应不同的单应变换，同时筛选出误匹配的类别，从而提高了特征点的漏检率。

(2)局部变换算法将图像划分为网格，根据特征点与网格中心距离计算每个特征点的权重。本专利在此基础上，考虑到不同平面对应不同的单应变换，根据周围特征点的类别计算每个网格的所属平面，增大同一平面内特征点的权重，利用带权重的线性变换算法计算每个网格的单应矩阵。

本发明提供了一种基于层次聚类的多平面图像拼接方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于层次聚类的多平面图像拼接方法，其特征在于，包括以下步骤：

步骤1，提取待拼接图像A和B的SIFT特征点，完成特征点的初始匹配，并利用层次聚类方法将图像A的特征点划分为不同平面，筛选误匹配点，得到正确特征匹配点的集合；

步骤2，对待拼接图像A和B分块，根据每个图像块中心像素周围的特征点平面信息计算图像块所属平面；利用带权重的线性变换方法计算图像A和B中每个对应分块的变换矩阵；最后将图像B映射到图像A的坐标系下；

步骤3，构造待拼接图像A和B的拉普拉斯金字塔，对每一层采取不同的融合权重进行融合，再将融合后的各层拉普拉斯金字塔恢复得到最终的拼接结果。

2.根据权利要求1所述的方法，其特征在于，步骤1包括以下步骤：

步骤1-1，提取待拼接图像A和B的SIFT特征点；

步骤1-2，对于图像A中每个SIFT特征点，分别计算与图像B中所有SIFT特征点特征描述子的欧式距离，选择距离最小的点组成匹配对；

步骤1-3，按照SIFT特征点间坐标的欧式距离小于规定阈值的规则对图像A中的特征点进行采样，构建两个以上的最小采样集；

步骤1-4，利用最小二乘法分别计算每个采样集的单应性矩阵；

步骤1-5，定义每对匹配点在不同单应变换下的残差，计算每两个匹配点残差较小的值所对应的单应性矩阵交集的个数，构建相似度矩阵；

步骤1-6，根据相似度矩阵计算每两个特征匹配点的距离，作为聚类的相似度度量，采用凝聚层次聚类，利用平均值合并簇，建立层次聚类树；

步骤1-7，根据聚类后每个类别中包含的特征点与每个单应矩阵的残差均值筛选特征点，得到正确特征匹配点的集合。

3.根据权利要求2所述的方法，其特征在于，步骤1-2包括：对于图像A中的SIFT特征点，分别计算每个SIFT特征点与图像B中所有SIFT特征点的特征描述子的欧式距离，并选择最近距离d₁与次近距离d₂，当d₁/d₂小于阈值时，则与距离为d₁的特征点匹配，匹配对记为X＝{x^A,x^B}，其中，x^A和x^B是分别来自于图像A的特征点和来自于图像B的特征点；构建特征点对集为φ＝{X₁，X₂，…，X_N}，其中N为两幅图像特征点匹配的总对数，代表第i个匹配对，i＝1,2,…,N，分别表示第i个匹配对中来自于图像A的特征点和来自于图像B的特征点。

4.根据权利要求3所述的方法，其特征在于，步骤1-3包括：从中随机选择1个特征点p，再从图像A中距离点p为d的范围内随机选择其他3个特征点，若4个特征点中任意3点不共线，则构成最小采样集，否则重新选择；按照上述采样规则，得到K个最小采样集；

步骤1-4包括：利用最小二乘法计算每个最小采样集所对应的单应性矩阵，第j个最小采样集所对应的单应性矩阵记为h_j，j＝1,2,…,K。

5.根据权利要求4所述的方法，其特征在于，步骤1-5包括：

步骤1-5-1，对于图像B中特征点根据变换矩阵h_j映射得到点计算与图像B中对应的特征点坐标的欧式距离dis₁；再根据h_j的反变换将图像A中的特征点映射到点计算与图像B中对应的特征点坐标的欧式距离dis₂；

步骤1-5-2，定义第i对特征匹配点在第j个单应性矩阵的变换下的残差为dis_i,j，如式(1)所示：

dis_i,j＝dis₁+dis₂ (1)

其中， 为h_j的反变换；

计算特征点对集φ中所有特征匹配点对在所有单应性矩阵的变换下的残差集合为D＝{dis_i,1,dis_i,2,…,dis_i,K}；

步骤1-5-3，对D中得到的每个匹配点的残差向量的分量按照升序排列，排序后得到残差向量集合其中f_i(1),f_i(2),…,f_i(K)是对1，2，…，K的一个排序，使得特征点对集φ中的第i对匹配点在第f_i(j)个单应变换下的残差总小于等于在第f_i(j+1)个单应变换下的残差即

步骤1-5-4，根据排序后的残差向量集合D'，得到特征匹配点每个分量所对应的单应矩阵向量其中，为D'的第i对匹配点中顺序为j的残差值所对应的单应性矩阵；

步骤1-5-5，对于特征点对集中第p个特征匹配对对应的单应矩阵向量H_p和第q个特征匹配对对应的单应矩阵向量H_q，计算H_p和H_q前t个值交集的个数t＝0.2*N，p＝1,2,…,N,q＝1,2,…,N，构建相似度矩阵F：

6.根据权利要求5所述的方法，其特征在于，步骤1-6包括：

步骤1-6-1，定义X_p和X_q的距离作为层次聚类的相似度度量

步骤1-6-2，利用层次聚类筛选特征点：根据两对特征匹配点间的相似度，利用凝聚层次聚类算法，首先将每一个特征点都作为一个独立的类簇，再计算两个簇中的点两两的距离和的均值，找到距离较小的两个簇合并，建立层次聚类树，将特征点分为不同的类别；

步骤1-7包括：计算步骤1-6-2划分的第m个类别C_m中所有特征点对的前t个残差的均值η_m，如式(3)所示：

当η_m的值大于阈值ε，则类中所有特征点为错误的匹配点；否则，将其类中包含的特征点x_i加入到正确特征匹配点的集合中，并标记所属平面标签，即L(x_i)＝m，L(x_i)表示集合中第i个特征点x_i所属的平面标签。

7.根据权利要求6所述的方法，其特征在于，步骤2包括以下步骤：

步骤2-1，分别将待拼接图像A和B划分为大小相同的网格，根据每个网格中心周围的特征点所在平面计算网格所属的平面；

步骤2-2，将图像B映射到图像A的坐标系下。

8.根据权利要求7所述的方法，其特征在于，步骤2-1包括：分别将图像A和B划分成大小为x*x的网格，根据步骤1划分的类别结果，统计图像A中距离每个网格中心点坐标为d的范围内集合中特征点所属的类别，选择特征点最多的类别定义为当前网格的所属平面；

步骤2-2包括：

步骤2-2-1，利用带权重的线性变换算法计算每个网格的单应性矩阵，引入权重因子ωⁱ，求取代价函数并取所有结果值的最小值为h_*，如式(4)所示:

其中，h是9维矢量，即单应性矩阵；a_i是集合中每组特征匹配点的坐标对应的方程组系数；ωⁱ是集合中第i对特征匹配点对当前网格的贡献，即权重因子，如果当前像素与集合中第i对特征匹配点属于同一个平面，则该特征匹配点的权重为1；否则，该特征匹配点的权重取基于高斯核函数的径向距离和规格化参数γ的最大值；

步骤2-2-2，计算权重因子ωⁱ，如式(5)所示：

其中，是第n个网格的中心点像素坐标；σ是尺度因子；γ∈[0,1]；表示网格中心点所属的平面标签；

步骤2-2-3，将待拼接图像B的每个网格的像素点坐标乘以对应的单应性矩阵，将其映射到图像A的坐标系下，形成新的图像B^*。

9.根据权利要求8所述的方法，其特征在于，步骤3包括以下步骤：

步骤3-1，分别构造待拼接图像A和B的拉普拉斯金字塔；

步骤3-2，新建图像I，大小为两幅图像A和B拼接后的大小；将图像I位于图像A和图像B^*的重叠区的坐标点全部标记为1，其他位置标记为0，作为权重图像；

步骤3-3，建立权重图像I的高斯金字塔，利用权重图像的金字塔层，在待融合图像的各个金字塔层分别进行融合，将融合后的各层拉普拉斯金字塔恢复得到最终的拼接结果。

10.根据权利要求9所述的方法，其特征在于，步骤3-3包括：

利用权重图像的金字塔层，在待融合图像的各个金字塔层分别按照式(6)进行融合，融合得到的拉普拉斯金字塔图像为L：

其中，L_k表示融合图像L金字塔的第K层，GW_k(i,j)表示权重图像I的第K层金字塔，和分别表示图像A的金字塔的第K层和图像B的金字塔的第K层，最后对融合得到的各层拉普拉斯金字塔恢复得到最终的拼接结果。