CN110544202A - 一种基于模板匹配与特征聚类的视差图像拼接方法及系统 - Google Patents

Abstract

本发明公开一种基于模板匹配与特征聚类的视差图像拼接方法及系统。方法包括：获取源图像和目标图像；采用模板匹配方法确定所述源图像和所述目标图像的重叠区域；在所述重叠区域中采用基于局部匹配信息的特征点对筛选方法，筛选正确的特征点对集；对筛选的正确的特征点对集进行聚类分割，得到局部单应阵模型；根据所述局部单应阵模型进行图像配准和拼接。采用本发明的方法或系统能够快速定位图像重叠区域，以降低外点干扰和计算代价，且确保视差图像中能够提取到足够的匹配点对信息，实现图像的局部精确对齐与视差处理。最终将方法整合于对应的系统之中，使其得以准确地运行实施。

Description

一种基于模板匹配与特征聚类的视差图像拼接方法及系统

技术领域

本发明涉及图像信息处理领域，特别是涉及一种基于模板匹配与特征聚类的视差图像拼接方法及系统。

背景技术

图像拼接技术是指将多张具有一定重叠区域的图像无缝拼接成一幅大的全景图的技术，拼接结果具有比单个图像更高的分辨率和更大的视野。图像拼接在计算机视觉、模式识别、军事侦察、医学图像分析等多方面都具有广泛的应用价值。当拍摄的各张图像之间的重叠区域并不是位于同一个平面，或者摄像机拍摄时光心没有重合，也就是重叠区域场景中发生了景深变化，这时图像无可避免地会产生视差。处理此类的图像拼接传统的技术无法消除视差所带来的重影影响，难以适应各种各样的复杂场景要求。

从现有技术中检索发现，公开号为CN102968777A的专利申请公开了一种基于重叠区域SIFT特征点的图像拼接方法。该方案通过仅提取重叠区域的特征点降低方法计算量，并采用改进的SIFT特征向量提取方法描述特征点来降低误特征点的匹配率，最后应用到两幅光学差异明显的图像拼接当中。尽管该方案可以提高图像拼接的运算效率，但是计算两幅图像重叠区域的方法较为繁琐，且最终确定出的重叠区域是一个近似范围，当进行后续特征匹配与图像融合关键步骤时难免会产生局部误差，这对于拼接复杂场景下的图像是及其不利的。

再有，公开号为CN201810087985.4的专利申请公开了一种基于流形优化的图像拼接方法。该拼接方法将图像网格化，再通过在流形空间利用迭代优化方式来优化重叠部分匹配特征点的残差，以此对齐图像。该方法利用网格优化虽然可以对视差图像的局部配准产生较好地对齐效果，但是对图像划分密集网格所产生的计算量是巨大的，运算效率较低。

发明内容

本发明的目的是提供一种基于模板匹配与特征聚类的视差图像拼接方法及系统。该方法能够快速定位图像重叠区域，以降低外点干扰和计算代价。且提出一种基于局部匹配信息的特征点对筛选方法，以确保视差图像中能够提取到足够的匹配点对信息，实现图像的局部精确对齐与视差处理。最终将方法整合于对应的系统之中，使其得以准确地运行实施。

为实现上述目的，本发明提供了如下方案：

一种基于模板匹配与特征聚类的视差图像拼接方法及系统，包括：

获取源图像和目标图像；

采用模板匹配方法确定所述源图像和所述目标图像的重叠区域；

在所述重叠区域中采用基于局部匹配信息的特征点对筛选方法，筛选正确的特征点对集；

对筛选的所述正确特征点对集进行聚类分割，得到局部单应阵模型；

根据所述局部单应阵模型进行图像配准和拼接。

可选的，所述采用模板匹配方法确定所述源图像和所述目标图像的重叠区域，具体包括：

在所述目标图像中选择第一模板图像，其中模板图像选择为左上角顶点坐标 (0，a)，长设为b，宽设为c的第一矩形框，0<a<h，0<b<h，0<c<h，h表示目标图像的高；

采用模板匹配方法在所述源图像上搜寻最匹配的部分，确定最匹配部分的第一位置坐标，然后用所述第一矩形框将所述第一位置坐标在所述源图像上标记出来，所述第一矩形框的左上角顶点的横坐标值为重叠区域的左边界；

在所述源图像中选择第二模板图像，其中模板图像选择为右下角顶点坐标(w，d)，长设为b，宽设为c的第二矩形框，0<d<h，0<b<h，0<c<h，h表示源图像的高，w表示源图像的宽；

采用模板匹配方法在所述目标图像上搜寻最匹配的部分，确定最匹配部分的第二位置坐标，然后用所述第二矩形框将所述第二位置坐标在所述目标图像上标记出来，所述第二矩形框的右下角顶点的横坐标值为重叠区域的右边界。

可选的，所述在所述重叠区域中采用基于局部匹配信息的特征点对筛选方法，筛选正确的特征点对集，具体包括：

对所述重叠区域中的特征点进行二次提取，精确地剔除掉所有的错误匹配点，得到提取后的特征点对；

判断所述提取后的特征点对的丢失率是否满足设定条件；

若是，则确定正确的特征点对；

若否，则提出一种基于局部匹配信息的特征点对筛选方法，对特征点进行重新筛选，并确定正确的特征点对。

可选的，所述提出一种基于局部匹配信息的特征点对筛选方法，对特征点进行重新筛选，并确定正确的特征点对，具体包括：

计算所述提取后的特征点的全局单应阵假设，设置误差阈值ε₀为4；

将满足所述全局单应阵假设的特征点集覆盖在所述初步筛选后的图像上，以不同的颜色区分，使用红色表示初步筛选后的特征点对集和使用绿色表示全局特征点对集；

验证红色特征点对集，对任一绿色特征点，其位于的局部区域看做一个平面，以绿点为圆心，E₀为半径的邻域内，所有的特征点都位于同一局部平面上；若所述局部平面内存在数量大于N的红色特征点，则利用直接线性变换求得所述局部平面上包括红色特征点对在内的所有特征点对的单应阵假设，并计算它们的拟合误差；如果拟合误差小于误差阈值ε₀，将该局部平面中红色特征点标记为绿色，输出尽可能多的绿点对集，考虑到不同图像的情况不同，实验中E₀和N参数的取值范围分别设为50～150和8～16。

可选的，所述对所述正确的特征点集对进行聚类分割，得到局部单应阵模型，具体包括：

对所述正确的特征点集进行二次聚类，得到局部单应阵模型。

一种基于模板匹配与特征聚类的视差图像拼接系统，包括：

获取模块，用于获取源图像和目标图像；

重叠区域确定模块，用于采用模板匹配方法确定所述源图像和所述目标图像的重叠区域；

筛选模块，用于在所述重叠区域中采用基于局部匹配信息的特征点对筛选方法，筛选正确的特征点对集；

聚类分割模块，用于对筛选的所述正确特征点对集进行聚类分割，得到局部单应阵模型；

图像拼接模块，根据所述局部单应阵模型进行图像配准和拼接。

可选的，所述重叠区域确定模块，具体包括：

第一模板图像选择单元，用于在所述目标图像中选择第一模板图像，其中模板图像选择为左上角顶点坐标(0，a)，长设为b，宽设为c的第一矩形框，0<a<h， 0<b<h，0<c<h，h表示目标图像的高；

左边界确定单元，用于采用模板匹配方法在所述源图像上搜寻最匹配的部分，确定最匹配部分的第一位置坐标，然后用所述第一矩形框将所述第一位置坐标在所述源图像上标记出来，所述第一矩形框的左上角顶点的横坐标值为重叠区域的左边界；

第二模板图像选择单元，用于在所述源图像中选择第二模板图像，其中模板图像选择为右下角顶点坐标(w，d)，长设为b，宽设为c的第二矩形框，0<d<h， 0<b<h，0<c<h，h表示源图像的高，w表示源图像的宽；

右边界确定单元，用于采用模板匹配方法在所述目标图像上搜寻最匹配的部分，确定最匹配部分的第二位置坐标，然后用所述第二矩形框将所述第二位置坐标在所述目标图像上标记出来，所述第二矩形框的右下角顶点的横坐标值为重叠区域的右边界。

可选的，所述筛选模块，具体包括：

提取单元，用于对所述重叠区域中的特征点进行二次提取，精确地剔除掉所有的错误匹配点，得到提取后的特征点对；

判断单元，用于判断所述提取后的特征点对的丢失率是否满足设定条件；

正确的特征点对确定单元，用于若所述提取后的特征点对的丢失率满足设定条件，则确定正确的特征点对；

筛选单元，用于若所述提取后的特征点对的丢失率不满足设定条件，则提出一种基于局部匹配信息的特征点对筛选方法，对特征点进行重新筛选，并确定正确的特征点对。

可选的，所述筛选单元，具体包括：

全局单应阵假设计算子单元，用于计算所述提取后的特征点的全局单应阵假设，设置误差阈值ε₀为4；

覆盖子单元，用于将满足所述全局单应阵假设的特征点集覆盖在所述初步筛选后的图像上，以不同的颜色区分，使用红色表示初步筛选后的特征点对集和使用绿色表示全局特征点对集；

验证子单元，用于验证红色特征点对集，对任一绿色特征点，其位于的局部区域看做一个平面，以绿点为圆心，E₀为半径的邻域内，所有的特征点都位于同一局部平面上；若所述局部平面内存在数量大于N的红色特征点，则利用直接线性变换求得所述局部平面上包括红色特征点对在内的所有特征点对的单应阵假设，并计算它们的拟合误差；如果拟合误差小于误差阈值ε₀，将该局部平面中红色特征点标记为绿色，输出尽可能多的绿点对集，考虑到不同图像的情况不同，实验中E₀和N参数的取值范围分别设为50～150和8～16。

可选的，所述聚类分割模块，具体包括：

聚类分割单元，用于对所述正确的特征点集进行二次聚类，得到局部单应阵模型。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明只对重叠区域进行图像配准与融合，能够适当提高方法速度；

本发明提出一种基于局部匹配信息的特征点对筛选方法，保证了特征点对的数量和质量，为后面精确配准与融合提供了数据保障；

本发明通过二次聚类精确求取多个局部单应阵的方法，不仅可以剔除由于使用基于局部匹配信息的特征点对筛选方法而额外引入的外点，而且可以极大增加图像变换的自由度。相比对图像做密集网格处理的方法，本发明的方法既保证了图像变换的自由度较大，又降低了计算代价。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于模板匹配与特征聚类的视差图像拼接方法流程图；

图2为选定的模板与模板匹配的结果；

图3为基于模板匹配查找到的重叠区域；

图4为图像匹配特征点对筛选比对图；

图5为剔除错误点后的聚类分布图；

图6为拼接结果图；

图7为本发明基于模板匹配与特征聚类的视差图像拼接系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于模板匹配与特征聚类的视差图像拼接方法及系统。该方法能够快速定位图像重叠区域，以降低外点干扰和计算代价。且提出一种基于局部匹配信息的特征点对筛选方法，以确保视差图像中能够提取到足够的匹配点对信息，实现图像的局部精确对齐与视差处理。最终将方法整合于对应的系统之中，使其得以准确地运行实施。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明基于模板匹配与特征聚类的视差图像拼接方法流程图。如图1 所示，一种基于模板匹配与特征聚类的视差图像拼接方法，包括：

步骤101：获取源图像和目标图像；

步骤102：采用模板匹配方法确定所述源图像和所述目标图像的重叠区域；具体包括：

在所述目标图像中选择第一模板图像，其中模板图像选择为左上角顶点坐标(0，a)，长设为b，宽设为c的第一矩形框，0<a<h，0<b<h，0<c<h，h表示目标图像的高；

采用模板匹配方法在所述源图像上搜寻最匹配的部分，确定最匹配部分的第一位置坐标，然后用所述第一矩形框将所述第一位置坐标在所述源图像上标记出来，所述第一矩形框的左上角顶点的横坐标值为重叠区域的左边界；

在所述源图像中选择第二模板图像，其中模板图像选择为右下角顶点坐标(w，d)，长设为b，宽设为c的第二矩形框，0<d<h，0<b<h，0<c<h，h表示源图像的高，w表示源图像的宽；

采用模板匹配方法在所述目标图像上搜寻最匹配的部分，确定最匹配部分的第二位置坐标，然后用所述第二矩形框将所述第二位置坐标在所述目标图像上标记出来，所述第二矩形框的右下角顶点的横坐标值为重叠区域的右边界。

步骤103：在所述重叠区域中采用基于局部匹配信息的特征点对筛选方法，筛选正确的特征点对集；具体包括：

对所述重叠区域中的特征点进行二次提取，精确地剔除掉所有的错误匹配点，得到提取后的特征点对。

判断所述提取后的特征点对的丢失率是否满足设定条件，具体的判断初步筛选的特征点数量与二次提取的特征点数量的差值除以初步筛选的特征点数量是否小于给定阈值范围即公式其中，N_p、N_a分别代表了精确提取匹配点之前与之后的特征点数量，δ表示特征点丢失率，阈值范围为0.4～0.6；

若是，则确定正确的特征点对；

若否，则提出一种基于局部匹配信息的特征点对筛选方法，对特征点进行重新筛选，并确定正确的特征点对。

所述提出一种基于局部匹配信息的特征点对筛选方法，对特征点进行重新筛选，并确定正确的特征点对，具体包括：

计算所述提取后的特征点的全局单应阵假设，设置误差阈值ε₀为4；

将满足所述全局单应阵假设的特征点集覆盖在所述初步筛选后的图像上，以不同的颜色区分，使用红色表示初步筛选后的特征点对集和使用绿色表示全局特征点对集；

验证红色特征点对集，对任一绿色特征点，其位于的局部区域看做一个平面，以绿点为圆心，E₀为半径的邻域内，所有的特征点都位于同一局部平面上；若所述局部平面内存在数量大于N的红色特征点，则利用直接线性变换求得所述局部平面上包括红色特征点对在内的所有特征点对的单应阵假设，并计算它们的拟合误差；如果拟合误差小于误差阈值ε₀，将该局部平面中红色特征点标记为绿色，输出尽可能多的绿点对集，考虑到不同图像的情况不同，实验中E₀和N参数的取值范围分别设为50～150和8～16。

步骤104：对筛选的所述正确特征点对集进行聚类分割，得到局部单应阵模型；

利用所求得的正确的特征点对集作为聚类的初始数据，对特征点集进行聚类。

对每个聚类进行单应阵拟合操作作为二次聚类，剔除使用基于局部匹配信息的特征点对筛选方法引入的外点，且增大图像变换自由度。子步骤包括：

步骤1041，K中任选一簇，计算满足||H₁p-q||²＜η条件的所有特征点对n₁和对应的单应阵模型H₁。

其中，K表示聚类数目，η表示拟合误差0.01。(p,q)∈n₁。

步骤1042，重复步骤1042，在K-1个聚类中继续进行||H_ip_i-q_i||²＜η分组操作。

步骤1043，剔除不满足条件的所有特征点，并输出所有满足条件 ||H_ip_i-q_i||²＜η的特征点子集和对应的单应阵。其中，为满足条件的最少的特征点数量阈值，设为8，即至少需要8对特征点来求解对应的单应阵。

步骤105：根据所述局部单应阵模型进行图像配准和拼接。

利用二次聚类求出的局部单应阵模型进行图像配准。

计算过程如下：

其中，P_ij(i,j)表示源图像中任意一个像素点，H_ij表示该点与目标图像上对应点之间的变换模型；H_t表示二次聚类后得到的t个局部单应阵模型；表示第t 个单应阵模型的权重系数；表示第t个基于位置的高斯权重函数；表示第t个特征集合中离像素点P_ij最近的点。

计算源图像各个点与目标图像上对应点之间的变换模型H_ij，进行最终图像配准与拼接。配准关系如下：

P'_ij＝H_ijP_ij

实施例1：

步骤1：基于模板匹配查找两幅图像间的重叠区域。计算重叠区域的子步骤包括：

步骤1.1，输入源图像与目标图像，在目标图像中用矩形框选择模板图像；所述矩形框描述如下：左上角顶点坐标(0，a)，长设为b，宽设为c。其中0<a<h， 0<b<h，0<c<h，h表示目标图像的高。图2为选定的模板与模板匹配的结果。如图2所示右图中用R1表示的矩形框框出的模板图像。

步骤1.2，以步骤1.1中所述矩形框为模板图像，使用模板匹配法在源图像中寻找与所述模板图像最匹配的部分。模板匹配涉及到的匹配方法为归一化相关匹配法，最匹配指标为R(x,y)＝1。找到的对应的最匹配的部分，如图2左图中用 R2表示的矩形框框出的部分。

T(x',y')表示模板图像坐标为(x',y')的像素值，I(x,y)为参考图像坐标为(x,y)的像素值。

步骤1.3，确定最匹配部分的位置坐标，然后用矩形框将所述位置在源图像上标记出来，该矩形框的左上角顶点的横坐标值即为重叠区域的左边界。其中确定位置坐标的方法有多种，在这里使用特定的函数确定。

步骤1.4，寻找重叠区域的右边界。在源图像中用矩形框选择模板图像；所述矩形框描述如下：右下角顶点坐标(w，d)，长设为b，宽设为c。其中0<d<h， 0<b<h，0<c<h，h表示源图像的高，w表示源图像的宽。如图2所示左图中用 G1表示的矩形框框出的模板图像。

步骤1.5，以该矩形框为模板图像，使用模板匹配法在源图像中寻找与所述模板图像最匹配的部分。模板匹配涉及到的匹配方法同样为归一化相关匹配法，最匹配指标为R(x,y)＝1。找到的对应最匹配的部分如图2右图中用G2表示的矩形框框出的部分。

其中

T(x',y')表示模板图像坐标为(x',y')的像素值，I(x,y)为参考图像坐标为(x,y)的像素值。

步骤1.6，确定最匹配部分的位置坐标，然后用矩形框将所述位置在目标图像上标记出来，该矩形框的右下角顶点的横坐标的值即为重叠区域的右边界。图 3为基于模板匹配查找到的重叠区域。重叠区域的范围最终如图3中用B1、B2 表示的矩形框框出的范围。

所述步骤2检测图像重叠区域中的特征点并提出一种新的特征点筛选策略，剔除错误的匹配点对，保留尽可能多的正确的特征匹配点对。

具体方法步骤包括：

步骤2.1，采用SIFT算法提取图像重叠区域中的特征点，并初步筛选掉明显的错误匹配点。用公式表示为：d₂/d₁＞T。

其中x₁,x₂为SIFT描述子的特征向量，d为欧式距离，d₁,d₂分别为最近距离和次近距离，128表示128维SIFT描述子，T为阈值，一般取1.2～1.6。

步骤2.2，进一步对图像精确提取正确的匹配点对，可使用随机抽样一致算法(Random sampling consensus，RANSAC)。

步骤2.3，判断是否成立，若成立则说明已剔除了外点并且保留了较多的正确特征点数量，可以满足后续图像拼接要求，不必对特征点重新筛选；若不成立，则需要一种新的筛选策略。

其中N_p,N_a分别代表了实施随机抽样一致算法精确提取匹配点之前与之后的特征点数量，δ表示特征点丢失率，δ阈值范围为0.4～0.6。

图4为图像匹配特征点对筛选比对图。如图4给出的两组图像，第一组图像只进行SIFT算子匹配，重叠区域检测到的匹配点对数是633对，在RANSAC后剩余匹配点对数是307对，计算不用重新筛选特征点。

同理，第二组图像只进行SIFT算子匹配后重叠区域检测到的匹配点对数是 786对，在RANSAC后剩余匹配点对数是206对，计算漏掉了过多的正确匹配点，需要重新筛选匹配点。

故此，提出一种基于局部匹配信息的特征点对筛选方法重新筛选匹配点，原则是接近图像对相同部分的点更可能满足单应阵假设，其更好地尊重图像局部变形结构。通过生成局部单应阵假设以在该部分恢复尽可能多的正确特征点。子步骤包括：

步骤2.3.1：计算所述提取后的特征点的全局单应阵假设，设置误差阈值ε₀为 4。

步骤2.3.2：将满足所述全局单应阵假设的特征点集覆盖在所述初步筛选后的图像上，以不同的颜色区分，使用红色表示初步筛选后的特征点对集和使用绿色表示全局特征点对集。

步骤2.3.3：对任一绿色特征点，其位于的局部区域看做一个平面，以绿点为圆心，E₀为半径的邻域内，所有的特征点都位于同一局部平面上；若所述局部平面内存在数量大于N的红色特征点，则利用直接线性变换求得所述局部平面上包括红色特征点对在内的所有特征点对的单应阵假设，并计算它们的拟合误差；如果拟合误差小于误差阈值ε₀，将该局部平面中红色特征点标记为绿色，输出尽可能多的绿点对集，考虑到不同图像的情况不同，实验中E₀和N参数的取值范围分别设为50～150和8～16。

在使用基于局部匹配信息的特征点对筛选方法后，第二组图像剩余匹配点对数是318对，比使用随机抽样一致算法筛选匹配点对多了112对，重新计算满足条件。

所述步骤3针对步骤2中所得到的特征点对，首先进行聚类分割，然后对每个聚类进行局部单应阵拟合作为二次聚类，以此剔除额外引入的外点，并利用求取到多个局部单应阵进行图像配准。具体方法步骤包括：

步骤3.1，利用步骤3所求得的特征点集作为聚类的初始数据，对特征点集进行聚类。对于聚类结果，可使用手肘法来确定最佳的聚类数目。

步骤3.2，对每个聚类进行单应阵拟合操作作为二次聚类，剔除由于使用步骤2的筛选策略引入的外点，且增大图像变换自由度。子步骤包括：

步骤3.2.1，K中任选一簇，计算满足||H₁p-q||²＜η条件的所有特征点对n₁和对应的单应阵模型H₁。

其中，K表示聚类数目，η表示拟合误差0.01。(p,q)∈n₁。

步骤3.2.2，重复步骤3.2.1，在K-1个聚类中继续进行||H_ip_i-q_i||²＜η分组操作。

步骤3.2.3，剔除不满足条件的所有特征点，并输出所有满足条件 ||H_ip_i-q_i||²＜η的特征点子集和对应的单应阵。其中，为满足条件的最少的特征点数量阈值，设为8，即至少需要8对特征点来求解对应的单应阵。

步骤3.3，利用步骤3.1和3.2中二次聚类求出的局部单应阵模型进行图像配准。此时第二组图像的特征匹配对数是311对，去除掉了几个非常明显的外点，图5为剔除错误点后的聚类分布图。

进一步地，图像配准计算过程如下：

其中，P_ij(i,j)表示源图像中任意一个像素点，H_ij表示该点与目标图像上对应点之间的变换模型；H_t表示二次聚类后得到的t个局部单应阵模型；表示第t 个单应阵模型的权重系数；表示第t个基于位置的高斯权重函数；表示第t个特征集合中离像素点P_ij最近的点。

步骤3.4，利用步骤3.3计算源图像各个点与目标图像上对应点之间的变换模型H_ij，进行最终图像配准与拼接。配准关系如下：

P'_ij＝H_ijP_ij

最后输出拼接效果自然的全景图。图6为拼接结果图。

图7为本发明基于模板匹配与特征聚类的视差图像拼接系统结构图。如图7 所示，一种基于模板匹配与特征聚类的视差图像拼接系统，包括：

获取模块201，用于获取源图像和目标图像；

重叠区域确定模块202，用于采用模板匹配方法确定所述源图像和所述目标图像的重叠区域；

筛选模块203，用于在所述重叠区域中采用基于局部匹配信息的特征点对筛选方法，筛选正确的特征点对集；

聚类分割模块204，用于对筛选的所述正确特征点对集进行聚类分割，得到局部单应阵模型；

图像拼接模块205，根据所述局部单应阵模型进行图像配准和拼接。

所述重叠区域确定模块202，具体包括：

第一模板图像选择单元，用于在所述目标图像中选择第一模板图像，其中模板图像选择为左上角顶点坐标(0，a)，长设为b，宽设为c的第一矩形框，0<a<h， 0<b<h，0<c<h，h表示目标图像的高；

左边界确定单元，用于采用模板匹配方法在所述源图像上搜寻最匹配的部分，确定最匹配部分的第一位置坐标，然后用所述第一矩形框将所述第一位置坐标在所述源图像上标记出来，所述第一矩形框的左上角顶点的横坐标值为重叠区域的左边界；

第二模板图像选择单元，用于在所述源图像中选择第二模板图像，其中模板图像选择为右下角顶点坐标(w，d)，长设为b，宽设为c的第二矩形框，0<d<h， 0<b<h，0<c<h，h表示源图像的高，w表示源图像的宽；

右边界确定单元，用于采用模板匹配方法在所述目标图像上搜寻最匹配的部分，确定最匹配部分的第二位置坐标，然后用所述第二矩形框将所述第二位置坐标在所述目标图像上标记出来，所述第二矩形框的右下角顶点的横坐标值为重叠区域的右边界。

所述筛选模块203，具体包括：

提取单元，用于对所述重叠区域中的特征点进行二次提取，精确地剔除掉所有的错误匹配点，得到提取后的特征点对。

判断单元，用于判断所述提取后的特征点对的丢失率是否满足设定条件；

正确的特征点对确定单元，用于若所述提取后的特征点对的丢失率满足设定条件，则确定正确的特征点对；

筛选单元，用于若所述提取后的特征点对的丢失率不满足设定条件，则提出一种基于局部匹配信息的特征点对筛选方法，对特征点进行重新筛选，并确定正确的特征点对。

所述筛选单元，具体包括：

全局单应阵假设计算子单元，用于计算所述提取后的特征点的全局单应阵假设，设置误差阈值ε₀为4；

覆盖子单元，用于将满足所述全局单应阵假设的特征点集覆盖在所述初步筛选后的图像上，以不同的颜色区分，使用红色表示初步筛选后的特征点对集和使用绿色表示全局特征点对集；

验证子单元，用于验证红色特征点对集，对任一绿色特征点，其位于的局部区域看做一个平面，以绿点为圆心，E₀为半径的邻域内，所有的特征点都位于同一局部平面上；若所述局部平面内存在数量大于N的红色特征点，则利用直接线性变换求得所述局部平面上包括红色特征点对在内的所有特征点对的单应阵假设，并计算它们的拟合误差；如果拟合误差小于误差阈值ε₀，将该局部平面中红色特征点标记为绿色，输出尽可能多的绿点对集，考虑到不同图像的情况不同，实验中E₀和N参数的取值范围分别设为50～150和8～16。

所述聚类分割模块204，具体包括：

聚类分割单元，用于对所述正确的特征点集进行二次聚类，得到局部单应阵模型。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于模板匹配与特征聚类的视差图像拼接方法及系统，其特征在于，包括：

获取源图像和目标图像；

采用模板匹配方法确定所述源图像和所述目标图像的重叠区域；

在所述重叠区域中采用基于局部匹配信息的特征点对筛选方法，筛选正确的特征点对集；

对筛选的所述正确特征点对集进行聚类分割，得到局部单应阵模型；

根据所述局部单应阵模型进行图像配准和拼接。

2.根据权利要求1所述的基于模板匹配与特征聚类的视差图像拼接方法，其特征在于，所述采用模板匹配方法确定所述源图像和所述目标图像的重叠区域，具体包括：

在所述目标图像中选择第一模板图像，其中模板图像选择为左上角顶点坐标(0，a)，长设为b，宽设为c的第一矩形框，0<a<h，0<b<h，0<c<h，h表示目标图像的高；

采用模板匹配方法在所述源图像上搜寻最匹配的部分，确定最匹配部分的第一位置坐标，然后用所述第一矩形框将所述第一位置坐标在所述源图像上标记出来，所述第一矩形框的左上角顶点的横坐标值为重叠区域的左边界；

在所述源图像中选择第二模板图像，其中模板图像选择为右下角顶点坐标(w，d)，长设为b，宽设为c的第二矩形框，0<d<h，0<b<h，0<c<h，h表示源图像的高，w表示源图像的宽；

采用模板匹配方法在所述目标图像上搜寻最匹配的部分，确定最匹配部分的第二位置坐标，然后用所述第二矩形框将所述第二位置坐标在所述目标图像上标记出来，所述第二矩形框的右下角顶点的横坐标值为重叠区域的右边界。

3.根据权利要求1所述的基于模板匹配与特征聚类的视差图像拼接方法，其特征在于，所述在所述重叠区域中采用基于局部匹配信息的特征点对筛选方法，筛选正确的特征点对集，具体包括：

对所述重叠区域中的特征点进行二次提取，精确地剔除掉所有的错误匹配点，得到提取后的特征点对；

判断所述提取后的特征点对的丢失率是否满足设定条件；

若是，则确定正确的特征点对；

若否，则提出一种基于局部匹配信息的特征点对筛选方法，对特征点进行重新筛选，并确定正确的特征点对。

4.根据权利要求3所述的基于模板匹配与特征聚类的视差图像拼接方法，其特征在于，所述提出一种基于局部匹配信息的特征点对筛选方法，对特征点进行重新筛选，并确定正确的特征点对，具体包括：

计算所述提取后的特征点的全局单应阵假设，设置误差阈值ε₀为4；

将满足所述全局单应阵假设的特征点集覆盖在所述初步筛选后的图像上，以不同的颜色区分，使用红色表示初步筛选后的特征点对集和使用绿色表示全局特征点对集；

验证红色特征点对集，对任一绿色特征点，其位于的局部区域看做一个平面，以绿点为圆心，E₀为半径的邻域内，所有的特征点都位于同一局部平面上；若所述局部平面内存在数量大于N的红色特征点，则利用直接线性变换求得所述局部平面上包括红色特征点对在内的所有特征点对的单应阵假设，并计算它们的拟合误差；如果拟合误差小于误差阈值ε₀，将该局部平面中红色特征点标记为绿色，输出尽可能多的绿点对集，考虑到不同图像的情况不同，实验中E₀和N参数的取值范围分别设为50～150和8～16。

5.根据权利要求1所述的基于模板匹配与特征聚类的视差图像拼接方法，其特征在于，所述对所述正确的特征点集对进行聚类分割，得到局部单应阵模型，具体包括：

对所述正确的特征点集进行二次聚类，得到局部单应阵模型。

6.一种基于模板匹配与特征聚类的视差图像拼接系统，其特征在于，包括：

获取模块，用于获取源图像和目标图像；

重叠区域确定模块，用于采用模板匹配方法确定所述源图像和所述目标图像的重叠区域；

筛选模块，用于在所述重叠区域中采用基于局部匹配信息的特征点对筛选方法，筛选正确的特征点对集；

聚类分割模块，用于对筛选的所述正确特征点对集进行聚类分割，得到局部单应阵模型；

图像拼接模块，根据所述局部单应阵模型进行图像配准和拼接。

7.根据权利要求6所述的基于模板匹配与特征聚类的视差图像拼接系统，其特征在于，所述重叠区域确定模块，具体包括：

第一模板图像选择单元，用于在所述目标图像中选择第一模板图像，其中模板图像选择为左上角顶点坐标(0，a)，长设为b，宽设为c的第一矩形框，0<a<h，0<b<h，0<c<h，h表示目标图像的高；

左边界确定单元，用于采用模板匹配方法在所述源图像上搜寻最匹配的部分，确定最匹配部分的第一位置坐标，然后用所述第一矩形框将所述第一位置坐标在所述源图像上标记出来，所述第一矩形框的左上角顶点的横坐标值为重叠区域的左边界；

第二模板图像选择单元，用于在所述源图像中选择第二模板图像，其中模板图像选择为右下角顶点坐标(w，d)，长设为b，宽设为c的第二矩形框，0<d<h，0<b<h，0<c<h，h表示源图像的高，w表示源图像的宽；

右边界确定单元，用于采用模板匹配方法在所述目标图像上搜寻最匹配的部分，确定最匹配部分的第二位置坐标，然后用所述第二矩形框将所述第二位置坐标在所述目标图像上标记出来，所述第二矩形框的右下角顶点的横坐标值为重叠区域的右边界。

8.根据权利要求6所述的基于模板匹配与特征聚类的视差图像拼接系统，其特征在于，所述筛选模块，具体包括：

提取单元，用于对所述重叠区域中的特征点进行二次提取，精确地剔除掉所有的错误匹配点，得到提取后的特征点对；

判断单元，用于判断所述提取后的特征点对的丢失率是否满足设定条件；

正确的特征点对确定单元，用于若所述提取后的特征点对的丢失率满足设定条件，则确定正确的特征点对；

筛选单元，用于若所述提取后的特征点对的丢失率不满足设定条件，则提出一种基于局部匹配信息的特征点对筛选方法，对特征点进行重新筛选，并确定正确的特征点对。

9.根据权利要求8所述的基于模板匹配与特征聚类的视差图像拼接系统，其特征在于，所述筛选单元，具体包括：

全局单应阵假设计算子单元，用于计算所述提取后的特征点的全局单应阵假设，设置误差阈值ε₀为4；

覆盖子单元，用于将满足所述全局单应阵假设的特征点集覆盖在所述初步筛选后的图像上，以不同的颜色区分，使用红色表示初步筛选后的特征点对集和使用绿色表示全局特征点对集；

验证子单元，用于验证红色特征点对集，对任一绿色特征点，其位于的局部区域看做一个平面，以绿点为圆心，E₀为半径的邻域内，所有的特征点都位于同一局部平面上；若所述局部平面内存在数量大于N的红色特征点，则利用直接线性变换求得所述局部平面上包括红色特征点对在内的所有特征点对的单应阵假设，并计算它们的拟合误差；如果拟合误差小于误差阈值ε₀，将该局部平面中红色特征点标记为绿色，输出尽可能多的绿点对集，考虑到不同图像的情况不同，实验中E₀和N参数的取值范围分别设为50～150和8～16。

10.根据权利要求6所述的基于模板匹配与特征聚类的视差图像拼接系统，其特征在于，所述聚类分割模块，具体包括：

聚类分割单元，用于对所述正确的特征点集进行二次聚类，得到局部单应阵模型。