CN107305682A - 用于对图像进行拼接的方法和装置 - Google Patents

Abstract

本发明涉及一种对图像进行拼接的方法和装置。该方法包括：基于第一重叠图像中的像素的梯度信息确定其中的稠密区域；将稠密区域划分为多个块，并在第二重叠图像中确定与多个块分别对应的对应块；基于每个块中的每个像素的梯度值来确定候选样本块；针对每一个候选样本块，找到该候选样本块和第二重叠图像中的与其对应的对应块中的匹配特征点对；基于匹配特征点对之间的连线的倾斜角度来确定该候选样本块的所有匹配特征点中的稳定匹配特征点对；基于每个候选样本块中匹配特征点对的数目和倾斜角度来计算稳定匹配特征点对的置信度；选取预定比例置信度高的匹配特征点对来校正其余置信度低的匹配特征点对；以及基于所获得的匹配特征点对进行图像拼接。

Description

用于对图像进行拼接的方法和装置

技术领域

本发明涉及图像处理领域，更具体地涉及一种用于对图像进行拼接的方法和装置。

背景技术

图像拼接适用于大幅面的图像处理。对两张图像进行拼接是在要拼接的两张图像存在重合的相同区域的前提下完成的。在图像拼接应用中，特征点匹配是一个重要的步骤。通过surf，sift，fast等方法在两张图像中提取特征点从而粗对齐了两张图像后，局部特征点还是由于局部变形而没有匹配上。

需要一种能够找到均匀分布在重叠的图像区域中的、更加鲁棒并且准确的匹配特征点的方法和装置。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的一个主要目的在于，提供了一种对图像进行拼接的方法，包括：基于第一重叠图像中的像素的梯度信息确定所述第一重叠图像中的稠密区域；将所述稠密区域划分为多个块，并在所述第二重叠图像中确定与所述多个块分别对应的对应块；基于所述多个块的每个块中的每个像素的梯度值来确定候选样本块；针对每一个候选样本块，找到该候选样本块和所述第二重叠图像中的与其对应的对应块中的匹配特征点对；针对每一个候选样本块，基于所述匹配特征点对之间的连线的倾斜角度来确定该候选样本块的所有匹配特征点中的稳定匹配特征点对；基于每个候选样本块中匹配特征点对的数目和所述倾斜角度来计算每个候选样本块的所述稳定匹配特征点对的置信度；选取预定比例置信度高的匹配特征点对来校正其余置信度低的匹配特征点对；以及基于所获得的匹配特征点对进行图像拼接。

根据本发明的一个方面，提供一种对图像进行拼接的装置，包括：稠密区域确定单元，被配置为基于第一重叠图像中的像素的梯度信息确定所述第一重叠图像中的稠密区域；块确定单元，被配置为将所述稠密区域划分为多个块，并在所述第二重叠图像中确定与所述多个块分别对应的对应块；候选样本块确定单元，被配置为基于所述多个块的每个块中的每个像素的梯度值来确定候选样本块；匹配特征点对确定单元，被配置为针对每一个候选样本块，找到该候选样本块和所述第二重叠图像中的与其对应的对应块中的匹配特征点对；稳定匹配特征点对确定单元，被配置为针对每一个候选样本块，基于所述匹配特征点对之间的连线的倾斜角度来确定该候选样本块的所有匹配特征点对中的稳定匹配特征点对；置信度计算单元，被配置为基于每个块中匹配特征点对的数目和所述倾斜角度来计算每个候选样本块中的稳定匹配特征点对的置信度；校正单元，被配置为选取预定比例置信度高的匹配特征点对来校正其余置信度低的匹配特征点对；以及拼接单元，被配置为基于所获得的匹配特征点对进行图像拼接。

另外，本发明的实施例还提供了用于实现上述方法的计算机程序。

此外，本发明的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1A和1B示出两张待拼接的图像，图1C是将两张图像粗对齐后得到的图像片段；

图2示出了根据本发明的一个实施例的用于对图像进行拼接的方法200的示例性过程的流程图；

图3是示出图2中的步骤S202的一种示例性过程的流程图；

图4示出了对第一重叠图像进行二值化处理后所得到的最优二值化图；

图5对图像中的稠密区域进行划分的示意图；

图6是示出图2中的步骤S206的一种示例性过程的流程图；

图7是示出图2中的步骤S210的一种示例性过程的流程图；

图8是示出根据本发明的一个实施例的对图像进行拼接的装置800的示例性配置的框图；

图9是示出图8中的稠密区域确定单元802的一种示例性配置的框图；

图10是示出图8中的候选样本块确定单元806的一种示例性配置的框图；

图11是示出图8中的稳定匹配特征点对确定单元810的一种示例性配置的框图；以及

图12是示出可以用于实施本发明的对图像进行拼接的方法和装置的计算设备的示例性结构图。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的设备结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

本发明提出了一种更加准确和鲁棒地匹配两张图像中的局部特征点的方法。

在本发明的方法中，首先在重叠的区域中提取稠密区域以用于特征点的提取。然后，将稠密区域划分为多个小块以得到足够提取候选匹配特征点的区域。接着，需要找到划分的区域中的匹配点及其对应的置信度，获得最鲁棒的匹配点。最后，在这些划分的块中选择置信度高的匹配点，可以使用线性拟合方法来校正置信度较低的匹配点，从而可以基于匹配点来对图像进行拼接。

下面结合附图详细说明根据本发明的实施例的对图像进行拼接的方法和装置。下文中的描述按如下顺序进行：

1.对图像进行拼接的方法

2.对图像进行拼接的装置

3.用以实施本申请的方法和装置的计算设备

[1.对图像进行拼接的方法]

根据本发明的方法所要处理的对象是两张图像的重叠区域粗对齐后得到的图像片段，并且图像片段在原图像上的位置是已知的。

如图1A和1B所示是两张待拼接的图像，图1C是将两张待拼接的图像上下粗略对齐后得到的图像片段。本领域技术人员可以理解，两张图像可以上下对齐也可以左右对齐，下面的说明中以将两张图像上下对齐为例来说明根据本发明的方法。

图2示出了根据本发明的一个实施例的用于对图像进行拼接的方法200的示例性过程的流程图。

这里，将图1A和图1B中的图像分别称为第一图像和第二图像，将图1C中的图像片段的上部称为第一图像的第一重叠图像，将其下部称为第二图像的第二重叠图像。

首先，在步骤S202中，基于第一重叠图像中的像素的梯度信息确定第一重叠图像中的稠密区域。

稠密的区域即包含更多的字符或图形，在第一重叠图像中找到最稠密的区域使得可以更鲁棒地提取特征点。

图3是示出图2中的步骤S202中基于第一重叠图像中的像素的梯度信息确定第一重叠图像中的稠密区域的一种示例性过程的流程图。

如图3所示，首先，在步骤S2022中，用大津方法和梯度方法分别对第一重叠图像进行二值化得到两个二值化图像。

接着，在步骤S2024中，对所得到的两个二值化图像进行或运算得到更好的优化二值化图像。

然后，在步骤S2026中，对优化二值化图像的每一行迭代计算像素的梯度改变次数。例如，当像素的梯度从白到黑或从黑到白，则将像素的梯度改变次数加1。

最后，在步骤S2028中，选定梯度变化最大的区域，即梯度改变次数最大的区域作为稠密区域。

如图4所示，是对第一重叠图像进行二值化处理后所得到的最优二值化图，其中的实线框中的区域是所选定的梯度变化最大的稠密区域。

接下来，在步骤S204中，将所确定的稠密区域平均划分为多个块，可以在下面的第二重叠图像中找到对应的块。图5的上部示出了第一重叠图像上的稠密区域被平均划分的多个小块。为了更准确地找到第二重叠图像中的匹配点，优选地，可以将下面的第二重叠图像中的对应块选取得比上面的块更大。

接下来，在步骤S206中，基于多个块的每个块中的每个像素的梯度值来确定候选样本块。

该步骤是判断该块中的特征是否足够丰富，特征足够丰富的块中才能有准确的匹配点。

图6是示出图2中的步骤S206中基于多个块的每个块中的每个像素的梯度值来确定候选样本块的一种示例性过程的流程图。

如图6所示，首先，在步骤S2062中，计算每个像素的梯度值。

在一个示例中，可以先计算像素点的水平梯度值和垂直梯度值，分别表示为Dx和Dy，则该像素点的梯度值可以表示为

接着，在步骤S2064中，将其梯度值大于预定阈值T的像素作为候选梯度点来统计每个块中的候选梯度点的数目。

在步骤S2066中，如果一个块中的候选梯度点的数目大于预定阈值N且候选梯度点平均分布在该块中，则确定该块为候选样本块。

在步骤S206中确定候选样本块之后，在步骤S208中，针对每一个候选样本块，找到候选样本块和第二重叠图像中的与其对应的对应块中的匹配特征点对。

在一个示例中，可以通surf算子来提取特征点，特征描述子也可以使用surf描述子。

其中，在找到候选样本块和第二重叠图像中的与其对应的对应块中的匹配特征点对的过程中，可以过滤掉错误的匹配特征点对，例如，可以使用ransac方法来过滤错误的匹配特征点对。从而可以得到一个候选样本块的正确的匹配特征点对的总数为N(i)。

接下来，在步骤S210中，针对每一个候选样本块，基于匹配特征点对之间的连线的倾斜角度来确定该候选样本块中的稳定匹配特征点对。稳定匹配特征点对是该候选样本块中最鲁棒、最准确的匹配特征点。

图7是示出图2中的步骤S210中基于匹配特征点对之间的连线的倾斜角度来确定该候选样本块中的稳定匹配特征点对的一种示例性过程的流程图。

如图7所示，首先，在步骤S2102中，计算一个候选样本块和对应的块中的所有匹配特征点对之间的连线的倾斜角度。

接着，在步骤S2104中，针对该候选样本块计算所有倾斜角度的平均值M(i)和倾斜角度的方差V(i)。

在步骤S106中，将其倾斜角度最接近平均值M(i)的匹配特征点对确定为该候选样本块的稳定匹配特征点对。

接下来，在步骤S212中，基于每个块中匹配特征点对的数目和倾斜角度来确定每个候选样本块的所有匹配特征点对中稳定匹配特征点对的置信度。

所有的候选样本块都有一个稳定匹配特征点对，每个稳定匹配特征点对都有一个置信度。在一个示例中，可以将置信度C(i)表示为：

C(i)＝μ*(N(i)/N_avg)+(1-μ)*(V_avg/V(i))，其中，N(i)为该候选样本块中匹配特征点对的总数，N_avg为所有块中的匹配特征点对数目的平均值，V(i)为该候选样本块中的倾斜角度的方差，V_avg为所有块中的倾斜角度的方差的平均值，μ在(0～1)之间。

总的来说，每个块中匹配特征点对的数目越多，则该块中的匹配特征点对的置信度越高，并且倾斜角度的方差越小，则该候选样本块中的稳定匹配特征点对的置信度越高。

接下来，在步骤S214中，选取预定比例置信度高的匹配特征点对来校正其余置信度低的匹配特征点对。

在一个示例中，可以通过线性拟合来校正置信度低的匹配特征点。

最后，在步骤S216中，可以基于所获得的匹配特征点对进行图像拼接。

[2.对图像进行拼接的装置]

图8是示出根据本发明的一个实施例的对图像进行拼接的装置800的示例性配置的框图。

如图8所示，对图像进行拼接的装置800包括稠密区域确定单元802、块确定单元804、候选样本块确定单元806、匹配特征点对确定单元808、稳定匹配特征点对确定单元810、置信度计算单元812、校正单元814和图像拼接单元816。

其中，稠密区域确定单元802被配置为基于第一重叠图像中的像素的梯度信息确定第一重叠图像中的稠密区域。

块确定单元804被配置为将稠密区域划分为多个块，并在第二重叠图像中确定与多个块分别对应的对应块。

候选样本块确定单元806被配置为基于多个块的每个块中的每个像素的梯度值来确定候选样本块。

匹配特征点对确定单元808被配置为针对每一个候选样本块，找到该候选样本块和第二重叠图像中的与其对应的对应块中的匹配特征点对。

稳定匹配特征点对确定单元810被配置为针对每一个候选样本块，基于匹配特征点对之间的连线的倾斜角度来确定该候选样本块的所有匹配特征点对中的稳定匹配特征点对。

置信度计算单元812被配置为基于每个块中匹配特征点对的数目和倾斜角度来计算每个候选样本块中的稳定匹配特征点对的置信度。

校正单元814被配置为选取预定比例置信度高的匹配特征点对来校正其余置信度低的匹配特征点对。

图像拼接单元816被配置为基于所获得的匹配特征点对进行图像拼接。

图9是示出图8中的稠密区域确定单元802的一种示例性配置的框图。稠密区域确定单元802包括：二值化子单元8022、优化子单元8024、梯度改变次数计算子单元8026和稠密区域选定子单元8028。

二值化子单元8022被配置为用大津方法和梯度方法分别对第一重叠图像进行二值化得到两个二值化图像。

优化子单元8024被配置为对所得到的两个二值化图像进行或运算得到优化二值化图像。

梯度改变次数计算子单元8026被配置为对优化二值化图像的每一行迭代计算像素的梯度改变次数。

稠密区域选定子单元8028被配置为选定梯度改变次数最大的区域作为稠密区域。

其中，梯度改变次数计算单元进一步被配置为：对于一行中的像素，当像素的梯度从白到黑或从黑到白，则将像素的梯度改变次数加1。

其中，块确定单元804进一步被配置为：将第二重叠图像中的对应块选取得比第一重叠图像中的块大。

图10是示出图8中的候选样本块确定单元806的一种示例性配置的框图。候选样本块确定单元806包括：梯度值计算子单元8062、候选梯度点统计子单元8064和候选样本块确定子单元8066。

梯度值计算子单元8062被配置为计算每个像素的梯度值。

候选梯度点统计子单元8064被配置为将其梯度值大于第一预定阈值的像素作为候选梯度点来统计每个块中的候选梯度点的数目。

候选样本块确定子单元8066被配置为如果一个块中的候选梯度点的数目大于第二预定阈值且候选梯度点平均分布在该块中，则确定该块为候选样本块。

其中，匹配特征点对确定单元808进一步被配置为：过滤掉错误的匹配点。

图11是示出图8中的稳定匹配特征点对确定单元810的一种示例性配置的框图。稳定匹配特征点对确定单元810包括：倾斜角度计算子单元8102、平均值和方差计算子单元8104和稳定匹配特征点对确定子单元8106。

倾斜角度计算子单元8102被配置为针对该候选样本块，计算所有匹配特征点对之间的连线的倾斜角度。

平均值和方差计算子单元8104被配置为计算所计算的所有倾斜角度的平均值和倾斜角度的方差。

稳定匹配特征点对确定子单元8106被配置为将其倾斜角度最接近平均值的匹配特征点对确定为该候选样本块的稳定匹配特征点对。

其中，置信度计算单元812进一步被配置为：每个候选样本块中匹配点的数目越多，则该候选样本块中的匹配特征点的置信度越高，并且倾斜角度的方差越小，则该匹配特征点的置信度越高。

校正单元814进一步被配置为：通过线性拟合用置信度高的匹配特征点来校正其余匹配特征点。

关于对图像进行拼接的装置800的各个部分的操作和功能的细节可以参照结合图1-7描述的本发明的对图像进行拼接的方法的实施例，这里不再详细描述。

在此需要说明的是，图8-11所示的装置及其组成单元的结构仅仅是示例性的，本领域技术人员可以根据需要对图8-11所示的结构框图进行修改。

本发明提出一种对图像进行拼接的方法和装置。和传统方法相比，本方法具有如下优势：

1、在稠密区域中提取特征点块，而避开了特征点少的空白区域或特征少的区域，使得选取的特征点块更加鲁棒；

2、利用置信度能够选择出最鲁棒和准确的匹配特征点，来约束校正置信度较低的匹配点，从而拼接的图像中的匹配点更加准确。

[3.用以实施本申请的方法和装置的计算设备]

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

在通过软件和/或固件实现本发明的实施例的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图12所示的通用计算机1200安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。

在图12中，中央处理单元(CPU)1201根据只读存储器(ROM)1202中存储的程序或从存储部分1208加载到随机存取存储器(RAM)1203的程序执行各种处理。在RAM 1203中，也根据需要存储当CPU 1201执行各种处理等等时所需的数据。CPU 1201、ROM 1202和RAM 1203经由总线1204彼此链路。输入/输出接口1205也链路到总线1204。

下述部件链路到输入/输出接口1205：输入部分1206(包括键盘、鼠标等等)、输出部分1207(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1208(包括硬盘等)、通信部分1209(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1209经由网络比如因特网执行通信处理。根据需要，驱动器1210也可链路到输入/输出接口1205。可拆卸介质1211比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1210上，使得从中读出的计算机程序根据需要被安装到存储部分1208中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1211安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图12所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1211。可拆卸介质1211的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1202、存储部分1208中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等。

本领域的普通技术人员应理解，在此所例举的是示例性的，本发明并不局限于此。

在本说明书中，“第一”、“第二”以及“第N个”等表述是为了将所描述的特征在文字上区分开，以清楚地描述本发明。因此，不应将其视为具有任何限定性的含义。

作为一个示例，上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合，并作为相应设备中的一部分。上述装置中各个组成模块、单元通过软件、固件、硬件或其组合的方式进行配置时可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。

作为一个示例，在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机(例如图12所示的通用计算机1200)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其他实施方式中使用，与其他实施方式中的特征相组合，或替代其他实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其他特征、要素、步骤或组件的存在或附加。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。

基于以上的说明，可知公开至少公开了以下技术方案：

1、一种对图像进行拼接的方法，包括：

基于第一重叠图像中的像素的梯度信息确定所述第一重叠图像中的稠密区域；

将所述稠密区域划分为多个块，并在所述第二重叠图像中确定与所述多个块分别对应的对应块；

基于所述多个块的每个块中的每个像素的梯度值来确定候选样本块；

针对每一个候选样本块，找到该候选样本块和所述第二重叠图像中的与其对应的对应块中的匹配特征点对；

针对每一个候选样本块，基于所述匹配特征点对之间的连线的倾斜角度来确定该候选样本块的所有匹配特征点中的稳定匹配特征点对；

基于每个块中匹配特征点对的数目和所述倾斜角度来计算每个候选样本块的所述稳定匹配特征点对的置信度；

选取预定比例置信度高的匹配特征点对来校正其余置信度低的匹配特征点对；以及

基于所获得的匹配特征点对进行图像拼接。

2、根据附记1所述的方法，其中，基于所述第一重叠图像中的像素的梯度信息确定稠密区域包括：

用大津方法和梯度方法分别对所述第一重叠图像进行二值化得到两个二值化图像；

对所得到的两个二值化图像进行或运算得到优化二值化图像；

对所述优化二值化图像的每一行迭代计算像素的梯度改变次数；以及

选定梯度改变次数最大的区域作为所述稠密区域。

3、根据附记2所述的方法，其中，对所述优化二值化图像的每一行迭代计算像素的梯度改变次数包括：

对于一行中的像素，当像素的梯度从白到黑或从黑到白，则将像素的梯度改变次数加1。

4、根据附记1所述的方法，其中，所述第二重叠图像中的所述对应块被选取得比所述第一重叠图像中的块大。

5、根据附记1所述的方法，其中，基于所述多个块的每个块中的每个像素的梯度值确定候选样本块包括:

计算每个像素的梯度值；

将其梯度值大于第一预定阈值的像素作为候选梯度点来统计每个块中的候选梯度点的数目；以及

如果一个块中的候选梯度点的数目大于第二预定阈值且所述候选梯度点平均分布在该块中，则确定该块为候选样本块。

6、根据附记1所述的方法，其中，针对每一个候选样本块找到候选样本块和第二重叠图像中的与其对应的对应块中的匹配特征点对还包括：

过滤掉错误的匹配点。

7、根据附记1所述的方法，其中，针对每一个候选样本块，基于匹配特征点对之间的连线的倾斜角度来确定该候选样本块的稳定匹配特征点包括：

针对该候选样本块，计算所有匹配特征点对之间的连线的倾斜角度；

计算所计算的所有倾斜角度的平均值和倾斜角度的方差；以及

将其倾斜角度最接近所述平均值的匹配特征点对确定为该候选样本块的稳定匹配特征点对。

8、根据附记7所述的方法，其中，每个候选样本块中匹配点的数目越多，则该候选样本块中的匹配特征点的置信度越高，并且所述倾斜角度的方差越小，则该匹配特征点的置信度越高。

9、根据附记1所述的方法，选取预定比例置信度高的匹配特征点来校正其余匹配特征点得到匹配线包括：

通过线性拟合用置信度高的匹配特征点来校正其余匹配特征点。

10、一种对图像进行拼接的装置，包括：

稠密区域确定单元，被配置为基于第一重叠图像中的像素的梯度信息确定所述第一重叠图像中的稠密区域；

块确定单元，被配置为将所述稠密区域划分为多个块，并在所述第二重叠图像中确定与所述多个块分别对应的对应块；

候选样本块确定单元，被配置为基于所述多个块的每个块中的每个像素的梯度值来确定候选样本块；

匹配特征点对确定单元，被配置为针对每一个候选样本块，找到该候选样本块和所述第二重叠图像中的与其对应的对应块中的匹配特征点对；

稳定匹配特征点对确定单元，被配置为针对每一个候选样本块，基于所述匹配特征点对之间的连线的倾斜角度来确定该候选样本块的所有匹配特征点对中的稳定匹配特征点对；

置信度计算单元，被配置为基于每个块中匹配特征点对的数目和所述倾斜角度来计算每个候选样本块中的稳定匹配特征点对的置信度；

校正单元，被配置为选取预定比例置信度高的匹配特征点对来校正其余置信度低的匹配特征点对；以及

图像拼接单元，被配置为基于所获得的匹配特征点对进行图像拼接。

11、根据附记10所述的装置，其中，所述稠密区域确定单元包括：

二值化子单元，被配置为用大津方法和梯度方法分别对所述第一重叠图像进行二值化得到两个二值化图像；

优化子单元，被配置为对所得到的两个二值化图像进行或运算得到优化二值化图像；

梯度改变次数计算子单元，被配置为对所述优化二值化图像的每一行迭代计算像素的梯度改变次数；以及

稠密区域选定子单元，被配置为选定梯度改变次数最大的区域作为所述稠密区域。

12、根据附记11所述的装置，其中，所述梯度改变次数计算单元进一步被配置为：

对于一行中的像素，当像素的梯度从白到黑或从黑到白，则将像素的梯度改变次数加1。

13、根据附记10所述的装置，其中，所述块确定单元进一步被配置为：将所述第二重叠图像中的所述对应块选取得比所述第一重叠图像中的块大。

14、根据附记10所述的装置，其中，所述候选样本块确定单元包括:

梯度值计算子单元，被配置为计算每个像素的梯度值；

候选梯度点统计子单元，被配置为将其梯度值大于第一预定阈值的像素作为候选梯度点来统计每个块中的候选梯度点的数目；以及

候选样本块确定子单元，被配置为如果一个块中的候选梯度点的数目大于第二预定阈值且所述候选梯度点平均分布在该块中，则确定该块为候选样本块。

15、根据附记10所述的装置，其中，所述匹配特征点对确定单元进一步被配置为：

过滤掉错误的匹配点。

16、根据附记10所述的装置，其中，所述稳定匹配特征点对确定单元包括：

倾斜角度计算子单元，被配置为针对该候选样本块，计算所有匹配特征点对之间的连线的倾斜角度；

平均值和方差计算子单元，被配置为计算所计算的所有倾斜角度的平均值和倾斜角度的方差；以及

稳定匹配特征点对确定子单元，被配置为将其倾斜角度最接近所述平均值的匹配特征点对确定为该候选样本块的稳定匹配特征点对。

17、根据附记16所述的装置，其中，所述置信度计算单元进一步被配置为：每个候选样本块中匹配点的数目越多，则该候选样本块中的匹配特征点的置信度越高，并且所述倾斜角度的方差越小，则该匹配特征点的置信度越高。

18、根据附记10所述的装置，所述校正单元进一步被配置为：

通过线性拟合用置信度高的匹配特征点来校正其余匹配特征点。

Claims (10)

1.一种对图像进行拼接的方法，包括：

基于第一重叠图像中的像素的梯度信息确定所述第一重叠图像中的稠密区域；

将所述稠密区域划分为多个块，并在所述第二重叠图像中确定与所述多个块分别对应的对应块；

基于所述多个块的每个块中的每个像素的梯度值来确定候选样本块；

针对每一个候选样本块，找到该候选样本块和所述第二重叠图像中的与其对应的对应块中的匹配特征点对；

针对每一个候选样本块，基于所述匹配特征点对之间的连线的倾斜角度来确定该候选样本块的所有匹配特征点中的稳定匹配特征点对；

基于每个候选样本块中匹配特征点对的数目和所述倾斜角度来计算每个候选样本块的所述稳定匹配特征点对的置信度；

选取预定比例置信度高的匹配特征点对来校正其余置信度低的匹配特征点对；以及

基于所获得的匹配特征点对进行图像拼接。

2.根据权利要求1所述的方法，其中，基于所述第一重叠图像中的像素的梯度信息确定稠密区域包括：

用大津方法和梯度方法分别对所述第一重叠图像进行二值化得到两个二值化图像；

对所得到的两个二值化图像进行或运算得到优化二值化图像；

对所述优化二值化图像的每一行迭代计算像素的梯度改变次数；以及

选定梯度改变次数最大的区域作为所述稠密区域。

3.根据权利要求2所述的方法，其中，对所述优化二值化图像的每一行迭代计算像素的梯度改变次数包括：

对于一行中的像素，当像素的梯度从白到黑或从黑到白，则将像素的梯度改变次数加1。

4.根据权利要求1所述的方法，其中，所述第二重叠图像中的所述对应块被选取得比所述第一重叠图像中的块大。

5.根据权利要求1所述的方法，其中，基于所述多个块的每个块中的每个像素的梯度值确定候选样本块包括:

计算每个像素的梯度值；

将其梯度值大于第一预定阈值的像素作为候选梯度点来统计每个块中的候选梯度点的数目；以及

如果一个块中的候选梯度点的数目大于第二预定阈值且所述候选梯度点平均分布在该块中，则确定该块为候选样本块。

6.根据权利要求1所述的方法，其中，针对每一个候选样本块找到候选样本块和第二重叠图像中的与其对应的对应块中的匹配特征点对还包括：

过滤掉错误的匹配点。

7.根据权利要求1所述的方法，其中，针对每一个候选样本块，基于匹配特征点对之间的连线的倾斜角度来确定该候选样本块的稳定匹配特征点包括：

针对该候选样本块，计算所有匹配特征点对之间的连线的倾斜角度；

计算所计算的所有倾斜角度的平均值和倾斜角度的方差；以及

将其倾斜角度最接近所述平均值的匹配特征点对确定为该候选样本块的稳定匹配特征点对。

8.根据权利要求7所述的方法，其中，每个候选样本块中匹配点的数目越多，则该候选样本块中的匹配特征点的置信度越高，并且所述倾斜角度的方差越小，则该匹配特征点的置信度越高。

9.根据权利要求1所述的方法，选取预定比例置信度高的匹配特征点来校正其余匹配特征点得到匹配线包括：

通过线性拟合用置信度高的匹配特征点来校正其余匹配特征点。

10.一种对图像进行拼接的装置，包括：

稠密区域确定单元，被配置为基于第一重叠图像中的像素的梯度信息确定所述第一重叠图像中的稠密区域；

块确定单元，被配置为将所述稠密区域划分为多个块，并在所述第二重叠图像中确定与所述多个块分别对应的对应块；

候选样本块确定单元，被配置为基于所述多个块的每个块中的每个像素的梯度值来确定候选样本块；

匹配特征点对确定单元，被配置为针对每一个候选样本块，找到该候选样本块和所述第二重叠图像中的与其对应的对应块中的匹配特征点对；

稳定匹配特征点对确定单元，被配置为针对每一个候选样本块，基于所述匹配特征点对之间的连线的倾斜角度来确定该候选样本块的所有匹配特征点对中的稳定匹配特征点对；

置信度计算单元，被配置为基于每个块中匹配特征点对的数目和所述倾斜角度来计算每个候选样本块中的稳定匹配特征点对的置信度；

校正单元，被配置为选取预定比例置信度高的匹配特征点对来校正其余置信度低的匹配特征点对；以及

拼接单元，被配置为基于所获得的匹配特征点对进行图像拼接。