CN103390267A - 图像处理方法及装置 - Google Patents

Abstract

本发明公开了图像处理方法及装置，通过在第一图像的原始特征点集合F₁中选择对应的特征点构成第一特征点集合V₁；基于所述第一特征点集合V₁，在第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的第二特征点集合V₂，V₁和V₂通过双向匹配取交集得到所述第一图像和所述第二图像的特征点匹配对集合H；根据所述第一图像和所述第二图像的特征点匹配对集合H，对所述第一图像和所述第二图像进行基于最优缝合线的拉普拉斯金字塔图像的融合处理，得到第三图像，所述第三图像为第一图像和第二图像融合处理后的图像。用以解决现有的图像拼接技术存在效率较低的问题。

Description

图像处理方法及装置

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。

背景技术

为了解决普通相机在获取图像时存在的清晰度与宽视角之间的矛盾，图像拼接技术可以将普通相机拍摄的若干幅具有一定重叠区域的小视域图像进行拼接，得到高清晰度的宽视角图像。

现有的使用快速鲁棒特征(Speeded-Up Robust Features，SURF)算法的图像拼接技术，在高清和超高清图像拼接应用中，需要检测大量的原始特征点，计算量较大，使得特征匹配过程速度变慢，效率较低。

发明内容

本发明实施例提供一种图像处理方法及装置，用以解决现有的图像拼接技术存在效率较低的问题。

第一方面，提供一种图像处理方法，包括：

在第一图像的原始特征点集合F₁中选择对应的特征点构成第一特征点集合V₁；

基于所述第一特征点集合V₁，在第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的第二特征点集合V₂，所述第一特征点集合V₁和所述第二特征点集合V₂通过双向匹配取交集得到所述第一图像和所述第二图像的特征点匹配对集合H；

根据所述第一图像和所述第二图像的特征点匹配对集合H，对所述第一图像和所述第二图像进行基于最优缝合线的拉普拉斯金字塔图像的融合处理，得到第三图像，所述第三图像为第一图像和第二图像融合处理后的图像。

基于第一方面，在第一种可能的实现方式中，所述在第一图像的原始特征点集合F₁中选择对应的特征点构成第一特征点集合V₁，包括：

根据所述第一图像的大小w*h，将所述第一图像分为blockM个子块，即 $\mathrm{blockM}=\sqrt{w}\×\sqrt{h};$

根据所述第一图像的原始特征点集合F₁中特征点的总数origM，计算所述第一图像中每一子块平均包括的特征点数量，即

将m向零取整得到M，确定所述第一图像中每一子块的最多特征点数为M；

遍历所述第一图像中的每个子块，若存在特征点总数大于M的子块，将所述子块中大于M的特征点予以排除；

将所述第一图像中每个子块中保留的特征点构成所述第一特征点集合V₁={f₁ ¹,f₂ ¹,……f_K ¹}。

基于第一方面或第一方面的第一种可能的实现方式中，在第二种可能的实现方式中，所述基于所述第一特征点集合V₁，在第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的第二特征点集合V₂，所述第一特征点集合V₁和所述第二特征点集合V₂通过双向匹配取交集得到所述第一图像和所述第二图像的特征点匹配对集合H，包括：

基于所述第一特征点集合V₁，在所述第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的特征点得到从所述第一图像到所述第二图像的特征点匹配对集合H₁；

将在所述第二图像的原始特征点集合F₂中选择的与所述第一特征点集合V₁中各特征点匹配的特征点构成第二特征点集合V₂；

基于所述第二特征点集合V₂，在所述第一特征点集合V₁中选择与所述第二特征点集合V₂中各特征点匹配的特征点得到从所述第二图像到所述第一图像的特征点匹配对集合H₂；

将所述从所述第一图像到所述第二图像的特征点匹配对集合H₁和所述从所述第二图像到所述第一图像的特征点匹配对集合H₂交集得到所述第一图像和所述第二图像的特征点匹配对集合H。

基于第一方面或第一方面的第一或第二种可能的实现方式中，在第三种可能的实现方式中，所述根据所述第一图像和所述第二图像的特征点匹配对集合H，对所述第一图像和所述第二图像进行基于最优缝合线的拉普拉斯金字塔图像的融合处理，得到第三图像，包括：

基于最优缝合线搜索准则，在所述第一图像和所述第二图像的重叠区域确定最优缝合线；

分别对所述第一图像和所述第二图像进行拉普拉斯金字塔分解，利用所述最优缝合线和融合规则，对所述第一图像和所述第二图像的拉普拉斯金字塔进行融合处理，得到所述第一图像和第二图像融合处理后的融合图像，即所述第三图像。

基于第一方面或第一方面的第一至第三种任一可能的实现方式中，在第四种可能的实现方式中，所述根据所述第一图像和所述第二图像的特征点匹配对集合H，对所述第一图像和所述第二图像进行基于最优缝合线的拉普拉斯金字塔图像的融合处理，得到第三图像之后，包括：

对所述第三图像进行基于拉普拉斯边缘算子的空域图像锐化增强处理。

第二方面，提供一种图像处理装置，包括：

选择模块，用于在第一图像的原始特征点集合F₁中选择对应的特征点构成第一特征点集合V₁；

匹配模块，用于基于所述第一特征点集合V₁，在第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的第二特征点集合V₂，所述第一特征点集合V₁和所述第二特征点集合V₂通过双向匹配取交集得到所述第一图像和所述第二图像的特征点匹配对集合H；

融合模块，用于根据所述第一图像和所述第二图像的特征点匹配对集合H，对所述第一图像和所述第二图像进行基于最优缝合线的拉普拉斯金字塔图像的融合处理，得到第三图像，所述第三图像为第一图像和第二图像融合处理后的图像。

基于第二方面，在第一种可能的实现方式中，所述选择模块具体用于：

根据所述第一图像的大小w*h，将所述第一图像分为blockM个子块，即 $\mathrm{blockM}=\sqrt{w}\×\sqrt{h};$

根据所述第一图像的原始特征点集合F₁中特征点的总数origM，计算所述第一图像中每一子块平均包括的特征点数量，即

将m向零取整得到M，确定所述第一图像中每一子块的最多特征点数为M；

遍历所述第一图像中的每个子块，若存在特征点总数大于M的子块，将所述子块中大于M的特征点予以排除；

将所述第一图像中每个子块中保留的特征点构成所述第一特征点集合V₁={f₁ ¹,f₂ ¹,……f_K ¹}。

基于第二方面或第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述匹配模块具体用于：

基于所述第一特征点集合V₁，在所述第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的特征点得到从所述第一图像到所述第二图像的特征点匹配对集合H₁；

将在所述第二图像的原始特征点集合F₂中选择的与所述第一特征点集合V₁中各特征点匹配的特征点构成第二特征点集合V₂；

基于所述第二特征点集合V₂，在所述第一特征点集合V₁中选择与所述第二特征点集合V₂中各特征点匹配的特征点得到从所述第二图像到所述第一图像的特征点匹配对集合H₂；

将所述从所述第一图像到所述第二图像的特征点匹配对集合H₁和所述从所述第二图像到所述第一图像的特征点匹配对集合H₂交集得到所述第一图像和所述第二图像的特征点匹配对集合H。

基于第二方面或第二方面的第一或第二种可能的实现方式，在第三种可能的实现方式中，所述融合模块具体用于：

基于最优缝合线搜索准则，在所述第一图像和所述第二图像的重叠区域确定最优缝合线；

分别对所述第一图像和所述第二图像进行拉普拉斯金字塔分解，利用所述最优缝合线和融合规则，对所述第一图像和所述第二图像的拉普拉斯金字塔进行融合处理，得到所述第一图像和第二图像融合处理后的融合图像，即所述第三图像。

基于第二方面或第二方面的第一至第三种任一可能的实现方式，在第四种可能的实现方式中，所述装置还包括：

锐化模块，用于对所述融合处理后的第三图像进行基于拉普拉斯边缘算子的空域图像锐化增强处理。

本发明在第一图像的原始特征点集合F₁中选择对应的特征点构成第一特征点集合V₁；基于所述第一特征点集合V₁，在第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的第二特征点集合V₂，所述第一特征点集合V₁和所述第二特征点集合V₂通过双向匹配取交集得到所述第一图像和所述第二图像的特征点匹配对集合H；可以减少图像处理的特征点数量，提高特征点匹配处理速度，从而提高图像处理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的图像处理方法的流程示意图；

图2为本实施例应用的第一图像和第二图像的最优缝合线；

图3为本发明一实施例提供的图像处理装置的结构示意图；

图4为本发明一实施例提供的图像处理装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一实施例提供的图像处理方法的流程示意图，如图1所示，本实施例的图像处理方法可以包括：

101、在第一图像的原始特征点集合F₁中选择对应的特征点构成第一特征点集合V₁。

需要说明的是，本实施例的图像处理方法中的特征点是基于像素来进行处理的，例如，对于1080p的图像，存在1080×1920个像素点（即原始特征点的个数），如果直接对原始特征点进行处理，不仅会耗时较多，同时也对硬件存储资源带来不便。因此，在步骤101之前，本实施例还可以采用三次卷积插值法对原始图像进行缩放。

进一步地，如果直接在图像的原始红绿蓝（Red Green Blue,RGB）三色空间中提取特征点，需要在每一个通道上对图偏进行处理，计算量会增加三倍。通常，在图像的特征点配对技术中，图像的颜色信息并不能对匹配性能有显著的帮助，因此，本实施例中，为了进一步提高处理效率，只需对图像的灰度图进行处理，也就是说，需要将原始图像进行灰度处理，其中，RGB转换为灰度图Y(x,y)的公式如下：

Y(x,y)=0.114R(x,y)+0.587G(x,y)+0.229B(x,y)。

在本发明的一个可选实施方式中，步骤101具体实现时包括：

根据所述第一图像的大小w*h，将所述第一图像分为blockM个子块，即 $\mathrm{blockM}=\sqrt{w}\×\sqrt{h};$

根据所述第一图像的原始特征点集合F₁中特征点的总数origM，计算所述第一图像中每一子块平均包括的特征点数量，即

将m向零取整得到M，确定所述第一图像中每一子块的最多特征点数为M；

遍历所述第一图像中的每个子块，若存在特征点总数大于M的子块，将所述子块中大于M的特征点予以排除；

将所述第一图像中每个子块中保留的特征点构成所述第一特征点集合V₁={f₁ ¹,f₂ ¹,……f_K ¹}。

102、基于所述第一特征点集合V₁，在第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的第二特征点集合V₂，所述第一特征点集合V₁和所述第二特征点集合V₂通过双向匹配取交集得到所述第一图像和所述第二图像的特征点匹配对集合H。

在本发明的一个可选实施方式中，步骤102包括：

1021、基于所述第一特征点集合V₁，在所述第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的特征点得到从所述第一图像到所述第二图像的特征点匹配对集合H₁；

举例来说，步骤1021具体实现时，基于第一特征点集合V₁中的任意一个特征点f_i ¹,在第二图像的原始特征点集合F₂中查找f_i ¹的最近邻f_nn或次近邻f_sn,当f_i ¹与它最近邻f_nn或次近邻f_sn的比值小于阈值δ时，确定f_i ¹与f_nn匹配，或者f_i ¹和f_sn匹配。其中，在本实施例中δ可以取0.6，正确匹配相对较高。遍历V₁中的所有特征点，得到从所述第一图像到所述第二图像的特征点匹配对集合H₁={M₁,M₂,.....M_s},其中，M_s={f_i ¹,f_j ²}。

1022、将在所述第二图像的原始特征点集合F₂中选择的与所述第一特征点集合V₁中各特征点匹配的特征点构成第二特征点集合V₂{f₁ ²,f₂ ²,……f_K ²}；

1023、基于所述第二特征点集合V₂，在所述第一特征点集合V₁中选择与所述第二特征点集合V₂中各特征点匹配的特征点得到从所述第二图像到所述第一图像的特征点匹配对集合H₂；

其中，步骤1023的具体实现可以参考步骤1021的具体实现过程。

1024、将所述从所述第一图像到所述第二图像的特征点匹配对集合H₁和所述从所述第二图像到所述第一图像的特征点匹配对集合H₂交集得到所述第一图像和所述第二图像的特征点匹配对集合H。

由此可知，通过上述步骤101和102，得到的所述第一图像和所述第二图像的特征点匹配对集合H中的特征点比所述第一图像和所述第二图像的原始特征点集合中的特征点少了很多，可以提高特征点匹配速度。

实验中选取了5组常见图片序列，其特征点总数和平均匹配时间的测试结果如表1所示：

表1为现有的特征点匹配与本发明的特征点匹配的性能对比关系；

由表1可见，本发明实施例的特征点匹配处理速度提高了60%～70%，计算时间大幅度减小。

需要说明的是，通过特征点匹配得到的匹配对集合可能存在错误匹配对，本实施例中可以采用RANSAC算法来提纯匹配对并估计变换参数，采用RANSAC算法来提纯匹配对并估计变换参数可以为现有技术，在此不再赘述。

103、根据所述第一图像和所述第二图像的特征点匹配对集合H，对所述第一图像和所述第二图像进行基于最优缝合线的拉普拉斯金字塔图像的融合处理，得到第三图像，所述第三图像为第一图像和第二图像融合处理后的图像。

在本发明的一个可选实施方式中，步骤103具体实现时包括：

1031、基于最优缝合线搜索准则，在所述第一图像和所述第二图像的重叠区域确定最优缝合线；

举例来说，为了消除图像中可能出现的鬼影现象，可以不考虑整个融合区域都通过两幅图来合成，而是整块地从一幅图像中取值。如此就不会出现鬼影的现象。最优缝合线将第一图像和第二图像的融合区域一分为二，每个融合区域的值取自不同的图像。对于最优缝合线，它应该具有两个方面的特点：一是颜色强度上的要求，它应该是在两幅图像颜色值之差最小的像素点(特征点)；另一方面是几何结构上的要求，它应该取第一图像和第二图像上邻域最相似的像素点(特征点)。

其中，最优缝合线搜索准则为：E(x,y)=E_dif(x,y)-λE_edge(x,y)，E_dif表示用重叠区的像素值之差的均值来表示色彩上的关系，E_edge取第一图像和第二图像结构变化最小的位置的梯度值来表示几何结构的相似性，λ是一个调节因子，可以采用图切割算法搜索使E(x,y)最小的缝合线，即为最佳缝合线。

1032、分别对所述第一图像和所述第二图像进行拉普拉斯金字塔分解，利用所述最优缝合线和融合规则，对所述第一图像和所述第二图像的拉普拉斯金字塔进行融合处理，得到所述第一图像和第二图像融合处理后的融合图像，即所述第三图像。

具体实现时，以每幅图像的尺寸大小各生成一幅区域图像R₁和R₂，其中，R₁表示第一图像的掩膜，R₂表示第二图像的掩膜，图2为本实施例应用的第一图像和第二图像的最优缝合线，如图2所示以最优缝合线为界，一边用白色填充，一边用0黑色填充。

首先将第一图像和第二图像分别进行拉普拉斯多尺度变换，生成对应的一组不同分辨率的子图像，它们共同构成第一图像和第二图像的多分辨率结构，然后分别在这个多分辨率结构的不同层次上，利用一定的融合规则进行融合，最后，对融合金字塔进行反变换即可得到最终的融合图像，使拼接区域过渡更加自然，拼接痕迹不是很明显。

本发明实施例采用的拉普拉斯金字塔图像融合处理方法可以为现有技术，具体不再赘述。

在本发明的一个可选实施方式中，步骤103之后包括步骤104：

104、对所述第三图像进行基于拉普拉斯边缘算子的空域图像锐化增强处理。

由于上述经过拉普拉斯金字塔图像融合处理方法进行图像重构使得最终融合图像变模糊和细节丢失。本发明实施例中，可以采用拉普拉斯边缘算子对最终融合图像进行锐化处理，增强图像的高频信息，提高图像细节部分的清晰度。其中，拉普拉斯边缘算子L的定义如下：

$L=\left[\begin{array}{ccc}0& -1& 0\\ -1& 4& -1\\ 0& -1& 0\end{array}\right];$

对最终融合图像使用拉普拉斯边缘算子L进行滤波，得到最终的柱面全景图。

本发明实施例在第一图像的原始特征点集合F₁中选择对应的特征点构成第一特征点集合V₁；基于所述第一特征点集合V₁，在第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的第二特征点集合V₂，第一特征点集合V₁和第二特征点集合V₂通过双向匹配取交集得到所述第一图像和所述第二图像的特征点匹配对集合H；可以减少图像处理的特征点数量，提高特征点匹配处理速度，从而提高图像处理效率；

进一步地，基于第一图像和所述第二图像的特征点匹配对集合H，采用基于最优缝合线的拉普拉斯金字塔图像的融合处理得到融合处理后的图像，可以有效地减少鬼影的存在，使得拼接区域过渡更加自然，拼接痕迹不明显；

进一步地，采用基于拉普拉斯边缘算子的空域图像锐化增强处理对融合处理后的图像进行锐化增强处理，能增强图像的高频信息，提高图像细节部分的清晰度。

图3为本发明一实施例提供的图像处理装置的结构示意图，如图3所示，包括：

选择模块31，用于在第一图像的原始特征点集合F₁中选择对应的特征点构成第一特征点集合V₁；

匹配模块32，用于基于所述第一特征点集合V₁，在第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的第二特征点集合V₂，所述第一特征点集合V₁和所述第二特征点集合V₂通过双向匹配取交集得到所述第一图像和所述第二图像的特征点匹配对集合H；

融合模块33，用于根据所述第一图像和所述第二图像的特征点匹配对集合H，对所述第一图像和所述第二图像进行基于最优缝合线的拉普拉斯金字塔图像的融合处理，得到第三图像，所述第三图像为第一图像和第二图像融合处理后的图像。

举例来说，所述选择模块31具体用于：

根据所述第一图像的大小w*h，将所述第一图像分为blockM个子块，即 $\mathrm{blockM}=\sqrt{w}\×\sqrt{h};$

根据所述第一图像的原始特征点集合F₁中特征点的总数origM，计算所述第一图像中每一子块平均包括的特征点数量，即

将m向零取整得到M，确定所述第一图像中每一子块的最多特征点数为M；

遍历所述第一图像中的每个子块，若存在特征点总数大于M的子块，将所述子块中大于M的特征点予以排除；

将所述第一图像中每个子块中保留的特征点构成所述第一特征点集合V₁={f₁ ¹,f₂ ¹,……f_K ¹}。

举例来说，所述匹配模块32具体用于：

基于所述第一特征点集合V₁，在所述第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的特征点得到从所述第一图像到所述第二图像的特征点匹配对集合H₁；

将在所述第二图像的原始特征点集合F₂中选择的与所述第一特征点集合V₁中各特征点匹配的特征点构成第二特征点集合V₂；

基于所述第二特征点集合V₂，在所述第一特征点集合V₁中选择与所述第二特征点集合V₂中各特征点匹配的特征点得到从所述第二图像到所述第一图像的特征点匹配对集合H₂；

将所述从所述第一图像到所述第二图像的特征点匹配对集合H₁和所述从所述第二图像到所述第一图像的特征点匹配对集合H₂交集得到所述第一图像和所述第二图像的特征点匹配对集合H。

举例来说，所述融合模块33具体用于：

基于最优缝合线搜索准则，在所述第一图像和所述第二图像的重叠区域确定最优缝合线；

分别对所述第一图像和所述第二图像进行拉普拉斯金字塔分解，利用所述最优缝合线和融合规则，对所述第一图像和所述第二图像的拉普拉斯金字塔进行融合处理，得到所述第一图像和第二图像融合处理后的融合图像，即所述第三图像。

举例来说，所述装置还包括：

锐化模块34，用于对所述融合处理后的第三图像进行基于拉普拉斯边缘算子的空域图像锐化增强处理。

本发明实施例在第一图像的原始特征点集合F₁中选择对应的特征点构成第一特征点集合V₁；基于所述第一特征点集合V₁，在第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的第二特征点集合V₂，第一特征点集合V₁和第二特征点集合V₂通过双向匹配取交集得到所述第一图像和所述第二图像的特征点匹配对集合H；可以减少图像处理的特征点数量，提高特征点匹配处理速度，从而提高图像处理效率；

进一步地，基于第一图像和所述第二图像的特征点匹配对集合H，采用基于最优缝合线的拉普拉斯金字塔图像的融合处理得到融合处理后的图像，可以有效地减少鬼影的存在，使得拼接区域过渡更加自然，拼接痕迹不明显；

进一步地，采用基于拉普拉斯边缘算子的空域图像锐化增强处理对融合处理后的图像进行锐化增强处理，能增强图像的高频信息，提高图像细节部分的清晰度。

图4为本发明一实施例提供的图像处理装置的结构示意图，如图4所示，包括处理器41、存储器42和通信总线43，处理器41通过通信总线43与存储器42连接，其中，存储器42中保存有实现图像处理方法的指令；

当处理器41调取存储器42中的指令时，可以执行如下步骤：

在第一图像的原始特征点集合F₁中选择对应的特征点构成第一特征点集合V₁；

基于所述第一特征点集合V₁，在第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的第二特征点集合V₂，所述第一特征点集合V₁和所述第二特征点集合V₂通过双向匹配取交集得到所述第一图像和所述第二图像的特征点匹配对集合H；

根据所述第一图像和所述第二图像的特征点匹配对集合H，对所述第一图像和所述第二图像进行基于最优缝合线的拉普拉斯金字塔图像的融合处理，得到第三图像，所述第三图像为第一图像和第二图像融合处理后的图像。

举例来说，所述在第一图像的原始特征点集合F₁中选择对应的特征点构成第一特征点集合V₁，包括：

根据所述第一图像的大小w*h，将所述第一图像分为blockM个子块，即 $\mathrm{blockM}=\sqrt{w}\×\sqrt{h};$

根据所述第一图像的原始特征点集合F₁中特征点的总数origM，计算所述第一图像中每一子块平均包括的特征点数量，即

将m向零取整得到M，确定所述第一图像中每一子块的最多特征点数为M；

遍历所述第一图像中的每个子块，若存在特征点总数大于M的子块，将所述子块中大于M的特征点予以排除；

将所述第一图像中每个子块中保留的特征点构成所述第一特征点集合V₁={f₁ ¹,f₂ ¹,……f_K ¹}。

举例来说，所述基于所述第一特征点集合V₁，在第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的第二特征点集合V₂，所述第一特征点集合V₁和所述第二特征点集合V₂通过双向匹配取交集得到所述第一图像和所述第二图像的特征点匹配对集合H，包括：

基于所述第一特征点集合V₁，在所述第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的特征点得到从所述第一图像到所述第二图像的特征点匹配对集合H₁；

将在所述第二图像的原始特征点集合F₂中选择的与所述第一特征点集合V₁中各特征点匹配的特征点构成第二特征点集合V₂；

基于所述第二特征点集合V₂，在所述第一特征点集合V₁中选择与所述第二特征点集合V₂中各特征点匹配的特征点得到从所述第二图像到所述第一图像的特征点匹配对集合H₂；

将所述从所述第一图像到所述第二图像的特征点匹配对集合H₁和所述从所述第二图像到所述第一图像的特征点匹配对集合H₂交集得到所述第一图像和所述第二图像的特征点匹配对集合H。

举例来说，所述根据所述第一图像和所述第二图像的特征点匹配对集合H，对所述第一图像和所述第二图像进行基于最优缝合线的拉普拉斯金字塔图像的融合处理，得到第三图像，包括：

基于最优缝合线搜索准则，在所述第一图像和所述第二图像的重叠区域确定最优缝合线；

分别对所述第一图像和所述第二图像进行拉普拉斯金字塔分解，利用所述最优缝合线和融合规则，对所述第一图像和所述第二图像的拉普拉斯金字塔进行融合处理，得到所述第一图像和第二图像融合处理后的融合图像，即所述第三图像。

举例来说，所述根据所述第一图像和所述第二图像的特征点匹配对集合H，对所述第一图像和所述第二图像进行基于最优缝合线的拉普拉斯金字塔图像的融合处理，得到第三图像之后，包括：

对所述第三图像进行基于拉普拉斯边缘算子的空域图像锐化增强处理。

本发明实施例在第一图像的原始特征点集合F₁中选择对应的特征点构成第一特征点集合V₁；基于所述第一特征点集合V₁，在第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的第二特征点集合V₂，第一特征点集合V₁和第二特征点集合V₂通过双向匹配取交集得到所述第一图像和所述第二图像的特征点匹配对集合H；可以减少图像处理的特征点数量，提高特征点匹配处理速度，从而提高图像处理效率；

进一步地，基于第一图像和所述第二图像的特征点匹配对集合，采用基于最优缝合线的拉普拉斯金字塔图像的融合处理得到融合处理后的图像，可以有效地减少鬼影的存在，使得拼接区域过渡更加自然，拼接痕迹不明显；

进一步地，采用基于拉普拉斯边缘算子的空域图像锐化增强处理对融合处理后的图像进行锐化增强处理，能增强图像的高频信息，提高图像细节部分的清晰度。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以以代码的形式存储在一个计算机可读取存储介质中。上述代码存储在一个计算机可读存储介质中，包括若干指令用以使处理器或硬件电路执行本发明各个实施例所述方法的部分或全部步骤。而前述的存储介质包括：通用串行总线接口的无需物理驱动器的微型高容量移动存储盘、移动硬盘、只读存储器（英文：Read-Only Memory，简称ROM）、随机存取存储器（英文：Random AccessMemory，简称RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的保护范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

在第一图像的原始特征点集合F₁中选择对应的特征点构成第一特征点集合V₁；

基于所述第一特征点集合V₁，在第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的第二特征点集合V₂，所述第一特征点集合V₁和所述第二特征点集合V₂通过双向匹配取交集得到所述第一图像和所述第二图像的特征点匹配对集合H；

根据所述第一图像和所述第二图像的特征点匹配对集合H，对所述第一图像和所述第二图像进行基于最优缝合线的拉普拉斯金字塔图像的融合处理，得到第三图像，所述第三图像为第一图像和第二图像融合处理后的图像。

2.根据权利要求1所述的方法，其特征在于，所述在第一图像的原始特征点集合F₁中选择对应的特征点构成第一特征点集合V₁，包括：

根据所述第一图像的大小w*h，将所述第一图像分为blockM个子块，即 $\mathrm{blockM}=\sqrt{w}\×\sqrt{h};$

根据所述第一图像的原始特征点集合F₁中特征点的总数origM，计算所述第一图像中每一子块平均包括的特征点数量，即

将m向零取整得到M，确定所述第一图像中每一子块的最多特征点数为M；

遍历所述第一图像中的每个子块，若存在特征点总数大于M的子块，将所述子块中大于M的特征点予以排除；

将所述第一图像中每个子块中保留的特征点构成所述第一特征点集合V₁={f₁ ¹,f₂ ¹,……f_K ¹}。

3.根据权利要求1或2所述的方法，其特征在于，所述基于所述第一特征点集合V₁，在第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的第二特征点集合V₂，所述第一特征点集合V₁和所述第二特征点集合V₂通过双向匹配取交集得到所述第一图像和所述第二图像的特征点匹配对集合H，包括：

基于所述第一特征点集合V₁，在所述第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的特征点得到从所述第一图像到所述第二图像的特征点匹配对集合H₁；

将在所述第二图像的原始特征点集合F₂中选择的与所述第一特征点集合V₁中各特征点匹配的特征点构成第二特征点集合V₂；

基于所述第二特征点集合V₂，在所述第一特征点集合V₁中选择与所述第二特征点集合V₂中各特征点匹配的特征点得到从所述第二图像到所述第一图像的特征点匹配对集合H₂；

将所述从所述第一图像到所述第二图像的特征点匹配对集合H₁和所述从所述第二图像到所述第一图像的特征点匹配对集合H₂交集得到所述第一图像和所述第二图像的特征点匹配对集合H。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述第一图像和所述第二图像的特征点匹配对集合H，对所述第一图像和所述第二图像进行基于最优缝合线的拉普拉斯金字塔图像的融合处理，得到第三图像，包括：

基于最优缝合线搜索准则，在所述第一图像和所述第二图像的重叠区域确定最优缝合线；

分别对所述第一图像和所述第二图像进行拉普拉斯金字塔分解，利用所述最优缝合线和融合规则，对所述第一图像和所述第二图像的拉普拉斯金字塔进行融合处理，得到所述第一图像和第二图像融合处理后的融合图像，即所述第三图像。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述第一图像和所述第二图像的特征点匹配对集合H，对所述第一图像和所述第二图像进行基于最优缝合线的拉普拉斯金字塔图像的融合处理，得到第三图像之后，包括：

对所述第三图像进行基于拉普拉斯边缘算子的空域图像锐化增强处理。

6.一种图像处理装置，其特征在于，包括：

选择模块，用于在第一图像的原始特征点集合F₁中选择对应的特征点构成第一特征点集合V₁；

匹配模块，用于基于所述第一特征点集合V₁，在第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的第二特征点集合V₂，所述第一特征点集合V₁和所述第二特征点集合V₂通过双向匹配取交集得到所述第一图像和所述第二图像的特征点匹配对集合H；

融合模块，用于根据所述第一图像和所述第二图像的特征点匹配对集合H，对所述第一图像和所述第二图像进行基于最优缝合线的拉普拉斯金字塔图像的融合处理，得到第三图像，所述第三图像为第一图像和第二图像融合处理后的图像。

7.根据权利要求6所述的装置，其特征在于，所述选择模块具体用于：

根据所述第一图像的大小w*h，将所述第一图像分为blockM个子块，即 $\mathrm{blockM}=\sqrt{w}\×\sqrt{h};$

根据所述第一图像的原始特征点集合F₁中特征点的总数origM，计算所述第一图像中每一子块平均包括的特征点数量，即

将m向零取整得到M，确定所述第一图像中每一子块的最多特征点数为M；

遍历所述第一图像中的每个子块，若存在特征点总数大于M的子块，将所述子块中大于M的特征点予以排除；

将所述第一图像中每个子块中保留的特征点构成所述第一特征点集合V₁={f₁ ¹,f₂ ¹,……f_K ¹}。

8.根据权利要求6或7所述的装置，其特征在于，所述匹配模块具体用于：

基于所述第一特征点集合V₁，在所述第二图像的原始特征点集合F₂中选择与所述第一特征点集合V₁中各特征点匹配的特征点得到从所述第一图像到所述第二图像的特征点匹配对集合H₁；

将在所述第二图像的原始特征点集合F₂中选择的与所述第一特征点集合V₁中各特征点匹配的特征点构成第二特征点集合V₂；

基于所述第二特征点集合V₂，在所述第一特征点集合V₁中选择与所述第二特征点集合V₂中各特征点匹配的特征点得到从所述第二图像到所述第一图像的特征点匹配对集合H₂；

将所述从所述第一图像到所述第二图像的特征点匹配对集合H₁和所述从所述第二图像到所述第一图像的特征点匹配对集合H₂交集得到所述第一图像和所述第二图像的特征点匹配对集合H。

9.根据权利要求6-8任一项所述的装置，其特征在于，所述融合模块具体用于：

基于最优缝合线搜索准则，在所述第一图像和所述第二图像的重叠区域确定最优缝合线；

分别对所述第一图像和所述第二图像进行拉普拉斯金字塔分解，利用所述最优缝合线和融合规则，对所述第一图像和所述第二图像的拉普拉斯金字塔进行融合处理，得到所述第一图像和第二图像融合处理后的融合图像，即所述第三图像。

10.根据权利要求6-9任一项所述的装置，其特征在于，还包括：

锐化模块，用于对所述融合处理后的第三图像进行基于拉普拉斯边缘算子的空域图像锐化增强处理。

Images