CN106940879B - 一种图像拼接方法及装置 - Google Patents

Abstract

本发明实施例提供一种图像拼接方法及装置，属于图像处理技术领域。所述方法实现过程包括：首先，对两幅待拼接图像上的重叠区域分别进行基于分水岭算法的图像分割，得到相应的分水岭分割图；其次，再将两幅分水岭分割图进行叠加，生成叠加后的分水岭分割图；最后，针对所述叠加后的分水岭分割图求解最小割，获取图像拼接线。该种图像拼接方法求得的拼接线不会对任一幅待拼接图像上的物体产生切割，拼接后的图像没有明显的拼接缝。

Description

一种图像拼接方法及装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种图像拼接方法及装置。

背景技术

目前，对两幅图像进行拼接时，通常的做法是针对单幅图像上的重叠区域求取直线拼接线，然后根据计算出的直线拼接线对两幅图像进行分割拼接。但是，由于两幅图像拍摄时可能存在一定的视角差，所以两幅图像上的重叠区域并非是百分之百重合的，如此就导致采用上述拼接方式进行图像拼接时易出现另一幅图像中的物体被拼接线切割的问题，进而致使拼接后的图像存在明显拼接缝的缺陷。

发明内容

有鉴于此，本发明的目的在于提供一种图像拼接方法及装置，以改善上述问题。

本发明较佳实施例提供一种图像拼接方法，该方法包括：计算第一图像与第二图像的重叠区域；依据分水岭算法对所述第一图像上的重叠区域和所述第二图像上的重叠区域分别进行图像分割，得到相应的分水岭分割图；将上述得到的两幅分水岭分割图进行叠加，生成叠加后的分水岭分割图；求解所述叠加后的分水岭分割图的最小割，获取图像拼接线；根据所述图像拼接线对所述第一图像和第二图像进行拼接。

本发明另一较佳实施例提供一种图像拼接装置，该装置包括：重叠区域计算模块，用于计算第一图像与第二图像的重叠区域；图像分割模块，用于依据分水岭算法对所述第一图像上的重叠区域和所述第二图像上的重叠区域分别进行图像分割，得到相应的分水岭分割图；分割图叠加模块，用于将上述得到的两幅分水岭分割图进行叠加，生成叠加后的分水岭分割图；拼接线获取模块，用于求解所述叠加后的分水岭分割图的最小割，获取图像拼接线；以及，图像拼接模块，用于根据所述图像拼接线对所述第一图像和第二图像进行拼接。

本发明实施例提供的图像拼接方法及装置中，首先对两幅待拼接图像上的重叠区域分别进行基于分水岭算法的图像分割，得到相应的分水岭分割图，其次再将两幅分水岭分割图进行叠加，生成叠加后的分水岭分割图，最后针对所述叠加后的分水岭分割图求解最小割，获取图像拼接线。该种图像拼接方法求得的拼接线不会对任一幅待拼接图像上的物体产生切割，拼接后的图像没有明显的拼接缝。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种图像处理设备的方框示意图；

图2为本发明实施例提供的一种应用于图1所示图像处理设备的图像拼接方法的流程图；

图3A为本发明实施例提供的一示例中第一图像的示意图；

图3B为本发明实施例提供的所述示例中第二图像的示意图；

图4A为图3A中所示的第一图像求取重叠区域后的示意图；

图4B为图3B中所示的第二图像求取重叠区域后的示意图；

图5A为图4A中所示的第一图像上的重叠区域对应的分水岭分割图；

图5B为图4B中所示的第二图像上的重叠区域对应的分水岭分割图；

图6为图5A与图5B中所示的两幅分水岭分割图进行叠加后生成的分水岭分割图的示意图；

图7为针对图6中所示的叠加后的分水岭分割图求取的图像拼接线的示意图；

图8为本发明实施例提供的采用现有拼接技术求取的拼接线与图7中所示的拼接线的对比图；

图9为本发明实施例提供的一种图像拼接装置的功能模块框图。

图标：100-图像处理设备；110-存储器；120-处理器；130-图像拼接装置；1302-重叠区域计算模块；1304-图像分割模块；1306-分割图叠加模块；1308-拼接线获取模块；1310-图像拼接模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，是本发明实施例提供的一种图像处理设备100的方框示意图。所述图像处理设备100可以是，但不限于，个人电脑、服务器等。如图1所示，该图像处理设备100包括存储器110、处理器120以及图像拼接装置130。

所述存储器110与所述处理器120之间电性连接以实现数据的传输或交互。所述图像拼接装置130包括至少一个可以软件或固件的形式存储于所述存储器110中或固化在所述图像处理设备100的操作系统中的软件功能模块。所述处理器120用于执行存储器110中存储的可执行模块，例如所述图像拼接装置130包括计算机程序。所述处理器120在接收到执行指令后，执行所述程序，下述本发明任一实施例揭示的流过程定义的图像处理设备100所执行的方法可以应用于处理器120中，或者由处理器120实现。

请参阅图2，是本发明实施例提供的一种应用于图1所示图像处理设备100的图像拼接方法的流程图。所应说明的是，本实施例提供的方法不以图2及以下所述的具体顺序为限制。下面对图2中所示的各步骤进行详细阐述。

步骤S101，计算第一图像与第二图像的重叠区域。

本实施例中，作为一种可能的实施方式，计算所述第一图像与第二图像的重叠区域的方式可以是：首先，提取第一图像和第二图像的关联特征点；然后，根据上述关联特征点的位置坐标的对应关系计算出第一图像和第二图像之间的几何位置映射矩阵；再将所述第一图像中的每个像素的位置坐标乘以所述几何位置映射矩阵的逆矩阵，使得所述第一图像映射到所述第二图像所在的几何空间中；最后，根据位于同一几何空间的第一图像与第二图像中像素的位置坐标的重叠关系，计算出所述重叠区域。

可以理解的是，在其他实施例中也可以采用其他方式计算两幅图像的重叠区域，并不限制于上述的示例。

步骤S103，依据分水岭算法对所述第一图像上的重叠区域和所述第二图像上的重叠区域分别进行图像分割，得到相应的分水岭分割图。

这里对分水岭算法进行必要的简述。所述分水岭算法是一种基于拓扑理论的数学形态学的图像分割方法。该算法的基本思想是将图像看作测地学上的拓扑地貌，图像中每一个像素点的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆。所述集水盆的边界则形成分水岭。所述分水岭的形成可以通过模拟水的浸入过程来说明，例如，在图像模型每一个局部极小值处构造一个小孔，然后将整个图像模型慢慢浸入水中，随着浸入的加深，每一个局部极小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑堤坝，即形成所述分水岭。换句话说，在图像的分水岭分割图中，集水盆所对应的分割区域由分水岭分割线所唯一界定。

本实施例中，可以应用已有的任意一种分水岭算法对第一图像和第二图像上的重叠区域进行图像分割，生成对应的分水岭分割图，具体的分割过程不是本申请关注的重点，在此不进行描述。

步骤S105，将所述两幅分水岭分割图进行叠加，生成叠加后的分水岭分割图。

作为一种实施方式，本实施例中所述的两幅分水岭分割图为二值图像。例如，分水岭分割线上的像素点的像素值为1，其余部分的像素点的像素值为0。

基于此，将两幅分水岭分割图进行叠加的方式可以是，将两幅分水岭分割图中位置相对应的像素点分别进行叠加。叠加时，若两个像素点的像素值都为0，叠加后的像素点的像素值也为0，若两个像素点中至少一个像素点的像素值为1，叠加后的像素点的像素值为1。叠加生成的分水岭分割图中集水盆所对应的分割区域是叠加前的两幅分水岭分割图中集水盆所对应的分割区域的并集。当然，也可以理解为是，叠加生成的分水岭分割图中的分水岭分割线是叠加前的两幅分水岭分割图中的分水岭分割线的并集。

步骤S107，求解所述叠加后的分水岭分割图的最小割，获取图像拼接线。

本实施例中，可以选择性的采用图割法(GraphCut)求解图的最小割。所述图割法是一种基于图论的图像分割方法，其基本原理是，将待分割图像映射为一带权无向图G＝<V，E>后，求解该带权无向图的最小割，进而实现图像的前景目标与背景的分离。

在所述带权无向图G＝<V，E>中，V＝{N₁,N₂,N₃,…,N_p,S,T}表示顶点的集合，E表示边的集合。其中，N₁,N₂,N₃,…,N_p是与待分割图像中的像素点一一对应的普通顶点。S、T为附加于图中的两个终端顶点，其中，S属于前景目标，T属于背景。在所述带权无向图中，除了在与待分割图像中相邻的两个像素点相对应的两个普通顶点之间连接有边之外，每一个普通顶点还分别与上述两个终端顶点分别连接。为了便于区分描述，这里将两个普通顶点之间所连接的边称为N-link，将普通顶点与终端顶点之间连接的边称为ST-link。求解图的最小割即是求一组边的集合，使得这组边断开时能够将带权无向图中的两个终端顶点S和T分离，且该组边的权值之和最小。

所述N-link边的权值通过图割法中定义的边界平滑能量项计算得到。当一条边连接的两个普通顶点所对应的两个像素点之间的灰度值、梯度值越相似时，该边的权值则越大，反之，则越小。

所述ST-link边的权值通过图割法中定义的区域能量项计算得到。对于连接终端顶点S与普通顶点的边而言，该普通顶点属于前景目标的概率越大，该边的权值越小。同样地，对于连接终端顶点T与普通顶点的边而言，该普通顶点属于背景的概率越大，该边的权值也越小。

详细地，应用上述图割法求解所述叠加后的分水岭分割图的最小割，获取图像拼接线的过程可以为：首先，将所述叠加后的分水岭分割图中集水盆所对应的分割区域映射为一无向图；然后，基于所述分割区域的边缘信息、图像灰度值以及图像梯度值，计算所述无向图中各边的权值，得到对应的带权无向图；最后，求解该带权无向图的最小割，获取所述图像拼接线。

更为详细地，基于所述分割区域的边缘信息、图像灰度值以及图像梯度值，计算所述无向图中各边的权值的方式可以为：首先，基于所述分割区域的图像灰度值以及图像梯度值，根据上述所述的图割法中定义的区域能量项和边界平滑能量项计算公式计算所述无向图中各边的初始权值，得到初始的带权无向图；然后，根据每一个所述分割区域的边缘信息，将所述初始的带权无向图中至少一个边的初始权值调整为一预设权值，得到最终的带权无向图。其中，所述分割区域的边缘信息包括界定该分割区域的分水岭分割线的信息。该至少一个边所连接的顶点对应于该分割区域的边缘上的像素点，例如分水岭分割线上的像素点。所述预设权值大于或等于所有所述初始权值中的最大值。

步骤S109，根据所述图像拼接线对第一图像和第二图像进行拼接。

下面，本发明实施例提供一具体示例，以进一步阐述上述图像拼接方法的优点。

如图3A和3B所示，是本发明本实施例提供的两幅待拼接图像。下述描述中，不失一般性地，将3A中的图像称为第一图像，将3B中的图像称为第二图像。

按照上述步骤S101的方法计算两幅图像的重叠区域。参见图4A和4B，其中，图4A中黑色方框所划定的区域为所述第一图像上的重叠区域，图4B中黑色方框所划定的区域为所述第二图像上的重叠区域。

根据分水岭算法，分别对两幅图像上的重叠区域进行图像分割，获得相应的分水岭分割图。参见图5A和5B，其中，图5A为第一图像上的重叠区域对应的分水岭分割图，图5B为第二图像上的重叠区域对应的分水岭分割图。

将图5A和图5B中的两幅分水岭分割图进行叠加，得到如图6所示的叠加后的分水岭分割图。可以看出，叠加后的分水岭分割图上集水盆对应的分割区域为叠加前的两幅分水岭分割图上集水盆对应的分割区域的并集。

针对图6中所示的叠加后的分水岭分割图，按照上述步骤S111所描述的方法，生成相应的带权无向图。求解该带权无向图的最小割，获得图像拼接线。参见图7，是本示例最后求取的图像拼接线。

不难理解，若采用现有的图像拼接技术计算单幅分水岭分割图的拼接线，则极有可能出现类似图8所示的情形，即针对第一图像上的重叠区域所对应的分水岭分割图求得的拼接线贯穿第二图像上的重叠区域中的物体，这将导致拼接后的图像存在明显的拼接缝。

通过上述示例可以看出，本发明实施例提供的图像拼接方法能够较好的解决现有图像拼接过程中易出现明显的图像拼接缝的问题。

请参阅图9，是本发明实施例提供的一种图像拼接装置130的功能模块框图。该装置包括重叠区域计算模块1302、图像分割模块1304、分割图叠加模块1306、拼接线获取模块1308以及图像拼接模块1310。

所述重叠区域计算模块1302，用于计算第一图像与第二图像的重叠区域。

所述图像分割模块1304，用于依据分水岭算法对所述第一图像上的重叠区域和所述第二图像上的重叠区域分别进行图像分割，得到相应的分水岭分割图。

所述分割图叠加模块1306，用于将上述得到的两幅分水岭分割图进行叠加，生成叠加后的分水岭分割图。

所述拼接线获取模块1308，用于求解所述叠加后的分水岭分割图的最小割，获取图像拼接线。

所述图像拼接模块1310，用于根据所述图像拼接线对所述第一图像和第二图像进行拼接。

本实施例中各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (6)

1.一种图像拼接方法，其特征在于，该方法包括：

计算第一图像与第二图像的重叠区域；

依据分水岭算法对所述第一图像上的重叠区域和所述第二图像上的重叠区域分别进行图像分割，得到相应的分水岭分割图；

将上述得到的两幅分水岭分割图进行叠加，生成叠加后的分水岭分割图；

根据图割法将所述叠加后的分水岭分割图中集水盆所对应的分割区域映射为一无向图；

基于所述分割区域的图像灰度值以及图像梯度值，根据图割法中区域能量项和边界平滑能量项计算公式计算所述无向图中各边的初始权值，得到初始的带权无向图；

根据每一个所述分割区域的边缘信息，将所述初始的带权无向图中至少一个边的初始权值调整为一预设权值，得到最终的带权无向图，其中，该至少一个边所连接的顶点对应于该分割区域的边缘上的像素点，所述预设权值大于或等于所有所述初始权值中的最大值；

求解所述带权无向图的最小割，获取所述图像拼接线；

根据所述图像拼接线对所述第一图像和第二图像进行拼接。

2.根据权利要求1所述的方法，其特征在于，所述叠加后的分水岭分割图中集水盆所对应的分割区域是叠加前的两幅分水岭分割图中集水盆所对应的分割区域的并集。

3.根据权利要求2所述的方法，其特征在于，所述将上述得到的两幅分水岭分割图进行叠加，生成叠加后的分水岭分割图的步骤包括：

将所述两幅分水岭分割图中位置相对应的像素点分别进行叠加，生成所述叠加后的分水岭分割图，其中：

若两个像素点的像素值都为0时，叠加后所生成的像素点的像素值为0；若两个像素点中至少一个像素点的像素值为1时，叠加后所生成的像素点的像素值为1。

4.一种图像拼接装置，其特征在于，该装置包括：

重叠区域计算模块，用于计算第一图像与第二图像的重叠区域；

图像分割模块，用于依据分水岭算法对所述第一图像上的重叠区域和所述第二图像上的重叠区域分别进行图像分割，得到相应的分水岭分割图；

分割图叠加模块，用于将上述得到的两幅分水岭分割图进行叠加，生成叠加后的分水岭分割图；

拼接线获取模块，用于根据图割法将所述叠加后的分水岭分割图中集水盆所对应的分割区域映射为一无向图；

基于所述分割区域的图像灰度值以及图像梯度值，根据图割法中区域能量项和边界平滑能量项计算公式计算所述无向图中各边的初始权值，得到初始的带权无向图；

根据每一个所述分割区域的边缘信息，将所述初始的带权无向图中至少一个边的初始权值调整为一预设权值，得到最终的带权无向图，其中，该至少一个边所连接的顶点对应于该分割区域的边缘上的像素点，所述预设权值大于或等于所有所述初始权值中的最大值；

求解所述带权无向图的最小割，获取所述图像拼接线；

图像拼接模块，用于根据所述图像拼接线对所述第一图像和第二图像进行拼接。

5.根据权利要求4所述的装置，其特征在于，所述叠加后的分水岭分割图中集水盆所对应的分割区域是叠加前的两幅分水岭分割图中集水盆所对应的分割区域的并集。

6.根据权利要求5所述的装置，其特征在于，所述分割图叠加模块将上述得到的两幅分水岭分割图进行叠加，生成叠加后的分水岭分割图的方式包括：

将所述两幅分水岭分割图中位置相对应的像素点分别进行叠加，生成所述叠加后的分水岭分割图，其中：

若两个像素点的像素值都为0时，叠加后所生成的像素点的像素值为0；若两个像素点中至少一个像素点的像素值为1时，叠加后所生成的像素点的像素值为1。

Images