CN113159169B - 基于先验目标特征点的匹配变形与切缝优化图像拼接方法 - Google Patents

Abstract

本发明提出一种基于先验目标特征点指导的匹配变形与切缝优化的图像拼接方法，其特征在于：首先通过先验目标标记点计算非刚性变换将目标图像和参考图像进行初步对齐；其次，引入全局相似性缓解非重叠区域的投影失真；最后使用优化的交互图切算法用于进一步消除伪影。实验证明，在许多商用软件无法拼接的场景下，该算法仍然可以成功进行，并且产生更加自然而清晰的结果。本发明在局部不仅能提供高效的对齐能力，而且可以保持全局的相似性，使得结果整体自然，通过交互的方式能够得到让用户更加满意的拼接结果。不仅能满足大部分场景的拼接需求，在医疗临床上更有应用前景。

Description

基于先验目标特征点的匹配变形与切缝优化图像拼接方法

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种基于先验目标特征点指导的匹配变形与切缝优化的图像拼接方法。

背景技术

图像拼接是将多张具有重叠区域(可能是不同时间，不同视角，不同传感器采集)的图片拼接成一张无缝的视野更广的全景图。常常在虚拟现实VR，地质勘测，军事侦查，医学微创手术，航空航天以及视频会议等领域发挥着重要的作用。

在实际的科研以及工程中，经常会遇到超过人眼视角的场景，在近距离无法捕捉到这些广视野的场景，虽然通过增加相机和物体的距离可以捕捉到该场景，但是捕捉到的物体经过放大之后会出现马赛克。因此，进行图像拼接领域的研究是非常必要的。(人类视觉系统的视野大约为135×200度，而典型的照相机只有35x50度的视野。)在医学图像处理方面，图像拼接常常被用来辅助诊断，通过显微镜、超声波、CT等技术获得的图像一般视野都很小，在诊断时，医师需要通过多幅图像的结合来判断病因，图像拼接技术便可以将这些具有共同点的图像拼接到一起，方便医生的会诊工作。因此图像拼接也是医学领域的关键环节。可知深入学习和研究图像拼接领域，改良现有算法，得到更清晰的拼接图具有非常重要的意义。因此，也衍生出了许多的图像拼接软件，著名的有Autostitch，微软的ImageComposite Editor等.图像拼接最终的目标是纵使在大视差，光照变化大的情况下，也可以生成尽可能自然的无缝相连的全景图。最近的图像拼接算法使用基于空间的变换来对齐目标图像和参考图像，譬如，采用网格化的仿射变换建立对齐模型，或采用网格化的单应性变换建立对齐模型。然而，图像拼接重叠区域的对齐性能和非重叠区域的自然效果是两个相互矛盾的指标。在大视差环境下，这些算法虽然可以在重叠区域精确地对齐，遗憾地，它们同时在非重叠区域引入了透视失真以及许多局部的不自然扭曲.因此，后续的工作使用投影正则化从重叠区域过渡到非重叠区域，使图像看起来更加自然。如使用经典的视频去抖算法(CPW)进行优化，或将目标图像划分为三个区域，依次将单应性变换过渡到相似变换，从而生成自然的结果。另外，将全局相似约束到网格单元中.这些方法都在一定程度上平衡了上述的两个矛盾指标。

但是，当输入的图像不满足原本严格的成像前提的时候，往往无法进行拼接，即使可以，结果也可能会造成不自然的扭曲以及影响观感的伪影。

发明内容

有鉴于此，本发明的目的在于提供一种基于先验目标特征点指导的匹配变形与切缝优化的图像拼接方法，考虑到现有的拼接算法一般通过计算刚性变换来实现对齐，而本发明通过计算非刚性变换可以一定程度提高对齐效果。其首先通过先验目标标记点计算非刚性变换将目标图像和参考图像进行初步对齐；其次，引入全局相似性缓解非重叠区域的投影失真；最后使用优化的交互图切算法进一步消除伪影，并提升整个算法的鲁棒性。实验证明，在许多商用软件无法拼接的场景下，该算法仍然可以成功进行，并且产生更加自然而清晰的结果。本发明在局部不仅能提供高效的对齐能力，而且可以保持全局的相似性，使得结果整体自然，通过交互的方式能够得到让用户更加满意的拼接结果。不仅能满足大部分场景的拼接需求，在医疗临床上更有应用前景。

本发明具体采用以下技术方案：

一种基于先验目标特征点指导的匹配变形与切缝优化的图像拼接方法，其特征在于：首先通过先验目标标记点计算非刚性变换将目标图像和参考图像进行初步对齐；其次，引入全局相似性缓解非重叠区域的投影失真；最后使用优化的交互图切算法用于进一步消除伪影。

进一步地，其包括以下步骤：

步骤S1：输入参考图像I₀和目标图像I₁，手动选取一组对应的先验目标标记点q_i和p_i其中i＝1,2,…,n；计算标记点p_i和q_i对应的薄板样条插值函数，得到目标图像中的标记点p_i变换后的对应坐标X_t,Y_t；

步骤S2：利用Vlfeat工具包对参考图像I₀和目标图像I₁进行特征点的检测和匹配；

步骤S3：对匹配的特征点进行离群点筛选并进行分组；

步骤S4：计算不同组特征点对应的相似矩阵S；

步骤S5：选择旋转角度最小的相似矩阵作为全局相似矩阵；

步骤S6：计算全局相似变换后的坐标X_s,Y_s和薄板样条变换后的坐标X_t,Y_t在各个位置的权重μ_t,μ_s；

步骤S7：计算加权后的坐标X_w,Y_w；

步骤S8：设定对齐后的参考图像I₀像素标签l_p为0，目标图像I₁像素标签l_p为1；

步骤S9：定义参考图像和目标图像之间的切缝能量为：

其中，N指四连通域，数据项E_d(p,l_p)代表切缝上的像素p被分配标签l_p的数据成本，即该像素位置的梯度，

标签l_p决定了梯度

或者

将被用于计算像素p的数据项，平滑项E_s(p,q,l_p,l_q)代表切缝上N连通域内的像素对p，q的不连续性：E_s(p,q,l_p,l_q)＝|l_p-l_q|·(D(p)+D(q))，其中，

代表该像素位置在I₀和I₁中的梯度差和，当像素p，q被分配相同标签时，平滑项成本为0，被分配不相同标签时，则为D(p)+D(q)；λ是平滑项的权重系数；

步骤S10：最小化步骤S9中的切缝能量并获得拼接结果。

进一步地，在步骤S1中，给定参考图像I₀、目标图像I₁，和一组对应先验目标标记点q_i和p_i，其中i＝1,2,…,n，利用该组先验目标标记点指导目标图像进行薄板样条匹配变形，使其标记点p_i与参考图像上的标记点q_i对齐，具体包括以下步骤：

步骤S11：根据标记点q_i和p_i其中i＝1,2,…,n，计算得到扭曲程度最小且标记点对齐效果佳的薄板，即令薄板函数ε＝ε_Φ+λε_S的能量最小，其中

为对齐项，

为平滑项，λ是平滑项的权重系数，每个像素位置的插值函数

其中，a₁,a_x,a_y为待定的未知系数，p为薄板上的任意一点，U(r)＝r²logr²为径向基函数；

步骤S12：构造线性方程组，添加三个约束：

各个径向基函数的权值ω_i以及a＝(a₁,a_x,a_y)^T，通过下列方程组求解：

其中，

由两两标记点之间的距离组成，

由n行标记点坐标组成，v＝(v₁,v₂,…v_n)^T，v_i＝Φ(p_i)；

步骤S13：将步骤12得到的ω_i和a₁,a_x,a_y，代入到步骤11中的插值函数

得到任意像素点变换后的新坐标。

进一步地，在步骤S3中，使用RANSAC对匹配的特征点进行筛选，设定特征点分组阈值N对筛选后的特征点进行分组；具体包括以下步骤：

步骤S31：根据匹配的特征点，使用对匹配的特征点进行筛选，并设定阈值N为分组特征点上限；

步骤S32：随机选取4对种子特征点，拟合满足该四个点的最佳单应性变换；

步骤S33：选取其余特征点计算该点是否可以在一定误差范围内满足该单应性变换，若可以，则将该点归于改组特征点，直到改组特征点数目达到分组特征点上限N；

步骤S34：对剩余的特征点重复步骤S32到步骤S33的过程，直到剩下的特征点对的数目不足于构造新的特征点组，从而得到不同组的特征点。

进一步地，在步骤S4中，根据不同组的特征点计算相应的相似变换矩阵，相似矩阵变换后的总误差为：

其中，S为相似矩阵，p_i是该组特征点中目标图像中的点，q_i是p_i在参考图像中的匹配点，通过最小化上述的误差，得到该组对应的相似矩阵。

进一步地，在步骤S5中，对比不同组特征点的相似矩阵，选取旋转角度最小的相似矩阵作为全局约束对步骤S2变换后的坐标进行约束；

进一步地，在步骤S6中，将全局相似变换后的坐标和薄板样条变换后的坐标进行加权操作，μ_t,μ_s分别代表薄板样条变换和全局相似变换的权值，对权值进行约束，μ_s＝1-μ_t，在重叠区域的边缘设置μ_t为1，使μ_s从在重叠区域边缘的0线性化地过渡到非重叠区域边缘的1。

进一步地，在步骤S7中，最终变换后的坐标为X_w＝μ_tX_t+μ_sX_s，Y_w＝μ_tY_t+μ_sY_s，其中，X_t,Y_t为薄板样条变换后的坐标，X_s,Y_s为全局相似变换的坐标，X_w,Y_w为两种变换约束后得到的新坐标。

进一步地，在步骤S8中，给定两张对齐后的参考图像I₀和目标图像I₁,使用l_p代表每个像素的标签，如果l_p＝0，即说明该像素点属于I₀，l_p＝1，则属于I₁；

进一步地，在步骤S9中，还包括以下步骤：

步骤S91：通过笔刷工具，从目标或参考图像选取想要被保存到拼接结果的局部，以决定被选定区域的标签，并设置被选定区域的像素被分配选定标签的数据项为0；

步骤S92：在步骤S91的基础上，使用步骤S9定义的切缝能量为参考图像和目标图像之间的切缝能量。

与现有技术相比，本发明及其优选方案具有以下有益效果：

1)在少量特征点的前提下可以为变换的估计提供更加准确的先验信息，使用薄板样条配准对待拼接图像进行预拼接；使用全局相似的约束优化图像非重叠区域，能够有效缓解了非重叠区域由于视差大而引起的透视失真。

2)使用优化的交互切缝算法，处理重叠区域的伪影和不自然的部分，在很大的程度上提升了拼接图像的观感，并提升算法的鲁棒性。该算法在大部分场景都可以实现较好的拼接效果，并且在其他先进算法拼接结果不佳甚至无法进行拼接的场景下依然保持较好的拼接性能。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

图1为本发明实施例方法流程示意图；

图2为本发明实施例待拼接的目标图像和参考图像示例；

图3为本发明实施例图像拼接方法的效果示例。

具体实施方式

为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：

如图1-3所示，本实施例提供的一种基于先验目标特征点指导的匹配变形与切缝优化的图像拼接算法，按以下步骤实现：

步骤S1：给定参考图像I₀、目标图像I₁，和一组对应先验目标标记点q_i和p_i，其中i＝1,2,…,n，利用该组先验目标标记点指导目标图像进行薄板样条匹配变形，使其标记点p_i与参考图像上的标记点q_i对齐；

步骤S2：利用Vlfeat工具包对参考图像I₀和目标图像I₁进行特征点的检测和匹配；

步骤S3：使用RANSAC(RAndom SAmple Consensus)对匹配的特征点进行筛选，设定特征点分组阈值N对筛选后的特征点进行分组；

步骤S4：据不同组的特征点计算相应的相似变换矩阵，相似矩阵变换后的总误差为：

其中，S为相似矩阵，p_i是该组特征点中目标图像中的点，q_i是p_i在参考图像中的匹配点，通过最小化上述的误差，得到该组对应的相似矩阵；

步骤S5：对比不同组特征点的相似矩阵，选取旋转角度最小的相似矩阵作为全局约束对S2步骤变换后的坐标进行约束；

步骤S6：将全局相似变换后的坐标和薄板样条变换后的坐标进行加权操作，μ_t,μ_s分别代表薄板样条变换和全局相似变换的权值，对权值进行约束，μ_s＝1-μ_t，在重叠区域的边缘设置μ_t为“1”，从而使重叠区域更加地满足标记点对齐的目的，μ_s会从在重叠区域边缘的“0”线性化地过渡到非重叠区域边缘的“1”，从而使得拼接图像的整体看起来更加自然；

步骤S7：最终变换后的坐标为X_w＝μ_tX_t+μ_sX_s，Y_w＝μ_tY_t+μ_sY_s，其中，X_t,Y_t为薄板样条变换后的坐标，X_s,Y_s为全局相似变换的坐标，X_w,Y_w为两种变换约束后得到的新坐标；

步骤S8：给定两张对齐后的参考图像I₀和目标图像I₁,使用l_p代表每个像素的标签，如果l_p＝0，即说明该像素点属于I₀，l_p＝1，则属于I₁；

步骤S9：定义参考图像和目标图像之间的切缝能量为：

其中，N指四连通域，数据项E_d(p,l_p)代表切缝上的像素p被分配标签l_p的数据成本，即该像素位置的梯度，

标签l_p决定了梯度

或者

将被用于计算像素p的数据项，平滑项E_s(p,q,l_p,l_q)代表切缝上N连通域内的像素对p，q的不连续性：E_s(p,q,l_p,l_q)＝|l_p-l_q|·(D(p)+D(q))，其中，

代表该像素位置在I₀和I₁中的梯度差和，当像素p，q被分配相同标签时，平滑项成本为0，被分配不相同标签时，则为D(p)+D(q)；

步骤S10：最小化S10中的切缝能量可得到用户观感最佳的拼接结果。

具体地，在步骤S1中，还包括如下步骤：

步骤S11：根据标记点q_i和p_i其中i＝1,2,…,n，计算得到扭曲程度最小且标记点对齐效果佳的薄板，即令薄板函数ε＝ε_Φ+λε_S的能量最小，其中

为对齐项，

为平滑项，λ是平滑项的权重系数，可以得到每个像素位置的插值函数

其中，p为薄板上的任意一点，U(r)＝r²logr²为径向基函数；

步骤S12：构造线性方程组，添加三个约束：

各个径向基函数的权值ω_i以及a＝(a₁,a_x,a_y)^T，通过下列方程组求解：

其中，

由两两标记点之间的距离组成，

由n行标记点坐标组成，v＝(v₁,v₂,…v_n)^T，v_i＝Φ(p_i)；

步骤S13：将步骤12得到的ω_i和a₁,a_x,a_y，代入到步骤11中的插值函数

可得到任意像素点变换后的新坐标。

在本发明一实施例中，在S3中，还包括如下步骤：

步骤S31：根据匹配的特征点，使用RANSAC(RAndom SAmple Consensus)对匹配的特征点进行筛选，并设定阈值N为分组特征点上限；

步骤S32：随机选取4对种子特征点，拟合满足该四个点的最佳单应性变换；

步骤S33：选取其余特征点计算该点是否可以在一定误差范围内满足该单应性变换，若可以，则将该点归于改组特征点，直到改组特征点数目达到分组特征点上限N；

步骤S34：对剩余的特征点重复步骤S32到步骤S33的过程，直到剩下的特征点对的数目不足于构造新的特征点组，从而得到不同组的特征点。

在本发明一实施例中，在S9中，还包括如下步骤：

步骤S91：通过笔刷工具，可以从目标或者参考图像选取想要被保存到拼接结果的局部，这将直接决定被选定区域的标签，并设置被选定区域的像素被分配选定标签的数据项为0；

步骤S92：在步骤91的基础上，使用步骤S9定义的切缝能量为参考图像和目标图像之间的切缝能量。

以下为本发明的具体实施过程。

本发明提出的算法对图像拼接的应用具体步骤如下：

1、输入参考图像I₀和目标图像I₁，手动选取一组对应的先验目标标记点q_i和p_i其中i＝1,2,…,n(n＝10)；

2、计算标记点p_i和q_i对应的薄板插值函数

得到目标图像中的标记点p_i变换后的对应坐标X_t,Y_t；

3、利用Vlfeat工具包对参考图像I₀和目标图像I₁进行特征点的检测和匹配；

4、对匹配的特征点进行离群点筛选并进行分组；

5、计算不同组特征点对应的相似矩阵S；

6、选择旋转角度最小的相似矩阵作为全局相似矩阵；

7、计算全局相似变换后的坐标X_s,Y_s和薄板样条变换后的坐标X_t,Y_t在各个位置的权重μ_t,μ_s；

8、计算加权后的坐标X_w,Y_w；

9、设定对齐后的参考图像I₀像素标签l_p为0，目标图像I₁像素标签l_p为1；

10、定义参考图像和目标图像之间的切缝能量

11、最小化10中的切缝能量可得到用户观感最佳的拼接结果。

图2为输入的参考图像和目标图像，两张待拼接图像存在拍摄角度明显变换的视差环境，且光照存在细微不同。图3是上述图像拼接方法的效果图，从图3可以看到，即使在上述图二视差大且存在光线差的条件下，本实施例中算法利用了薄板样条具有鲁棒性的配准能力进行交互配准变形，再联合全局相似性保持非重叠区域的原始形状特征，最后通过优化的交互切缝算法对拼接结果进行后处理，最后得到的最终拼接图像在局部不仅能提供高效的对齐能力，而且可以保持全局的相似性，使得结果整体自然，通过交互的方式能够得到让用户更加满意的拼接结果。

本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于先验目标特征点指导的匹配变形与切缝优化的图像拼接方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (7)

1.一种基于先验目标特征点的匹配变形与切缝优化图像拼接方法，其特征在于：首先通过先验目标标记点计算非刚性变换将目标图像和参考图像进行初步对齐；其次，引入全局相似性缓解非重叠区域的投影失真；最后使用优化的交互图切算法用于进一步消除伪影；

包括以下步骤：

步骤S1：输入参考图像I₀和目标图像I₁，手动选取一组对应的先验目标标记点q_i和p_i，其中i＝1,2,…,n；计算标记点p_i和q_i对应的薄板样条插值函数，得到目标图像中的标记点p_i变换后的对应坐标X_t,Y_t；

步骤S2：利用Vlfeat工具包对参考图像I₀和目标图像I₁进行特征点的检测和匹配；

步骤S3：对匹配的特征点进行离群点筛选并进行分组；

步骤S4：计算不同组特征点对应的相似矩阵S；

步骤S5：选择旋转角度最小的相似矩阵作为全局相似矩阵；

步骤S6：计算全局相似变换后的坐标X_s,Y_s和薄板样条变换后的坐标X_t,Y_t在各个位置的权重μ_s,μ_t；

步骤S7：计算加权后的坐标X_w,Y_w；

步骤S8：设定对齐后的参考图像I₀像素标签l_p为0，目标图像I₁像素标签l_p为1；

步骤S9：定义参考图像和目标图像之间的切缝能量为：

其中，N指四连通域，数据项E_d(p,l_p)代表切缝上的像素p被分配标签l_p的数据成本，即该像素位置的梯度，

标签l_p决定了梯度

或者

将被用于计算像素p的数据项，平滑项E_s(p,q,l_p,l_q)代表切缝上N连通域内的像素对p，q的不连续性：E_s(p,q,l_p,l_q)＝|l_p-l_q|·(D(p)+D(q))，其中，

代表该像素位置在I₀和I₁中的梯度差和，当像素p，q被分配相同标签时，平滑项成本为0，被分配不相同标签时，则为D(p)+D(q)；λ是平滑项的权重系数；

步骤S10：最小化步骤S9中的切缝能量并获得拼接结果；

在步骤S3中，使用RANSAC对匹配的特征点进行筛选，设定特征点分组阈值M对筛选后的特征点进行分组；具体包括以下步骤：

步骤S31：根据匹配的特征点，使用对匹配的特征点进行筛选，并设定阈值M为分组特征点上限；

步骤S32：随机选取4对种子特征点，拟合满足该4对种子特征点的最佳单应性变换；

步骤S33：选取其余特征点计算该点是否可以在一定误差范围内满足该单应性变换，若可以，则将该点归于该组特征点，直到该组特征点数目达到分组特征点上限M ；

步骤S34：对剩余的特征点重复步骤S32到步骤S33的过程，直到剩余的特征点对的数目不足于构造新的特征点组，从而得到不同组的特征点；

在步骤S4中，根据不同组的特征点计算相应的相似变换矩阵，相似矩阵变换后的总误差为：

其中，S为相似矩阵，p_i′是该组特征点中目标图像中的点，q_i′是p_i′在参考图像中的匹配点，通过最小化总误差，得到该组对应的相似矩阵。

2.根据权利要求1所述的基于先验目标特征点的匹配变形与切缝优化图像拼接方法，其特征在于：

在步骤S1中，给定参考图像I₀、目标图像I₁，和一组对应先验目标标记点q_i和p_i，其中i＝1,2,…,n，利用该组先验目标标记点指导目标图像进行薄板样条匹配变形，使其标记点p_i与参考图像上的标记点q_i对齐，具体包括以下步骤：

步骤S11：根据标记点q_i和p_i，计算得到扭曲程度最小且标记点对齐效果佳的薄板，即令薄板函数ε＝ε_Φ+λε_S的能量最小，其中

为对齐项，

为平滑项，λ是平滑项的权重系数，每个像素位置的插值函数

其中，a₁,a_x,a_y为未知系数，p为薄板上的任意一点，U(r)＝r²logr²为径向基函数；ω_i为径向基函数的权值；

步骤S12：构造线性方程组，添加三个约束：

各个径向基函数的权值ω_i以及a＝(a₁,a_x,a_y)^T，通过下列方程组求解：

其中，

由两两标记点之间的距离组成，

由n行标记点坐标组成，v＝(v₁,v₂,…v_n)^T，v_i＝Φ(p_i)；

步骤S13：将步骤S12得到的ω_i和a₁,a_x,a_y，代入到步骤S11中的插值函数

得到任意像素点变换后的新坐标。

3.根据权利要求1所述的基于先验目标特征点的匹配变形与切缝优化图像拼接方法，其特征在于：

在步骤S5中，对比不同组特征点的相似矩阵，选取旋转角度最小的相似矩阵作为全局约束对步骤S1变换后的坐标进行约束。

4.根据权利要求1所述的基于先验目标特征点的匹配变形与切缝优化图像拼接方法，其特征在于：

在步骤S6中，将全局相似变换后的坐标和薄板样条变换后的坐标进行加权操作，μ_t,μ_s分别代表薄板样条变换和全局相似变换的权值，对权值进行约束，μ_s＝1-μ_t，在重叠区域的边缘设置μ_t为1，使μ_s从在重叠区域边缘的0线性化地过渡到非重叠区域边缘的1。

5.根据权利要求1所述的基于先验目标特征点的匹配变形与切缝优化图像拼接方法，其特征在于：

在步骤S7中，最终变换后的坐标为X_w＝μ_tX_t+μ_sX_s，Y_w＝μ_tY_t+μ_sY_s。

6.根据权利要求1所述的基于先验目标特征点的匹配变形与切缝优化图像拼接方法，其特征在于：

在步骤S8中，给定两张对齐后的参考图像I₀和目标图像I₁,使用l_p代表每个像素的标签，如果l_p＝0，即说明该像素点属于I₀，l_p＝1，则属于I₁。

7.根据权利要求1所述的基于先验目标特征点的匹配变形与切缝优化图像拼接方法，其特征在于：

在步骤S9中，还包括以下步骤：

步骤S91：通过笔刷工具，从目标或参考图像选取想要被保存到拼接结果的局部，以决定被选定区域的标签，并设置被选定区域的像素被分配选定标签的数据项为0；

步骤S92：在步骤S91的基础上，使用步骤S9定义的切缝能量为参考图像和目标图像之间的切缝能量。

Images