CN110111255A - 一种立体图像拼接方法 - Google Patents

Abstract

本发明公开了一种立体图像拼接方法，所述方法包括以下步骤：输入左右立体图像，通过视差最小化单应性预对齐左右图像并减小垂直视差；通过多约束变形进一步对齐左右图像，同时引入初始视差图保持立体图像视差一致性；基于视差一致的接缝选择和融合确定最佳接缝并进行立体图像拼接。本发明针对立体图像进行多阶段变形的优化对齐，并结合立体图像的视差信息，实现对立体图像的准确拼接，同时避免视觉失真并保持立体图像的视差一致性。

Description

一种立体图像拼接方法

技术领域

本发明涉及图像处理以及立体视觉技术领域，尤其涉及一种立体图像拼接方法。

背景技术

近年来，随着多媒体和显示技术的发展，立体图像处理已经成为一个热门话题。此外，作为虚拟现实技术重要且有效的场景表达，立体图像成为创建交互式虚拟场景的重要组成部分。目前，为了获取具有较大场景的立体图像，主流方法集中于拼接一系列由高分辨率双目相机拍摄得到的左右图像。然而，左右图像中对象位置的不一致，容易引起视觉疲劳并影响立体感知。因此，如何确保立体图像具有合理的视差范围和较少视觉失真，增强所获立体图像的深度感及清晰度是立体图像拼接技术中的挑战性问题。

目前对于2D图像拼接，多数研究采用基于全局单应性模型的方法变形和拼接图像。全局单应性模型方法在没有明显视差变化的情况下可以较好地处理图像拼接问题。但是，从非平面或不连续场景拍摄的图像不能很好地被处理，容易引起形状失真。因此，基于内容保持变形的方法被提出用于解决该类问题，尤其针对低纹理区域存在较弱匹配关系的图像对，该方法可以较好地解决透视失真和形状失真问题。在该类方法中，图像首先被分成均匀密集网格。然后，通过添加全局相似性先验或局部相似性变换进行网格变形和优化，以获得更准确的对齐。最后，通过融合变形图像的重叠区域获得平滑无缝的拼接图像。 Chang等人将重叠区域的映射变换推演到非重叠区域，并将非重叠映射变换变为相似变换进而实现图像拼接。Lin等人引入局部线性化单应性模型并通过约束将其变为全局相似性，减少非重叠区域中的透视畸变从而实现图像拼接。但是，这些方法没有考虑变形图像的融合优化，容易导致拼接图像出现伪影现象。

与传统2D图像拼接技术相比，立体图像拼接方法不仅需要避免透视畸变和形状失真，同时需要保证立体图像的视差一致性。Tang等人提出了基于内容的3D拼接表示方法，用于解决城市场景的动态长视频序列的拼接问题。Richardt等人提出了一种以百万像素分辨率生成高质量立体全景图的解决方案，并使用基于流的上采样方法解决拼接伪影问题。Peleg等人提出了两种捕捉不同视点图像的光学全景系统，并根据相机拍摄得到的多视点图像拼接左右全景图像。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有技术中的方法通常利用2D图像拼接技术处理立体图像，没有充分考虑立体图像的视差一致性；现有方法通常采用单阶段变形的对齐拼接方式，缺少多阶段变形的优化对齐拼接过程，进而容易引起形状失真并造成伪影现象。

发明内容

本发明提供了一种立体图像拼接方法，本发明针对立体图像进行多阶段变形的优化对齐，并结合立体图像的视差信息，实现对立体图像的准确拼接，同时避免视觉失真并保持立体图像的视差一致性，详见下文描述：

一种立体图像拼接方法，所述方法包括以下步骤：

输入左右立体图像，通过视差最小化单应性预对齐左右图像并减小垂直视差；

通过多约束变形进一步对齐左右图像，同时引入初始视差图保持立体图像视差一致性；

基于视差一致的接缝选择和融合确定最佳接缝并进行立体图像拼接。

其中，所述通过视差最小化单应性预对齐左右图像并减小垂直视差具体为：

针对目标左右图像构建优化的单应性矩阵H_L和H_R定义如下：

针对参考左右图像构建全局变形模型S_L和S_R定义如下：

其中，i，j和k表示匹配特征点的索引；m和n表示匹配特征线的索引；N_L，N_R和N_O表示匹配特征点的数量；ρ_L和ρ_R表示匹配特征线的数量；和表示输入左图像对中匹配特征点和匹配特征线的数量；和表示输入右图像对中匹配特征点和匹配特征线的数量；表示中重叠区域的匹配特征点；表示中重叠区域的匹配特征点；和表示预对齐的目标左右图像中匹配特征点的y坐标；和表示预对齐的参考左右图像中匹配特征点的y坐标。

进一步地，所述多约束变形具体为：定义目标能量函数估计对齐图像的网格顶点，同时构造立体视差约束保持立体图像的视差一致性。

其中，所述立体视差约束定义如下：

其中，E_d(·)_x表示水平视差约束，E_d(·)_y表示垂直视差约束。

进一步地，所述水平视差约束具体为：保证对齐的左右图像的水平视差接近原始水平视差，水平视差约束E_d(·)_x定义如下：

其中，p表示匹配点的索引；n_p表示特征点的顶点数；和表示对齐的左右图像中顶点集的x坐标；d(v_p)表示视差值。

其中，所述方法包括：构建视差一致项定义如下：

其中，s和t是两个对齐图像的重叠区域中的相邻像素；(l_s,l_t)表示像素(s,t)的标签，和表示对齐的左右图像对。

本发明提供的技术方案的有益效果是：

1、本方法可以准确对齐立体图像，减少图像视觉失真的同时保持立体图像视差一致性，最终获得高质量的立体拼接图像；

2、本发明可以增强所获立体图像的清晰度和深度感。

附图说明

图1为一种立体图像拼接方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例提出了一种立体图像拼接方法，参见图1，该方法由三个模型组成：视差最小化单应性模型用于预对齐左右图像并减小垂直视差；多约束变形模型进一步对齐左右图像，同时引入初始视差图保持立体图像视差一致性；视差一致的接缝选择和融合模型用于确定最佳接缝并进行立体图像拼接，最佳实施方式如下：

一、基于视差最小化单应性模型的预对齐

考虑到立体图像的垂直视差可以通过空间坐标中的特征点控制。因此，预对齐的目标左右图像的垂直视差可以通过最小化特征点之间的y坐标差异进行约束。此外，当仅从特征点估计单应性矩阵时，会丢失一些图像的重要结构信息。因此，引入特征线作为另一匹配线索进而获得优化的视差最小化单应性(本领域技术人员的专业术语，本发明实施例对此不做赘述)。本发明实施例设计了一种基于视差最小化单应性模型的预对齐方法。假设输入的左右图像对分别为和针对目标左右图像构建优化的单应性矩阵H_L和H_R分别定义如下：

其中，i，j和k表示匹配特征点的索引；m和n表示匹配特征线的索引；N_L，N_R和N_O表示匹配特征点的数量；ρ_L和ρ_R表示匹配特征线的数量；和表示输入左图像对中匹配特征点和匹配特征线的数量；和表示输入右图像对中匹配特征点和匹配特征线的数量；表示中重叠区域的匹配特征点；表示中重叠区域的匹配特征点。和表示预对齐的目标左右图像中匹配特征点的y坐标。

为了进一步减少全局对齐失真，保留全局图像结构。本发明实施例设计了全局变形模型旨在预对齐参考图像。考虑在对齐参考图像时容易产生垂直视差，因此在全局变形中引入垂直视差约束。针对参考左右图像构建全局变形模型S_L和S_R分别定义如下：

其中，i和j表示匹配特征点的索引；和表示预对齐的参考左右图像中匹配特征点的y坐标。最后通过G＝S(H)^-1获得最终的参考左右图像的变形，其中S 为全局变形模型，H为单应性矩阵。

二、基于多约束变形模型的对齐

在预对齐处理之后，仍存在一些未对齐区域和不准确的垂直视差。为了进一步保持视差一致性并消除形状失真，本发明实施例设计了一种基于多约束变形模型的对齐方法。该模型定义了目标能量函数估计对齐图像的网格顶点，同时构造立体视差约束保持立体图像的视差一致性。该模型包括三个约束，即立体视差约束、全局相似约束以及平滑约束。总能量函数E定义如下：

其中，E_d表示立体视差约束；E_g表示全局相似约束；E_s表示平滑约束。表示对齐的左右图像中未知的顶点集合，表示对齐的左右图像中未知的顶点。

立体视差约束包括：水平视差约束和垂直视差约束。其中，水平视差约束用来控制生成的深度感知并尽量保持原始深度感知分布。垂直视差约束用于减小变形后的垂直视差并防止视觉疲劳。立体视差约束E_d定义如下：

其中，E_d(·)_x表示水平视差约束，E_d(·)_y表示垂直视差约束。

其中，水平视差约束可以保证对齐的左右图像的水平视差接近原始水平视差。水平视差约束E_d(·)_x定义如下：

其中，p表示匹配点的索引；n_p表示特征点的顶点数；和表示对齐的左右图像中顶点集的x坐标；d(v_p)表示视差值。

其中，垂直视差约束可以最小化对齐的左右图像中的网格顶点之间的y坐标差异。垂直视差约束E_d(·)_y定义如下：

其中，和表示对齐的左右图像中顶点集的y坐标。

另外，引入全局相似性约束确保对齐图像中没有特征匹配关系的区域与预对齐图像中相对应的区域尽可能一致，同时引入平滑约束尽可能保证对齐图像表面平滑。

三、视差一致的接缝选择和融合

为了消除由拼接图像中的局部未对齐产生的伪影，本发明实施例设计了一种视差一致的接缝选择和融合模型以获得最终的拼接立体图像。通常，传统的切缝方法通过构造数据项和平滑项寻找两个图像之间具有最小差异的接缝。但是，传统方法在融合立体图像时没有考虑左右图像之间的视差信息。因此，本发明实施例设计了视差一致的接缝选择和融合模型，主要包括三个约束项，即视差一致项、数据项和平滑项。总的能量函数E_seam定义如下：

E_seam(l)＝E_dis(l)+E_data(l)+E_smo(l)

其中，E_dis表示视差一致项；E_data表示数据项；E_smo表示平滑项。

对于视差一致项，本发明实施例希望对齐的参考图像中的接缝中或接缝周围的每个像素的视差接近于对齐的目标图像中每个像素的视差。假设两个对齐图像的重叠区域被定义为一个集合，集合内的每个像素分配标签l_s，其值为1或2，其中‘1’对应‘2’对应如果集合内的两个相邻像素s和t采用不同的标记，则和之间的视差应该沿着接缝尽可能小。因此，视差一致项E_dis定义如下：

其中，s和t是两个对齐图像的重叠区域中的相邻像素；(l_s,l_t)表示像素(s,t)的标签，和表示对齐的左右图像对。此外，数据项和平滑项计算与论文^[1]中定义相同。

最后通过图割最大流方法找到满足两个图像之间的最小切缝能量函数的高质量接缝。同时，采用多频带融合方法融合左右图像，以减少拼接图像中的未对齐区域并消除接缝的不连续性。通过上述步骤，可以获得拼接的左右图像并将其合成拼接立体图像。

实施例2

下面对实施例1中的方案进行可行性验证，详见下文描述：

表1给出了立体图像拼接结果的平均垂直视差对比结果，对比算法包括：APAP和CSPS，其中APAP是平面图像拼接算法，CSPS是立体图像拼接算法。平均垂直视差越小， 3D视觉体验越高。由表1可以看出，本发明实施例的平均垂直视差值小于APAP算法，证明了立体图像拼接中视差约束的有效性。此外，CSPS算法在保持视差一致性方面比本发明实施例表现差。主要由于CSPS算法存在形状失真，容易产生垂直视差。从表1中可以看出，受益于多阶段变形的优化对齐和立体图像的视差信息的组合，本发明实施例可以有效地避免视觉失真并保持视差一致性，进一步增强所获立体图像的清晰度及深度感。

表1平均垂直视差(/像素)

参考文献

[1]N.Li,T.Liao,and C.Wang,“Perception-based energy functions in seam-cutting,”Signal Image and Video Processing,vol.12,no.5,pp.1-8,2018.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种立体图像拼接方法，其特征在于，所述方法包括以下步骤：

输入左右立体图像，通过视差最小化单应性预对齐左右图像并减小垂直视差；

通过多约束变形进一步对齐左右图像，同时引入初始视差图保持立体图像视差一致性；

基于视差一致的接缝选择和融合确定最佳接缝并进行立体图像拼接。

2.根据权利要求1所述的一种立体图像拼接方法，其特征在于，所述通过视差最小化单应性预对齐左右图像并减小垂直视差具体为：

针对目标左右图像构建优化的单应性矩阵H_L和H_R定义如下：

针对参考左右图像构建全局变形模型S_L和S_R定义如下：

其中，i，j和k表示匹配特征点的索引；m和n表示匹配特征线的索引；N_L，N_R和N_O表示匹配特征点的数量；ρ_L和ρ_R表示匹配特征线的数量；和表示输入左图像对中匹配特征点和匹配特征线的数量；和表示输入右图像对中匹配特征点和匹配特征线的数量；表示中重叠区域的匹配特征点；表示中重叠区域的匹配特征点；和表示预对齐的目标左右图像中匹配特征点的y坐标；

和表示预对齐的参考左右图像中匹配特征点的y坐标。

3.根据权利要求1所述的一种立体图像拼接方法，其特征在于，所述多约束变形具体为：定义目标能量函数估计对齐图像的网格顶点，同时构造立体视差约束保持立体图像的视差一致性。

4.根据权利要求3所述的一种立体图像拼接方法，其特征在于，所述立体视差约束定义如下：

其中，E_d(·)_x表示水平视差约束，E_d(·)_y表示垂直视差约束。

5.根据权利要求4所述的一种立体图像拼接方法，其特征在于，所述水平视差约束具体为：保证对齐的左右图像的水平视差接近原始水平视差，水平视差约束E_d(·)_x定义如下：

其中，p表示匹配点的索引；n_p表示特征点的顶点数；和表示对齐的左右图像中顶点集的x坐标；d(v_p)表示视差值。

6.根据权利要求1所述的一种立体图像拼接方法，其特征在于，所述方法包括：构建视差一致项，定义如下：

其中，s和t是两个对齐图像的重叠区域中的相邻像素；(l_s,l_t)表示像素(s,t)的标签，和表示对齐的左右图像对。