CN110111255A - 一种立体图像拼接方法 - Google Patents

一种立体图像拼接方法 Download PDF

Info

Publication number
CN110111255A
CN110111255A CN201910336176.7A CN201910336176A CN110111255A CN 110111255 A CN110111255 A CN 110111255A CN 201910336176 A CN201910336176 A CN 201910336176A CN 110111255 A CN110111255 A CN 110111255A
Authority
CN
China
Prior art keywords
parallax
stereo
picture
indicate
left images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910336176.7A
Other languages
English (en)
Other versions
CN110111255B (zh
Inventor
雷建军
范晓婷
侯春萍
徐立莹
杨博兰
祝新鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910336176.7A priority Critical patent/CN110111255B/zh
Publication of CN110111255A publication Critical patent/CN110111255A/zh
Application granted granted Critical
Publication of CN110111255B publication Critical patent/CN110111255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种立体图像拼接方法,所述方法包括以下步骤:输入左右立体图像,通过视差最小化单应性预对齐左右图像并减小垂直视差;通过多约束变形进一步对齐左右图像,同时引入初始视差图保持立体图像视差一致性;基于视差一致的接缝选择和融合确定最佳接缝并进行立体图像拼接。本发明针对立体图像进行多阶段变形的优化对齐,并结合立体图像的视差信息,实现对立体图像的准确拼接,同时避免视觉失真并保持立体图像的视差一致性。

Description

一种立体图像拼接方法
技术领域
本发明涉及图像处理以及立体视觉技术领域,尤其涉及一种立体图像拼接方法。
背景技术
近年来,随着多媒体和显示技术的发展,立体图像处理已经成为一个热门话题。此外,作为虚拟现实技术重要且有效的场景表达,立体图像成为创建交互式虚拟场景的重要组成部分。目前,为了获取具有较大场景的立体图像,主流方法集中于拼接一系列由高分辨率双目相机拍摄得到的左右图像。然而,左右图像中对象位置的不一致,容易引起视觉疲劳并影响立体感知。因此,如何确保立体图像具有合理的视差范围和较少视觉失真,增强所获立体图像的深度感及清晰度是立体图像拼接技术中的挑战性问题。
目前对于2D图像拼接,多数研究采用基于全局单应性模型的方法变形和拼接图像。全局单应性模型方法在没有明显视差变化的情况下可以较好地处理图像拼接问题。但是,从非平面或不连续场景拍摄的图像不能很好地被处理,容易引起形状失真。因此,基于内容保持变形的方法被提出用于解决该类问题,尤其针对低纹理区域存在较弱匹配关系的图像对,该方法可以较好地解决透视失真和形状失真问题。在该类方法中,图像首先被分成均匀密集网格。然后,通过添加全局相似性先验或局部相似性变换进行网格变形和优化,以获得更准确的对齐。最后,通过融合变形图像的重叠区域获得平滑无缝的拼接图像。 Chang等人将重叠区域的映射变换推演到非重叠区域,并将非重叠映射变换变为相似变换进而实现图像拼接。Lin等人引入局部线性化单应性模型并通过约束将其变为全局相似性,减少非重叠区域中的透视畸变从而实现图像拼接。但是,这些方法没有考虑变形图像的融合优化,容易导致拼接图像出现伪影现象。
与传统2D图像拼接技术相比,立体图像拼接方法不仅需要避免透视畸变和形状失真,同时需要保证立体图像的视差一致性。Tang等人提出了基于内容的3D拼接表示方法,用于解决城市场景的动态长视频序列的拼接问题。Richardt等人提出了一种以百万像素分辨率生成高质量立体全景图的解决方案,并使用基于流的上采样方法解决拼接伪影问题。Peleg等人提出了两种捕捉不同视点图像的光学全景系统,并根据相机拍摄得到的多视点图像拼接左右全景图像。
发明人在实现本发明的过程中,发现现有技术中至少存在以下缺点和不足:
现有技术中的方法通常利用2D图像拼接技术处理立体图像,没有充分考虑立体图像的视差一致性;现有方法通常采用单阶段变形的对齐拼接方式,缺少多阶段变形的优化对齐拼接过程,进而容易引起形状失真并造成伪影现象。
发明内容
本发明提供了一种立体图像拼接方法,本发明针对立体图像进行多阶段变形的优化对齐,并结合立体图像的视差信息,实现对立体图像的准确拼接,同时避免视觉失真并保持立体图像的视差一致性,详见下文描述:
一种立体图像拼接方法,所述方法包括以下步骤:
输入左右立体图像,通过视差最小化单应性预对齐左右图像并减小垂直视差;
通过多约束变形进一步对齐左右图像,同时引入初始视差图保持立体图像视差一致性;
基于视差一致的接缝选择和融合确定最佳接缝并进行立体图像拼接。
其中,所述通过视差最小化单应性预对齐左右图像并减小垂直视差具体为:
针对目标左右图像构建优化的单应性矩阵HL和HR定义如下:
针对参考左右图像构建全局变形模型SL和SR定义如下:
其中,i,j和k表示匹配特征点的索引;m和n表示匹配特征线的索引;NL,NR和NO表示匹配特征点的数量;ρL和ρR表示匹配特征线的数量;表示输入左图像对中匹配特征点和匹配特征线的数量;表示输入右图像对中匹配特征点和匹配特征线的数量;表示中重叠区域的匹配特征点;表示中重叠区域的匹配特征点;表示预对齐的目标左右图像中匹配特征点的y坐标;表示预对齐的参考左右图像中匹配特征点的y坐标。
进一步地,所述多约束变形具体为:定义目标能量函数估计对齐图像的网格顶点,同时构造立体视差约束保持立体图像的视差一致性。
其中,所述立体视差约束定义如下:
其中,Ed(·)x表示水平视差约束,Ed(·)y表示垂直视差约束。
进一步地,所述水平视差约束具体为:保证对齐的左右图像的水平视差接近原始水平视差,水平视差约束Ed(·)x定义如下:
其中,p表示匹配点的索引;np表示特征点的顶点数;表示对齐的左右图像中顶点集的x坐标;d(vp)表示视差值。
其中,所述方法包括:构建视差一致项定义如下:
其中,s和t是两个对齐图像的重叠区域中的相邻像素;(ls,lt)表示像素(s,t)的标签,表示对齐的左右图像对。
本发明提供的技术方案的有益效果是:
1、本方法可以准确对齐立体图像,减少图像视觉失真的同时保持立体图像视差一致性,最终获得高质量的立体拼接图像;
2、本发明可以增强所获立体图像的清晰度和深度感。
附图说明
图1为一种立体图像拼接方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
实施例1
本发明实施例提出了一种立体图像拼接方法,参见图1,该方法由三个模型组成:视差最小化单应性模型用于预对齐左右图像并减小垂直视差;多约束变形模型进一步对齐左右图像,同时引入初始视差图保持立体图像视差一致性;视差一致的接缝选择和融合模型用于确定最佳接缝并进行立体图像拼接,最佳实施方式如下:
一、基于视差最小化单应性模型的预对齐
考虑到立体图像的垂直视差可以通过空间坐标中的特征点控制。因此,预对齐的目标左右图像的垂直视差可以通过最小化特征点之间的y坐标差异进行约束。此外,当仅从特征点估计单应性矩阵时,会丢失一些图像的重要结构信息。因此,引入特征线作为另一匹配线索进而获得优化的视差最小化单应性(本领域技术人员的专业术语,本发明实施例对此不做赘述)。本发明实施例设计了一种基于视差最小化单应性模型的预对齐方法。假设输入的左右图像对分别为针对目标左右图像构建优化的单应性矩阵HL和HR分别定义如下:
其中,i,j和k表示匹配特征点的索引;m和n表示匹配特征线的索引;NL,NR和NO表示匹配特征点的数量;ρL和ρR表示匹配特征线的数量;表示输入左图像对中匹配特征点和匹配特征线的数量;表示输入右图像对中匹配特征点和匹配特征线的数量;表示中重叠区域的匹配特征点;表示中重叠区域的匹配特征点。表示预对齐的目标左右图像中匹配特征点的y坐标。
为了进一步减少全局对齐失真,保留全局图像结构。本发明实施例设计了全局变形模型旨在预对齐参考图像。考虑在对齐参考图像时容易产生垂直视差,因此在全局变形中引入垂直视差约束。针对参考左右图像构建全局变形模型SL和SR分别定义如下:
其中,i和j表示匹配特征点的索引;表示预对齐的参考左右图像中匹配特征点的y坐标。最后通过G=S(H)-1获得最终的参考左右图像的变形,其中S 为全局变形模型,H为单应性矩阵。
二、基于多约束变形模型的对齐
在预对齐处理之后,仍存在一些未对齐区域和不准确的垂直视差。为了进一步保持视差一致性并消除形状失真,本发明实施例设计了一种基于多约束变形模型的对齐方法。该模型定义了目标能量函数估计对齐图像的网格顶点,同时构造立体视差约束保持立体图像的视差一致性。该模型包括三个约束,即立体视差约束、全局相似约束以及平滑约束。总能量函数E定义如下:
其中,Ed表示立体视差约束;Eg表示全局相似约束;Es表示平滑约束。表示对齐的左右图像中未知的顶点集合,表示对齐的左右图像中未知的顶点。
立体视差约束包括:水平视差约束和垂直视差约束。其中,水平视差约束用来控制生成的深度感知并尽量保持原始深度感知分布。垂直视差约束用于减小变形后的垂直视差并防止视觉疲劳。立体视差约束Ed定义如下:
其中,Ed(·)x表示水平视差约束,Ed(·)y表示垂直视差约束。
其中,水平视差约束可以保证对齐的左右图像的水平视差接近原始水平视差。水平视差约束Ed(·)x定义如下:
其中,p表示匹配点的索引;np表示特征点的顶点数;表示对齐的左右图像中顶点集的x坐标;d(vp)表示视差值。
其中,垂直视差约束可以最小化对齐的左右图像中的网格顶点之间的y坐标差异。垂直视差约束Ed(·)y定义如下:
其中,表示对齐的左右图像中顶点集的y坐标。
另外,引入全局相似性约束确保对齐图像中没有特征匹配关系的区域与预对齐图像中相对应的区域尽可能一致,同时引入平滑约束尽可能保证对齐图像表面平滑。
三、视差一致的接缝选择和融合
为了消除由拼接图像中的局部未对齐产生的伪影,本发明实施例设计了一种视差一致的接缝选择和融合模型以获得最终的拼接立体图像。通常,传统的切缝方法通过构造数据项和平滑项寻找两个图像之间具有最小差异的接缝。但是,传统方法在融合立体图像时没有考虑左右图像之间的视差信息。因此,本发明实施例设计了视差一致的接缝选择和融合模型,主要包括三个约束项,即视差一致项、数据项和平滑项。总的能量函数Eseam定义如下:
Eseam(l)=Edis(l)+Edata(l)+Esmo(l)
其中,Edis表示视差一致项;Edata表示数据项;Esmo表示平滑项。
对于视差一致项,本发明实施例希望对齐的参考图像中的接缝中或接缝周围的每个像素的视差接近于对齐的目标图像中每个像素的视差。假设两个对齐图像的重叠区域被定义为一个集合,集合内的每个像素分配标签ls,其值为1或2,其中‘1’对应‘2’对应如果集合内的两个相邻像素s和t采用不同的标记,则之间的视差应该沿着接缝尽可能小。因此,视差一致项Edis定义如下:
其中,s和t是两个对齐图像的重叠区域中的相邻像素;(ls,lt)表示像素(s,t)的标签,表示对齐的左右图像对。此外,数据项和平滑项计算与论文[1]中定义相同。
最后通过图割最大流方法找到满足两个图像之间的最小切缝能量函数的高质量接缝。同时,采用多频带融合方法融合左右图像,以减少拼接图像中的未对齐区域并消除接缝的不连续性。通过上述步骤,可以获得拼接的左右图像并将其合成拼接立体图像。
实施例2
下面对实施例1中的方案进行可行性验证,详见下文描述:
表1给出了立体图像拼接结果的平均垂直视差对比结果,对比算法包括:APAP和CSPS,其中APAP是平面图像拼接算法,CSPS是立体图像拼接算法。平均垂直视差越小, 3D视觉体验越高。由表1可以看出,本发明实施例的平均垂直视差值小于APAP算法,证明了立体图像拼接中视差约束的有效性。此外,CSPS算法在保持视差一致性方面比本发明实施例表现差。主要由于CSPS算法存在形状失真,容易产生垂直视差。从表1中可以看出,受益于多阶段变形的优化对齐和立体图像的视差信息的组合,本发明实施例可以有效地避免视觉失真并保持视差一致性,进一步增强所获立体图像的清晰度及深度感。
表1平均垂直视差(/像素)
参考文献
[1]N.Li,T.Liao,and C.Wang,“Perception-based energy functions in seam-cutting,”Signal Image and Video Processing,vol.12,no.5,pp.1-8,2018.
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种立体图像拼接方法,其特征在于,所述方法包括以下步骤:
输入左右立体图像,通过视差最小化单应性预对齐左右图像并减小垂直视差;
通过多约束变形进一步对齐左右图像,同时引入初始视差图保持立体图像视差一致性;
基于视差一致的接缝选择和融合确定最佳接缝并进行立体图像拼接。
2.根据权利要求1所述的一种立体图像拼接方法,其特征在于,所述通过视差最小化单应性预对齐左右图像并减小垂直视差具体为:
针对目标左右图像构建优化的单应性矩阵HL和HR定义如下:
针对参考左右图像构建全局变形模型SL和SR定义如下:
其中,i,j和k表示匹配特征点的索引;m和n表示匹配特征线的索引;NL,NR和NO表示匹配特征点的数量;ρL和ρR表示匹配特征线的数量;表示输入左图像对中匹配特征点和匹配特征线的数量;表示输入右图像对中匹配特征点和匹配特征线的数量;表示中重叠区域的匹配特征点;表示中重叠区域的匹配特征点;表示预对齐的目标左右图像中匹配特征点的y坐标;
表示预对齐的参考左右图像中匹配特征点的y坐标。
3.根据权利要求1所述的一种立体图像拼接方法,其特征在于,所述多约束变形具体为:定义目标能量函数估计对齐图像的网格顶点,同时构造立体视差约束保持立体图像的视差一致性。
4.根据权利要求3所述的一种立体图像拼接方法,其特征在于,所述立体视差约束定义如下:
其中,Ed(·)x表示水平视差约束,Ed(·)y表示垂直视差约束。
5.根据权利要求4所述的一种立体图像拼接方法,其特征在于,所述水平视差约束具体为:保证对齐的左右图像的水平视差接近原始水平视差,水平视差约束Ed(·)x定义如下:
其中,p表示匹配点的索引;np表示特征点的顶点数;表示对齐的左右图像中顶点集的x坐标;d(vp)表示视差值。
6.根据权利要求1所述的一种立体图像拼接方法,其特征在于,所述方法包括:构建视差一致项,定义如下:
其中,s和t是两个对齐图像的重叠区域中的相邻像素;(ls,lt)表示像素(s,t)的标签,表示对齐的左右图像对。
CN201910336176.7A 2019-04-24 2019-04-24 一种立体图像拼接方法 Active CN110111255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910336176.7A CN110111255B (zh) 2019-04-24 2019-04-24 一种立体图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910336176.7A CN110111255B (zh) 2019-04-24 2019-04-24 一种立体图像拼接方法

Publications (2)

Publication Number Publication Date
CN110111255A true CN110111255A (zh) 2019-08-09
CN110111255B CN110111255B (zh) 2023-02-28

Family

ID=67486643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910336176.7A Active CN110111255B (zh) 2019-04-24 2019-04-24 一种立体图像拼接方法

Country Status (1)

Country Link
CN (1) CN110111255B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260597A (zh) * 2020-01-10 2020-06-09 大连理工大学 一种多波段立体相机的视差图像融合方法
CN112508781A (zh) * 2020-08-10 2021-03-16 成都西图科技有限公司 一种大视差岩心图像拼接方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150195510A1 (en) * 2014-01-08 2015-07-09 Beihang University Method of integrating binocular stereo video scenes with maintaining time consistency
CN105678687A (zh) * 2015-12-29 2016-06-15 天津大学 基于图像内容的立体图像拼接方法
CN107767339A (zh) * 2017-10-12 2018-03-06 深圳市未来媒体技术研究院 一种双目立体图像拼接方法
CN108470324A (zh) * 2018-03-21 2018-08-31 深圳市未来媒体技术研究院 一种鲁棒的双目立体图像拼接方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150195510A1 (en) * 2014-01-08 2015-07-09 Beihang University Method of integrating binocular stereo video scenes with maintaining time consistency
CN105678687A (zh) * 2015-12-29 2016-06-15 天津大学 基于图像内容的立体图像拼接方法
CN107767339A (zh) * 2017-10-12 2018-03-06 深圳市未来媒体技术研究院 一种双目立体图像拼接方法
CN108470324A (zh) * 2018-03-21 2018-08-31 深圳市未来媒体技术研究院 一种鲁棒的双目立体图像拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘健: "自由视角图像配准与拼接方法的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
阎维青: "基于内容的立体图像编辑方法研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260597A (zh) * 2020-01-10 2020-06-09 大连理工大学 一种多波段立体相机的视差图像融合方法
CN111260597B (zh) * 2020-01-10 2021-12-03 大连理工大学 一种多波段立体相机的视差图像融合方法
CN112508781A (zh) * 2020-08-10 2021-03-16 成都西图科技有限公司 一种大视差岩心图像拼接方法
CN112508781B (zh) * 2020-08-10 2023-06-09 成都西图科技有限公司 一种大视差岩心图像拼接方法

Also Published As

Publication number Publication date
CN110111255B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
US9438878B2 (en) Method of converting 2D video to 3D video using 3D object models
JP5340952B2 (ja) 三次元投影ディスプレイ
CN102968809B (zh) 在增强现实领域实现虚拟信息标注及绘制标注线的方法
US20100085423A1 (en) Stereoscopic imaging
EP3607530B1 (en) System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display
JP2006325165A (ja) テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法
CN110211043A (zh) 一种用于全景图像拼接的基于网格优化的配准方法
JP2008090617A (ja) 立体画像生成装置、方法およびプログラム
KR100897542B1 (ko) 임의 시점 영상 합성 시 영상 보정 방법 및 장치
CN108470324A (zh) 一种鲁棒的双目立体图像拼接方法
CN109769110B (zh) 一种3d小行星动态图的生成方法、装置及便携式终端
CN108648264A (zh) 基于运动恢复的水下场景重建方法及存储介质
Bleyer et al. Temporally consistent disparity maps from uncalibrated stereo videos
CA2540538C (en) Stereoscopic imaging
CN110111255A (zh) 一种立体图像拼接方法
CN113253845A (zh) 一种基于人眼追踪视图显示方法、装置、介质及电子设备
CN114926612A (zh) 空中全景图像处理与沉浸式显示系统
CN107197135A (zh) 一种视频生成方法、播放方法及视频生成装置、播放装置
Knorr et al. An image-based rendering (ibr) approach for realistic stereo view synthesis of tv broadcast based on structure from motion
Fu et al. Image Stitching Techniques Applied to Plane or 3D Models: A Review
CN115482339A (zh) 人脸五官贴图生成方法
Nam et al. An efficient algorithm for generating harmonized stereoscopic 360° VR images
CN111899293B (zh) Ar应用中的虚实遮挡处理方法
Gurrieri et al. Efficient panoramic sampling of real-world environments for image-based stereoscopic telepresence
Calagari et al. Sports VR content generation from regular camera feeds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant