CN110930310B - 全景图像拼接方法 - Google Patents
全景图像拼接方法 Download PDFInfo
- Publication number
- CN110930310B CN110930310B CN201911250623.3A CN201911250623A CN110930310B CN 110930310 B CN110930310 B CN 110930310B CN 201911250623 A CN201911250623 A CN 201911250623A CN 110930310 B CN110930310 B CN 110930310B
- Authority
- CN
- China
- Prior art keywords
- image
- spliced
- layer
- depth
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000009466 transformation Effects 0.000 claims abstract description 35
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种全景图像拼接方法，包括：提取待拼接图像A与待拼接图像B的特征点，并进行特征匹配，利用待拼接图像B的深度信息为匹配后的特征点按深度分层，并计算各层的变换矩阵，从而对待拼接图像B进行变换，获得多幅候选拼接图像；利用待拼接图像B的深度信息获取指引图，计算每一幅候选拼接图像与图像A的缝合线，从幅候选拼接图像中选出与图像A的对齐部分，将对齐部分迭代式与图像A结合起来得到最终的拼接结果。该方法能够更为有效的解决视差问题引起的鬼影，提升了拼接效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种全景图像拼接方法。
背景技术
全景图像拼接方法以AutoStitch(Brown,M.,Lowe,D.G.:Automatic panoramicimage stitching using invariant fea-tures.International journal of computervision 74(1),59–73(2007))为里程碑，各路拼接软件和应用也应运而生，如opencv中的stitcher类、Image Composite Editor(ICM)、PTGui。但由于拍摄时经常会有视差的存在，导致AutoStitch方法无法将图像重叠区域完全对齐，从而导致拼接结果出现鬼影。
后续方法主要从两个方面来缓解该问题。
一方面，以重叠区域对得更齐为目标，对于该方面：通过增加变换矩阵的个数来实现更好的对齐，例如，Zaragoza等人提出的方法(Zaragoza,J.,Chin,T.J.,Brown,M.S.,Suter,D.:As-projective-as-possible image stitching with moving dlt.In:Computer Vision and Pattern Recognition(CVPR),2013IEEE Conference on.pp.2339–2346.IEEE(2013))、Gao等人提出的方法(Gao,J.,Kim,S.J.,Brown,M.S.:Constructingimage panoramas using dual-homography warping.In:Computer Vision and PatternRecognition(CVPR),2011IEEE Conference on.pp.49–56.IEEE(2011))。或者，借鉴视频去抖的方法，通过引入局部变形来实现更好的对齐。例如，Zhang等人提出的方法(Zhang,F.,Liu,F.:Parallax-tolerant image stitching.In:Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.pp.3262–3269(2014))。
另一方面，以后处理来缓解鬼影的产生，对于该方面：在重叠区域寻找一条合适的缝合线，使得线两边内容分别来自放在同一块画布上的左图和右图。例如，Gao等人提出的方法(Gao J,Li Y,Chin T J,et al.Seam-Driven Image Stitching[C]//Eurographics(Short Papers).2013:45-48)。
将以上两个方面结合起来的方法：Lin K等人提出的方法(Lin K,Jiang N,CheongL F,et al.Seagull:Seam-guided local alignment for parallax-tolerant imagestitching[C]//European Conference on Computer Vision.Springer,Cham,2016:370-385)。
然而，对于第一个方面，尽管其相对只用一个变换矩阵的方法能更好的对齐重叠区域，但对于大视差情况依旧无能为力。对于第二个方面，由于其只需要找一条看不出拼接痕迹的缝合线即可，故容易出现同一个物体被复制的拼接结果。对于将以上两个方面结合的情况，通过加强重叠区域局部对齐能力，使得复制现象得到缓解，但由于网格优化增强对齐能力有限，当场景深度范围较大时，仍无法保证拼接结果较优。
发明内容
本发明的目的是提供一种全景图像拼接方法，能够更为有效的解决视差问题引起的鬼影，提升了拼接效果。
本发明的目的是通过以下技术方案实现的：
一种全景图像拼接方法，包括：
提取待拼接图像A与待拼接图像B的特征点，并进行特征匹配，利用待拼接图像B的深度信息为匹配后的特征点按深度分层，并计算各层的变换矩阵，从而对待拼接图像B进行变换，获得多幅候选拼接图像；
利用待拼接图像B的深度信息获取指引图，计算每一幅候选拼接图像与图像A的缝合线，从每幅候选拼接图像中选出与图像A的对齐部分，将对齐部分迭代式与图像A结合起来得到最终的拼接结果。
由上述本发明提供的技术方案可以看出，利用深度信息得到多个变换矩阵，能从本质上解决视差问题引起的鬼影问题。此外，利用深度信息得到的指引图，从多个候选拼接图中寻找合适的部分作为最终的拼接结果，这样一种缝合线的寻找方式相较于传统缝合线寻找方式更适合本拼接方法。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种全景图像拼接方法的流程图；
图2为本发明实施例提供的本发明与传统方案拼接过程示意图；
图3为本发明实施例提供的左图像与右图像出现了明显的视角变形的示意图；
图4为本发明实施例提供的拼接存在前景物体复制的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种全景图像拼接方法，如图1所示，其主要包括：图像变换与图像合成两部分。
1、图像变换。
提取待拼接图像A与待拼接图像B的特征点，并进行特征匹配，利用待拼接图像B的深度信息为匹配后的特征点按深度分层，并计算各层的变换矩阵，从而对待拼接图像B进行变换，获得多幅候选拼接图像。
本发明实施例中，待拼接图像A与待拼接图像B是指待拼接左图像与待拼接右图像。深度信息指的是能对图像场景深度进行区分的信息((大致深度分布即可，不要求太高的精度))，比如深度图。如果将右图像往左图像上拼，则使用待拼接右图像的深度信息；如果将左图像往右图像上拼，则使用待拼接左图像的深度信息。
图像变换部分，相较于传统拼接流程最特殊的地方在于多了特征点按深度分层这一步，这一步要利用深度信息，按特征点所在的深度层次对特征点赋予相应的深度标签。同一标签的特征点可以计算出各自的变换矩阵，从而能够输出经过不同变换后的图像(多幅候选拼接图像)，这样能够从本质上解决视差问题引起的鬼影问题。
2、图像合成。
我们在传统缝合线寻找方法的能量函数基础上，多加入一项深度约束，然后求解该能量函数的最优解。即利用待拼接图像B的深度信息获取指引图，计算每一幅候选拼接图像(将图像B经过不同的变换得到的)与图像A的缝合线，从每幅候选拼接图像中选出与图像A的对齐部分，将对齐部分迭代式与图像A结合起来得到最终的拼接结果。
传统的缝合线寻找算法的能量函数一般为：
其中L＝{0,1}，L(p)表示像素p处的标签值。Ed是数据项，主要保证像素p处被赋予标签值后与原本观测值保持一致。Es是平滑项，主要保证像素p的四邻域像素q的标签值一致。
我们加入深度约束项Ew后，该能量函数为：
加入的深度约束项主要是保证了能将每一幅候选拼接图像(将图像B经过不同的变换得到的)与图像A对齐的部分作为最终拼接结果的一部分。
本发明实施例中，通过深度信息生成相应的指引图，在指引图的指引下，可以从待拼接图像A与多幅候选拼接图像中找到相应的缝合线，从而组成最终的拼接结果，这样一种缝合线的寻找方式相较于传统缝合线寻找方式更适合本拼接方法，能够最大程度去除图像的鬼影现象，更大提升了图像拼接效果。
为了便于理解，下面针对本发明做进一步介绍。
如图2所示，示出了本发明与传统方案拼接过程，此处以右图像往左图像上拼为例。
首先，利用深度信息对匹配好的特征点进行深度分层(图2以四个深度层次为例)。然后，对不同的深度层次的特征点分别使用RANSAC算法(此过程使用的方法包括但不限于RANSAC算法)，找出各深度层次最优的变换矩阵，并对右图像进行相应的变换(图中得到2张变换后的右图)。最后，对变换后的右图像做缝合线后处理，即利用从深度信息中获得的指引图，在变换后的右图像和左图像中找到相应的部分组成最终的拼接结果。从这个过程可以看出：相对应于传统方案而言，本发明引入了深度信息，在前两步实现了对得更齐的目的，最后一步通过对传统拼接算法改造，达到适用于本拼接方法的目的。具体过程如下：
1、利用深度信息对匹配好的特征点进行深度分层。
1)对深度信息进行统计与聚类(示例性的，可以使用灰度值统计与相应的聚类算法)，得到深度层次数layer和从属于每层的像素点位置。
2)根据深度层次数layer，创建layer个值全为0的掩膜，将从属每层的像素点位置对应到相应层的掩膜中，使相应位置处的值为1，获得一个二值掩膜。
如图2所示，给出了layer＝4的示例。
3)对待拼接的两幅图像用SIFT提取特征点(也可以采用其他形式提取相应类型的特征点)，并进行特征点匹配。
4)根据二值掩膜，对匹配后的特征点按深度分层。
2、对不同的深度层次的特征点分别使用RANSAC算法，找出各深度层次最优的变换矩阵，并对右图像进行相应的变换。
1)对于每一层的特征点，分别使用RANSAC算法计算出多个变换矩阵，并选出一个满足特征点数目最多的变换矩阵，则得到layer个变换矩阵。
2)根据layer个变换矩阵，对待拼接图像B进行变换(本示例中为右图像)，得到layer个候选拼接图像。
3、对变换后的右图像做缝合线后处理。
1)创建一个和候选拼接图像同样大小的空白图像；
2)根据layer个掩膜信息，在空白图像上增加笔触信息，得到一副指引图。
3)根据指引图、候选拼接图像和左图像，用graph cut算法得到多条缝合线(包括但不限于graphcut)，得到最终的拼接结果。
另一方面，实现对一些特殊场景的拼接，可以根据场景情况做相应改变。
当待拼接图像A与待拼接图像B的视角差距超过阈值时(即视差较大)，会出现严重的视角变形，如图3所示，左图像与右图像出现了明显的视角变形。
此时需要通过下述公式对变换矩阵做相应修改：
Hk′＝γHk+(1-γ)Hlayer
其中，Hk表示第k个深度层次的变换矩阵，Hlayer表示最深层次的变换矩阵，Hk′表示第k个深度层次修改后的变换矩阵，k∈{1,2,…,layer}，γ表示权重，γ∈(0,1)。
此外，当待拼接图像A与待拼接图像B的视角差距超过阈值时(即视差较大)，如果场景中有明显的前景物体，并且该物体所占的区域面积并不大(说明前景物体上的特征点不够多)，也即前景物体所占的区域面积没有超过整个图像的设定比例，那么通过特征点匹配计算的homograpy(单应性矩阵)只能将背景区域对齐，而前景物体会由于背景的对齐而发生复制，如图4。这时，通过深度信息能大致锁定该前景物体的位置，只需在缝合线算法的能量函数中多加入一个惩罚项，使得前景位置处的内容只能来自于同一幅图像，从而避免复制问题。
通过以上简单的修改就可以实现对一些特殊场景的拼接，说明该方法具有一定的鲁棒性。
值得注意的是，文中所涉及的阈值、设定比例等对应的具体数值可以由工作人员根据实际情况自行设定。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (2)
1.一种全景图像拼接方法，其特征在于，包括：
提取待拼接图像A与待拼接图像B的特征点，并进行特征匹配，利用待拼接图像B的深度信息为匹配后的特征点按深度分层，并计算各层的变换矩阵，从而对待拼接图像B进行变换，获得多幅候选拼接图像；
利用待拼接图像B的深度信息获取指引图，计算每一幅候选拼接图像与图像A的缝合线，从每幅候选拼接图像中选出与图像A的对齐部分，将对齐部分迭代式与图像A结合起来得到最终的拼接结果；
利用待拼接图像B的深度信息为匹配后的特征点按深度分层包括：
对深度信息进行统计与聚类，得到深度层次数layer和从属于每层的像素点位置；
根据深度层次数layer，创建layer个值全为0的掩膜，将从属每层的像素点位置对应到相应层的掩膜中，使相应位置处的值为1，获得一个二值掩膜；
根据二值掩膜，对匹配后的特征点按深度分层；
所述计算各层的变换矩阵，从而对待拼接图像B进行变换包括：
对于每一层的特征点，分别计算出多个变换矩阵，并选出一个满足特征点数目最多的变换矩阵，则得到layer个变换矩阵；其中，layer为深度层次数；
根据layer个变换矩阵，对待拼接图像B进行变换，得到layer个候选拼接图像；
当待拼接图像A与待拼接图像B的视角差距超过阈值时，对变换矩阵进行修改：
Hk′＝γHk+(1-γ)Hlayer
其中，Hk表示第k个深度层次的变换矩阵，Hlayer表示最深层次的变换矩阵，Hk′表示第k个深度层次修改后的变换矩阵，k∈{1,2,…,layer}，γ表示权重，γ∈(0,1)。
2.根据权利要求1所述的一种全景图像拼接方法，其特征在于，所述利用待拼接图像B的深度信息获取指引图包括：
创建一个和候选拼接图像同样大小的空白图像；
根据layer个掩膜信息，在空白图像上增加笔触信息，得到一副指引图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911250623.3A CN110930310B (zh) | 2019-12-09 | 2019-12-09 | 全景图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911250623.3A CN110930310B (zh) | 2019-12-09 | 2019-12-09 | 全景图像拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110930310A CN110930310A (zh) | 2020-03-27 |
| CN110930310B true CN110930310B (zh) | 2023-04-07 |
Family
ID=69858532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911250623.3A Active CN110930310B (zh) | 2019-12-09 | 2019-12-09 | 全景图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110930310B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111898668A (zh) * | 2020-07-24 | 2020-11-06 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的小目标物体检测方法 |
| CN112734904A (zh) * | 2020-12-29 | 2021-04-30 | 中国船舶重工集团公司第七0九研究所 | 警用便携式快速图像拼接处理系统 |
| CN113096018B (zh) * | 2021-04-20 | 2022-09-20 | 广东省智能机器人研究院 | 一种航拍图像拼接方法和系统 |
| CN116437205B (zh) * | 2023-06-02 | 2023-08-11 | 华中科技大学 | 一种多视点多焦距成像的景深拓展方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104519340A (zh) * | 2014-12-30 | 2015-04-15 | 余俊池 | 基于多深度图像变换矩阵的全景视频拼接方法 |
| WO2016086754A1 (zh) * | 2014-12-03 | 2016-06-09 | 中国矿业大学 | 一种大场景视频图像拼接方法 |
| CN107578376A (zh) * | 2017-08-29 | 2018-01-12 | 北京邮电大学 | 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法 |
| CN108921781A (zh) * | 2018-05-07 | 2018-11-30 | 清华大学深圳研究生院 | 一种基于深度的光场拼接方法 |
| CN109658370A (zh) * | 2018-11-29 | 2019-04-19 | 天津大学 | 基于混合变换的图像拼接方法 |
| CN110264403A (zh) * | 2019-06-13 | 2019-09-20 | 中国科学技术大学 | 一种基于图像深度分层的去伪影图像拼接方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010075726A1 (zh) * | 2008-12-30 | 2010-07-08 | 华为终端有限公司 | 立体全景视频流生成方法、设备及视频会议方法和设备 |
| CN106991645B (zh) * | 2017-03-22 | 2018-09-28 | 腾讯科技（深圳）有限公司 | 图像拼接方法及装置 |
-
2019
- 2019-12-09 CN CN201911250623.3A patent/CN110930310B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016086754A1 (zh) * | 2014-12-03 | 2016-06-09 | 中国矿业大学 | 一种大场景视频图像拼接方法 |
| CN104519340A (zh) * | 2014-12-30 | 2015-04-15 | 余俊池 | 基于多深度图像变换矩阵的全景视频拼接方法 |
| CN107578376A (zh) * | 2017-08-29 | 2018-01-12 | 北京邮电大学 | 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法 |
| CN108921781A (zh) * | 2018-05-07 | 2018-11-30 | 清华大学深圳研究生院 | 一种基于深度的光场拼接方法 |
| CN109658370A (zh) * | 2018-11-29 | 2019-04-19 | 天津大学 | 基于混合变换的图像拼接方法 |
| CN110264403A (zh) * | 2019-06-13 | 2019-09-20 | 中国科学技术大学 | 一种基于图像深度分层的去伪影图像拼接方法 |
Non-Patent Citations (2)
| Title |
|---|
| 何川 ; 周军 ; .具有直线结构保护的网格化图像拼接.中国图象图形学报.2018,(07),全文. * |
| 张乐 ; .基于单应性矩阵的图像拼接方法的对比分析.科技视界.2016,(06),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110930310A (zh) | 2020-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110930310B (zh) | 全景图像拼接方法 | |
| Guo et al. | Progressive image inpainting with full-resolution residual network | |
| US7577314B2 (en) | Method and apparatus for generating a panorama background from a set of images | |
| US8422731B2 (en) | System, method, and apparatus for video fingerprinting | |
| US11270415B2 (en) | Image inpainting with geometric and photometric transformations | |
| US20150029222A1 (en) | Dynamically configuring an image processing function | |
| Fang et al. | Fast color blending for seamless image stitching | |
| Zhu et al. | Faithful completion of images of scenic landmarks using internet images | |
| Ilan et al. | A Survey on Data‐Driven Video Completion | |
| CN111127353A (zh) | 一种基于块配准和匹配的高动态图像去鬼影方法 | |
| Li et al. | Global color consistency correction for large-scale images in 3-D reconstruction | |
| Li et al. | Contrast-aware color consistency correction for multiple images | |
| Tsurusaki et al. | Sports camera calibration using flexible intersection selection and refinement | |
| Li et al. | Reference-guided landmark image inpainting with deep feature matching | |
| KR20220101565A (ko) | 360도 영상 스티칭 장치 및 방법 | |
| Zhi et al. | Structure guided photorealistic style transfer | |
| He et al. | Darkfeat: noise-robust feature detector and descriptor for extremely low-light raw images | |
| Zhang et al. | Object-aware ghost identification and elimination for dynamic scene mosaic | |
| Mirkamali et al. | Depth-wise image inpainting | |
| Liu et al. | WRAP: Watermarking Approach Robust Against Film-coating upon Printed Photographs | |
| Lu et al. | Rational function model based color correction in image stitching applications | |
| CN116129117B (zh) | 基于多头注意力的声呐小目标半监督语义分割方法及系统 | |
| Fan et al. | Paper stitching using maximum tolerant seam under local distortions | |
| Yao | Image mosaic based on SIFT and deformation propagation | |
| Yao et al. | An Optimal Threshold Registration Algorithm of UAV Color Images Based on SURF |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |