CN109389555B - 一种全景图像拼接方法及装置 - Google Patents

一种全景图像拼接方法及装置 Download PDF

Info

Publication number
CN109389555B
CN109389555B CN201811071685.3A CN201811071685A CN109389555B CN 109389555 B CN109389555 B CN 109389555B CN 201811071685 A CN201811071685 A CN 201811071685A CN 109389555 B CN109389555 B CN 109389555B
Authority
CN
China
Prior art keywords
local
spliced
grid
images
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811071685.3A
Other languages
English (en)
Other versions
CN109389555A (zh
Inventor
商慧亮
潘峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201811071685.3A priority Critical patent/CN109389555B/zh
Publication of CN109389555A publication Critical patent/CN109389555A/zh
Application granted granted Critical
Publication of CN109389555B publication Critical patent/CN109389555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种全景图像拼接方法,包括:步骤一,分别对待拼接的两幅图像进行特征点提取,并对得到的两组关键点集合进行匹配,得到被匹配的特征点对集;步骤二,把图像划分为N*N的网格,通过自适应的局部单应估计进行局部对准,得到局部单应矩阵集;步骤三,在每个被划分的网格上都运行RANSAC算法,并根据每个网格的中心离特征点的距离,对特征点进行加权来计算局部单应矩阵到每个加权后的特征点的距离,然后选取合适的阈值得到网格的局部一致集;步骤四,采用非线性最小二乘法最小化图像特征点的重投影误差;步骤五,将图像进行像素融合。本发明的方法可以在摄像机非纯旋转或者整个拼接场景不是一个平面的条件下,拼接出自然的全景图像。

Description

一种全景图像拼接方法及装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种全景图像拼接方法及装置。
背景技术
现有技术中的全景拼接方法采用一个全局单应矩阵,即以一个单应矩阵来表示输入的图像之间的透视变换关系。以两个图像拼接为例,首先获的两个图像的匹配特征点,所谓匹配特征点即两特征点在空间上表示同一点。然后根据获取的匹配特征点,求解单应矩阵,最后,根据该单应矩阵将其中一幅图像上的所有像素点进行变换,确定在另一幅图像所在平面的对应位置,即得到两幅图的拼接结果。然后再对图像进行颜色融合等处理,得到较好的拼接图。但是这种拼接方法只能适用于摄像机纯旋转或者整个拼接场景是一个平面的条件下拍摄的图像。如果不能满足上述的条件则拼接出的全景图像会出现明显的模糊或者重影。目前,为了解决上述问题,一般的方法是引入如增益补偿技术、多带像素融合、羽化等后处理技术来尽可能地消除重影。但是,这些后处理技术会占用大量的计算资源,且影响用户的体验。
为此,本发明提出了一种新的全景图像拼接方法及装置,可以在摄像机非纯旋转或者整个拼接场景不是一个平面的条件下,拼接出自然的全景图像。
发明内容
本发明提供了一种全景图像拼接方法及装置,该方法能够在摄像机非纯旋转、存在位移时对多个图像进行很好的处理,使得拼接的图像畸变产生率降低。
为了实现上述目的,根据本发明的一个方面,提供了一种全景图像拼接方法,包括步骤:步骤一,分别对待拼接的两幅图像进行特征点提取,并对得到的两组关键点集合进行匹配,得到被匹配的特征点对集;步骤二,把待拼接的两幅图像划分为N*N的网格,通过自适应的局部单应估计进行局部对准,得到局部单应矩阵集;步骤三,在每个被划分的网格上都运行RANSAC算法,并根据每个网格的中心离特征点的距离对特征点进行加权来计算局部单应矩阵到每个加权后的特征点的距离,然后选取合适的阈值得到网格的局部一致集;步骤四,采用非线性最小二乘法最小化图像特征点的重投影误差;以及步骤五,将待拼接的两幅图像进行像素融合。
优选地,自适应的局部单应估计为针对不同的内点特征自动地拟合出它服从的最优局部单应。
优选地,特征点提取采用RootSIFT算法。
优选地,步骤三中,在每个被划分的网格上都运行RANSAC算法时,采用能够加速局部RANSAC的半随机采样的方法,半随机采样的方法包括以下步骤:步骤一,根据特征点对匹配分数的高低对所有的特征点对进行排序;步骤二,定义一个用于指定数据子集大小的生长函数;以及步骤三,在数据子集中随机采样三对匹配的数据点,然后根据生长函数给出的索引再采样一个相应的点对。
优选地,用于排序的所述匹配分数根据RootSIFT的描述子相似度来定义。
优选地,半随机采样的过程为:定义一个增长函数G(n),n=4,5,6,7,...,N,其中N为所有的特征点对的数目;数据子集的大小为所述增长函数G(n)的上取整;以及在数据子集中随机采样三对匹配的数据点。
优选地,步骤三中,在每个被划分的网格上都运行RANSAC算法后,还包括使用LOSAC来优化RANSAC每一次迭代结果的步骤,所述LOSAC为在当前找到的所有局部一致集里面运行一次内部RANSAC。
优选地,LOSAC步骤包括:步骤一,判断局部一致集是否为目前最好的,如果否,则进入下一次RANSAC循环;如果是,则进行一次随机采样,此时的样本数目不必再限于最小样本数目;步骤二,采用最小二乘法拟合出一个由采样数据生成的单应矩阵;步骤三,使用单应矩阵计算新的局部一致集,返回步骤一。
根据本发明的另一个方面,提供了一种全景图像拼接装置,所述全景图像拼接装置包括:提取单元,用于分别对待拼接的两幅图像进行特征点提取,并对得到的两组关键点集合进行匹配,得到被匹配的特征点对集;局部对准单元,用于把待拼接的两幅图像划分为N*N的网格,并通过自适应的局部单应估计进行局部对准,得到局部单应矩阵集;计算单元,用于在每个被划分的网格上都运行RANSAC算法,并根据每个网格的中心离特征点的距离对特征点进行加权,来计算局部单应矩阵到每个加权后的特征点的距离;构建单元,用于构建所述多个矩形区域的顶点坐标的全局能量函数,并优化全局能量函数以得到最符合特征点分布的局部单应集合,然后选取合适的阈值得到网格的局部一致集;优化单元,采用非线性最小二乘法最小化图像特征点的重投影误差;以及拼接单元,用于将经过所述变换单元得到所述多幅变换后的待拼接图像进行像素融合。
本发明的优点在于:(1)通过在拼接流程中的图像配准阶段做出了改进,将使用一个全局摄影变化矩阵(单应矩阵)来对准两幅图片,变换为使用局部自适应的单应矩阵来对准两幅图片,使得像素的内插能够尽可能得贴近局部图像特征点的分布,同时又能使像素外插保持全局射影的趋势,因此能够克服视差效应的不利影响。(2)由于自适应局部单应是建立在APAP变换的基础上,且针对不同的局部单应自适应地筛选出对应的局部内点特征,而不再是像APAP那样采用统一的全局外点特征,因此,规避了相机位移后带来的视差效应,改善了有视差场景下的拼接效果,且不需要繁琐的后处理技术就可以得到较为自然的全景。
附图说明
在下文中将基于实施例并参考附图来对本发明进行更详细的描述。其中:
图1为本发明一种实施方式的全景图像拼接方法流程图;
图2为本发明一种实施方式的局部单应估计算法的流程图。
在附图中,相同的部件使用相同的附图标记。附图并未按照实际的比例。
具体实施方式
下面将结合附图对本发明作进一步说明。
图1为本发明一种实施方式的全景图像拼接方法流程图。首先,采用RootSIFT算法分别对待拼接的两幅图像进行特征点提取,并对得到的两组关键点集合进行匹配,得到被匹配的特征点对集。RootSIFT将特征匹配中的相似度度量方式由欧氏距离改为了Hellinger核,在一定程度上减少了误匹配的发生,同时使得匹配算法对仿射失真的抵抗力显著增强。最重要的是Hellinger对描述子向量进行了L1归一化,可以显著提高运算速度进而加速特征匹配的过程。
之后,把待拼接的两幅图像划分为N*N的网格,通过自适应的局部单应估计进行局部对准,得到局部单应矩阵集。在这种情况下,图像配准阶段由传统的全局射影变换改为了自适应局部单应。具体地,本发明的自适应的局部单应估计的想法来源于APAP配准的思想,即,通过把图像划分为网格集合然后进行局部对准的思想。但APAP配准存在的问题是采用的内点特征仍然服从于全局射影变换,而本发明中的自适应局部单应,其选用的内点特征是服从于局部单应。这样,使得像素的内插能够尽可能得贴近局部图像特征点的分布,同时又能使像素外插保持全局射影的趋势,因此能够克服视差效应的不利影响。
为了防止图像特征匹配算法给出误匹配的结果,在每个被划分的网格上都运行RANSAC算法。RANSAC是一个迭代算法,其基本思想是随机采样一个最小样本拟合出相应的模型,然后在数据集中计算所有的匹配点到这个模型的距离。具体地,本发明根据每个网格的中心离特征点的距离对特征点进行加权来计算局部单应矩阵到每个加权后的特征点的距离,然后选取合适的阈值得到网格的局部一致集。之后,采用光束平差法BundleAdjustment最小化图像特征点的重投影误差。最后,将待拼接的两幅图像进行像素融合。
本发明的图像拼接方法由于需要在每个网格上都运行一次RANSAC,运算量会大大地提高,为了进一步的加速整个算法,尤其加速局部RANSAC的运行,本发明采用了半随机采样的策略。
如图2所示,为本发明一种实施方式的局部单应估计算法的流程图。具体地,首先对所有的特征匹配点进行初始化,即,对网格中心坐标进行排序,这个排序的标准是特征点的匹配分数,分数越大则其排序越靠前。这个排序分数可以根据RootSIFT的描述子相似度来定义。另外,定义一个生长函数G(n)来指定数据子集Tn’的大小,然后判断数据子集Tn’是否大于预设阀值k,如Tn’≤k,则采用随机取样模式,如Tn’>k,则进行半随机采样模式。之后,对采集到的样本进行网格的局部单应拟合。计算Ik与模型参数,其中Ik第K次迭代的支集大小,Ik用来确定收敛边界NK,NK=1/log(2^Ik-1)。由于上述方案添加了一个假设:对于匹配分数越高的特征点,其为内点的概率越大,所以采用了半随机采样的RANSAC往往在几次循环后就可以停止。而一般的随机采样至少需要几十次甚至成百上千次才能结束(取决于匹配点集中的内点比例)。因此,半随机采样大大节省了RANSAC的运行时间。然而,实际应用中常常发现采用半随机采样后,虽然可以大大节省算法的运行时间,但常常最终检测出的内点数目会小于一般的RANSAC算法所检测出的内点数目。原因在于半随机采样的假设特征点对匹配分数越高,则其为内点的概率越大这一点并不完全可靠;这有可能会人为地把那些潜在更接近真实模型的内点给筛除掉。为此,本发明结合了局部优化RANSAC(LOSAC)来优化最终的模型和一致集,即,通过LOSAC来提炼模型参数和计算一致集,使得那些漏掉的内点可以被找回来。之后,设置k=k+1,并且继续判断Tn’是否大于预设阀值k,如Tn’≤k,则返回随机取样模式,如Tn’>k,则返回半随机采样模式。当一个预定义的置信度到达后,算法即停止迭代。具体地,LOSAC运行在每一次循环的最后一步,它实质上是一个内RANSAC的过程,即在每一步最终得到的一致集内再运行一次RANSAC,当然此时的采样样本数目就不必在局限于4了,所以可以看出是一个最小二乘拟合的过程。
虽然已经参考优选实施例对本发明进行了描述,但在不脱离本发明的范围的情况下,可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是,只要不存在结构冲突,各个实施例中所提到的各项技术特征均可以任意方式组合起来。本发明并不局限于文中公开的特定实施例,而是包括落入权利要求的范围内的所有技术方案。

Claims (3)

1.一种全景图像拼接方法,其特征在于,所述全景图像拼接方法包括以下步骤:
步骤一,分别对待拼接的两幅图像进行特征点提取,并对得到的两组关键点集合进行匹配,得到被匹配的特征点对集;
步骤二,把待拼接的两幅图像划分为N*N的网格,通过自适应的局部单应估计进行局部对准,得到局部单应矩阵集;
步骤三,在每个被划分的网格上都运行RANSAC算法,并根据每个网格的中心离特征点的距离对特征点进行加权来计算局部单应矩阵到每个加权后的特征点的距离,然后选取合适的阈值得到网格的局部一致集,其步骤包括:
在每个被划分的网格上都运行RANSAC算法时,采用能够加速局部RANSAC的半随机采样的方法,所述半随机采样的方法包括步骤:
步骤3.1根据特征点对匹配分数的高低对所有的特征点对进行排序,其中所述匹配分数根据RootSIFT的描述子相似度来定义;
步骤3.2定义一个用于指定数据子集大小的生长函数,所述生长函数G(n),n=4,5,6,7,…,N,其中N为所有的特征点对的数目,数据子集的大小为所述生长函数G(n)的上取整;以及
步骤3.3在数据子集中随机采样三对匹配的数据点,然后根据生长函数给出的索引再采样一个相应的点对;
步骤3.4使用LOSAC来优化RANSAC每一次迭代结果,其步骤包括:
步骤a判断局部一致集是否为目前最好的,如果否,则进入下一次RANSAC循环;如果是,则进行一次随机采样,此时的样本数目不必再限于最小样本数目;
步骤b之后采用最小二乘法拟合出一个由采样数据生成的单应矩阵;
步骤c使用所述单应矩阵计算新的局部一致集,返回步骤a;
步骤四,采用非线性最小二乘法最小化图像特征点的重投影误差;以及
步骤五,将所述待拼接的两幅图像进行像素融合。
2.根据权利要求1所述的全景图像拼接方法,其特征在于,所述自适应的局部单应估计为针对不同的内点特征自动地拟合出它服从的最优局部单应。
3.一种全景图像拼接装置,其特征在于,用于执行如权利要求1至2任一所述的全景图像拼接方法的步骤,其中所述全景图像拼接装置包括:提取单元,用于分别对待拼接的两幅图像进行特征点提取,并对得到的两组关键点集合进行匹配,得到被匹配的特征点对集;局部对准单元,用于把待拼接的两幅图像划分为N*N的网格,并通过自适应的局部单应估计进行局部对准,得到局部单应矩阵集;计算单元,用于在每个被划分的网格上都运行RANSAC算法,并根据每个网格的中心离特征点的距离对特征点进行加权,来计算局部单应矩阵到每个加权后的特征点的距离;构建单元,用于构建多个矩形区域的顶点坐标的全局能量函数,并优化全局能量函数以得到最符合特征点分布的局部单应集合,然后选取合适的阈值得到网格的局部一致集;优化单元,采用非线性最小二乘法最小化图像特征点的重投影误差;以及拼接单元,用于将将所述待拼接的两幅图像进行像素融合。
CN201811071685.3A 2018-09-14 2018-09-14 一种全景图像拼接方法及装置 Active CN109389555B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811071685.3A CN109389555B (zh) 2018-09-14 2018-09-14 一种全景图像拼接方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811071685.3A CN109389555B (zh) 2018-09-14 2018-09-14 一种全景图像拼接方法及装置

Publications (2)

Publication Number Publication Date
CN109389555A CN109389555A (zh) 2019-02-26
CN109389555B true CN109389555B (zh) 2023-03-31

Family

ID=65418886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811071685.3A Active CN109389555B (zh) 2018-09-14 2018-09-14 一种全景图像拼接方法及装置

Country Status (1)

Country Link
CN (1) CN109389555B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111250B (zh) * 2019-04-11 2020-10-30 中国地质大学(武汉) 一种鲁棒的自动全景无人机图像拼接方法及装置
CN110033411B (zh) * 2019-04-12 2021-01-12 哈尔滨工业大学 基于无人机的公路施工现场全景图像高效拼接方法
CN110288511B (zh) 2019-05-10 2023-04-07 台州宏达电力建设有限公司台州经济开发区运检分公司 基于双相机图像的最小化误差拼接方法、装置、电子设备
CN110211043B (zh) * 2019-05-11 2023-06-27 复旦大学 一种用于全景图像拼接的基于网格优化的配准方法
CN110246161B (zh) * 2019-06-04 2022-10-28 哈尔滨工程大学 一种360度全景图像无缝拼接的方法
CN110728296B (zh) * 2019-09-03 2022-04-05 华东师范大学 一种加速特征点匹配的两步随机抽样一致性方法及系统
CN112308773B (zh) * 2020-08-19 2023-04-18 贵州电网有限责任公司 一种无人机航摄影像无损放大和拼接融合方法
CN113222817A (zh) * 2021-05-13 2021-08-06 哈尔滨工程大学 基于图像特征提取的12路视频图像拼接以及图像配准方法
CN114463171A (zh) * 2021-12-29 2022-05-10 浙江大华技术股份有限公司 一种图像拼接方法、图像拼接装置和计算机可读存储介质
CN117354471B (zh) * 2023-12-05 2024-04-09 深圳市微浦技术有限公司 多摄像头协同监控方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780303A (zh) * 2016-12-02 2017-05-31 上海大学 一种基于局部配准的图像拼接方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780303A (zh) * 2016-12-02 2017-05-31 上海大学 一种基于局部配准的图像拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于RGB-D相机的视觉里程计实现;仇翔等;《浙江工业大学学报》;20171211;第45卷(第06期);第634-638页 *
基于尺度不变特征的影像自动拼接;姜超等;《遥感信息》;20130615;第28卷(第03期);第20-25页 *

Also Published As

Publication number Publication date
CN109389555A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
CN109389555B (zh) 一种全景图像拼接方法及装置
CN105245841B (zh) 一种基于cuda的全景视频监控系统
US9019426B2 (en) Method of generating image data by an image device including a plurality of lenses and apparatus for generating image data
JP5197279B2 (ja) コンピュータによって実施されるシーン内を移動している物体の3d位置を追跡する方法
CN105721853A (zh) 用于深度图生成的数码相机的配置设置
CN111553939B (zh) 一种多目摄像机的图像配准算法
KR100996897B1 (ko) 직선 핏팅에 의한 광각렌즈의 원주방향의 왜곡영상 보정 방법
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN110717936B (zh) 一种基于相机姿态估计的图像拼接方法
US11928840B2 (en) Methods for analysis of an image and a method for generating a dataset of images for training a machine-learned model
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
CN109241968B (zh) 图像内容倾斜角度预测网络训练方法及修正方法、系统
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN109376641A (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN112396558A (zh) 图像处理方法、装置及计算机可读存储介质
CN111383252A (zh) 多相机目标追踪方法、系统、装置及存储介质
WO2021035627A1 (zh) 获取深度图的方法、装置及计算机存储介质
CN114140623A (zh) 一种图像特征点提取方法及系统
CN114998773A (zh) 适用于无人机系统航拍图像的特征误匹配剔除方法及系统
Li et al. Global color consistency correction for large-scale images in 3-D reconstruction
CN115456870A (zh) 基于外参估计的多图像拼接方法
CN111127353A (zh) 一种基于块配准和匹配的高动态图像去鬼影方法
CN107464214B (zh) 生成太阳能电站全景图的方法
CN110110767A (zh) 一种图像特征优化方法、装置、终端设备及可读存储介质
CN106296580A (zh) 一种图像拼接的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant