CN113689331A - 一种复杂背景下的全景图像拼接方法 - Google Patents

一种复杂背景下的全景图像拼接方法 Download PDF

Info

Publication number
CN113689331A
CN113689331A CN202110817433.6A CN202110817433A CN113689331A CN 113689331 A CN113689331 A CN 113689331A CN 202110817433 A CN202110817433 A CN 202110817433A CN 113689331 A CN113689331 A CN 113689331A
Authority
CN
China
Prior art keywords
image
feature points
pixels
images
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110817433.6A
Other languages
English (en)
Other versions
CN113689331B (zh
Inventor
苏伟
李顺龙
禚一
郭亚朋
邸昊
封亚炜
魏剑峰
王菲
孟繁增
高峰
杨雷
王帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
China Railway Design Corp
Original Assignee
Harbin Institute of Technology
China Railway Design Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology, China Railway Design Corp filed Critical Harbin Institute of Technology
Priority to CN202110817433.6A priority Critical patent/CN113689331B/zh
Publication of CN113689331A publication Critical patent/CN113689331A/zh
Application granted granted Critical
Publication of CN113689331B publication Critical patent/CN113689331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种复杂背景下的全景图像拼接方法,如下:在RGB颜色空间用高斯混合模型对原始图像进行建模,去除图像背景像素;对完成背景去除的图像构建多尺度空间,检测图像的局部特征点;采用快速最近邻搜索匹配算法对相邻图像之间的局部特征点进行初步匹配;采用随机采样一致性算法对误匹配的特征点进行筛选,以特征点经过单应性变换与匹配特征点之间距离的平方等于4.0为筛选阈值,获取准确匹配结果;根据单应性矩阵对相邻图像进行位置变换拼接图像;采用直接平均融合法处理图像间的重叠区域,生成全景图像。本方法能够实现复杂背景下的全景图像拼接,消除了大视差图像中背景区域对全景图像拼接的干扰,极大地降低了全景图像获取成本。

Description

一种复杂背景下的全景图像拼接方法
技术领域
本发明涉及数字图像处理领域,具体涉及一种复杂背景下的全景图像拼接方法。
背景技术
全景图像是一种大视角、高分辨率的图像。近年来,随着广角相机的不断涌现,相机的视角变得越来越宽。相机图像传感器尺寸固定的前提下,为了获取超广视角的图像,需要相应地调小焦距增大视角,但镜头视角增加,成像范围变大,会造成图像的局部细节信息丢失,分辨率下降。全景图像拼接技术通过将具有一定重叠率的图像进行拼接可以在不丧失分辨率的情况下获取大视角的图像,已经在监控、VR、自动驾驶领域得到应用。虽然全景图像可以通过专业的相机获取,但成本较高,不经济,限制了其应用的广泛性。
传统的全景图像拼接算法,大多基于拍摄图像在同一平面这一基本假设或者要求镜头只发生围绕光心的转动,即要求图像中景物和相机镜头距离相等,并且拍摄的图像垂直于镜头光轴,此时可以通过全局单应性矩阵来完成全景图像拼接。对于拼接过程中出现的重叠区域重影问题,也可以通过局部单应性矩阵或最佳缝合线算法来减小鬼影的产生。
实际拍摄图像时,很难保证满足拍摄场景在同一平面这一基本假设,而且图像中经常包含复杂的背景,当背景和目标位于不同的平面,由于视差的原因,在不同的两个点拍摄同一目标时,目标所处的背景图像会发生变化,对全景图像拼接效果影响不可忽略,此时传统图像拼接算法不能很好地完成拼接。若仅仅依靠昂贵的专业相机来增加画面的视野,十分不经济。因此提出一种满足复杂背景条件下的全景图像拼接方法,增加全景图像拼接技术在各领域的应用广泛性,是一个十分迫切的需求。
发明内容
基于以上不足之处,本发明提供一种复杂背景下的全景图像拼接方法,解决传统的图像拼接算法要求拍摄场景在同一平面,当图像中背景比较复杂时不能很好地完成图像拼接,而仅仅依靠昂贵的专业相机来增加画面的视野,十分不经济的问题。
本发明所采用的技术方案如下:一种复杂背景下的全景图像拼接方法,步骤如下:
步骤一、在RGB颜色空间用高斯混合模型对原始图像进行建模,建立图像的能量函数,提取图像前景像素;
步骤二、对完成背景去除的图像构建尺度空间,在多个尺度空间检测图像的局部特征点;
步骤三、采用快速近似最近邻搜索匹配算法对相邻图像之间的局部特征点进行匹配,匹配过程中采用局部特征点之间的距离作为匹配准则,得到相邻图像之间的初步匹配结果;
步骤四、采用随机采样一致性算法对误匹配的特征点进行筛选,以特征点经过单应性变换与匹配特征点之间距离的平方等于4.0为筛选阈值,获取准确匹配结果,从而得到相邻图像间精确的单应性矩阵;
步骤五、根据单应性矩阵对相邻图像进行位置变换拼接图像,拼接过程中采用直接平均融合法处理图像间的重叠区域,生成全景图像。
本发明还具有如下技术特征:
1、步骤一具体包括:
步骤一一、在RGB颜色空间,用2个包含5个高斯分量的全协方差混合高斯模型分别对前景像素和背景像素进行建模。
步骤一二、建立整幅图像的能量函数:
E(α,k,θ,z)=U(α,k,θ,z)+V(α,z) (1)
其中
Figure BDA0003170692920000021
表示像素属于前景或背景的代价,用概率的负对数表示;V(α,z)表示相邻像素之间不连续的代价,
混合高斯模型的概率密度函数表达式为:
Figure BDA0003170692920000022
对公式(2)取负对数,得D(αn,kn,θ,zn)表达式为:
Figure BDA0003170692920000023
其中Zn为三维数组,表示第n个像素,{K1,…,Kn,…,KN}为辅助向量,表示第n个像素对应的高斯分量,αn=0表示背景混合高斯模型,αn=1表示属于前景混合高斯模型,
V(α,z)的表达式如下:
Figure BDA0003170692920000024
其中γ=数50,β参数由对比度决定,用相邻两个像素在RGB空间的欧式距离评价其相似性;
步骤一三、设置包含前景像素的矩形框,框内像素为前景像素αn=1,框外像素为背景像素αn=0,采用聚类算法将前背景像素分为5类,进而通过样本像素估计模型参数θ={π(α,k),μ(α,k),Σ(α,k),α=0,1,k=1,2,3,4,5};
步骤一四、多次迭代使图像能量最小,完成背景去除,迭代具体过程如下:
(141)将图像中每个像素的像素值分别代入相应前景混合高斯模型或背景混合高斯模型的5个高斯分量,概率最大的高斯分量指定为该像素所属的高斯分量;
(142)利用第一步得到的高斯分量像素样本重新估计混合高斯模型的参数;
(143)利用最小割算法分割图像像素之间的边,使图像能量函数最小;
(144)重复步骤141至步骤143,直到收敛;
步骤一五、用户指定部分前背景像素,再次执行最小割算法达到全局能量最小,使前背景像素完全分割,去除背景像素。
2、步骤二具体包括:
步骤二一、对原图像进行下采样先形成图像金字塔,利用高斯核函数对图像构建高斯金字塔;
步骤二二、将相邻两个高斯尺度空间图像作差得到高斯差分尺度空间;
步骤二三、在高斯差分尺度空间空间,对于某个像素点,将它和所有邻近像素点逐个比较大小,包括同一尺度和上下两个尺度空间,找到极大值或极小值;
步骤二四、在任一极值点处采用泰勒公式展开,用x,y,σ的三维二次函数插值,插值函数分别对x,y,σ求偏导,可得新的极值点,若极值点的偏移量大于阈值0.5,改变极值点位置,同时继续插值直到收敛,得到精确的极值点位置;
步骤二五、得到极值点的精确位置后,以该关键点为中心,3σ为半径,计算该窗口内每个像素点梯度的模m和角度θ,用分布直方图分析窗口内像素的梯度信息,每10度一个柱,纵轴为模累加和,将峰值对应角度作为极值点主方向;
步骤二六、生成关键点的描述:首先将坐标轴方向和关键点的主方向重合,并将关键点附近像素划分为4×4区域,将每个区域内像素梯度值分到8个方向,一共生成4×4×8=128维向量,对向量进行归一化处理,进而得到稳定的图像局部特征点。
3、步骤三具体包括:
步骤三一、采用快速近似最近邻搜索算法中的K-D树算法对特征点的128维特征向量构建K-D树;
步骤三二、采用KNN搜索,根据特征点间欧式距离,找到另一幅图像最近邻和次近邻的两个特征点,两个特征点Ri、Li之间的欧式距离计算为:
Figure BDA0003170692920000041
步骤三二、将最近邻特征点距离小于0.8倍的次近邻特征点距离的最近邻特征点作为初步匹配结果。
4、步骤四具体包括:
步骤四一、随机从匹配的特征点抽出4对不共线特征点,计算单应性矩阵H,记为模型N。
步骤四二、用模型N测试已经匹配的所有特征点对,计算其与模型M之间的代价函数,将代价函数值小于4.0的特征点加入内点集IC,代价函数的计算为:
Figure BDA0003170692920000042
其中,(x,y,z)和(xi,yi,zi)表示匹配特征点对的坐标。
步骤四三、若IC中对象个数大于最佳内点集IB时,令IB=IC,计算迭代次数K大小,K计算为:
Figure BDA0003170692920000043
其中,p表示置信度,为0.995;w表示内点所占比例,m为4;
步骤四四、若当前次数n大于K或最优点集IB保持稳定不变,结束迭代;否则当前次数n加1,继续迭代上述步骤,从而得到精确匹配的特征点;
步骤四五、基于精确匹配的特征点计算相邻图像间的单应性矩阵。
5、步骤五具体包括:
步骤五一、根据单应性矩阵对相邻图像进行单应性变换拼接图像;
步骤五二、采用直接平均融合法处理图像间的重叠区域,将两幅图像重叠区域对应位置像素值相加,对其直接取平均值作为该位置新的像素值,具体计算为:
Figure BDA0003170692920000051
其中F(x,y)表示两幅图像融合后(x,y)位置处像素值,F1(x,y)和F2(x,y)分别表示融合前两幅图像在(x,y)位置处像素值。
本发明的有益效果及优点为:本方法能够实现复杂背景下的全景图像拼接,消除了大视差图像中背景区域对全景图像拼接的干扰,极大地降低了全景图像获取成本,提高了全景图像在各领域应用的广泛性。
附图说明
图1为目标桥梁无人机原始航拍图;
图2为背景去除航拍图;
图3为DOG空间寻找局部极值点示意图;
图4为特征点旋转坐标轴示意图;
图5为特征点初步匹配结果图;
图6为精确特征点匹配结果图;
图7原始航拍图像和应用本发明算法全景图像拼接效果对比图,
其中(a)原始航拍图像,(b)拼接效果图。
具体实施方式
下面举例对本发明做进一步的说明:
实施例1
一种复杂背景下的全景图像拼接方法,步骤如下:
步骤一、在RGB颜色空间用高斯混合模型对原始图像进行建模,建立图像的能量函数,提取图像前景像素;
步骤二、对完成背景去除的图像构建尺度空间,在多个尺度空间检测图像的局部特征点;
步骤三、采用快速近似最近邻搜索匹配算法对相邻图像之间的局部特征点进行匹配,匹配过程中采用局部特征点之间的距离作为匹配准则,得到相邻图像之间的初步匹配结果;
步骤四、采用随机采样一致性算法对误匹配的特征点进行筛选,以特征点经过单应性变换与匹配特征点之间距离的平方等于4.0为筛选阈值,获取准确匹配结果,从而得到相邻图像间精确的单应性矩阵;
步骤五、根据单应性矩阵对相邻图像进行位置变换拼接图像,拼接过程中采用直接平均融合法处理图像间的重叠区域,生成全景图像。
其中,步骤一具体包括:
步骤一一、在RGB颜色空间,用2个包含5个高斯分量的全协方差混合高斯模型(GMM)分别对前景像素和背景像素进行建模。
步骤一二、建立整幅图像的能量函数:
E(α,k,θ,z)=U(α,k,θ,z)+V(α,z) (9)
其中
Figure BDA0003170692920000061
表示像素属于前景或背景的代价,用概率的负对数表示;V(α,z)表示相邻像素之间不连续的代价。
混合高斯模型的概率密度函数表达式为:
Figure BDA0003170692920000062
对公式(2)取负对数,得D(αn,kn,θ,zn)表达式为:
Figure BDA0003170692920000063
其中Zn为三维数组,表示第n个像素,{K1,…,Kn,…,KN}为辅助向量,表示第n个像素对应的高斯分量,αn=0表示背景混合高斯模型,αn=1表示属于前景混合高斯模型。
V(α,z)的表达式如下:
Figure BDA0003170692920000064
其中γ是常数50。β参数由对比度决定。用相邻两个像素在RGB空间的欧式距离评价其相似性。
步骤一三、设置包含前景像素的矩形框,框内像素为前景像素αn=1,框外像素为背景像素αn=0,采用聚类算法将前背景像素分为5类,进而通过样本像素估计模型参数θ={π(α,k),μ(α,k),Σ(α,k),α=0,1,k=1,2,3,4,5}。
步骤一四、多次迭代使图像能量最小,完成背景去除。迭代具体过程如下:
(1)将图像中每个像素的像素值分别代入相应模型(即前景混合高斯模型或背景混合高斯模型)的5个高斯分量,概率最大的高斯分量指定为该像素所属的高斯分量。
(2)利用第一步得到的高斯分量像素样本重新估计混合高斯模型的参数。
(3)利用最小割算法分割图像像素之间的边,使图像能量函数最小。
(4)重复步骤1至步骤3,直到收敛。
步骤一五、用户指定部分前背景像素,再次执行最小割算法达到全局能量最小,使前背景像素完全分割,去除背景像素。对具有景深差异的大视差图像,在不同两个点对同一目标进行拍摄时,目标所处的背景像素会发生变化,对全景图像拼接的干扰不可忽略,通过步骤一消除了复杂背景对图像拼接的影响。
其中,步骤二具体包括:
步骤二一、对原图像进行下采样先形成图像金字塔,利用高斯核函数对图像构建高斯金字塔。
步骤二二、将相邻两个高斯尺度空间图像作差得到高斯差分尺度空间(DOG)。
步骤二三、在高斯差分尺度空间空间,对于某个像素点,将它和所有邻近像素点逐个比较大小,包括同一尺度和上下两个尺度空间,找到极大值或极小值。
步骤二四、在任一极值点处采用泰勒公式展开,用x,y,σ的三维二次函数插值,插值函数分别对x,y,σ求偏导,可得新的极值点,若极值点的偏移量大于阈值0.5,改变极值点位置,同时继续插值直到收敛,得到精确的极值点位置。
步骤二五、得到极值点的精确位置后,以该关键点为中心,3σ为半径,计算该窗口内每个像素点梯度的模m和角度θ,用分布直方图分析窗口内像素的梯度信息,每10度一个柱,纵轴为模累加和,将峰值对应角度作为极值点主方向。
步骤二六、生成关键点的描述。首先将坐标轴方向和关键点的主方向重合,并将关键点附近像素划分为4×4区域,将每个区域内像素梯度值分到8个方向,一共生成4×4×8=128维向量,对向量进行归一化处理,进而得到稳定的图像局部特征点。
其中,步骤三具体包括:
步骤三一、采用快速近似最近邻搜索算法中的K-D树算法对特征点的128维特征向量构建K-D树。
步骤三二、采用KNN搜索,根据特征点间欧式距离,找到另一幅图像最近邻和次近邻的两个特征点,两个特征点Ri、Li之间的欧式距离计算为:
Figure BDA0003170692920000081
步骤三二、将最近邻特征点距离小于0.8倍的次近邻特征点距离的最近邻特征点作为初步匹配结果。对于相邻图像局部稳定特征点的高维特征向量,采用快速近似最近邻搜索算法进行匹配,耗时短,满足图像快速拼接的要求。
其中,步骤四具体包括:
步骤四一、随机从匹配的特征点抽出4对不共线特征点,计算单应性矩阵H,记为模型N。
步骤四二、用模型N测试已经匹配的所有特征点对,计算其与模型M之间的代价函数,将代价函数值小于4.0的特征点加入内点集IC,代价函数的计算为:
Figure BDA0003170692920000082
其中,(x,y,z)和(xi,yi,zi)表示匹配特征点对的坐标。
步骤四三、若IC中对象个数大于最佳内点集IB时,令IB=IC。计算迭代次数K大小,K计算为:
Figure BDA0003170692920000083
其中,p表示置信度,为0.995;w表示内点所占比例;m为4。
步骤四四、若当前次数n大于K或最优点集IB保持稳定不变,结束迭代;否则当前次数n加1,继续迭代上述步骤,从而得到精确匹配的特征点。
步骤四五、基于精确匹配的特征点计算相邻图像间的单应性矩阵。
其中,步骤五具体包括:
步骤五一、根据单应性矩阵对相邻图像进行单应性变换拼接图像。
步骤五二、采用直接平均融合法处理图像间的重叠区域,将两幅图像重叠区域对应位置像素值相加,对其直接取平均值作为该位置新的像素值。具体计算为:
Figure BDA0003170692920000091
其中F(x,y)表示两幅图像融合后(x,y)位置处像素值,F1(x,y)和F2(x,y)分别表示融合前两幅图像在(x,y)位置处像素值。
实施例2
本实施例通过结合实际工程中某铁路桁架桥梁场景进行进一步说明。某桥为一座桁架桥梁,主桁部分包括上、下弦杆、斜腹杆、竖腹杆以及节点,其中斜腹杆与竖腹杆之间存在空间。目标桥梁下游侧为一座新建桁架桥梁,利用无人机航拍获取目标桥梁5张局部图像。由于主桁部分空间的存在,图像中拍摄场景不在同一平面,新建桁架桥梁构件等背景像素对全景图像拼接效果有很大影响。
步骤一、对原始航拍图像,如图1所示,用2个包含5个高斯分量的全协方差混合高斯模型(GMM)对图像进行建模,建立图像的能量函数。初始化矩形框为整幅图像,即先将图像全部像素设置为前景像素,αn=1,估计GMM模型参数;然后多次分别标记前景像素和背景像素,重新估计模型参数,执行最小割算法达到全局能量最小,使前背景像素完全分割,去除背景像素。图2显示了背景像素去除后的航拍图像,图像中的复杂背景(新建桁架桥梁构件、树木等)已经消失,消除了对图像拼接的影响。
步骤二、对去除背景的航拍图像构建高斯差分尺度空间(DOG),在高斯差分尺度空间同一尺度空间和上下两个相邻尺度空间寻找离散极值点,如图3所示。利用x,y,σ三维的二次插值函数在离散极值点处展开,对x,y,σ分别求偏导得到新的极值点,将偏移量大于0.5的极值点改变位置。利用极值点附近像素的梯度信息确定主方向,将坐标轴方向和主方向重合,如图4所示,然后将关键点附近像素划分为4×4区域,生成128维特征向量。
步骤三、利用快速近似最近邻搜索算法对相邻图像之间检测到的局部特征点进行匹配,匹配依据是特征点间的欧式距离,产生最近邻和次近邻的两个特征点,此时将最近邻距离小于0.8倍次近邻距离的最近邻特征点作为初步匹配结果,否则不进行匹配。匹配结果如图5所示,连线表示特征点之间匹配关系,可以发现图5存在桁架桥梁上弦杆特征点与下弦杆特征点误匹配的情况。
步骤四、采用随机采样一致性算法对误匹配的特征点进行筛选,设置代价函数阈值为4.0,删除匹配结果中代价函数值大于4.0的特征点对,筛选结果如图6所示。图中特征点间连线呈水平状态,说明匹配的特征点来自桥梁相同部位,上弦杆特征点与下弦杆特征点误匹配的现象得到有效消除,根据正确匹配的特征点计算精确单应性矩阵。
步骤五、根据单应性矩阵对相邻图像进行位置变换拼接图像,拼接过程中采用直接平均融合法处理图像间的重叠区域,生成全景图像,如图7所示。
由图7可知,对于包含复杂背景、拍摄景物不在同一平面的图像,本发明算法可以实现良好的全景图像拼接效果,验证了本发明所提算法的可靠性。

Claims (6)

1.一种复杂背景下的全景图像拼接方法,其特征在于,方法步骤如下:
步骤一、在RGB颜色空间用高斯混合模型对原始图像进行建模,建立图像的能量函数,提取图像前景像素;
步骤二、对完成背景去除的图像构建尺度空间,在多个尺度空间检测图像的局部特征点;
步骤三、采用快速近似最近邻搜索匹配算法对相邻图像之间的局部特征点进行匹配,匹配过程中采用局部特征点之间的距离作为匹配准则,得到相邻图像之间的初步匹配结果;
步骤四、采用随机采样一致性算法对误匹配的特征点进行筛选,以特征点经过单应性变换与匹配特征点之间距离的平方等于4.0为筛选阈值,获取准确匹配结果,从而得到相邻图像间精确的单应性矩阵;
步骤五、根据单应性矩阵对相邻图像进行位置变换拼接图像,拼接过程中采用直接平均融合法处理图像间的重叠区域,生成全景图像。
2.根据权利要求1所述的一种复杂背景下的全景图像拼接方法,其特征在于,步骤一具体包括:
步骤一一、在RGB颜色空间,用2个包含5个高斯分量的全协方差混合高斯模型分别对前景像素和背景像素进行建模。
步骤一二、建立整幅图像的能量函数:
E(α,k,θ,z)=U(α,k,θ,z)+V(α,z) (1)
其中
Figure FDA0003170692910000011
表示像素属于前景或背景的代价,用概率的负对数表示;V(α,z)表示相邻像素之间不连续的代价,
混合高斯模型的概率密度函数表达式为:
Figure FDA0003170692910000012
对公式(2)取负对数,得D(αn,kn,θ,zn)表达式为:
Figure FDA0003170692910000013
其中Zn为三维数组,表示第n个像素,{k1,…,kn,…,kN}为辅助向量,表示第n个像素对应的高斯分量,αn=0表示属于背景混合高斯模型,αn=1表示属于前景混合高斯模型,
V(α,z)的表达式如下:
Figure FDA0003170692910000021
其中γ=数50,β参数由对比度决定,用相邻两个像素在RGB空间的欧式距离评价其相似性;
步骤一三、设置包含前景像素的矩形框,框内像素为前景像素αn=1,框外像素为背景像素αn=0,采用聚类算法将前背景像素分为5类,进而通过样本像素估计模型参数θ={π(α,k),μ(α,k),Σ(α,k),α=0,1,k=1,2,3,4,5};
步骤一四、多次迭代使图像能量最小,完成背景去除,迭代具体过程如下:
(141)将图像中每个像素的像素值分别代入相应前景混合高斯模型或背景混合高斯模型的5个高斯分量,概率最大的高斯分量指定为该像素所属的高斯分量;
(142)利用第一步得到的高斯分量像素样本重新估计混合高斯模型的参数;
(143)利用最小割算法分割图像像素之间的边,使图像能量函数最小;
(144)重复步骤141至步骤143,直到收敛;
步骤一五、用户指定部分前背景像素,再次执行最小割算法达到全局能量最小,使前背景像素完全分割,去除背景像素。
3.根据权利要求2所述的一种复杂背景下的全景图像拼接方法,其特征在于,步骤二具体包括:
步骤二一、对原图像进行下采样先形成图像金字塔,利用高斯核函数对图像构建高斯金字塔;
步骤二二、将相邻两个高斯尺度空间图像作差得到高斯差分尺度空间;
步骤二三、在高斯差分尺度空间空间,对于某个像素点,将它和所有邻近像素点逐个比较大小,包括同一尺度和上下两个尺度空间,找到极大值或极小值;
步骤二四、在任一极值点处采用泰勒公式展开,用x,y,σ的三维二次函数插值,插值函数分别对x,y,σ求偏导,得到新的极值点,若极值点的偏移量大于阈值0.5,改变极值点位置,同时继续插值直到收敛,得到精确的极值点位置;
步骤二五、得到极值点的精确位置后,以该关键点为中心,3σ为半径,计算该窗口内每个像素点梯度的模m和角度θ,用分布直方图分析窗口内像素的梯度信息,每10度一个柱,纵轴为模累加和,将峰值对应角度作为极值点主方向;
步骤二六、生成关键点的描述:首先将坐标轴方向和关键点的主方向重合,并将关键点附近像素划分为4×4区域,将每个区域内像素梯度值分到8个方向,一共生成4×4×8=128维向量,对向量进行归一化处理,进而得到稳定的图像局部特征点。
4.根据权利要求3所述的一种复杂背景下的全景图像拼接方法,其特征在于,步骤三具体包括:
步骤三一、采用快速近似最近邻搜索算法中的K-D树算法对特征点的128维特征向量构建K-D树;
步骤三二、采用KNN搜索,根据特征点间欧式距离,找到另一幅图像最近邻和次近邻的两个特征点,两个特征点Ri、Li之间的欧式距离计算为:
Figure FDA0003170692910000031
步骤三二、将最近邻特征点距离小于0.8倍的次近邻特征点距离的最近邻特征点作为初步匹配结果。
5.根据权利要求4所述的一种复杂背景下的全景图像拼接方法,其特征在于,步骤四具体包括:
步骤四一、随机从匹配的特征点抽出4对不共线特征点,计算单应性矩阵H,记为模型N。
步骤四二、用模型N测试已经匹配的所有特征点对,计算其与模型N之间的代价函数,将代价函数值小于4.0的特征点加入内点集IC,代价函数的计算为:
Figure FDA0003170692910000032
其中,(x,y,z)和(xi,yi,zi)表示匹配特征点对的坐标。
步骤四三、若IC中对象个数大于最佳内点集IB时,令IB=IC,计算迭代次数K大小,K计算为:
Figure FDA0003170692910000033
其中,p表示置信度,为0.995;w表示内点所占比例,m为4;
步骤四四、若当前次数n大于K或最优点集IB保持稳定不变,结束迭代;否则当前次数n加1,继续迭代上述步骤,从而得到精确匹配的特征点;
步骤四五、基于精确匹配的特征点计算相邻图像间的单应性矩阵。
6.根据权利要求5所述的一种复杂背景下的全景图像拼接方法,其特征在于,步骤五具体包括:
步骤五一、根据单应性矩阵对相邻图像进行单应性变换拼接图像;
步骤五二、采用直接平均融合法处理图像间的重叠区域,将两幅图像重叠区域对应位置像素值相加,对其直接取平均值作为该位置新的像素值,具体计算为:
Figure FDA0003170692910000041
其中F(x,y)表示两幅图像融合后(x,y)位置处像素值,F1(x,y)和F2(x,y)分别表示融合前两幅图像在(x,y)位置处像素值。
CN202110817433.6A 2021-07-20 2021-07-20 一种复杂背景下的全景图像拼接方法 Active CN113689331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110817433.6A CN113689331B (zh) 2021-07-20 2021-07-20 一种复杂背景下的全景图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110817433.6A CN113689331B (zh) 2021-07-20 2021-07-20 一种复杂背景下的全景图像拼接方法

Publications (2)

Publication Number Publication Date
CN113689331A true CN113689331A (zh) 2021-11-23
CN113689331B CN113689331B (zh) 2023-06-23

Family

ID=78577411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110817433.6A Active CN113689331B (zh) 2021-07-20 2021-07-20 一种复杂背景下的全景图像拼接方法

Country Status (1)

Country Link
CN (1) CN113689331B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998773A (zh) * 2022-08-08 2022-09-02 四川腾盾科技有限公司 适用于无人机系统航拍图像的特征误匹配剔除方法及系统
CN115781092A (zh) * 2023-02-08 2023-03-14 金成技术股份有限公司 用于挖掘机动臂的多角度辅助焊接方法
CN117011137A (zh) * 2023-06-28 2023-11-07 深圳市碧云祥电子有限公司 基于rgb相似度特征匹配的图像拼接方法、装置及设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130226248A1 (en) * 2012-03-23 2013-08-29 Osteomed Llc Locking Plate with Screw Fixation from Opposite Cortex
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
CN103971378A (zh) * 2014-05-29 2014-08-06 福州大学 一种混合视觉系统中全景图像的三维重建方法
CN106952225A (zh) * 2017-02-15 2017-07-14 山东科技大学 一种面向森林防火的全景拼接方法
CN107301620A (zh) * 2017-06-02 2017-10-27 西安电子科技大学 基于相机阵列的全景成像方法
CN107918927A (zh) * 2017-11-30 2018-04-17 武汉理工大学 一种匹配策略融合及低误差的快速图像拼接方法
CN110322471A (zh) * 2019-07-18 2019-10-11 华中科技大学 全景视频浓缩的方法、装置、设备及存储介质
CN111047510A (zh) * 2019-12-17 2020-04-21 大连理工大学 一种基于标定的大视场角图像实时拼接方法
CN111062866A (zh) * 2019-11-07 2020-04-24 广西科技大学鹿山学院 一种基于变换矩阵的全景图像拼接的方法
CN111192194A (zh) * 2019-12-05 2020-05-22 同济大学 一种针对幕墙建筑立面的全景图像拼接方法
CN112419160A (zh) * 2020-12-14 2021-02-26 中国人民解放军空军航空大学 基于特征优化及最优拼接缝的航空遥感图像拼接方法
CN112465732A (zh) * 2020-11-27 2021-03-09 武汉大学 一种车载激光点云与序列全景影像的配准方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130226248A1 (en) * 2012-03-23 2013-08-29 Osteomed Llc Locking Plate with Screw Fixation from Opposite Cortex
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
CN103971378A (zh) * 2014-05-29 2014-08-06 福州大学 一种混合视觉系统中全景图像的三维重建方法
CN106952225A (zh) * 2017-02-15 2017-07-14 山东科技大学 一种面向森林防火的全景拼接方法
CN107301620A (zh) * 2017-06-02 2017-10-27 西安电子科技大学 基于相机阵列的全景成像方法
CN107918927A (zh) * 2017-11-30 2018-04-17 武汉理工大学 一种匹配策略融合及低误差的快速图像拼接方法
CN110322471A (zh) * 2019-07-18 2019-10-11 华中科技大学 全景视频浓缩的方法、装置、设备及存储介质
CN111062866A (zh) * 2019-11-07 2020-04-24 广西科技大学鹿山学院 一种基于变换矩阵的全景图像拼接的方法
CN111192194A (zh) * 2019-12-05 2020-05-22 同济大学 一种针对幕墙建筑立面的全景图像拼接方法
CN111047510A (zh) * 2019-12-17 2020-04-21 大连理工大学 一种基于标定的大视场角图像实时拼接方法
CN112465732A (zh) * 2020-11-27 2021-03-09 武汉大学 一种车载激光点云与序列全景影像的配准方法
CN112419160A (zh) * 2020-12-14 2021-02-26 中国人民解放军空军航空大学 基于特征优化及最优拼接缝的航空遥感图像拼接方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘强: "无人机航拍图像拼接技术研究", 《中国优秀硕士学位论文全文数据库》, no. 6, pages 031 - 182 *
封亚炜: "基于无人机平台的钢桥铆钉病害全场智能检测方法研究", 《中国优秀硕士学位论文全文数据库》, no. 3, pages 034 - 1060 *
徐鹏斌等: "全景分割研究综述", 《自动化学报》, vol. 47, no. 3, pages 549 - 568 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998773A (zh) * 2022-08-08 2022-09-02 四川腾盾科技有限公司 适用于无人机系统航拍图像的特征误匹配剔除方法及系统
CN114998773B (zh) * 2022-08-08 2023-02-17 四川腾盾科技有限公司 适用于无人机系统航拍图像的特征误匹配剔除方法及系统
CN115781092A (zh) * 2023-02-08 2023-03-14 金成技术股份有限公司 用于挖掘机动臂的多角度辅助焊接方法
CN117011137A (zh) * 2023-06-28 2023-11-07 深圳市碧云祥电子有限公司 基于rgb相似度特征匹配的图像拼接方法、装置及设备

Also Published As

Publication number Publication date
CN113689331B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN112435325B (zh) 基于vi-slam和深度估计网络的无人机场景稠密重建方法
CN113689331B (zh) 一种复杂背景下的全景图像拼接方法
Tang et al. Single-camera and inter-camera vehicle tracking and 3D speed estimation based on fusion of visual and semantic features
CN103325112B (zh) 动态场景中运动目标快速检测方法
CN111968129A (zh) 具有语义感知的即时定位与地图构建系统及方法
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN108981672A (zh) 基于单目机器人与测距传感器结合的舱门实时定位方法
Feng et al. Fine-grained change detection of misaligned scenes with varied illuminations
CN112734839A (zh) 一种提高鲁棒性的单目视觉slam初始化方法
Zhu et al. Monocular 3D vehicle detection using uncalibrated traffic cameras through homography
CN111783834B (zh) 一种基于联合图频谱特征分析的异源图像匹配方法
He et al. Ground and aerial collaborative mapping in urban environments
CN115205118A (zh) 一种水下图像拼接方法、装置、计算机设备及存储介质
CN110378995B (zh) 一种利用投射特征进行三维空间建模的方法
Le Saux et al. Robust vehicle categorization from aerial images by 3d-template matching and multiple classifier system
CN113838069B (zh) 基于平面度约束的点云分割方法和系统
CN113706635B (zh) 一种基于点特征和线特征融合的长焦距相机标定方法
Tsaregorodtsev et al. Extrinsic camera calibration with semantic segmentation
CN113096016A (zh) 一种低空航拍图像拼接方法和系统
CN117036404A (zh) 一种单目热成像同时定位与建图方法和系统
CN115456870A (zh) 基于外参估计的多图像拼接方法
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及系统
Bazin et al. An original approach for automatic plane extraction by omnidirectional vision
CN110910418B (zh) 基于旋转不变性图像特征描述子的目标跟踪算法
D’Amicantonio et al. Homography Estimation for Camera Calibration in Complex Topological Scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant