CN113689331B - 一种复杂背景下的全景图像拼接方法 - Google Patents
一种复杂背景下的全景图像拼接方法 Download PDFInfo
- Publication number
- CN113689331B CN113689331B CN202110817433.6A CN202110817433A CN113689331B CN 113689331 B CN113689331 B CN 113689331B CN 202110817433 A CN202110817433 A CN 202110817433A CN 113689331 B CN113689331 B CN 113689331B
- Authority
- CN
- China
- Prior art keywords
- image
- gaussian
- images
- pixels
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 29
- 239000000203 mixture Substances 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 21
- 230000009466 transformation Effects 0.000 claims abstract description 12
- 238000012216 screening Methods 0.000 claims abstract description 10
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000010845 search algorithm Methods 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000012887 quadratic function Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种复杂背景下的全景图像拼接方法,如下:在RGB颜色空间用高斯混合模型对原始图像进行建模,去除图像背景像素;对完成背景去除的图像构建多尺度空间,检测图像的局部特征点;采用快速最近邻搜索匹配算法对相邻图像之间的局部特征点进行初步匹配;采用随机采样一致性算法对误匹配的特征点进行筛选,以特征点经过单应性变换与匹配特征点之间距离的平方等于4.0为筛选阈值,获取准确匹配结果;根据单应性矩阵对相邻图像进行位置变换拼接图像;采用直接平均融合法处理图像间的重叠区域,生成全景图像。本方法能够实现复杂背景下的全景图像拼接,消除了大视差图像中背景区域对全景图像拼接的干扰,极大地降低了全景图像获取成本。
Description
技术领域
本发明涉及数字图像处理领域,具体涉及一种复杂背景下的全景图像拼接方法。
背景技术
全景图像是一种大视角、高分辨率的图像。近年来,随着广角相机的不断涌现,相机的视角变得越来越宽。相机图像传感器尺寸固定的前提下,为了获取超广视角的图像,需要相应地调小焦距增大视角,但镜头视角增加,成像范围变大,会造成图像的局部细节信息丢失,分辨率下降。全景图像拼接技术通过将具有一定重叠率的图像进行拼接可以在不丧失分辨率的情况下获取大视角的图像,已经在监控、VR、自动驾驶领域得到应用。虽然全景图像可以通过专业的相机获取,但成本较高,不经济,限制了其应用的广泛性。
传统的全景图像拼接算法,大多基于拍摄图像在同一平面这一基本假设或者要求镜头只发生围绕光心的转动,即要求图像中景物和相机镜头距离相等,并且拍摄的图像垂直于镜头光轴,此时可以通过全局单应性矩阵来完成全景图像拼接。对于拼接过程中出现的重叠区域重影问题,也可以通过局部单应性矩阵或最佳缝合线算法来减小鬼影的产生。
实际拍摄图像时,很难保证满足拍摄场景在同一平面这一基本假设,而且图像中经常包含复杂的背景,当背景和目标位于不同的平面,由于视差的原因,在不同的两个点拍摄同一目标时,目标所处的背景图像会发生变化,对全景图像拼接效果影响不可忽略,此时传统图像拼接算法不能很好地完成拼接。若仅仅依靠昂贵的专业相机来增加画面的视野,十分不经济。因此提出一种满足复杂背景条件下的全景图像拼接方法,增加全景图像拼接技术在各领域的应用广泛性,是一个十分迫切的需求。
发明内容
基于以上不足之处,本发明提供一种复杂背景下的全景图像拼接方法,解决传统的图像拼接算法要求拍摄场景在同一平面,当图像中背景比较复杂时不能很好地完成图像拼接,而仅仅依靠昂贵的专业相机来增加画面的视野,十分不经济的问题。
本发明所采用的技术方案如下:一种复杂背景下的全景图像拼接方法,步骤如下:
步骤一、在RGB颜色空间用高斯混合模型对原始图像进行建模,建立图像的能量函数,提取图像前景像素;
步骤二、对完成背景去除的图像构建尺度空间,在多个尺度空间检测图像的局部特征点;
步骤三、采用快速近似最近邻搜索匹配算法对相邻图像之间的局部特征点进行匹配,匹配过程中采用局部特征点之间的距离作为匹配准则,得到相邻图像之间的初步匹配结果;
步骤四、采用随机采样一致性算法对误匹配的特征点进行筛选,以特征点经过单应性变换与匹配特征点之间距离的平方等于4.0为筛选阈值,获取准确匹配结果,从而得到相邻图像间精确的单应性矩阵;
步骤五、根据单应性矩阵对相邻图像进行位置变换拼接图像,拼接过程中采用直接平均融合法处理图像间的重叠区域,生成全景图像。
本发明还具有如下技术特征:
1、步骤一具体包括:
步骤一一、在RGB颜色空间,用2个包含5个高斯分量的全协方差混合高斯模型分别对前景像素和背景像素进行建模。
步骤一二、建立整幅图像的能量函数:
E(α,k,θ,z)=U(α,k,θ,z)+V(α,z) (1)
混合高斯模型的概率密度函数表达式为:
对公式(2)取负对数,得D(αn,kn,θ,zn)表达式为:
其中Zn为三维数组,表示第n个像素,{K1,…,Kn,…,KN}为辅助向量,表示第n个像素对应的高斯分量,αn=0表示背景混合高斯模型,αn=1表示属于前景混合高斯模型,
V(α,z)的表达式如下:
其中γ=数50,β参数由对比度决定,用相邻两个像素在RGB空间的欧式距离评价其相似性;
步骤一三、设置包含前景像素的矩形框,框内像素为前景像素αn=1,框外像素为背景像素αn=0,采用聚类算法将前背景像素分为5类,进而通过样本像素估计模型参数θ={π(α,k),μ(α,k),Σ(α,k),α=0,1,k=1,2,3,4,5};
步骤一四、多次迭代使图像能量最小,完成背景去除,迭代具体过程如下:
(141)将图像中每个像素的像素值分别代入相应前景混合高斯模型或背景混合高斯模型的5个高斯分量,概率最大的高斯分量指定为该像素所属的高斯分量;
(142)利用第一步得到的高斯分量像素样本重新估计混合高斯模型的参数;
(143)利用最小割算法分割图像像素之间的边,使图像能量函数最小;
(144)重复步骤141至步骤143,直到收敛;
步骤一五、用户指定部分前背景像素,再次执行最小割算法达到全局能量最小,使前背景像素完全分割,去除背景像素。
2、步骤二具体包括:
步骤二一、对原图像进行下采样先形成图像金字塔,利用高斯核函数对图像构建高斯金字塔;
步骤二二、将相邻两个高斯尺度空间图像作差得到高斯差分尺度空间;
步骤二三、在高斯差分尺度空间空间,对于某个像素点,将它和所有邻近像素点逐个比较大小,包括同一尺度和上下两个尺度空间,找到极大值或极小值;
步骤二四、在任一极值点处采用泰勒公式展开,用x,y,σ的三维二次函数插值,插值函数分别对x,y,σ求偏导,可得新的极值点,若极值点的偏移量大于阈值0.5,改变极值点位置,同时继续插值直到收敛,得到精确的极值点位置;
步骤二五、得到极值点的精确位置后,以该关键点为中心,3σ为半径,计算该窗口内每个像素点梯度的模m和角度θ,用分布直方图分析窗口内像素的梯度信息,每10度一个柱,纵轴为模累加和,将峰值对应角度作为极值点主方向;
步骤二六、生成关键点的描述:首先将坐标轴方向和关键点的主方向重合,并将关键点附近像素划分为4×4区域,将每个区域内像素梯度值分到8个方向,一共生成4×4×8=128维向量,对向量进行归一化处理,进而得到稳定的图像局部特征点。
3、步骤三具体包括:
步骤三一、采用快速近似最近邻搜索算法中的K-D树算法对特征点的128维特征向量构建K-D树;
步骤三二、采用KNN搜索,根据特征点间欧式距离,找到另一幅图像最近邻和次近邻的两个特征点,两个特征点Ri、Li之间的欧式距离计算为:
步骤三二、将最近邻特征点距离小于0.8倍的次近邻特征点距离的最近邻特征点作为初步匹配结果。
4、步骤四具体包括:
步骤四一、随机从匹配的特征点抽出4对不共线特征点,计算单应性矩阵H,记为模型N。
步骤四二、用模型N测试已经匹配的所有特征点对,计算其与模型M之间的代价函数,将代价函数值小于4.0的特征点加入内点集IC,代价函数的计算为:
其中,(x,y,z)和(xi,yi,zi)表示匹配特征点对的坐标。
步骤四三、若IC中对象个数大于最佳内点集IB时,令IB=IC,计算迭代次数K大小,K计算为:
其中,p表示置信度,为0.995;w表示内点所占比例,m为4;
步骤四四、若当前次数n大于K或最优点集IB保持稳定不变,结束迭代;否则当前次数n加1,继续迭代上述步骤,从而得到精确匹配的特征点;
步骤四五、基于精确匹配的特征点计算相邻图像间的单应性矩阵。
5、步骤五具体包括:
步骤五一、根据单应性矩阵对相邻图像进行单应性变换拼接图像;
步骤五二、采用直接平均融合法处理图像间的重叠区域,将两幅图像重叠区域对应位置像素值相加,对其直接取平均值作为该位置新的像素值,具体计算为:
其中F(x,y)表示两幅图像融合后(x,y)位置处像素值,F1(x,y)和F2(x,y)分别表示融合前两幅图像在(x,y)位置处像素值。
本发明的有益效果及优点为:本方法能够实现复杂背景下的全景图像拼接,消除了大视差图像中背景区域对全景图像拼接的干扰,极大地降低了全景图像获取成本,提高了全景图像在各领域应用的广泛性。
附图说明
图1为目标桥梁无人机原始航拍图;
图2为背景去除航拍图;
图3为DOG空间寻找局部极值点示意图;
图4为特征点旋转坐标轴示意图;
图5为特征点初步匹配结果图;
图6为精确特征点匹配结果图;
图7原始航拍图像和应用本发明算法全景图像拼接效果对比图,
其中(a)原始航拍图像,(b)拼接效果图。
具体实施方式
下面举例对本发明做进一步的说明:
实施例1
一种复杂背景下的全景图像拼接方法,步骤如下:
步骤一、在RGB颜色空间用高斯混合模型对原始图像进行建模,建立图像的能量函数,提取图像前景像素;
步骤二、对完成背景去除的图像构建尺度空间,在多个尺度空间检测图像的局部特征点;
步骤三、采用快速近似最近邻搜索匹配算法对相邻图像之间的局部特征点进行匹配,匹配过程中采用局部特征点之间的距离作为匹配准则,得到相邻图像之间的初步匹配结果;
步骤四、采用随机采样一致性算法对误匹配的特征点进行筛选,以特征点经过单应性变换与匹配特征点之间距离的平方等于4.0为筛选阈值,获取准确匹配结果,从而得到相邻图像间精确的单应性矩阵;
步骤五、根据单应性矩阵对相邻图像进行位置变换拼接图像,拼接过程中采用直接平均融合法处理图像间的重叠区域,生成全景图像。
其中,步骤一具体包括:
步骤一一、在RGB颜色空间,用2个包含5个高斯分量的全协方差混合高斯模型(GMM)分别对前景像素和背景像素进行建模。
步骤一二、建立整幅图像的能量函数:
E(α,k,θ,z)=U(α,k,θ,z)+V(α,z) (9)
混合高斯模型的概率密度函数表达式为:
对公式(2)取负对数,得D(αn,kn,θ,zn)表达式为:
其中Zn为三维数组,表示第n个像素,{K1,…,Kn,…,KN}为辅助向量,表示第n个像素对应的高斯分量,αn=0表示背景混合高斯模型,αn=1表示属于前景混合高斯模型。
V(α,z)的表达式如下:
其中γ是常数50。β参数由对比度决定。用相邻两个像素在RGB空间的欧式距离评价其相似性。
步骤一三、设置包含前景像素的矩形框,框内像素为前景像素αn=1,框外像素为背景像素αn=0,采用聚类算法将前背景像素分为5类,进而通过样本像素估计模型参数θ={π(α,k),μ(α,k),Σ(α,k),α=0,1,k=1,2,3,4,5}。
步骤一四、多次迭代使图像能量最小,完成背景去除。迭代具体过程如下:
(1)将图像中每个像素的像素值分别代入相应模型(即前景混合高斯模型或背景混合高斯模型)的5个高斯分量,概率最大的高斯分量指定为该像素所属的高斯分量。
(2)利用第一步得到的高斯分量像素样本重新估计混合高斯模型的参数。
(3)利用最小割算法分割图像像素之间的边,使图像能量函数最小。
(4)重复步骤1至步骤3,直到收敛。
步骤一五、用户指定部分前背景像素,再次执行最小割算法达到全局能量最小,使前背景像素完全分割,去除背景像素。对具有景深差异的大视差图像,在不同两个点对同一目标进行拍摄时,目标所处的背景像素会发生变化,对全景图像拼接的干扰不可忽略,通过步骤一消除了复杂背景对图像拼接的影响。
其中,步骤二具体包括:
步骤二一、对原图像进行下采样先形成图像金字塔,利用高斯核函数对图像构建高斯金字塔。
步骤二二、将相邻两个高斯尺度空间图像作差得到高斯差分尺度空间(DOG)。
步骤二三、在高斯差分尺度空间空间,对于某个像素点,将它和所有邻近像素点逐个比较大小,包括同一尺度和上下两个尺度空间,找到极大值或极小值。
步骤二四、在任一极值点处采用泰勒公式展开,用x,y,σ的三维二次函数插值,插值函数分别对x,y,σ求偏导,可得新的极值点,若极值点的偏移量大于阈值0.5,改变极值点位置,同时继续插值直到收敛,得到精确的极值点位置。
步骤二五、得到极值点的精确位置后,以该关键点为中心,3σ为半径,计算该窗口内每个像素点梯度的模m和角度θ,用分布直方图分析窗口内像素的梯度信息,每10度一个柱,纵轴为模累加和,将峰值对应角度作为极值点主方向。
步骤二六、生成关键点的描述。首先将坐标轴方向和关键点的主方向重合,并将关键点附近像素划分为4×4区域,将每个区域内像素梯度值分到8个方向,一共生成4×4×8=128维向量,对向量进行归一化处理,进而得到稳定的图像局部特征点。
其中,步骤三具体包括:
步骤三一、采用快速近似最近邻搜索算法中的K-D树算法对特征点的128维特征向量构建K-D树。
步骤三二、采用KNN搜索,根据特征点间欧式距离,找到另一幅图像最近邻和次近邻的两个特征点,两个特征点Ri、Li之间的欧式距离计算为:
步骤三二、将最近邻特征点距离小于0.8倍的次近邻特征点距离的最近邻特征点作为初步匹配结果。对于相邻图像局部稳定特征点的高维特征向量,采用快速近似最近邻搜索算法进行匹配,耗时短,满足图像快速拼接的要求。
其中,步骤四具体包括:
步骤四一、随机从匹配的特征点抽出4对不共线特征点,计算单应性矩阵H,记为模型N。
步骤四二、用模型N测试已经匹配的所有特征点对,计算其与模型M之间的代价函数,将代价函数值小于4.0的特征点加入内点集IC,代价函数的计算为:
其中,(x,y,z)和(xi,yi,zi)表示匹配特征点对的坐标。
步骤四三、若IC中对象个数大于最佳内点集IB时,令IB=IC。计算迭代次数K大小,K计算为:
其中,p表示置信度,为0.995;w表示内点所占比例;m为4。
步骤四四、若当前次数n大于K或最优点集IB保持稳定不变,结束迭代;否则当前次数n加1,继续迭代上述步骤,从而得到精确匹配的特征点。
步骤四五、基于精确匹配的特征点计算相邻图像间的单应性矩阵。
其中,步骤五具体包括:
步骤五一、根据单应性矩阵对相邻图像进行单应性变换拼接图像。
步骤五二、采用直接平均融合法处理图像间的重叠区域,将两幅图像重叠区域对应位置像素值相加,对其直接取平均值作为该位置新的像素值。具体计算为:
其中F(x,y)表示两幅图像融合后(x,y)位置处像素值,F1(x,y)和F2(x,y)分别表示融合前两幅图像在(x,y)位置处像素值。
实施例2
本实施例通过结合实际工程中某铁路桁架桥梁场景进行进一步说明。某桥为一座桁架桥梁,主桁部分包括上、下弦杆、斜腹杆、竖腹杆以及节点,其中斜腹杆与竖腹杆之间存在空间。目标桥梁下游侧为一座新建桁架桥梁,利用无人机航拍获取目标桥梁5张局部图像。由于主桁部分空间的存在,图像中拍摄场景不在同一平面,新建桁架桥梁构件等背景像素对全景图像拼接效果有很大影响。
步骤一、对原始航拍图像,如图1所示,用2个包含5个高斯分量的全协方差混合高斯模型(GMM)对图像进行建模,建立图像的能量函数。初始化矩形框为整幅图像,即先将图像全部像素设置为前景像素,αn=1,估计GMM模型参数;然后多次分别标记前景像素和背景像素,重新估计模型参数,执行最小割算法达到全局能量最小,使前背景像素完全分割,去除背景像素。图2显示了背景像素去除后的航拍图像,图像中的复杂背景(新建桁架桥梁构件、树木等)已经消失,消除了对图像拼接的影响。
步骤二、对去除背景的航拍图像构建高斯差分尺度空间(DOG),在高斯差分尺度空间同一尺度空间和上下两个相邻尺度空间寻找离散极值点,如图3所示。利用x,y,σ三维的二次插值函数在离散极值点处展开,对x,y,σ分别求偏导得到新的极值点,将偏移量大于0.5的极值点改变位置。利用极值点附近像素的梯度信息确定主方向,将坐标轴方向和主方向重合,如图4所示,然后将关键点附近像素划分为4×4区域,生成128维特征向量。
步骤三、利用快速近似最近邻搜索算法对相邻图像之间检测到的局部特征点进行匹配,匹配依据是特征点间的欧式距离,产生最近邻和次近邻的两个特征点,此时将最近邻距离小于0.8倍次近邻距离的最近邻特征点作为初步匹配结果,否则不进行匹配。匹配结果如图5所示,连线表示特征点之间匹配关系,可以发现图5存在桁架桥梁上弦杆特征点与下弦杆特征点误匹配的情况。
步骤四、采用随机采样一致性算法对误匹配的特征点进行筛选,设置代价函数阈值为4.0,删除匹配结果中代价函数值大于4.0的特征点对,筛选结果如图6所示。图中特征点间连线呈水平状态,说明匹配的特征点来自桥梁相同部位,上弦杆特征点与下弦杆特征点误匹配的现象得到有效消除,根据正确匹配的特征点计算精确单应性矩阵。
步骤五、根据单应性矩阵对相邻图像进行位置变换拼接图像,拼接过程中采用直接平均融合法处理图像间的重叠区域,生成全景图像,如图7所示。
由图7可知,对于包含复杂背景、拍摄景物不在同一平面的图像,本发明算法可以实现良好的全景图像拼接效果,验证了本发明所提算法的可靠性。
Claims (5)
1.一种复杂背景下的全景图像拼接方法,其特征在于,方法步骤如下:
步骤一、在RGB颜色空间用高斯混合模型对原始图像进行建模,建立图像的能量函数,提取图像前景像素;其中,步骤一具体包括:
步骤一一、在RGB颜色空间,用2个包含5个高斯分量的全协方差混合高斯模型分别对前景像素和背景像素进行建模;
步骤一二、建立整幅图像的能量函数:
E(α,k,θ,z)=U(α,k,θ,z)+V(α,z) (1)
混合高斯模型的概率密度函数表达式为:
对公式(2)取负对数,得D(αn,kn,θ,zn)表达式为:
其中Zn为三维数组,表示第n个像素,{k1,…,kn,…,kN}为辅助向量,表示第n个像素对应的高斯分量,αn=0表示属于背景混合高斯模型,αn=1表示属于前景混合高斯模型,
V(α,z)的表达式如下:
其中γ=50,β参数由对比度决定,用相邻两个像素在RGB空间的欧式距离评价其相似性;
步骤一三、设置包含前景像素的矩形框,框内像素为前景像素αn=1,框外像素为背景像素αn=0,采用聚类算法将前背景像素分为5类,进而通过样本像素估计模型参数θ={π(α,k),μ(α,k),Σ(α,k),α=0,1,k=1,2,3,4,5};
步骤一四、多次迭代使图像能量最小,完成背景去除,迭代具体过程如下:
步骤一四一、将图像中每个像素的像素值分别代入相应前景混合高斯模型或背景混合高斯模型的5个高斯分量,概率最大的高斯分量指定为该像素所属的高斯分量;
步骤一四二、利用上一步得到的高斯分量像素样本重新估计混合高斯模型的参数;
步骤一四三、利用最小割算法分割图像像素之间的边,使图像能量函数最小;
步骤一四四、重复步骤一四一至步骤一四三,直到收敛;
步骤一五、用户指定部分前背景像素,再次执行最小割算法达到全局能量最小,使前背景像素完全分割,去除背景像素;
步骤二、对完成背景去除的图像构建尺度空间,在多个尺度空间检测图像的局部特征点;
步骤三、采用快速近似最近邻搜索匹配算法对相邻图像之间的局部特征点进行匹配,匹配过程中采用局部特征点之间的距离作为匹配准则,得到相邻图像之间的初步匹配结果;
步骤四、采用随机采样一致性算法对误匹配的特征点进行筛选,以特征点经过单应性变换与匹配特征点之间距离的平方等于4.0为筛选阈值,获取准确匹配结果,从而得到相邻图像间精确的单应性矩阵;
步骤五、根据单应性矩阵对相邻图像进行位置变换拼接图像,拼接过程中采用直接平均融合法处理图像间的重叠区域,生成全景图像。
2.根据权利要求1所述的一种复杂背景下的全景图像拼接方法,其特征在于,步骤二具体包括:
步骤二一、对原图像进行下采样先形成图像金字塔,利用高斯核函数对图像构建高斯金字塔;
步骤二二、将相邻两个高斯尺度空间图像作差得到高斯差分尺度空间;
步骤二三、在高斯差分尺度空间,对于某个像素点,将它和所有邻近像素点逐个比较大小,包括同一尺度和上下两个尺度空间,找到极大值或极小值;
步骤二四、在任一极值点处采用泰勒公式展开,用x,y,σ的三维二次函数插值,插值函数分别对x,y,σ求偏导,得到新的极值点,若极值点的偏移量大于阈值0.5,改变极值点位置,同时继续插值直到收敛,得到精确的极值点位置;
步骤二五、得到极值点的精确位置后,以该极值点的精确位置为中心,3σ为半径,计算该窗口内每个像素点梯度的模m’和角度θ,用分布直方图分析窗口内像素的梯度信息,每10度一个柱,纵轴为模累加和,将峰值对应角度作为极值点主方向;
步骤二六、生成极值点的描述:首先将坐标轴方向和极值点的主方向重合,并将极值点附近像素划分为4×4区域,将每个区域内像素梯度值分到8个方向,一共生成4×4×8=128维向量,对向量进行归一化处理,进而得到稳定的图像局部特征点。
4.根据权利要求3所述的一种复杂背景下的全景图像拼接方法,其特征在于,步骤四具体包括:
步骤四一、随机从匹配的特征点抽出4对不共线特征点,计算单应性矩阵H,记为模型N;
步骤四二、用模型N测试已经匹配的所有特征点对,计算其与模型N之间的代价函数,将代价函数值小于4.0的特征点加入内点集IC,代价函数的计算为:
其中,(x,y,z)和(xi,yi,zi)表示匹配特征点对的坐标;
步骤四三、若IC中对象个数大于最佳内点集IB时,令IB=IC,计算迭代次数K大小,K计算为:
其中,p表示置信度,为0.995;w表示内点所占比例,m’为4;
步骤四四、若当前次数n大于K或最优点集IB保持稳定不变,结束迭代;否则当前次数n加1,继续迭代上述步骤,从而得到精确匹配的特征点;
步骤四五、基于精确匹配的特征点计算相邻图像间的单应性矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110817433.6A CN113689331B (zh) | 2021-07-20 | 2021-07-20 | 一种复杂背景下的全景图像拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110817433.6A CN113689331B (zh) | 2021-07-20 | 2021-07-20 | 一种复杂背景下的全景图像拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113689331A CN113689331A (zh) | 2021-11-23 |
CN113689331B true CN113689331B (zh) | 2023-06-23 |
Family
ID=78577411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110817433.6A Active CN113689331B (zh) | 2021-07-20 | 2021-07-20 | 一种复杂背景下的全景图像拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113689331B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114998773B (zh) * | 2022-08-08 | 2023-02-17 | 四川腾盾科技有限公司 | 适用于无人机系统航拍图像的特征误匹配剔除方法及系统 |
WO2024138434A1 (zh) * | 2022-12-28 | 2024-07-04 | 深圳华大生命科学研究院 | 用于拼接图像的方法及其设备 |
CN115781092B (zh) * | 2023-02-08 | 2023-04-25 | 金成技术股份有限公司 | 用于挖掘机动臂的多角度辅助焊接方法 |
CN117011137B (zh) * | 2023-06-28 | 2024-07-02 | 深圳市碧云祥电子有限公司 | 基于rgb相似度特征匹配的图像拼接方法、装置及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107301620A (zh) * | 2017-06-02 | 2017-10-27 | 西安电子科技大学 | 基于相机阵列的全景成像方法 |
CN111192194A (zh) * | 2019-12-05 | 2020-05-22 | 同济大学 | 一种针对幕墙建筑立面的全景图像拼接方法 |
CN112419160A (zh) * | 2020-12-14 | 2021-02-26 | 中国人民解放军空军航空大学 | 基于特征优化及最优拼接缝的航空遥感图像拼接方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9149309B2 (en) * | 2012-03-23 | 2015-10-06 | Yale University | Systems and methods for sketching designs in context |
CN103856727B (zh) * | 2014-03-24 | 2017-01-25 | 北京工业大学 | 一种多路实时视频拼接处理系统 |
CN103971378B (zh) * | 2014-05-29 | 2016-06-29 | 福州大学 | 一种混合视觉系统中全景图像的三维重建方法 |
CN106952225B (zh) * | 2017-02-15 | 2020-07-07 | 山东科技大学 | 一种面向森林防火的全景拼接方法 |
CN107918927B (zh) * | 2017-11-30 | 2021-06-04 | 武汉理工大学 | 一种匹配策略融合及低误差的快速图像拼接方法 |
CN110322471B (zh) * | 2019-07-18 | 2021-02-19 | 华中科技大学 | 全景视频浓缩的方法、装置、设备及存储介质 |
CN111062866A (zh) * | 2019-11-07 | 2020-04-24 | 广西科技大学鹿山学院 | 一种基于变换矩阵的全景图像拼接的方法 |
CN111047510B (zh) * | 2019-12-17 | 2023-02-14 | 大连理工大学 | 一种基于标定的大视场角图像实时拼接方法 |
CN112465732A (zh) * | 2020-11-27 | 2021-03-09 | 武汉大学 | 一种车载激光点云与序列全景影像的配准方法 |
-
2021
- 2021-07-20 CN CN202110817433.6A patent/CN113689331B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107301620A (zh) * | 2017-06-02 | 2017-10-27 | 西安电子科技大学 | 基于相机阵列的全景成像方法 |
CN111192194A (zh) * | 2019-12-05 | 2020-05-22 | 同济大学 | 一种针对幕墙建筑立面的全景图像拼接方法 |
CN112419160A (zh) * | 2020-12-14 | 2021-02-26 | 中国人民解放军空军航空大学 | 基于特征优化及最优拼接缝的航空遥感图像拼接方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113689331A (zh) | 2021-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113689331B (zh) | 一种复杂背景下的全景图像拼接方法 | |
CN111968129A (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
CN108981672A (zh) | 基于单目机器人与测距传感器结合的舱门实时定位方法 | |
CN111882612A (zh) | 一种基于三维激光检测车道线的车辆多尺度定位方法 | |
CN105957007A (zh) | 基于特征点平面相似度的图像拼接方法 | |
CN109544635B (zh) | 一种基于枚举试探的相机自动标定方法 | |
CN110378995B (zh) | 一种利用投射特征进行三维空间建模的方法 | |
Koch et al. | A new paradigm for matching UAV-and aerial images | |
CN111783834B (zh) | 一种基于联合图频谱特征分析的异源图像匹配方法 | |
CN115456870A (zh) | 基于外参估计的多图像拼接方法 | |
CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
CN113838069B (zh) | 基于平面度约束的点云分割方法和系统 | |
Tsaregorodtsev et al. | Extrinsic camera calibration with semantic segmentation | |
Le Saux et al. | Robust vehicle categorization from aerial images by 3d-template matching and multiple classifier system | |
Fang et al. | CFVL: A coarse-to-fine vehicle localizer with omnidirectional perception across severe appearance variations | |
CN113096016A (zh) | 一种低空航拍图像拼接方法和系统 | |
Wu et al. | MM-Gaussian: 3D Gaussian-based Multi-modal Fusion for Localization and Reconstruction in Unbounded Scenes | |
CN104104911A (zh) | 全景图像生成过程中的时间戳消除和重置方法及系统 | |
Ortiz-Cayon et al. | Automatic 3d car model alignment for mixed image-based rendering | |
Tan et al. | Automatic registration method of multi-source point clouds based on building facades matching in urban scenes | |
CN115482282A (zh) | 自动驾驶场景下具有多目标追踪能力的动态slam方法 | |
CN115017968A (zh) | 一种基于U-Net模型的复杂建筑物分类提取方法 | |
D’Amicantonio et al. | Homography estimation for camera calibration in complex topological scenes | |
Bazin et al. | An original approach for automatic plane extraction by omnidirectional vision | |
Zhou et al. | LEDet: localization estimation detector with data augmentation for ship detection based on unmanned surface vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |