CN112837217A - 一种基于特征筛选的室外场景图像拼接方法 - Google Patents
一种基于特征筛选的室外场景图像拼接方法 Download PDFInfo
- Publication number
- CN112837217A CN112837217A CN202110036464.8A CN202110036464A CN112837217A CN 112837217 A CN112837217 A CN 112837217A CN 202110036464 A CN202110036464 A CN 202110036464A CN 112837217 A CN112837217 A CN 112837217A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- screening
- splicing
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012216 screening Methods 0.000 title claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 31
- 230000009466 transformation Effects 0.000 claims abstract description 28
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000013507 mapping Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000012821 model calculation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征筛选的室外场景图像拼接方法,包括:采用SIFT特征点提取算法提取参考图像和目标图像的特征点并利用RANSAC算法获得特征点的对应关系;根据基于贝叶斯模型的特征点筛选算法得到精确的特征点集P1;基于距离的特征筛选方法筛选出用于全局单应计算的特征点集P2;计算全局单应变换矩阵,进行全局配准;进行局部配准;利用相似变换模型与最佳拼接缝方法,实现图像拼接。本发明针对室外场景图像的特征分布特点,通过对图像特征的有效筛选和基于网格的形变模型,提高了图像的配准精度,取得了精确,自然的拼接效果,解决了室外场景中配准精度降低、整体几何变形大、重叠区重影等问题,使得室外场景图像的拼接效果得到明显提升。
Description
技术领域
本发明属于图像处理领域,具体涉及一种基于特征筛选的室外场景图像拼接方法。
背景技术
随着社会的不断发展,在安防、自动驾驶、医疗成像等领域,对大视场图像的需求越发强烈,受限于现有的单个标准镜头无法获得大视场图像,而广角和超广角镜头会造成严重的图像畸变问题,图像拼接技术应运而生。图像拼接是指将同一场景下若干幅具有一定重叠区域的图像,通过一系列技术手段,拼合在一起,形成一幅包含全部场景的大视角图像。
室外场景下多视角拍摄的图像,常常视角变化大、图像重叠度小,造成同名点局部分布,现有拼接方法的结果常常出现图像匹配精度低、整体几何变形大、重叠区重影等问题,难以在实际中应用。
发明内容
发明目的:为了克服现有技术中存在的不足,提供一种基于特征点筛选的室外场景图像拼接方法,通过对特征点多次优化,并采用全局配准和局部配准相结合的策略,较好地解决了现有拼接方案在室外场景中配准精度降低等问题。
技术方案:为实现上述目的,本发明提供一种基于特征筛选的室外场景图像拼接方法,包括如下步骤:
S1:采用SIFT特征点提取算法提取参考图像和目标图像的特征点并利用RANSAC算法获得特征点的对应关系;
S2:根据基于贝叶斯模型的特征点筛选算法得到精确的特征点集P1;
S3:根据特征点集P1,基于距离的特征筛选方法筛选出用于全局单应计算的特征点集P2;
S4:利用特征点集P2计算全局单应变换矩阵,进行全局配准;
S5:利用特征点集P1和基于网格的形变模型计算进行局部配准;
S6:利用相似变换模型与最佳拼接缝方法,消除图像重影和形变,实现图像拼接。
进一步地,所述步骤S2中特征点集P1的获取方法为:根据薄板样条函数的特性计算每一对匹配点的权重,再根据贝叶斯定理,去除误匹配点,筛选出精确的匹配点对。
进一步地,所述步骤S2中特征点集P1的具体获取过程为:
对于一对有重叠区域的待拼接图像I和J,图像I和J分别为参考图像和目标图像,记其中的一对匹配点为(pi,pj),在经过全局配准之后,记为p'i=(x'i,y'i)T,p'i为根据全局单应模型得到的点pi在图像平面J内的投影点,p'i处的视差用投影偏差 gi=p'i-pj=(gi,hi)T表示,其中(gi,hi)T表示x方向和y方向的形变分量,根据薄板样条函数的特性,权重(ωi,υi)由p'i处的投影偏差gi和p'i附近区域其他特征点对的投影偏差之间的差异决定,各个特征点对的权重系数与通过求解如下线性方程组得到:
G=(g1,...,gn)T∈Rn×2,λ为一个常量;
最终计算出各个特征点的权重(ωi,υi),权重系数(ωi,υi)的取值近似地服从正态分布,即ωi~N(0,σω),υi~N(0,συ),其中σω和συ分别代表了ωi和υi的标准差;
根据贝叶斯定理,在|ωi|>tσω的情况下,匹配点对{pi,qi}是误匹配的后验概率是:
根据3σ原则,取t=3,则Φ(t)=0.9987,当p1∈[0,0.9973]时,有p(τi=0|Ai)≥0.5,即事件Ai={|ωi|>3σω}发生时,匹配点对{pi,qi}是误匹配的概率不小于50%;
因此pi∈[0,0.9973]的前提下,当出现|ωi|>3σω或|υi|>3συ时,即认为匹配点对 {pi,qi}是误匹配并将其删除。
进一步地,所述步骤S3中特征点集P2的筛选方法为:计算每个特征点在y方向上与其他点的平均距离,并筛选出平均距离最大的点,同时保留部分平均距离较小的特征点,即密集区域的特征点,以保证模型的鲁棒性,并确定用于全局配准的特征点集。
所述步骤S3中在室外场景中,特征点的分布不均主要体现在y方向上的分布不均,而且特征点分布越稀疏的区域,它和其他特征点的平均距离越大,因此,仅计算每个特征点在y方向上与其他点的平均距离,并筛选出平均距离最大的点。同时保留部分平均距离较小的特征点,即密集区域的特征点,以保证模型的鲁棒性。通过这样的筛选策略,使得用于全局配准的特征点,密集与稀疏区域的特征点比例由原来的1:4变为1:1,提高了稀疏区域的特征点在计算全局配准模型中的权重,使得计算出的全局配准模型更侧重于特征点分布稀疏的配准。
进一步地,所述步骤S3中特征点集P2的筛选过程为:
A1:首先计算每个特征点在y方向上与其他点的平均距离;
将特征点集P1作为初始特征点集,Lij_y表示第i特征点与其他点在y方向上的平均距离,计算公式如下:
其中,pi表示第i特征点,pj表示除了第i点以外的其他特征点;
A2:将每个特征点的距离lij_y构建成集合,并进行排序,得到集合Lij_y;
A3:在集合Lij_y中,选出距离最大的前α%的值,并对剩余的1-α%的值进行采样,采样频率设置为μ,获得集合Lij_y_select;
A4:利用映射关系,将集合Lij_y_select映射到对应的点上,得到特征点集P2。
这里的映射关系指每个特征点和特征点计算出的距离的映射关系。这个映射关系具体就是,集合P1中的每个点pi映射到集合Lij_y中的每个点对应的距离lij_y上,每个点pi都可以算出它的距离lij_y。在得到集合Lij_y_select后,也可以映射回对应的点集P2。
进一步地,所述步骤S4中进行全局配准是通过已知的点集P2中的所有匹配点,将其带入全局单应性近似模型,通过估计全局单应变换矩阵,使得所有匹配点的累积平方和误差最小。具体为:
利用特征点集P2中的匹配点(p,q)估计全局单应性模型,其中匹配点的横纵坐标分别表示为(xp,yp),(xq,yq);
首先将单应性近似模型q~Hp表达为如下公式:
将其展开得到两个线性方程为如下公式:
对该公式进行直接线性变化,将待估计的全局单应性矩阵转变为变量向量h=(h1,h2,…h9)T,同时将匹配特征点对(p,q)的已知变量关系转变成已知线性参数矩阵为如下公式:
因而,得到如下公式:
ah=0
通过累积平方和误差最小来评估求解h,公式如下:
其中,|·|表示L2范式,即欧式距离;组合矩阵A满足以下等式:
表示所有ai(i=1,2,…,n)的纵向排列;
进一步地,所述步骤S5是利用点集P1,构造用于最优形变的能量函数,并以网格的形式表现,通过将能量函数最小化,实现局部配准。具体为:
构造形变函数如下公式:
g(x,y)=(g(x,y),h(x,y))T
该公式表示图像Iq的形变量,其中,g(x,y)和h(x,y)分别表示x方向和y方向的形变分量;根据薄板样条的理论,对于g(x,y),用于估计最优形变的能量函数为:
Jλ=JD+λJS
其中,配准项JD和平滑项JS的取值分别为:
将能量函数Jλ最小化,得到其关于x方向和y方向的解g(x,y)和h(x,y),完整的形变函数统一表示为:
进一步地,所述步骤S6是通过将单应变换模型与相似变换模型结合,从重叠区域到非重叠区域缓慢地由单应变换模型过渡到相似变换模型,用于减少图像非重叠区域中的投影失真。具体为:
利用相似变换模型消除图像形变;
在获得精确的特征匹配{pi,qi}之后,通过最小化公式来估计全局相似性变换S:
Hq=μhH+μsHs
其中,Hs是通过将行(0,0,1)添加到全局相似性变换S底部而构成的,并且μh和μs是具有约束μh+μs=1的加权系数,μh在扭曲的源图像I'中,从1到0线性变化,使得图像的变换模型逐渐过渡到Hs;
利用最佳拼接缝消除图像重影:
通过配准的源图像I'和目标图像J得到重叠区域Ω(ΔI')和Ω(ΔJ);
寻求最佳缝合线,使得拼接缝左边取左图信息,右边取右图信息,消除图像重影,最佳拼接缝的选取要求拼接缝两边的色彩差异尽可能小和拼接缝两边邻近像素尽可能相似;最佳拼接缝的寻找遵循两个原则:(a)拼接线两边的色彩差异尽可能小;(b)拼接线两边邻近像素尽可能相似;
对于(a),对扭曲后的图像对之间做RGB分量差分,标准化后得到差异矩阵Eij,
其中,Ω(ΔI')和Ω(ΔJ)分别表示在扭曲后的图像重叠区域的RGB分量向量[rij,gij,bij]T;
对于(b),用局部相似性,即用梯度差异矩阵来进行量化,将扭曲后的图像转换到梯度域,并对其做差分,得到差异矩阵Eij grad;
Eij grad=||grad(Ω(ΔI'))ij-grad(Ω(ΔJ))ij||
通过结合差异矩阵Eij和差异矩阵Eij grad得到能量矩阵Eij,在其中搜索一条能量最小的路径来实现;
Eij=ωcEij c+(1-ωc)Eij grad
将图像中的每一个像素视作结点,而能量值作为权重,最终得到一条能量最小的最佳拼接缝。
进一步地,所述步骤S3中采用欧式距离为度量进行特征筛选。
有益效果:本发明与现有技术相比,针对室外场景图像的特征分布特点,通过对图像特征的有效筛选和基于网格的形变模型,提高了图像的配准精度,取得了精确,自然的拼接效果,解决了现有拼接方案在室外场景中配准精度降低、整体几何变形大、重叠区重影等问题,使得室外场景图像的拼接效果得到明显提升,具备很好的应用前景。
附图说明
图1为本发明方法的流程图;
图2为基于贝叶斯模型的特征点筛选算法得到精确的特征点集P1示意图;
图3为基于距离的特征筛选方法筛选出用于全局单应计算的特征点集P2示意图;
图4为本发明中经过图像配准后的结果图;
图5为利用相似变换模型后得到的拼接结果图;
图6为利用最佳拼接缝方法后得到的拼接结果图;
图7为利用现有方法得到的拼接结果图。
具体实施方式
下面结合附图和具体实施例,进一步阐明本发明,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围,在阅读了本发明之后,本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示,本发明提供一种基于特征筛选的室外场景图像拼接方法,包括如下步骤:
S1:采用SIFT特征点提取算法提取参考图像和目标图像的特征点并利用RANSAC算法获得特征点的对应关系;
S2:基于贝叶斯模型的特征点筛选算法得到精确的特征点集P1。
获取的特征点集P1如图2所示,其具体的过程为:
对于一对有重叠区域的待拼接图像I和J,记其中的一对匹配点为(pi,pj),在经过全局配准之后,记为p'i=(x'i,y'i)T,p'i为根据全局单应模型得到的点pi在图像平面J内的投影点,p'i处的视差用投影偏差gi=p'i-pj=(gi,hi)T表示,其中(gi,hi)T表示x方向和y方向的形变分量。根据薄板样条函数的特性,权重(ωi,υi)主要由p'i处的投影偏差gi和p'i附近区域其他特征点对的投影偏差之间的差异决定。各个特征点对的权重系数与可通过求解如下线性方程组得到:
G=(g1,...,gn)T∈Rn×2,λ为一个常量;
最终计算出各个特征点的权重(ωi,υi),权重系数(ωi,υi)的取值近似地服从正态分布,即ωi~N(0,σω),υi~N(0,συ),其中σω和συ分别代表了ωi和υi的标准差。在限定了的前提下,ωi和υi的均值都等于0。
根据贝叶斯定理(Bayes’Rule),在|ωi|>tσω的情况下,匹配点对{pi,qi}是误匹配的后验概率是:
根据3σ原则,取t=3,则Φ(t)=0.9987,当p1∈[0,0.9973]时,有p(τi=0|Ai)≥0.5,即事件Ai={|ωi|>3σω}发生时,匹配点对{pi,qi}是误匹配的概率不小于50%。
因此pi∈[0,0.9973]的前提下,当出现|ωi|>3σω或|υi|>3συ时,即认为匹配点对 {pi,qi}是误匹配并将其删除。
在实际操作中,由于正确匹配点所对应的权重分布σω和συ未知,因此以当前所有匹配点的权重标准差和作为近似,并以循环逼近的方式消除误匹配点。误匹配的消除通常能够在10次循环内完成,本实施例中设置最大循环次数L=10。
S3:根据基于距离的特征筛选方法筛选出用于全局单应计算的特征点集P2。
获取的特征点集P2如图3所示,其具体的过程为:
经过贝叶斯模型筛选出来的特征点集表示为P1,基于空间分布的特征点筛选策略如下:
(1)首先计算每个特征点在y方向上与其他点的平均距离。初始特征点集为P1,表示经过贝叶斯模筛选出来的特征点集,Lij_y表示第i特征点与其他点在y方向上的平均距离,计算公式如下:
其中,pi表示第i特征点,pj表示除了第i点以外的其他特征点。
(2)将每个特征点的距离lij_y构建成集合,并进行排序,得到集合Lij_y。
(3)在集合Lij_y中,选出距离最大的前α%的值,并对剩余的(1-α)%的值进行采样,采样频率设置为μ,获得集合Lij_y_select。本实施例中将α设置为20,μ设置为1/4。
(4)利用映射关系,将集合Lij_y_select映射到对应的点上,得到点集P2。
这里的映射关系指每个特征点和特征点计算出的距离的映射关系。这个映射关系具体就是,集合P1中的每个点pi映射到集合Lij_y中的每个点对应的距离lij_y上,每个点pi都可以算出它的距离lij_y。在得到集合Lij_y_select后,也可以映射回对应的点集P2。
由于在室外场景中,特征点的分布不均主要体现在y方向上的分布不均,而且特征点分布越稀疏的区域,它和其他特征点的平均距离越大,因此,仅计算每个特征点在y 方向上与其他点的平均距离,并筛选出平均距离最大的点。同时保留部分平均距离较小的特征点,即密集区域的特征点,以保证模型的鲁棒性。通过这样的筛选策略,使得用于全局配准的特征点,密集与稀疏区域的特征点比例由原来的1:4变为1:1,提高了稀疏区域的特征点在计算全局配准模型中的权重,使得计算出的全局配准模型更侧重于特征点分布稀疏的配准。需要注意的是特征点集P2只在计算全局单应时使用,为了保证特征点的数量和准确性,计算局部配准时还是使用特征点集P1。
S4:利用特征点集P2计算全局单应变换矩阵,进行全局配准。
利用特征点集P2中的匹配点(p,q)估计全局单应性模型。其中匹配点的横纵坐标分别表示为(xp,yp),(xq,yq)。
首先将单应性近似模型q~Hp详细地表达为如下公式:
将其展开可得到两个线性方程为如下公式:
对该公式进行直接线性变化,将待估计的全局单应性矩阵转变为变量向量 h=(h1,h2,…h9)T,同时将匹配特征点对(p,q)的已知变量关系转变成已知线性参数矩阵为如下公式:
因而,可以得到如下公式:
ah=0
在待配准图像中通常有多对匹配点,实际上在求解h时,通常是通过累积平方和误差最小来评估,公式如下:
此处,该公式是一个超定方程的最小二乘解(当n>4时),其利用|h|2=1来限制h的自由度为8,其中|·|表示L2范式,即欧式距离。此外,其中的组合矩阵A满足以下等式:
其中,组合矩阵A表示所有ai(i=1,2,…,n)的纵向排列。本实施例中大小为2n×9。
S5:利用点集P1和基于网格的形变模型计算进行局部配准。
构造形变函数如下公式:
g(x,y)=(g(x,y),h(x,y))T
该公式表示图像Iq的形变量,其中,g(x,y)和h(x,y)分别表示x方向和y方向的形变分量。根据薄板样条的理论,对于g(x,y),用于估计最优形变的能量函数为:
Jλ=JD+λJS
其中配准项JD和平滑项JS的取值分别为:
将能量函数Jλ最小化,可得到其关于x方向和y方向的解g(x,y)和h(x,y)。完整的形变函数可统一表示为:
本实施例中经过步骤S4的全局配准和步骤S5的局部配准后,获得如图4所示的配准结果图。
S6:利用相似变换模型与最佳拼接缝方法,消除图像重影和形变,实现图像拼接。
1、利用相似变换模型消除图像形变。
获得如图5所示的拼接结果图,其具体的获取过程为:
在获得精确的特征匹配{pi,qi}之后,我们通过最小化公式来估计全局相似性变换S:
Hq=μhH+μsHs
其中,Hs是通过将行(0,0,1)添加到S底部而构成的,并且μh和μs是具有约束μh+μs=1的加权系数。μh在扭曲的源图像I'中,从1到0线性变化,使得图像的变换模型逐渐过渡到Hs。
2、利用最佳拼接缝消除图像重影。
获得如图6所示的拼接结果图,其具体的获取过程为:
通过配准的源图像I'和目标图像J得到重叠区域Ω(ΔI')和Ω(ΔJ)。
寻求最佳缝合线,使得拼接缝左边取左图信息,右边取右图信息。最佳拼接缝的寻找遵循两个原则:(a)拼接线两边的色彩差异尽可能小;(b)拼接线两边邻近像素尽可能相似。
对于(a),对扭曲后的图像对之间做RGB分量差分,标准化后得到差异矩阵Eij,
其中,Ω(ΔI')和Ω(ΔJ)分别表示在扭曲后的图像重叠区域的RGB分量向量[rij,gij,bij]T。
对于(b),用局部相似性,即用梯度差异矩阵来进行量化,将扭曲后的图像转换到梯度域,并对其做差分,得到差异矩阵Eij grad,差异值越小表示局部相似性越高。
Eij grad=||grad(Ω(ΔI'))ij-grad(Ω(ΔJ))ij||
这些准则可以通过结合两个差异矩阵得到能量矩阵Eij在其中搜索一条能量最小的路径来实现。因为结构差异越大的物体将有越大的能量,搜索的时候会尽量绕开,因此抑制了鬼影的产生。
Eij=ωcEij c+(1-ωc)Eij grad
将图像中的每一个像素视作结点,而能量值作为权重,最终可以得到一条能量最小的最佳拼接缝。本实施例中ωc取0.5。
本实施例中为了更加直观体现本发明方法的效果,利用现有的拼接方法获取到如图 7所示的拼接图,对比图6和图7可见,图7的配准精度较低,关键是具有重叠区重影的问题,而图6的配准精度高,没有重叠区重影的问题,所以很好的验证了本发明方法的有效性。
Claims (9)
1.一种基于特征筛选的室外场景图像拼接方法,其特征在于,包括如下步骤:
S1:采用SIFT特征点提取算法提取参考图像和目标图像的特征点并利用RANSAC算法获得特征点的对应关系;
S2:根据基于贝叶斯模型的特征点筛选算法得到特征点集P1;
S3:根据特征点集P1,基于距离的特征筛选方法筛选出用于全局单应计算的特征点集P2;
S4:利用特征点集P2计算全局单应变换矩阵,进行全局配准;
S5:利用特征点集P1和基于网格的形变模型计算进行局部配准;
S6:利用相似变换模型与最佳拼接缝方法,消除图像重影和形变,实现图像拼接。
2.根据权利要求1所述的一种基于特征筛选的室外场景图像拼接方法,其特征在于,所述步骤S2中特征点集P1的获取方法为:根据薄板样条函数的特性计算每一对匹配点的权重,再根据贝叶斯定理,去除误匹配点,筛选出精确的匹配点对。
3.根据权利要求2所述的一种基于特征筛选的室外场景图像拼接方法,其特征在于,所述步骤S2中特征点集P1的具体获取过程为:
对于一对有重叠区域的待拼接图像I和J,图像I和J分别为参考图像和目标图像,记其中的一对匹配点为(pi,pj),在经过全局配准之后,记为p′i=(x′i,y′i)T,p′i为根据全局单应模型得到的点pi在图像平面J内的投影点,p′i处的视差用投影偏差gi=p′i-pj=(gi,hi)T表示,其中(gi,hi)T表示x方向和y方向的形变分量,根据薄板样条函数的特性,权重(ωi,υi)由p'i处的投影偏差gi和p'i附近区域其他特征点对的投影偏差之间的差异决定,各个特征点对的权重系数与通过求解如下线性方程组得到:
G=(g1,...,gn)T∈Rn×2,λ为一个常量;
最终计算出各个特征点的权重(ωi,υi),权重系数(ωi,υi)的取值近似地服从正态分布,即ωi~N(0,σω),υi~N(0,συ),其中σω和συ分别代表了ωi和υi的标准差;
根据贝叶斯定理,在|ωi|>tσω的情况下,匹配点对{pi,qi}是误匹配的后验概率是:
根据3σ原则,取t=3,则Φ(t)=0.9987,当p1∈[0,0.9973]时,有p(τi=0|Ai)≥0.5,即事件Ai={|ωi|>3σω}发生时,匹配点对{pi,qi}是误匹配的概率不小于50%;
因此pi∈[0,0.9973]的前提下,当出现|ωi|>3σω或|υi|>3συ时,即认为匹配点对{pi,qi}是误匹配并将其删除。
4.根据权利要求1所述的一种基于特征筛选的室外场景图像拼接方法,其特征在于,所述步骤S3中特征点集P2的筛选方法为:计算每个特征点在y方向上与其他点的平均距离,并筛选出平均距离最大的点,同时保留密集区域的特征点,以保证模型的鲁棒性,并确定用于全局配准的特征点集。
5.根据权利要求4所述的一种基于特征筛选的室外场景图像拼接方法,其特征在于,所述步骤S3中特征点集P2的筛选过程为:
A1:首先计算每个特征点在y方向上与其他点的平均距离;
将特征点集P1作为初始特征点集,lij_y表示第i特征点与其他点在y方向上的平均距离,计算公式如下:
其中,pi表示第i特征点,pj表示除了第i点以外的其他特征点;
A2:将每个特征点的距离lij_y构建成集合,并进行排序,得到集合Lij_y,P1中的每一个点pi都可映射到集合Lij_y的距离lij_y;
A3:在集合Lij_y中,选出距离最大的前α%的值,并对剩余的1-α%的值进行采样,采样频率设置为μ,获得集合Lij_y_select;
A4:利用映射关系,将集合Lij_y_select映射到对应的点上,得到特征点集P2。
6.根据权利要求1所述的一种基于特征筛选的室外场景图像拼接方法,其特征在于,所述步骤S4具体为:
利用特征点集P2中的匹配点(p,q)估计全局单应性模型,其中匹配点的横纵坐标分别表示为(xp,yp),(xq,yq);
首先将单应性近似模型q~Hp表达为如下公式:
将其展开得到两个线性方程为如下公式:
对该公式进行直接线性变化,将待估计的全局单应性矩阵转变为变量向量h=(h1,h2,…h9)T,同时将匹配特征点对(p,q)的已知变量关系转变成已知线性参数矩阵为如下公式:
因而,得到如下公式:
ah=0
通过累积平方和误差最小来评估求解h,公式如下:
其中,|·|表示L2范式,即欧式距离;组合矩阵A满足以下等式:
表示所有ai(i=1,2,…,n)的纵向排列;
8.根据权利要求1所述的一种基于特征筛选的室外场景图像拼接方法,其特征在于,所述步骤S6具体为:
利用相似变换模型消除图像形变;
在获得精确的特征匹配{pi,qi}之后,通过最小化公式来估计全局相似性变换S:
Hq=μhH+μsHs
其中,Hs是通过将行(0,0,1)添加到全局相似性变换S底部而构成的,并且μh和μs是具有约束μh+μs=1的加权系数,μh在扭曲的源图像I'中,从1到0线性变化,使得图像的变换模型逐渐过渡到Hs;
利用最佳拼接缝消除图像重影:
通过配准的源图像I'和目标图像J得到重叠区域Ω(ΔI')和Ω(ΔJ);
寻求最佳缝合线,使得拼接缝左边取左图信息,右边取右图信息;最佳拼接缝的寻找遵循两个原则:(a)拼接线两边的色彩差异尽可能小;(b)拼接线两边邻近像素尽可能相似;
对于(a),对扭曲后的图像对之间做RGB分量差分,标准化后得到差异矩阵Eij,
对于(b),用局部相似性,即用梯度差异矩阵来进行量化,将扭曲后的图像转换到梯度域,并对其做差分,得到差异矩阵Eij grad;
Eij grad=||grad(Ω(ΔI'))ij-grad(Ω(ΔJ))ij||
通过结合差异矩阵Eij和差异矩阵Eij grad得到能量矩阵Eij,在其中搜索一条能量最小的路径来实现;
Eij=ωcEij c+(1-ωc)Eij grad
将图像中的每一个像素视作结点,而能量值作为权重,最终得到一条能量最小的最佳拼接缝。
9.根据权利要求1所述的一种基于特征筛选的室外场景图像拼接方法,其特征在于,所述步骤S3中采用欧式距离为度量进行特征筛选。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110036464.8A CN112837217A (zh) | 2021-01-12 | 2021-01-12 | 一种基于特征筛选的室外场景图像拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110036464.8A CN112837217A (zh) | 2021-01-12 | 2021-01-12 | 一种基于特征筛选的室外场景图像拼接方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112837217A true CN112837217A (zh) | 2021-05-25 |
Family
ID=75927888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110036464.8A Pending CN112837217A (zh) | 2021-01-12 | 2021-01-12 | 一种基于特征筛选的室外场景图像拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112837217A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113344994A (zh) * | 2021-06-21 | 2021-09-03 | 京东数科海益信息科技有限公司 | 图像配准方法、装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109658370A (zh) * | 2018-11-29 | 2019-04-19 | 天津大学 | 基于混合变换的图像拼接方法 |
-
2021
- 2021-01-12 CN CN202110036464.8A patent/CN112837217A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109658370A (zh) * | 2018-11-29 | 2019-04-19 | 天津大学 | 基于混合变换的图像拼接方法 |
Non-Patent Citations (1)
Title |
---|
CHUNBIN LI等: "Parallax-Tolerant Image Stitching for Outdoor Scenes", THE 2020 SECOND INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE TECHNOLOGIES AND APPLICATION (ICAITA) 2020, 23 August 2020 (2020-08-23), pages 1 - 6 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113344994A (zh) * | 2021-06-21 | 2021-09-03 | 京东数科海益信息科技有限公司 | 图像配准方法、装置、电子设备及存储介质 |
CN113344994B (zh) * | 2021-06-21 | 2024-04-16 | 京东科技信息技术有限公司 | 图像配准方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10334168B2 (en) | Threshold determination in a RANSAC algorithm | |
CN110111250B (zh) | 一种鲁棒的自动全景无人机图像拼接方法及装置 | |
CN107578376B (zh) | 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法 | |
CN110349086B (zh) | 一种非同心成像条件的图像拼接方法 | |
JP2016149125A (ja) | 画像のシーケンスにおいて前景を背景から分離する方法およびシステム | |
CN107767339B (zh) | 一种双目立体图像拼接方法 | |
CN111553939B (zh) | 一种多目摄像机的图像配准算法 | |
CN112862683B (zh) | 一种基于弹性配准和网格优化的邻接图像拼接方法 | |
Li et al. | A study on automatic UAV image mosaic method for paroxysmal disaster | |
CN110930310A (zh) | 全景图像拼接方法 | |
CN113793266A (zh) | 一种多目机器视觉图像拼接方法、系统及存储介质 | |
CN113888629A (zh) | 一种基于rgbd相机的快速物体三维位姿估计方法 | |
CN115456870A (zh) | 基于外参估计的多图像拼接方法 | |
Yan et al. | Deep learning on image stitching with multi-viewpoint images: A survey | |
CN111127353A (zh) | 一种基于块配准和匹配的高动态图像去鬼影方法 | |
CN112837217A (zh) | 一种基于特征筛选的室外场景图像拼接方法 | |
CN117333538A (zh) | 一种基于局部优化的多视角多人人体姿态估计方法 | |
Dornaika et al. | Mosaicking images with parallax | |
Xia et al. | A coarse-to-fine ghost removal scheme for HDR imaging | |
Tian et al. | High confidence detection for moving target in aerial video | |
CN111738061A (zh) | 基于区域特征提取的双目视觉立体匹配方法及存储介质 | |
CN111739068A (zh) | 一种光场相机相对位姿估计方法 | |
Gerogiannis et al. | Robust Image Registration using Mixtures of t-distributions | |
CN115937011B (zh) | 一种基于时滞特征回归的关键帧位姿优化视觉slam方法、存储介质及设备 | |
Lee et al. | IR-RGB Image Registration Using Deformation Field and Mask Loss |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |