CN110349086B - 一种非同心成像条件的图像拼接方法 - Google Patents
一种非同心成像条件的图像拼接方法 Download PDFInfo
- Publication number
- CN110349086B CN110349086B CN201910594041.0A CN201910594041A CN110349086B CN 110349086 B CN110349086 B CN 110349086B CN 201910594041 A CN201910594041 A CN 201910594041A CN 110349086 B CN110349086 B CN 110349086B
- Authority
- CN
- China
- Prior art keywords
- image
- feature point
- homography matrix
- registration
- point matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003384 imaging method Methods 0.000 title claims abstract description 29
- 238000000280 densification Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 66
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 229940060587 alpha e Drugs 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 13
- 230000009466 transformation Effects 0.000 abstract description 13
- 230000007246 mechanism Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 23
- 230000000694 effects Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000009499 grossing Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种非同心成像条件下的图像拼接方法,其中,采用一种配准误差导向的循环选择机制选择出符合当前场景的目标候选单应矩阵,在基于该目标候选单应矩阵进行二维变换粗配准后,采用插值算法对目标候选单应矩阵对应的稀疏特征点配准误差进行稠密化,获取整个重叠区域的配准误差后,进行误差补偿,优化图像对齐增加了重叠区域图像对齐区域,更方便缝合线查找,另外通过结合特征点配准误差约束函数优化缝合线查找,促使缝合线查找函数代价最小,找到对应最优缝合线,从而实现缝合线两侧图像几何结构完美对齐和图像内容不存在增加或者删减,解决了复杂场景图像拼接过程中出现的重影问题。
Description
技术领域
本发明涉及数字图像处理技术领域,更具体地说,涉及一种非同心成像条件下的图像拼接方法。
背景技术
图像拼接技术是计算机视觉领域中的一个难点,在复杂场景图像拼接应用中,非同心成像条件的图像拼接技术研究更是重中之重。通常来说,图像拼接过程包括两个步骤:图像配准和图像融合。图像配准是整个图像拼接过程中的关键,可通过二维空间变换对原始图像进行配准操作,在图像对齐之后直接进行融合操作。这是当前大多拼接产品采用的方法,能正确处理同心成像条件下的无缝图像拼接,然而,对于非同心成像条件却不能获得理想的拼接效果,其原因在于视差的存在。
针对非同心成像条件,从相机的成像原理上可分析,不同深度目标在不同视角成像时存在不同的视差,进而导致了图像上的不同遮挡关系,从而使得现有图像拼接方法在最终融合图像上出现重影现象,即是非同心成像条件下图像拼接技术的难题之一。而缝合线查找思路的提出,为解决非同心成像条件下图像拼接中重影问题提供了可能。最佳缝合线产生要求图像配准后,图像对齐区域连续,而在非同心成像条件下,传统二维变换无法保证图像配准后对齐区域的连续性,这将导致缝合线两侧图像几何结构不能完美对齐和拼接后图像内容存在重复或者删减等瑕疵。
现有的图像拼接产品,多数采用二维刚性变换和图像融合思路,只适用于微弱视差图像拼接或者是同心成像约束下的图像拼接,不能处理非同心成像条件下的复杂场景图像拼接。针对视差条件下的图像拼接技术,可不断迭代二维变换,并配合缝合线质量评估技术,以求得最佳投影变换与最优缝合线的组合解。但该类方法中,每次循环迭代都是一次完整的图像拼接过程,导致过多的时间和内存的消耗。并且,缝合线查找是直接建立在刚性变换配准的基础上,依然会存在重叠区域对齐区域过少或者对齐区域不连贯,导致最终缝合线左右两侧图像几何结构无法对齐和图像内容断层或重影等问题。
发明内容
为解决上述技术问题,本发明提供一种非同心成像条件下的图像拼接方法。
以两幅图像的拼接为例,本发明采用的技术方案是:
一种非同心成像条件下的图像拼接方法,包括:
S1:分别提取待拼接的第一图像和第二图像中重叠图像的稀疏特征点;
S2:对提取的两幅图像中的稀疏特征点进行匹配,得到特征点匹配对集;
S3:从所述特征点匹配对集中选择m对空间分布发散的特征点匹配对,并估算对应的单应矩阵Hi;
S4:确定所述特征点匹配对集中符合所述单应矩阵Hi的特征点匹配对的数量百分比ri;
S5:在ri大于预设数量百分比阈值时,根据符合所述单应矩阵Hi的所有特征点匹配对计算对应的候选单应矩阵;
S6:判断是否遍历所述特征点匹配对集,如是,转至S7,否则,转至S3;
S7:分别根据各候选单应矩阵对所述第一图像和所述第二图像的特征点匹配对集进行空间映射,计算特征点匹配对间的稀疏特征点配准误差;
S8:根据所述稀疏特征点配准误差从候选单应矩阵中选择出目标候选单应矩阵;
S9:利用所述目标候选单应矩阵将所述第一图像投影到所述第二图像所在的平面中得到处于同一平面下的两幅图像;
S10:在同一平面下的两幅图像的重叠区域中寻找最优缝合线;
S11:根据所述最优缝合线对步骤S10中的两幅图像进行融合得到拼接图像。
可选的,所述步骤S3包括:
记图像宽为W高为H,在二维空间[0,W-1]×[0,H-1]上产生均匀分布的m个坐标,根据所述m个坐标以最邻近原则选择m对空间分布发散的特征点匹配对。
可选的,所述步骤S7包括:针对每一候选单应矩阵,利用以下公式计算其对应的稀疏特征点配准误差:
其中,Δxi表示利用该候选单应矩阵进行粗配准后一对特征点匹配对在x轴方向上的误差值,Δyi表示利用该候选单应矩阵进行粗配准后相应特征点匹配对在y轴方向上的误差值,∑(·)表示对N对特征点匹配对的稀疏特征点配准误差求和,N表示特征点匹配对集中特征点匹配对的数量;
所述步骤S8包括:
将最小si对应的候选单应矩阵作为目标候选单应矩阵。
可选的,在步骤S9之后,且在步骤S10之前,还包括以下步骤:
S91:采用二维插值算法对所述目标候选单应矩阵对应的稀疏特征点配准误差si进行稠密化,获取整个重叠区域的配准误差后,进行误差补偿,优化图像对齐。
可选的,所述步骤S10中基于像素差值函数、几何结构相似度函数以及配准误差约束函数来寻找最优缝合线。
可选的,基于缝合线成本函数E(x,y)=αEc(x,y)+βEg(x,y)+γEw(x,y)确定出对应的最优缝合线,其中,α表示像素差值函数的占比参数、β表示几何结构相似度函数的占比参数,γ表示配准误差约束函数的占比参数,
(x,y)∈path表示缝合线在所述第二图像所在的平面中的坐标,Idiff表示S91误差补偿后第一图像和第二图像的重叠区域像素差值图,Sxy为3×3的卷积核,(*)表示图像卷积计算,wi=exp(-||X-Xi||2/σ2),wi表示缝合线权重参数,X表示重叠区域中当前像素点坐标(x,y),Xi表示所述的第二图像的稀疏特征点集合S中与X邻近的第i个稀疏特征点的坐标,▽Xi表示所述的稀疏特征点Xi在基于所述目标候选单应矩阵进行空间映射后的配准误差。
可选的,α:β:γ=2:5:3。
可选的,α取值为0.21,β取值为0.49,γ取值为0.30。
本发明提供的非同心成像条件下的图像拼接方法中采用一种配准误差导向的循环选择机制来获取符合当前场景的目标候选单应矩阵,所谓循环选择机制是指循环地从第一图像和第二图像对应的特征点匹配对集中选择m对空间分布发散的匹配特征点对计算候选单应矩阵,并基于各候选单应矩阵对应的配准误差选择出误差最小的目标候选单应矩阵,在基于该目标候选单应矩阵进行二维变换粗配准后,在同一平面下的两幅图像的重叠区域中寻找出最优缝合线,并根据该最优缝合线对这两幅图像进行融合得到拼接图像,相比较同类非同心成像下图像拼接方法多次迭代下缝合线质量评估机制选出最佳单应,不仅简化算法难度,更是减少时间和内存的消耗,可以实现在低成本下通过快速图像拼接技术获取到广视角图像;
进一步地,在基于目标候选单应矩阵进行二维变换粗配准后,还可以采用插值算法对目标候选单应矩阵对应的稀疏特征点配准误差进行稠密化,获取整个重叠区域的配准误差后,进行误差补偿,优化图像对齐增加了重叠区域图像对齐区域,更方便缝合线查找,另外通过结合特征点配准误差约束函数优化缝合线查找,促使缝合线查找函数代价最小,找到对应最优缝合线,从而实现缝合线两侧图像几何结构完美对齐和图像内容不存在增加或者删减,解决了复杂场景图像拼接过程中出现的重影问题。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1为本发明实施例提供的非同心成像条件下的图像拼接方法的第一流程示意图;
图2为本发明实施例提供的非同心成像条件下的图像拼接方法的第二流程示意图;
图3为本发明实施例提供的待拼接的第一图像和第二图像的示意图;
图4为通过本发明提供的最佳粗配准方式进行拼接后得到的拼接效果图;
图5为在最佳粗配准后进行视差补偿优化对齐后得到拼接效果图;
图6为在进行视差补偿优化对齐后利用本发明提供的方法寻找最优缝合线进行融合后得到的拼接效果图。
具体实施方式
本实施例提供一种非同心成像条件下的图像拼接方法,请参见图1所示,包括:
S1:分别提取待拼接的第一图像和第二图像中重叠区域的稀疏特征点。
S2:对提取的两幅图像中的稀疏特征点进行匹配,得到特征点匹配对集。
S3:从特征点匹配对集中选择m对空间分布发散的特征点匹配对,并估算对应的单应矩阵Hi。
假设本实施例中的特征点匹配对集中有N对特征点匹配对,则这里的m应当小于或等于N,比如,本实施例中的m可以为4,此时则可以从特征点匹配对集中随机选择4对空间分布发散的特征点匹配对计算这4对特征点匹配对对应的单应矩阵。或者,记图像宽为W高为H,在二维空间[0,W-1]×[0,H-1]上产生均匀分布的m个像素点坐标,再根据m个像素点坐标以最邻近原则选择m对空间分布发散的特征点匹配对。
为便于理解,这里举一个具体的示例。第一图像和第二图像的宽为W,高为H,将这两幅图像放入同一坐标系下,对于每一图像,其像素点坐标可以是(0,0),(0,1),……(0,H-1),(1,0),(1,1),……(1,H-1),……(W-1,0),(W-1,1),……(W-1,H-1)。因此,可以在二维空间[0,W-1]×[0,H-1]上产生二维均匀分布的m个坐标,即是生成了在图像坐标下均匀分布的m个点,然后,再以最邻近原则,选择m个分别距离前述m个点的特征点匹配对即可。
S4:确定特征点匹配对集中符合该单应矩阵Hi的特征点匹配对的数量百分比ri。
S5:在ri大于预设数量百分比阈值时,根据符合该单应矩阵Hi的所有特征点匹配对计算对应的候选单应矩阵。
步骤S4中确定特征点匹配对集中符合该单应矩阵Hi的特征点匹配对的数量百分比ri是指确定特征点匹配对集中符合该单应矩阵Hi的特征点匹配对的数量与特征点匹配对集中特征点匹配对的总数量的比值。
在一种实施例中,对于步骤S5,当ri大于预设数量百分比阈值时,可以直接将这m对特征点匹配对对应的单应矩阵Hi作为其对应的候选单应矩阵,在另外一种实施例中,对于步骤S5,当ri大于预设数量百分比阈值时,可以利用特征点匹配对集中除该m对特征点匹配对以外的特征点匹配对中符合该单应矩阵的匹配对对该单应矩阵进行拟合优化从而得到这m对特征点匹配对对应的候选单应矩阵。本实施例中数量百分比阈值可以由开发人员灵活设置。
S6:判断是否遍历特征点匹配对集,如是,转至S7,否则,转至S3。
应当说明的是,在没有遍历特征点匹配对集时,可以从特征点匹配对集中再次随机选择m对特征点匹配对计算对应的单应矩阵,这里在随机选择m对特征点匹配对后可以判断这m对特征点匹配对是否是第一次被选择,如是,可以直接计算对应的单应矩阵,如否,应当再次重新随机选择m对特征点匹配对。
S7:分别根据各候选单应矩阵对第一图像和第二图像的特征点匹配对集进行空间映射,计算特征点匹配对间的稀疏特征点配准误差。
S8:根据稀疏特征点配准误差从候选单应矩阵中选择出目标候选单应矩阵。
S9:利用目标候选单应矩阵将第一图像投影到第二图像所在的平面中得到处于同一平面下的两幅图像。
S10:在同一平面下的两幅图像的重叠区域中寻找最优缝合线。
S11:根据最优缝合线对步骤S10中的两幅图像进行融合得到拼接图像。
为了得到最佳的拼接效果,本实施例中提供的非同心成像条件下的图像拼接方法主要包括以下过程:
1)误差指导最佳单应矩阵
这里的最佳单应矩阵也即是前面的目标候选单应矩阵,这里再进行具体的介绍。假设待拼接的第一图像和第二图像分别为图像I1和图像I2,分别对图像I1和图像I2中重叠区域进行特征提取,获取稳健的稀疏特征点集。在确认重叠区域内点集合qi=(ui,vi)和pi=(xi,yi)后,以及qi、pi内点集合中特征点的对应关系后,采用随机算法选取4对特征点匹配对计算单应矩阵,同时通过阈值判断余下特征点匹配对是否满足该单应矩阵,并统计计数用于后续决定该单应矩阵是否符合候选单应矩阵,Ni为余下的特征点匹配对中满足该单应矩阵的特征点匹配对的数量。
除了随机选取4对特征点匹配对计算单应矩阵外,各个候选单应矩阵可以对特征点匹配对重新拟合优化,更新;
利用候选单应矩阵Hi对图像进行粗配准后,计算各特征点匹配对间的稀疏特征点配准误差:
ri=q′i-pi (2)
(2)计算全局配准中,稀疏特征点对应的误差值ri。
第一图像在经各候选单应矩阵Hi投影变换后,由于场景深度不同,导致各匹配点对之间存在配准误差,本实施例通过最小化配准误差来选取目标候选单应矩阵:
H~min∑ri (3)
具体的,可以利用以下公式计算每一候选单应矩阵对应的稀疏特征点配准误差:
其中,Δxi表示利用该候选单应矩阵进行粗配准后一对特征点匹配对在x轴方向上的误差值,Δyi表示利用该候选单应矩阵进行粗配准后相应特征点匹配对在y轴方向上的误差值,∑(·)表示对N对特征点匹配对的稀疏特征点配准误差求和,N表示特征点匹配对集中特征点匹配对的总数量;本实施例中可以将最小si对应的候选单应矩阵作为目标候选单应矩阵。
请参见图3所示,图3为本实施例所提供的待拼接的第一图像和第二图像的示意图,图4为通过本实施例提供的最佳粗配准方法进行拼接后得到的拼接效果图,所谓最佳粗配准是指利用目标候选单应矩阵进行配准。
2)视差补偿优化对齐
请参见图2所示,本实施例中在步骤S9之后,且在步骤S10之前,还可以包括以下步骤:
S91:采用二维插值算法对目标候选单应矩阵对应的稀疏特征点配准误差si进行稠密化,获取整个重叠区域的配准误差后,进行误差补偿,优化图像对齐。
应当说明的是,在缩小误差值过程中,为保证图像变形,图像内容不扭曲,本实施例设计对齐项Fd和平滑项Fs,组成能量函数,在强调局部区域补偿对齐的同时,全局的图像结构不会因此而变形扭曲。
本实施例采用最小化能量函数:
F=aFd+bFs (5)
对齐项:
平滑项:
Fs=∫∫▽2r|2dxdy (7)
上述a和b分别表示对齐项的权重参数和平滑项的权重参数,用于平衡两项,可选的,a取值为0.99,b的取值可以取决于目标图像尺度的0.00015倍,N为特征点匹配对集中特征点匹配对的总数,r(q′i,pi)表示特征点qi'和特征点pi的视差值,▽2r表示的是特征点匹配对中两个特征点之间坐标间直接距离,dxdy中(x,y)∈pi。
hi表示插值函数的权重变量参数,通过N对匹配点拟合得到,这里应当最小化x轴和y轴方向上的误差值,以公式(8)为约束条件计算对应的插值函数,要求公式(8)中的取值最小,也即要求最小化视差值。表示的是RBF(Radial basis function)径向基函数。稀疏特征点对应权重值hi与视差值成正比,通过阈值T排除少数视差太大特征点,避免hi权重进行插值,而是通过邻近区域稳健特征点估值代替。通过以上方法对稀疏特征点配准误差插值,稠密化得到重叠区域误差图后,对粗配准结果进行误差补偿。
误差补偿后结果,全局范围内减少误差,增加图像对齐区域。图5为在最佳粗配准后进行视差补偿优化对齐后得到拼接效果图。
3)寻找最优缝合线
请参见图2所示,在步骤S10中,可以基于像素差值函数、几何结构相似度函数以及配准误差约束函数来寻找最优缝合线。
也即,在图像配准后,可以结合以下三大特征找寻最优缝合线,三大影响特征分别为:
像素差值:图像配准后,缝合线附近的像素点在两幅图像上的像素差值之和最小;
几何结构:缝合线邻域的像素点在配准后源图上的结构最相似;
权重约束:内点集合到缝合线点间几何距离作为内点对缝合线点权重约束。
通过对图像的分析和大量实验证明,本实施例提供的最优缝合线的成本函数为:
E(x,y)=αEc(x,y)+βEg(x,y)+γEw(x,y) (10)
可以促使缝合线成本函数值最小,从而找出对应的最优缝合线,其中,α表示像素差值函数的占比参数、β表示几何结构相似度函数的占比参数,γ表示配准误差约束函数的占比参数
像素差值:初始图像经过全局粗配准和误差补偿优化对齐后,重叠区域绝大部分像素点颜色值是相同的,当然,因视差导致的同一目标物体可能在平面上顺序不同,会导致局部区域像素点颜色差不为零,直接表现为重影现象,这也是选择缝合线算法的主要原因。
(x,y)∈path表示缝合线在第二图像所在的平面中的坐标,Idiff表示步骤S91中的误差补偿后第一图像和第二图像的重叠区域像素差值图。
几何结构:为确保最终效果图在缝合线邻域区的相似性,本实施例可以利用卷积核,也即公式(12)进行改进,通过最小化来保证缝合线两侧的原始图像平滑而不断层。
(*)表示图像卷积计算。
权重约束:在对误差补偿优化后,可以实现原始图像在重叠区域像素点是多数对齐,本发明通过优化对齐后的内点集合,计算各点到缝合线的欧式距离作为对缝合线上像素点影响权重,从而设计权重约束函数:
Ew(x,y)=wi▽Xi (14)
wi=exp(-||X-Xi||2/σ2) (15)
wi表示缝合线权重参数,X表示重叠区域中当前像素点坐标(x,y),Xi表示第二图像的稀疏特征点集合S中与X邻近的第i个稀疏特征点的坐标,σ表示尺度参数,▽Xi表示稀疏特征点Xi在基于目标候选单应矩阵进行空间映射后的配准误差。图6为在进行视差补偿优化对齐后利用本实施例提供的方法寻找最优缝合线进行融合后得到的拼接效果图。
本实施例提出的非同心成像条件下的图像拼接方法,通过随机选取稀疏特征点匹配对估算二维刚性变换,对非同心成像下图像配准后,采用匹配对计数指导循环,获取多个候选单应矩阵,目标图像经投影变换后,利用一种配准误差导向的循环选择机制选出最佳的目标候选单应矩阵,利用该目标候选单应矩阵,将目标图像投影到参考图像平面上后,对配准误差采用插值算法准稠密化获取重叠区域误差图后,进行误差补偿,优化图像对齐,而在缝合线查找算法上,考虑到像素差值和几何结构两种特征的同时,提出稀疏特征点的权重约束,来查找最佳缝合线,能够在减少时间和内存的消耗的同时,解决非同心成像下图像拼接过程中重影问题,实现在低成本要求下,通过图像拼接结束获取到广视角图像,将其直接应用在普通相机上即可获取广视角图像,能够广泛应用于虚拟现实、自动驾驶、安全监控等领域。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
Claims (4)
1.一种非同心成像条件下的图像拼接方法,其特征在于,包括:
S1:分别提取待拼接的第一图像和第二图像中重叠区域的稀疏特征点;
S2:对提取的两幅图像中的稀疏特征点进行匹配,得到特征点匹配对集;
S3:从所述特征点匹配对集中选择m对空间分布发散的特征点匹配对,并估算对应的单应矩阵Hi;
S4:确定所述特征点匹配对集中符合所述单应矩阵Hi的特征点匹配对的数量百分比ri;
S5:在ri大于预设数量百分比阈值时,根据符合所述单应矩阵Hi的所有特征点匹配对计算对应的候选单应矩阵;
S6:判断是否遍历所述特征点匹配对集,如是,转至S7,否则,转至S3;
S7:分别根据各候选单应矩阵对所述第一图像和所述第二图像的特征点匹配对集进行空间映射,计算特征点匹配对间的稀疏特征点配准误差;
针对每一候选单应矩阵,利用以下公式计算其对应的稀疏特征点配准误差:
其中,Δxi表示利用该候选单应矩阵进行粗配准后一对特征点匹配对在x轴方向上的误差值,Δyi表示利用该候选单应矩阵进行粗配准后相应特征点匹配对在y轴方向上的误差值,∑(·)表示对N对特征点匹配对的稀疏特征点配准误差求和,N表示特征点匹配对集中特征点匹配对的数量;
S8:根据所述稀疏特征点配准误差从候选单应矩阵中选择出目标候选单应矩阵;
S9:利用所述目标候选单应矩阵将所述第一图像投影到所述第二图像所在的平面中得到处于同一平面下的两幅图像;
S91:采用二维插值算法对所述目标候选单应矩阵对应的稀疏特征点配准误差si进行稠密化,获取整个重叠区域的配准误差后,进行误差补偿,优化图像对齐;
S10:在同一平面下的两幅图像的重叠区域中寻找最优缝合线;
基于缝合线成本函数E(x,y)=αEc(x,y)+βEg(x,y)+γEw(x,y)确定出对应的最优缝合线,其中,α表示像素差值函数的占比参数、β表示几何结构相似度函数的占比参数,γ表示配准误差约束函数的占比参数,α∶β∶γ=2∶5∶3,α取值为0.21,β取值为0.49,γ取值为0.30,
(x,y)∈path表示缝合线在所述第二图像所在的平面中的坐标,Idiff表示步骤S91中的误差补偿后第一图像和第二图像的重叠区域像素差值图,Sxy为3×3的卷积核,(*)表示图像卷积计算,wi=exp(-||X-Xi||2/σ2),wi表示缝合线权重参数,X表示重叠区域中当前像素点坐标(x,y),Xi表示所述第二图像的稀疏特征点集合S中与X邻近的第i个稀疏特征点的坐标,σ表示尺度参数,表示所述稀疏特征点Xi在基于所述目标候选单应矩阵进行空间映射后的配准误差;
S11:根据所述最优缝合线对步骤S10中的两幅图像进行融合得到拼接图像。
2.如权利要求1所述的非同心成像条件下的图像拼接方法,其特征在于,所述步骤S3包括:
记图像宽为W高为H,在二维空间[0,W-1]×[0,H-1]上产生均匀分布的m个像素点坐标,根据所述m个像素点坐标以最邻近原则选择m对空间分布发散的特征点匹配对。
3.如权利要求1所述的非同心成像条件下的图像拼接方法,其特征在于,所述步骤S8包括:
将最小si对应的候选单应矩阵作为目标候选单应矩阵。
4.如权利要求1所述的非同心成像条件下的图像拼接方法,其特征在于,所述步骤S10中基于像素差值函数、几何结构相似度函数以及配准误差约束函数来寻找最优缝合线。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910594041.0A CN110349086B (zh) | 2019-07-03 | 2019-07-03 | 一种非同心成像条件的图像拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910594041.0A CN110349086B (zh) | 2019-07-03 | 2019-07-03 | 一种非同心成像条件的图像拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110349086A CN110349086A (zh) | 2019-10-18 |
CN110349086B true CN110349086B (zh) | 2023-01-24 |
Family
ID=68177651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910594041.0A Active CN110349086B (zh) | 2019-07-03 | 2019-07-03 | 一种非同心成像条件的图像拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110349086B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111275616B (zh) * | 2020-01-08 | 2023-11-03 | 北京林业大学 | 低空航拍图像拼接方法和装置 |
CN111242848B (zh) * | 2020-01-14 | 2022-03-04 | 武汉大学 | 基于区域特征配准的双目相机图像缝合线拼接方法及系统 |
CN112907540B (zh) * | 2021-02-22 | 2024-05-14 | 浙江大华技术股份有限公司 | 一种拼接异常检测方法、装置、设备及介质 |
CN112907452A (zh) * | 2021-04-09 | 2021-06-04 | 长春理工大学 | 一种用于图像拼接的最佳缝合线搜寻方法 |
CN113222878B (zh) * | 2021-06-04 | 2023-09-05 | 杭州海康威视数字技术股份有限公司 | 一种图像拼接方法 |
CN113689332B (zh) * | 2021-08-23 | 2022-08-02 | 河北工业大学 | 高度重复特征场景下高鲁棒性的图像拼接方法 |
CN113793266A (zh) * | 2021-09-16 | 2021-12-14 | 深圳市高川自动化技术有限公司 | 一种多目机器视觉图像拼接方法、系统及存储介质 |
CN114820737B (zh) * | 2022-05-18 | 2024-05-07 | 浙江圣海亚诺信息技术有限责任公司 | 一种基于结构特征的遥感图像配准方法 |
CN116071244B (zh) * | 2023-04-03 | 2023-07-14 | 苏州秉理科技有限公司 | 大量图像拼接校正方法、系统、装置、介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105957007A (zh) * | 2016-05-05 | 2016-09-21 | 电子科技大学 | 基于特征点平面相似度的图像拼接方法 |
CN106780303A (zh) * | 2016-12-02 | 2017-05-31 | 上海大学 | 一种基于局部配准的图像拼接方法 |
CN107079141A (zh) * | 2014-09-22 | 2017-08-18 | 三星电子株式会社 | 用于三维视频的图像拼接 |
CN108734657A (zh) * | 2018-04-26 | 2018-11-02 | 重庆邮电大学 | 一种具有视差处理能力的图像拼接方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106504194B (zh) * | 2016-11-03 | 2019-06-21 | 重庆邮电大学 | 一种基于最佳拼接平面和局部特征的图像拼接方法 |
US20190171665A1 (en) * | 2017-12-05 | 2019-06-06 | Salk Institute For Biological Studies | Image similarity search via hashes with expanded dimensionality and sparsification |
-
2019
- 2019-07-03 CN CN201910594041.0A patent/CN110349086B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107079141A (zh) * | 2014-09-22 | 2017-08-18 | 三星电子株式会社 | 用于三维视频的图像拼接 |
CN105957007A (zh) * | 2016-05-05 | 2016-09-21 | 电子科技大学 | 基于特征点平面相似度的图像拼接方法 |
CN106780303A (zh) * | 2016-12-02 | 2017-05-31 | 上海大学 | 一种基于局部配准的图像拼接方法 |
CN108734657A (zh) * | 2018-04-26 | 2018-11-02 | 重庆邮电大学 | 一种具有视差处理能力的图像拼接方法 |
Non-Patent Citations (3)
Title |
---|
一种改进的降低扭曲误差的快速图像拼接算法;瞿中等;《计算机科学》;20160515(第05期);第279-282页 * |
具有直线结构保护的网格化图像拼接;何川等;《中国图象图形学报》;20180716(第07期);第973-983页 * |
基于特征匹配的平行拼图方法研究;谢凌霄;《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》;20110731;第I138-830 * |
Also Published As
Publication number | Publication date |
---|---|
CN110349086A (zh) | 2019-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110349086B (zh) | 一种非同心成像条件的图像拼接方法 | |
US10109053B2 (en) | Apparatus and method for detecting error in lesion contour, apparatus and method for correcting error in lesion contour, and apparatus for inspecting error in lesion contour | |
US10225473B2 (en) | Threshold determination in a RANSAC algorithm | |
US8755630B2 (en) | Object pose recognition apparatus and object pose recognition method using the same | |
US8452081B2 (en) | Forming 3D models using multiple images | |
CN105957007B (zh) | 基于特征点平面相似度的图像拼接方法 | |
US11348267B2 (en) | Method and apparatus for generating a three-dimensional model | |
US20120177283A1 (en) | Forming 3d models using two images | |
CN106447602B (zh) | 一种图像拼接方法及装置 | |
CN109472820B (zh) | 单目rgb-d相机实时人脸重建方法及装置 | |
US20100033584A1 (en) | Image processing device, storage medium storing image processing program, and image pickup apparatus | |
US9767383B2 (en) | Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image | |
US9430834B2 (en) | Visual perception matching cost on binocular stereo images | |
CN105005964B (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
JP2009517683A (ja) | ステレオビジョンにおいて散乱視差場を求める方法 | |
CN110909750B (zh) | 图像差异检测方法及装置、存储介质、终端 | |
CN111144213A (zh) | 一种对象检测方法和相关设备 | |
US20080226159A1 (en) | Method and System For Calculating Depth Information of Object in Image | |
CN110443228B (zh) | 一种行人匹配方法、装置、电子设备及存储介质 | |
CN117726747A (zh) | 补全弱纹理场景的三维重建方法、装置、存储介质和设备 | |
JP7275583B2 (ja) | 背景モデル生成装置、背景モデル生成方法及び背景モデル生成プログラム | |
CN111738061A (zh) | 基于区域特征提取的双目视觉立体匹配方法及存储介质 | |
KR101454692B1 (ko) | 객체 추적장치 및 그 방법 | |
CN109242894B (zh) | 一种基于移动最小二乘法的图像对齐方法及系统 | |
JP2011113177A (ja) | 被写体3次元モデルを構築する方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |