CN109785372A - 基于软决策优化的基础矩阵鲁棒估计方法 - Google Patents

基于软决策优化的基础矩阵鲁棒估计方法 Download PDF

Info

Publication number
CN109785372A
CN109785372A CN201910022708.XA CN201910022708A CN109785372A CN 109785372 A CN109785372 A CN 109785372A CN 201910022708 A CN201910022708 A CN 201910022708A CN 109785372 A CN109785372 A CN 109785372A
Authority
CN
China
Prior art keywords
point
matrix
characteristic point
candidate
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910022708.XA
Other languages
English (en)
Other versions
CN109785372B (zh
Inventor
冯大政
张焕焕
肖春宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910022708.XA priority Critical patent/CN109785372B/zh
Publication of CN109785372A publication Critical patent/CN109785372A/zh
Application granted granted Critical
Publication of CN109785372B publication Critical patent/CN109785372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉技术领域,公开了基于软决策优化的基础矩阵鲁棒估计方法。该方法包括:获取图像,提取特征点,为每个待匹配特征点选取k个对应的候选匹配特征点,进行粗匹配确定候选点对集;计算初始基础矩阵,将初始基础矩阵按列排列得到初始列向量;构建基于Sampson距离误差的软决策目标函数,采用驻点法得到递归公式,根据递归公式及初始列向量迭代递归,得到收敛向量;将收敛向量反变换为3×3的矩阵,并采用奇异值分解法将矩阵的秩限制为2,得到基础矩阵;根据估计得到的基础矩阵确定内点集合。本发明能够有效应对大的噪声和过高比例的外点影响,准确的估计基础矩阵和内点集。

Description

基于软决策优化的基础矩阵鲁棒估计方法
技术领域
本发明涉及计算机视觉技术领域,尤其涉及基于软决策优化的基础矩阵鲁棒估计方法。
背景技术
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
图像特征匹配与基础矩阵估计是计算机视觉任务的两个重要步骤。具体来说,当用两个相机在不同的位置拍摄同一物体,如果两幅图片中的景物有重叠的部分,那么这两幅图片之间存在一定的对应关系。图像特征匹配的目的就在于通过对图像内容、特征、结构、关系、纹理及灰度等的对应关系、相似性和一致性的分析,寻求相似图像目标,从而建立两幅图像之间的空间对应关系。进一步的,如果在图像特征匹配的基础上再加以一定的约束条件,就可以更准确的描述两幅图片之间的对应关系。而基础矩阵可以表达两幅视图对应点之间存在的极线约束关系(极线约束是计算机视觉中最重要的一种几何约束关系),因此,通过对基础矩阵进行估计,可以更有效的建立两幅图片之间的对应关系。图像特征匹配与基础矩阵估计之间存在着紧密的耦合关系,基础矩阵的估计依赖于特征匹配获得的对应点对,当对应点对中外点 (错误匹配的点对)比例较高时,基础矩阵估计的精度将会严重下降;基础矩阵表示的极线约束又是选择内点(正确匹配的点对)的重要标准。
然而,发明人发现,目前广泛使用的基础矩阵的估计方法,如RANSAC算法及其改进方法,都是先进行特征匹配得到匹配点集,进而根据匹配点集估计基础矩阵,即,现有技术是将特征匹配和基础矩阵估计分开来处理的。因此,现有方法虽然实现容易,但存在外点比例过高的问题,这会大大降低基础矩阵估计的准确度。
发明内容
有鉴于此,本发明的实施例提供基于软决策优化的基础矩阵鲁棒估计方法,以至少解决现有技术对基础矩阵估计的准确度会受外点比例过高影响的问题,能够有效应对大的噪声和过高比例的外点影响,准确的估计基础矩阵和内点集。
为达到上述目的,本发明的实施例采用如下技术方案:
提供一种基于软决策优化的基础矩阵鲁棒估计方法,包括:
步骤1,获取同一场景不同视角下的两幅图像,提取两幅图像的特征点,并将其中一幅图像的特征点作为待匹配特征点,从另一幅图像的特征点中为每个待匹配特征点选取k个对应的候选匹配特征点;进而,根据每个待匹配特征点对应的k个候选匹配特征点,进行粗匹配,确定候选点对集;其中,k为预设正整数,4≤k≤10;
步骤2,基于各待匹配特征点对应的候选点对集,采用归一化8点法,计算得到初始基础矩阵,并将所述初始基础矩阵按列排列,得到初始列向量f0
步骤3,构建基于Sampson距离误差的软决策目标函数J(f),并求得所述软决策目标函数关于列向量f的偏导数,进而采用驻点法得到求解所述软决策目标函数的递归公式;根据所述递归公式以及初始列向量f0,经过多次迭代递归,最终获得所述软决策目标函数的收敛向量ffinal
步骤4,将所述收敛向量ffinal反变换为3×3的矩阵并采用奇异值分解法将矩阵的秩限制为2,即得到基础矩阵;
步骤5,对于候选点对集中的每对候选匹配点对,根据步骤4估计得到的基础矩阵求出得对应的Sampson距离,并将Sampson距离最小的候选匹配点对确定为内点,从而得到内点集合。
基于本发明上述方案,通过将特征匹配和基础矩阵估计相结合,构建基于软决策目标函数,并采用驻点法进行求解,即可实现对基础矩阵的快速求解,同时基于该目标函数能够自动消除候选匹配集中的外点的干扰而无需显式地区分内点和外点。即,本发明提供的基于软决策优化的基础矩阵鲁棒估计方法能够有效应对大的噪声和过高比例的外点影响,较为准确的估计得到基础矩阵和内点集。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于软决策优化的基础矩阵鲁棒估计方法的流程示意图;
图2A为噪声水平为0.5时召回率随外点比例变化示意图;
图2B为噪声水平为1时召回率随外点比例变化示意图;
图3A为噪声水平为0.5时准确率随外点比例变化示意图;
图3B为噪声水平为1时准确率随外点比例变化示意图;
图4A为噪声水平为0.5时MIRE随外点比例变化示意图;
图4B为噪声水平为1时MIRE随外点比例变化示意图;
图5为实验使用的图像对;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1所示为本发明实施例提供的一种基于软决策优化的基础矩阵鲁棒估计方法的流程示意图。
参见图1,本发明实施例提供的基于软决策优化的基础矩阵鲁棒估计方法包括以下步骤:
步骤1,获取同一场景不同视角下的两幅图像,提取两幅图像的特征点,并将其中一幅图像的特征点作为待匹配特征点,从另一幅图像的特征点中为每个待匹配特征点选取k个对应的候选匹配特征点;进而,根据每个待匹配特征点对应的k个候选匹配特征点,进行粗匹配,确定候选点对集。
其中,k为预设正整数,4≤k≤10。
具体来说,可采用如尺度不变特征变换(Scale-invariant feature transform,SIFT)从两幅图像中提取特征点,采用k近邻算法从所有候选特征点中找出待匹配特征点的k个候选特征点。当然,也可采用现有的其他特征提取方法提取特征点,其他特征点匹配方法选定候选特征点,本发明实施例对此不做具体限定。
需要说明的是,由于待匹配特征点的对应候选特征在较大的概率下包含在其k近邻中,即真正对应特征不太可能出现在k近邻之外,因此,只需对待匹配特征的k近邻特征点进行搜索,而将k近邻之外的所有对应点对都作为外点。
具体的,步骤1中,所述根据每个待匹配特征点对应的k个候选匹配特征点,进行粗匹配,确定每个待匹配特征点对应的候选点对集,具体可以包括:
步骤1a,对于每个待匹配特征点,计算其与对应的k个候选匹配特征点之间的特征距离比。
本发明采用特征距离比筛选候选匹配特征点的原因在于:
最近邻距离比(Nearest Neighbor Distance Ratio,NNDR)是一种有效的特征匹配准则,而通过最近邻的距离与第二近邻的距离比值,能够有助于找出区分度好的匹配并去除错误的匹配。其中,某个近邻特征到待匹配特征的距离简称为该近邻特征的距离。
具体来说,任一待匹配特征点qi与其候选匹配特征点q′j之间的特征距离比可以表示为:
式中,qi表示待匹配特征点,q′j表示待匹配特征点的候选匹配特征点,表示仅次于q′j的下一个候选匹配特征点,||qi-q′j||2表示候选匹配特征点 q′j到待匹配特征点qi的距离,表示候选匹配特征点到待匹配特征点qi的距离,N1表示待匹配特征点的数目。
步骤1b,将特征距离比在预设阈值T之内的待匹配特征点和候选匹配特征点确定为一对候选匹配点对,全部候选匹配点对构成的集合即候选点对集Sc
此处,若引入如下所示的二值权系数:
其中,knn(·)表示某个特征的k近邻特征,T表示预设距离比阈值。那么,所有二值权系数等于1的点对即构成候选点对集合Sc
步骤2,基于各待匹配特征点对应的候选点对集,采用归一化8点法,计算得到初始基础矩阵,并将所述初始基础矩阵按列排列,得到初始列向量f0
具体的,步骤2具体可以包括:
步骤2a,根据候选点对集Sc中各候选匹配点对中待匹配特征点的图像坐标,计算得到第一归一化变换矩阵;以及,根据候选点对集Sc中各候选点对中候选匹配特征点的图像坐标,计算得到第二归一化变换矩阵。
其中,第一归一化变换矩阵为: xi表示候选点对集Sc中第i个候选匹配点对中待匹配特征点的行坐标,yi表示候选点对集Sc中第i个候选匹配点对中待匹配特征点的列坐标,N表示候选点对集Sc中候选匹配点对的个数;第二归一化变换矩阵为: xi′表示候选点对集Sc中第i个候选匹配点对中候选匹配特征点的行坐标,yi′表示候选点对集Sc中第i 个候选匹配点对中候选匹配特征点的列坐标。
步骤2b,将各候选匹配点对中待匹配特征点和候选匹配特征点的图像坐标转换为对应的齐次坐标,得到对应的匹配点对 {(xi,x′i)|i=1,2,…,N};进而,利用所述第一归一化变换矩阵和所述第二归一化变换矩阵,对所述匹配点对(xi,x′i)进行坐标变换,以使各待匹配特征点经过平移变换后的质心位于坐标原点且对应的候选匹配特征点分布在以质心为圆心、以为半径的圆内,得到变换后的匹配点对
其中,xi表示候选匹配点对中待匹配特征点的齐次坐标, xi=[xi yi 1]T,x′i表示候选匹配点对中候选匹配特征点的齐次坐标, x′i=[x′i y′i 1]T表示待匹配特征点变换后的齐次坐标,表示候选匹配特征点变换后的齐次坐标,
步骤2c,根据变换后的匹配点对得到系数矩阵采用奇异值分解法对系数矩阵进行奇异值分解,得到对应的奇异值,并根据其中的最小奇异值对应的奇异向量,得到线性解
其中,系数矩阵
其中,需要说明的是,由于两幅图像之间存在的对极几何关系可以用基础矩阵来表示。因此,假设给定一组用齐次坐标表示的两幅图像中的对应点(xi,x′i),i=1,2,…,N,基础矩阵F是一个3×3矩阵,满足极线约束:x′i TFxi=0,i=1,2,…,N,则基础矩阵F可表示为:将基础矩阵F转换为对应的列向量即为: f=[f1,1 f2,1 f3,1 f1,2f2,2 f3,2 f1,3 f2,3 f3,3]T。进而,有[x′ixi x′iyi x′i y′ixi y′yi y′i xi yi 1]f=0。若给定一个包含N个对应点的集合,则可得:
也即,
步骤2d,对线性解进行奇异性约束,包括对进行奇异值分解得到对应的左酉特征矢量矩阵U、奇异值矩阵∑及右酉特征矢量矩阵V,其中奇异值矩阵∑=diag(r,s,t),r、s和t表示奇异值,且满足r≥s≥t;将奇异值矩阵中最小的奇异值t置换为0,得到对角矩阵 D=diag(r,s,0),进而根据左酉特征矢量矩阵U、对角矩阵D及右酉特征矢量矩阵V,得到矩阵
步骤2e,利用所述第一归一化变换矩阵和所述第二归一化变换矩阵,对矩阵进行反归一化变换,得到初始基础矩阵将所述初始基础矩阵按列排列,得到初始列向量f0
步骤3,构建基于Sampson距离误差的软决策目标函数J(f),并求得所述软决策目标函数关于列向量f的偏导数,进而采用驻点法得到求解所述软决策目标函数的递归公式;根据所述递归公式以及初始列向量f0,经过多次迭代递归,最终获得所述软决策目标函数的收敛向量ffinal
具体的,步骤3具体可以包括:
步骤3a,构建基于Sampson距离误差的软决策目标函数:
其中,η表示调制系数,f表示将基础矩阵按列排列得到的列向量, ai,j=[x′jxiy′jxi xi x′jyi y′jyi yi x′j y′j 1]T,wi,j表示由待匹配特征点qi和候选特征点q′j组成的候选匹配点对的权值,
以下给出构建上述目标函数的具体过程:
采用Sampson距离来计算残差,则一个对应点对 (xi,x′j),i=1,2,…,N1,j=1,2,…,N2的残差可表示为:
其中,F表示估计的基础矩阵,表示向量Fxi的第l个元素的平方。
Sampson误差通过对所有点对的Sampson距离求和得到。然而,Sampson误差对外点非常敏感,因为外点通常具有很大的Sampson距离。因此,抑制外点对Sampson误差产生的影响十分重要。为了有效消除基础矩阵估计过程中外点的干扰,本发明实提出了一种基于Sampson距离的软决策目标函数:
其中,η表示调制系数。参数η越大,对较大误差的抑制能力越强。实验表明,内点误差一般在几像素以内,而外点误差则分布在较大的范围(例如从几个到几百个像素)。为了有效地抑制外点,公式(13)中η的经验值可以设置为(103~105)/σ2,σ为Sc中所有点对的残差的标准偏差。
可以看出,点对的残差的平方越小,则该点对对目标函数的影响越大。相反,如果残差的平方越大,则对目标函数的作用越小。由于外点一般比正确匹配的残差大得多,外点只能对目标函数产生微不足道的作用。因此,该目标函数相比Sampson误差准则的优势在于能够显著抑制基础矩阵估计过程中的外点,并且本发明提出的目标函数不需要将点对划分为内点和外点,而是采用软决策方式统一处理所有点对,通过隐含的方式自动消除外点的干扰。
进一步的,为简单起见,定义如下两个参数:
ai,j=[x′jxi y′jxi xi x′jyi y′jyi yi x′j y′j 1]T
则,目标函数可改写为较为简单的数学表达式形式:
步骤3b,计算所述软决策目标函数关于列向量f的偏导数进而令得到对应的非线性方程,根据所述非线性方程得到求解所述软决策目标函数的递归公式A(fn)fn+1=0。
其中,n表示迭代次数,n=0,1,2...;fn表示第n次迭代得到的列向量f,fn表示第n+1次迭代得到的列向量f。
软决策目标函数关于列向量f的偏导数非线性方程为:
具体的,软决策目标函数关于列向量f的偏导数的计算过程如下:
进一步的,令可得非线性方程:
若定义如下矩阵A(fn):
即可得到求解所述软决策目标函数的递归公式A(fn)fn+1=0。
步骤3c,将步骤2得到的初始列向量f0作为列向量f的初始值,计算得到对应的矩阵A(f0),进而根据递归公式A(fn)fn+1=0进行多次迭代,得到fn+1,并将fn+1归一化为单位向量,直至满足预设的停止准则,最后一次迭代输出的单位向量fn+1即为所述软决策目标函数的收敛向量ffinal
其中,当A(fn)为奇异矩阵时,fn+1为A(fn)的零奇异值对应的奇异向量;当矩阵A(fn)为满秩矩阵时,fn+1为A(fn)的最小奇异值对应的奇异向量。
需要说明的是,所述预设的停止准则包括:迭代次数达到预设的最大迭代次数,或者本次迭代得到的fn+1与上一次迭代得到的fn之间差值的小于预设的容许误差,即||fn+1-fn||2<ε,ε表示预设的容许误差。
此外,Sampson距离是对几何误差的一阶近似,因此采用Sampson 距离来近似几何误差的优势是:基于Sampson距离的代价函数的参数只涉及基础矩阵F而无需引入其他的辅助变量。Sampson距离由于形式简单和易于计算,适合于作为特征匹配和基础矩阵估计的误差准则。
步骤4,将所述收敛向量ffinal反变换为3×3的矩阵并采用奇异值分解法将矩阵的秩限制为2,即得到基础矩阵。
具体的,步骤4具体包括:
步骤4a,假设所述收敛向量ffinal的表达式为 ffinal=[f1 f2 f3 f4 f5 f6 f7 f8f9]1,将所述收敛向量ffinal反变换为3 ×3的矩阵即为
其中,fi表示收敛向量ffinal的第i个元素,i=1,2,…9。
步骤4b,对进行奇异值分解得到对应的左酉特征矢量矩阵奇异值矩阵及右酉特征矢量矩阵将奇异值矩阵中最小的奇异值置换为0,得到对角矩阵进而根据左酉特征矢量矩阵U、对角矩阵及右酉特征矢量矩阵V,得到基础矩阵
步骤5,对于候选点对集中的每对候选匹配点对,根据步骤4估计得到的基础矩阵求出得对应的Sampson距离,并将Sampson距离最小的候选匹配点对确定为内点,从而得到内点集合。
其中,任一对候选匹配点对{(xi,x′i)|i=1,2,…,N}对应的Sampson距离为:
式中,i=1,2,…,N,F表示估计得到的基础矩阵,表示向量Fxi的第 l个元素的平方,l=1,2。
综上,本发明实施例提供的基于软决策优化的基础矩阵鲁棒估计方法,通过将特征匹配和基础矩阵估计相结合,构建基于软决策目标函数,并采用驻点法进行求解,即可实现对基础矩阵的快速求解,同时基于该目标函数能够自动消除候选匹配集中的外点的干扰而无需显式地区分内点和外点。即,本发明提供的基于软决策优化的基础矩阵鲁棒估计方法能够有效应对大的噪声和过高比例的外点影响,较为准确的估计得到基础矩阵和内点集。
下面通过对仿真实验对本发明上述有益效果做进一步验证:
(一)实验条件
实验一:采用独立同分布的高斯分布的随机向量生成仿真数据图像,并将具有不同的标准差(噪声)的IID高斯噪声添加到生成的图像点的坐标。每一幅仿真图像有800×600像素。
实验二:利用真实图像进行实验来验证提出的算法的性能,图5 展示了用于实验的1组图像对,取自从Oxford数据集。
(二)实验内容
为了进一步说明本发明方法较其它基础矩阵估计方法的优越性,做如下两组关于仿真数据和真实图像的实验。
实验一:本实验采用RANSAC法、MAPSAC法、O-RANSAC法和本发明方法(SDO)对仿真数据图像进行实验,并在召回率、准确率和MIRE等性能上进行比较。
第一幅图像中的特征描述子利用独立同分布的(Independently AndIdentically Distributed,IID)N(0,0.152)高斯分布的随机向量生成。第二图像中的特征描述子是通过对第一图像中对应的特征描述子添加两类噪声获得:正确匹配的特征描述子添加IID的N(0,0.022)高斯噪声,而错误的对应特征添加N(0,0.152)的高斯噪声。噪声水平以0.1像素为步长从 0.1到1像素变化,外点比例从0至90%按5%的增量变化。每组含500个模拟点对的独立测试共进行了1000组。通过对结果求平均,得到最终实验结果。
图2A和2B分别展示了四种方法在噪声水平为0.5和1时的召回率随外点比例的变化的性能比较。图3A和图3B分别显示了四种方法在噪声水平为0.5和1时的准确率随外点比例的变化的性能比较。图 4A和4B分别展示了四种方法在噪声水平为0.5和1时的MIRE(平均内点残余误差)随外点比例的变化的性能比较。
实验二:本实验采用将其与M-估计抽样一致性(M-estimator Sample Consensus,MSAC)算法、LO-RANSAC、O-RANSAC算法和本发明方法对真实图像进行关于准确率、内点数量和MIRE性能的实验对比。对于真实图像,采用SIFT算法提取特征点,并利用Lowe的最近邻匹配算法进行初始匹配。这四种算法的距离阈值统一设置为1。 LO-RANSAC和MSAC算法的置信度参数设置为0.99。最大迭代次数的设置:O-RANSAC设为100,本发明方法设为10,LO-RANSAC和 MSAC算法采用自适应方式确定。
表1列出了MSAC算法、LO-RANSAC、O-RANSAC算法和本发明方法(SDO)关于准确率、内点数量和MIRE的性能比较。
表1
(三)结果分析
实验一:可以看到,SDO在这些方法之中的表现最佳。在外点比例较低时,SDO和O-RANSAC的召回率较为接近;然而,在外点比例大于50%的情况下,SDO的表现更好,因为SDO受外点比例增加的影响比其他方法更小。SDO和O-RANSAC算法相比另外两种方法对噪声不敏感。比较图2A和2B可以看到,当外点比例超过80%时,O-RANSAC 较MAPSAC和RANSAC的准确率高,但三种对比算法的准确率均随着外点比例的增加而急剧下降。与其他方法相比,即使在外点比例达 90%以上时,SDO依然可以获得相对较高的准确率。对比图3A和3B 可以看到,RANSAC和MAPSAC算法的MIRE非常大,并且受到外点比例增加的严重影响。当外点比例在80%以上时,RANSAC和MAPSAC 算法的MIRE大于15。SDO算法的MIRE比其他三种方法要小得多。即使在外点比例率达90%、噪声水平为1的条件下,SDO最大MIRE 才接近于2。此外,当噪声水平从0.5变到1,SDO的MIRE几乎不受影响。总之,仿真数据的实验结果表明,SDO获得了比对比方法在召回率、查准率和误差方面更好的结果,并可应对高比例的外点和较大的噪声。
实验二:由表1显示的四种算法关于真实图像的在准确率、内点数量和MIRE性能的实验数据,对比看出,本发明方法的准确率为 98.67%,要优于MSAC、LO-RANSAC算法,O-RANSAC算法的缺点是准确率较低。本发明方法的内点数量为197,要明显优于MSAC、 LO-RANSAC算法和O-RANSAC算法。本发明方法的平均内点残余误差(MIRE)为0.3114,低于O-RANSAC,并且明显低于MSAC和LO-RANSAC算法。由于采用软决策优化,本发明方法在准确率、内点数量和MIRE这三项指标相比其他几种算法具有明显的优势。
综上所述,对比实验验证了本发明的正确性,有效性和可靠性。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种基于软决策优化的基础矩阵鲁棒估计方法,其特征在于,包括:
步骤1,获取同一场景不同视角下的两幅图像,提取两幅图像的特征点,并将其中一幅图像的特征点作为待匹配特征点,从另一幅图像的特征点中为每个待匹配特征点选取k个对应的候选匹配特征点;进而,根据每个待匹配特征点对应的k个候选匹配特征点,进行粗匹配,确定候选点对集;其中,k为预设正整数,4≤k≤10;
步骤2,基于各待匹配特征点对应的候选点对集,采用归一化8点法,计算得到初始基础矩阵,并将所述初始基础矩阵按列排列,得到初始列向量f0
步骤3,构建基于Sampson距离误差的软决策目标函数J(f),并求得所述软决策目标函数关于列向量f的偏导数,进而采用驻点法得到求解所述软决策目标函数的递归公式;根据所述递归公式以及初始列向量f0,经过多次迭代递归,最终获得所述软决策目标函数的收敛向量ffinal
步骤4,将所述收敛向量ffinal反变换为3×3的矩阵并采用奇异值分解法将矩阵的秩限制为2,即得到基础矩阵;
步骤5,对于候选点对集中的每对候选匹配点对,根据步骤4估计得到的基础矩阵求出得对应的Sampson距离,并将Sampson距离最小的候选匹配点对确定为内点,从而得到内点集合。
2.根据权利要求1所述的方法,其特征在于,步骤1中,所述根据每个待匹配特征点对应的k个候选匹配特征点,进行粗匹配,确定每个待匹配特征点对应的候选点对集,具体包括:
步骤1a,对于每个待匹配特征点,计算其与对应的k个候选匹配特征点之间的特征距离比;
其中,任一待匹配特征点qi与其候选匹配特征点q′j之间的特征距离比为:qi表示待匹配特征点,q′j表示待匹配特征点的候选匹配特征点,表示仅次于q′j的下一个候选匹配特征点,||qi-q′j||2表示候选匹配特征点q′j到待匹配特征点qi的距离,表示候选匹配特征点到待匹配特征点qi的距离,N1表示待匹配特征点的数目;
步骤1b,将特征距离比在预设阈值T之内的待匹配特征点和候选匹配特征点确定为一对候选匹配点对,全部候选匹配点对构成的集合即候选点对集Sc
3.根据权利要求1所述的方法,其特征在于,步骤2具体包括:
步骤2a,根据候选点对集Sc中各候选匹配点对中待匹配特征点的图像坐标,计算得到第一归一化变换矩阵;以及,根据候选点对集Sc中各候选点对中候选匹配特征点的图像坐标,计算得到第二归一化变换矩阵;
其中,第一归一化变换矩阵为: xi表示候选点对集Sc中第i个候选匹配点对中待匹配特征点的行坐标,yi表示候选点对集Sc中第i个候选匹配点对中待匹配特征点的列坐标,N表示候选点对集Sc中候选匹配点对的个数;第二归一化变换矩阵为:
xi′表示候选点对集Sc中第i个候选匹配点对中候选匹配特征点的行坐标,yi′表示候选点对集Sc中第i个候选匹配点对中候选匹配特征点的列坐标;
步骤2b,将各候选匹配点对中待匹配特征点和候选匹配特征点的图像坐标转换为对应的齐次坐标,得到对应的匹配点对{(xi,x′i)|i=1,2,…,N};进而,利用所述第一归一化变换矩阵和所述第二归一化变换矩阵,对所述匹配点对(xi,x′i)进行坐标变换,以使各待匹配特征点经过平移变换后的质心位于坐标原点且对应的候选匹配特征点分布在以质心为圆心、以为半径的圆内,得到变换后的匹配点对
其中,xi表示候选匹配点对中待匹配特征点的齐次坐标,xi=[xi yi 1]T,x′i表示候选匹配点对中候选匹配特征点的齐次坐标,x′i=[x′i y′i 1]T表示待匹配特征点变换后的齐次坐标,表示候选匹配特征点变换后的齐次坐标,
步骤2c,根据变换后的匹配点对得到系数矩阵采用奇异值分解法对系数矩阵进行奇异值分解,得到对应的奇异值,并根据其中的最小奇异值对应的奇异向量,得到线性解
其中,系数矩阵
步骤2d,对线性解进行奇异性约束,包括对进行奇异值分解得到对应的左酉特征矢量矩阵U、奇异值矩阵∑及右酉特征矢量矩阵V,其中奇异值矩阵∑=diag(r,s,t),r、s和t表示奇异值,且满足r≥s≥t;将奇异值矩阵中最小的奇异值t置换为0,得到对角矩阵D=diag(r,s,0),进而根据左酉特征矢量矩阵U、对角矩阵D及右酉特征矢量矩阵V,得到矩阵
步骤2e,利用所述第一归一化变换矩阵和所述第二归一化变换矩阵,对矩阵进行反归一化变换,得到初始基础矩阵将所述初始基础矩阵按列排列,得到初始列向量f0
4.根据权利要求3所述的方法,其特征在于,步骤3具体包括:
步骤3a,构建基于Sampson距离误差的软决策目标函数:
其中,η表示调制系数,f表示将基础矩阵按列排列得到的列向量,ai,j=[x′jxi y′jxi xix′jyi y′jyi yi x′j y′j1]T,wi,j表示由待匹配特征点qi和候选特征点q′j组成的候选匹配点对的权值,
步骤3b,计算所述软决策目标函数关于列向量f的偏导数进而令得到对应的非线性方程,根据所述非线性方程得到求解所述软决策目标函数的递归公式A(fn)fn+1=0;
其中,n表示迭代次数,n=0,1,2...;fn表示第n次迭代得到的列向量f,fn表示第n+1次迭代得到的列向量f;
软决策目标函数关于列向量f的偏导数非线性方程为:
步骤3c,将步骤2得到的初始列向量f0作为列向量f的初始值,计算得到对应的矩阵A(f0),进而根据递归公式A(fn)fn+1=0进行多次迭代,得到fn+1,并将fn+1归一化为单位向量,直至满足预设的停止准则,最后一次迭代输出的单位向量fn+1即为所述软决策目标函数的收敛向量ffinal
其中,当A(fn)为奇异矩阵时,fn+1为A(fn)的零奇异值对应的奇异向量;当矩阵A(fn)为满秩矩阵时,fn+1为A(fn)的最小奇异值对应的奇异向量;
所述预设的停止准则包括:迭代次数达到预设的最大迭代次数,或者本次迭代得到的fn+1与上一次迭代得到的fn之间差值的小于预设的容许误差,即||fn+1-fn||2<ε,ε表示预设的容许误差。
5.根据权利要求1所述的方法,其特征在于,步骤4具体包括:
步骤4a,假设所述收敛向量ffinal的表达式为ffinal=[f1 f2 f3 f4 f5 f6 f7 f8 f9]T,将所述收敛向量ffinal反变换为3×3的矩阵即为
其中,fi表示收敛向量ffinal的第i个元素,i=1,2,…9;
步骤4b,对进行奇异值分解得到对应的左酉特征矢量矩阵奇异值矩阵及右酉特征矢量矩阵将奇异值矩阵中最小的奇异值置换为0,得到对角矩阵进而根据左酉特征矢量矩阵U、对角矩阵及右酉特征矢量矩阵V,得到基础矩阵
6.根据权利要求1所述的方法,其特征在于,任一对候选匹配点对{(xi,x′i)|i=1,2,…,N}对应的Sampson距离为:
其中,i=1,2,…,N,F表示估计得到的基础矩阵,表示向量Fxi的第l个元素的平方,l=1,2。
CN201910022708.XA 2019-01-10 2019-01-10 基于软决策优化的基础矩阵鲁棒估计方法 Active CN109785372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910022708.XA CN109785372B (zh) 2019-01-10 2019-01-10 基于软决策优化的基础矩阵鲁棒估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910022708.XA CN109785372B (zh) 2019-01-10 2019-01-10 基于软决策优化的基础矩阵鲁棒估计方法

Publications (2)

Publication Number Publication Date
CN109785372A true CN109785372A (zh) 2019-05-21
CN109785372B CN109785372B (zh) 2022-12-23

Family

ID=66500325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910022708.XA Active CN109785372B (zh) 2019-01-10 2019-01-10 基于软决策优化的基础矩阵鲁棒估计方法

Country Status (1)

Country Link
CN (1) CN109785372B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734854A (zh) * 2019-10-28 2021-04-30 天津大学青岛海洋技术研究院 一种基于三目极线约束的相机自标定方法
US20210358160A1 (en) * 2020-05-18 2021-11-18 Zhejiang University Method and system for determining plant leaf surface roughness
CN113781559A (zh) * 2021-08-31 2021-12-10 南京邮电大学 一种鲁棒的异常匹配点剔除方法及图像室内定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102261916A (zh) * 2011-07-05 2011-11-30 大连理工大学 一种沙质环境中基于视觉的月球车定位方法
WO2018076211A1 (zh) * 2016-10-26 2018-05-03 中国科学院自动化研究所 基于几何误差优化的图像中二次曲线拟合方法
CN108597016A (zh) * 2018-04-19 2018-09-28 西安交通大学 基于相关熵的Torr-M-Estimators基础矩阵鲁棒估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102261916A (zh) * 2011-07-05 2011-11-30 大连理工大学 一种沙质环境中基于视觉的月球车定位方法
WO2018076211A1 (zh) * 2016-10-26 2018-05-03 中国科学院自动化研究所 基于几何误差优化的图像中二次曲线拟合方法
CN108597016A (zh) * 2018-04-19 2018-09-28 西安交通大学 基于相关熵的Torr-M-Estimators基础矩阵鲁棒估计方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112734854A (zh) * 2019-10-28 2021-04-30 天津大学青岛海洋技术研究院 一种基于三目极线约束的相机自标定方法
US20210358160A1 (en) * 2020-05-18 2021-11-18 Zhejiang University Method and system for determining plant leaf surface roughness
US11880994B2 (en) * 2020-05-18 2024-01-23 Zhejiang University Method and system for determining plant leaf surface roughness
CN113781559A (zh) * 2021-08-31 2021-12-10 南京邮电大学 一种鲁棒的异常匹配点剔除方法及图像室内定位方法
CN113781559B (zh) * 2021-08-31 2023-10-13 南京邮电大学 一种鲁棒的异常匹配点剔除方法及图像室内定位方法

Also Published As

Publication number Publication date
CN109785372B (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN104933755B (zh) 一种静态物体重建方法和系统
Batur et al. Adaptive active appearance models
CN110941794B (zh) 一种基于通用逆扰动防御矩阵的对抗攻击防御方法
CN110032925B (zh) 一种基于改进胶囊网络与算法的手势图像分割与识别方法
CN104867135B (zh) 一种基于指导图像引导的高精度立体匹配方法
CN109389555B (zh) 一种全景图像拼接方法及装置
CN109785372A (zh) 基于软决策优化的基础矩阵鲁棒估计方法
CN112200057B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN110796691B (zh) 一种基于形状上下文和hog特征的异源图像配准方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
WO2007072391A2 (en) Automatic 3-d object detection
CN110009663B (zh) 一种目标跟踪方法、装置、设备及计算机可读存储介质
CN116229189B (zh) 基于荧光内窥镜的图像处理方法、装置、设备及存储介质
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN110555820A (zh) 基于卷积神经网络和动态引导滤波的图像融合方法
CN113378620B (zh) 监控视频噪声环境下跨摄像头行人重识别方法
CN112418250B (zh) 一种复杂3d点云的优化匹配方法
Liu et al. Deep learning of directional truncated signed distance function for robust 3D object recognition
CN116543259A (zh) 一种深度分类网络噪声标签建模与纠正方法、系统及存储介质
CN116664867A (zh) 一种基于多证据融合选取训练样本的特征提取方法及装置
CN116342653A (zh) 一种基于相关滤波器的目标跟踪方法、系统、设备及介质
Zhang et al. Robust subspace clustering via joint weighted Schatten-p norm and Lq norm minimization
CN114842506A (zh) 一种人体姿态估计方法及系统
Motten et al. Binary confidence evaluation for a stereo vision based depth field processor SoC
CN107194931A (zh) 一种基于双目图像匹配获取目标深度信息的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant