CN112990231A - 一种图像误匹配对去除方法、装置及终端 - Google Patents
一种图像误匹配对去除方法、装置及终端 Download PDFInfo
- Publication number
- CN112990231A CN112990231A CN202110271236.9A CN202110271236A CN112990231A CN 112990231 A CN112990231 A CN 112990231A CN 202110271236 A CN202110271236 A CN 202110271236A CN 112990231 A CN112990231 A CN 112990231A
- Authority
- CN
- China
- Prior art keywords
- matching
- pair
- matrix
- current
- sampling probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
- G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
Abstract
本发明适用于图像处理技术领域,提供了一种图像误匹配对去除方法、装置及终端。该方法包括:获取目标图像组;对目标图像组进行特征点或特征区域的提取和匹配,得到匹配对集合;根据当前抽样概率集合,在匹配对集合中抽取预设的抽取数量的匹配对,抽样概率集合包括每个匹配对的抽样概率;根据抽取到的匹配对更新目标图像组之间的基础矩阵;根据当前基础矩阵更新抽样概率集合;判断是否满足预设的终止条件,若满足,则输出当前结果;若不满足,则跳转至“根据当前抽样概率集合,在匹配对集合中抽取预设的抽取数量的匹配对”的步骤,进入下一次迭代。本发明能够提高误匹配对的去除效率和效果。
Description
技术领域
本发明属于图像识别技术领域,尤其涉及一种图像误匹配对去除方法、装置及终端。
背景技术
在航天器自主光学导航、深空着陆器对天体表面影像的三维重建、地面自动驾驶和机器人自主障碍识别、可见光下的三维空间测量、自然场景下的关键目标搜寻、以及历史遗迹数字化等领域中,图像匹配技术发挥着核心作用。
但是匹配图像间的宽基线、大视角(平移、缩放、仿射变化)、环境变化、拍摄高延时等因素使得图像间存在几何变化、光照差异、抖震及噪声等现象,不可避免的造成图像间的匹配结果中存在大量的错误匹配对,会严重影响导航、定位、三维重建、三维测量以及目标搜寻的效果。因此,如何在匹配结果中找到错误的匹配对就成为图像匹配过程的关键步骤。
发明内容
有鉴于此,本发明提供了一种图像误匹配对去除方法、装置及终端,以解决三维重建时图像间的匹配结果中存在大量的错误匹配对的问题。
本发明实施例的第一方面提供了一种图像误匹配对去除方法,包括:
获取目标图像组,目标图像组包括同一场景在不同角度下的至少两张图片;
对目标图像组进行特征点或特征区域的提取,并进行匹配,得到匹配对集合;
根据当前抽样概率集合,在匹配对集合中抽取能计算出图像间基础矩阵的最小数量的匹配对,抽样概率集合包括每个匹配对的抽样概率;
根据抽取到的匹配对计算目标图像组中图像之间的基础矩阵;
根据匹配对集合中所有匹配对符合当前基础矩阵的程度更新抽样概率集合;
判断当前抽样概率集合或当前基础矩阵或当前迭代次数是否满足预设的终止条件,若满足,则输出符合当前基础矩阵的匹配对;
若不满足,则跳转至“根据当前抽样概率集合,在匹配对集合中抽取能计算出图像间基础矩阵的最小数量的匹配对”的步骤,进入下一次迭代。
本发明实施例的第二方面提供了一种图像误匹配对去除装置,包括:
获取模块,用于获取目标图像组,目标图像组为同一场景在不同角度下的至少两张图片;
提取模块,用于对目标图像组进行特征点或特征区域的提取,并进行匹配,得到匹配对集合;
抽样模块,用于根据当前抽样概率集合,在匹配对集合中抽取能计算出图像间基础矩阵的最小数量的匹配对,抽样概率集合包括每个匹配对的抽样概率;
第一更新模块,用于根据抽取到的匹配对计算目标图像组中图像之间的基础矩阵;
第二更新模块,用于根据匹配对集合中所有匹配对符合当前基础矩阵的程度更新抽样概率集合;
终止模块,用于判断当前抽样概率集合或当前基础矩阵或当前迭代次数是否满足预设的终止条件,在满足时,输出符合当前基础矩阵的匹配对;
在不满足时,跳转至“根据当前抽样概率集合,在匹配对集合中抽取能计算出图像间基础矩阵的最小数量的匹配对”的步骤,进入下一次迭代。
本发明实施例的第三方面提供了一种终端,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如任一项图像误匹配对去除方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现如任一项图像误匹配对去除方法的步骤。
本发明与现有技术相比存在的有益效果是:
本发明提供了一种图像误匹配对去除方法,包括:获取目标图像组,目标图像组包括同一场景在不同角度下的至少两张图片;对目标图像组进行特征点或特征区域的提取,并进行匹配,得到匹配对集合;根据当前抽样概率集合,在匹配对集合中抽取能计算出图像间基础矩阵的最小数量的匹配对,抽样概率集合包括每个匹配对的抽样概率;根据抽取到的匹配对计算目标图像组中图像之间的基础矩阵;根据匹配对集合中所有匹配对符合当前基础矩阵的程度更新抽样概率集合;判断当前抽样概率集合或当前基础矩阵或当前迭代次数是否满足预设的终止条件,若满足,则输出符合当前基础矩阵的匹配对;若不满足,则跳转至“根据当前抽样概率集合,在匹配对集合中抽取能计算出图像间基础矩阵的最小数量的匹配对”的步骤,进入下一次迭代。本发明根据抽样概率计算当前基础矩阵,再根据匹配对符合基础矩阵的程度对抽样概率进行更新迭代,逐步提高正确匹配对的抽样概率,从而提高误匹配对的去除效率和效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像误匹配对去除方法的实现流程图;
图2是本发明实施例提供的图像误匹配对去除装置的结构示意图;
图3是本发明实施例提供的终端的示意图;
图4是本发明的一个应用实例中各方法的完成时间随内点率变化的曲线对比图;
图5是本发明的一个应用实例中各方法在内点率为0.1时不同迭代次数下的内点查全率曲线对比图;
图6是本发明的一个应用实例中各方法在内点率为0.3时不同迭代次数下的内点查全率曲线对比图;
图7是本发明的一个应用实例在内点率为0.3时,随迭代次数的增加过滤后的匹配对的抽样概率变化曲线图;
图8是本发明的一个应用实例使用的同一场景在不同角度下的两张图像;
图9是本发明的一个应用实例使用的同一场景在不同角度下的两张图像;
图10是本发明的一个应用实例中各方法的结果对比图;
图11是本发明的一个应用实例中的匹配结果示意图;
图12是本发明的一个应用实例中的匹配结果示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图通过具体实施例来进行说明。
参见图1,其示出了本发明实施例提供的图像误匹配对去除方法的实现流程图,详述如下:
步骤101,获取目标图像组,所述目标图像组包括同一场景在不同角度下的至少两张图片;
步骤102,对所述目标图像组进行特征点或特征区域的提取,并进行匹配,得到匹配对集合;
在本实施例中,图像匹配可以根据实际情况选择不同的特征点或特征区域提取与匹配方法,通过欧氏距离得到匹配对,其目的在于尽可能形成精度高的匹配对,减少错误匹配对,提高误匹配对的去除准确率。对于短时间和短基线拍摄的图像,因为图像差异较小,可以选择时效性较高的Harris角点,对于时间间隔较长并且基线较宽的图像,因为图像差异较大应该选择Sift、Surf、PCA-Surf和Mser等角点或特征区。
步骤103,根据当前抽样概率集合,在所述匹配对集合中抽取能计算出图像间基础矩阵的最小数量的匹配对,所述抽样概率集合包括每个匹配对的抽样概率;
在本实施例中,在根据当前抽样概率集合,在所述匹配对集合中抽取能计算出图像间基础矩阵的最小数量的匹配对之前还包括:
根据预设的矩阵计算公式建立数据过滤矩阵,所述矩阵计算公式为:
其中,Z表示数据过滤矩阵,L和R分别表示目标图像组中两张图片的左图和右图,ML和MR分别表示左图的数据过滤矩阵和右图的数据过滤矩阵,与表示左图中的点,表示点在左图中的横坐标,表示点在左图中的纵坐标,表示点在左图中的横坐标,表示点在左图中的纵坐标,与表示右图中的点,表示点在右图中的横坐标,表示点在右图中的纵坐标,表示点在右图中的横坐标,表示点在右图中的纵坐标,m表示匹配对的数量,i,j=1,2…m,表示左图中与两点之间欧氏距离的绝对值,表示右图中与两点之间欧氏距离的绝对值;
根据所述数据过滤矩阵和预设的阈值计算公式计算数据过滤阈值,所述阈值计算公式为:
其中,T表示数据过滤阈值,flow表示数据过滤矩阵的低值平均值,fhigh表示数据过滤矩阵的高值平均值,f表示数据过滤矩阵中所有数值的平均值,{k′1,k′2…k'm}为{k1,k2…km}的升序排列;
保留匹配对集合中不小于数据过滤阈值的元素,得到数据过滤后的匹配对集合。
在本实施例中,此步骤通过分析正确匹配对和错误匹配对在几何拓扑空间中的分布规律,对一些是错误匹配对的可能性较高的数据进行滤除,从而提高剩余数据中正确匹配所占的比例,该模块不能将所有的错误匹配对滤除掉,而且滤除的数据可能包含部分正确匹配对,但是比例很小。
步骤104,根据抽取到的匹配对更新目标图像组之间的基础矩阵;
在本实施例中,根据抽取到的匹配对计算目标图像组之间的基础矩阵包括:
通过v点法计算图像间的基础矩阵,其中,v表示能计算出图像间基础矩阵的最小数量。
其中,v点为求出两相互匹配图像的基础矩阵所需的匹配对的个数,有两种方法,一种是8点法,另外一种是7点法,所以v可以取8或7;针对三维环境中的视角变化,由于图像中点的坐标为二维,需要对每个匹配对的两个点坐标赋予Z轴方向的坐标,通常取值1。
步骤105,根据所述匹配对集合中所有匹配对符合当前基础矩阵的程度更新所述抽样概率集合;
在本实施例中,根据所述匹配对集合中所有匹配对符合当前基础矩阵的程度更新所述抽样概率集合包括:
将当前基础矩阵代入每个匹配对,计算每个匹配对的马尔科夫链;
根据马尔科夫链计算每个配对的抽样概率。
在本实施例中,将当前基础矩阵代入匹配对,计算每个匹配对的马尔科夫链包括:
根据预设的极对距离计算公式计算每个匹配对之间的极对距离,所述极对距离计算公式为:
其中,di表示第i个匹配对的极对距离,i=1,2…n,n表示数据过滤后的匹配对的数量,F表示当前的基础矩阵,大小为3行3列,表示F与点的乘积,是大小为3行1列的向量,表示F的转置与点的乘积,是大小为3行1列的向量,表示向量中第一个元素的平方,表示向量中第二个元素的平方,表示向量中第一个元素的平方,表示向量中第二个元素的平方;
判断每个匹配对是否符合当前基础矩阵,其中,若匹配对的极对距离大于预设的极对距离阈值,则该匹配对符合当前基础矩阵;
根据极对距离和预设的马尔科夫链计算公式计算每个匹配对的马尔科夫链,马尔科夫链计算公式为:
在本实施例中,Ci为第i对匹配点的马尔科夫链,匹配点有两个状态0和1,1表示匹配点符合当前模型,0则表示不符合。为了让马尔科夫链可遍历,初始状态下设定Ci(0)为:10011,其中“10”为匹配点状态由1变为0,“01”为匹配点状态由0变为1,即每对匹配点在初始状态下具有相同的抽样概率;θ为设定的阈值,以像素为单位,一般取值在5到10之间额整数;初始温度T(0)需要设置一个较大的数,一般取值在100左右;α是温度降低程度系数,取值在0.99到0.999之间;rand为0到1的随机数。
在本实施例中,根据马尔科夫链计算每个匹配对的抽样概率包括:
通过预设的抽样概率计算公式计算每个配对的抽样概率,所述抽样概率计算公式为:
其中,pi表示第i个匹配点的抽样概率,A1为子串“00”的出现次数,A2为子串“10”的出次数,A3为子串“01”的出现次数,A4为子串“11”的出现次数。
步骤106,判断是否满足预设的终止条件,若满足,则输出当前结果;
步骤107,若不满足,则跳转至“根据当前抽样概率集合,在匹配对集合中抽取预设的抽取数量的匹配对”的步骤,进入下一次迭代。
在本实施例中,终止条件包括:
条件1:
其中,R表示预设的置信概率,一般取R=0.98,Inmost表示当前符合基础矩阵的匹配对的数量的最大值。
条件2:
其中,L表示步长,λ表示概率变化阈值。
条件3:
t=CO
其中,t表示迭代次数,CO表示预设的最大迭代次数;
条件4:
当前基础矩阵具有最多符合该基础矩阵的匹配对;
其中,同时满足条件1至3中任一项与条件4为满足终止条件。
在本实施例中,步骤103-107在基于马尔科夫蒙特卡罗的数学模型中进行迭代和抽样,获得最优基础矩阵和最终的正确匹配对。该数学模型为一个七元组,表达式为:
{S,C,P,Inmost,Mo,CO,Stc}
C={Ci},i=1,2…n
P={pi|i=1,2…n}
其中,S为目标图像组之间的n个匹配对集合,目标图像组通常包括左图和右图,和分别为在第i个匹配对中的左图匹配点和右图匹配点;C为所有匹配点的马尔科夫链集合,Ci为第i个匹配对的马尔科夫链,Ci(0)=10011,m(t)为当前时刻符合模型的匹配点数目,m(t-1)为上一时刻符合模型的数目,θ为设定的阈值,di为每个匹配对在当前模型下的极对距离,T(t)为t时刻的温度,初始温度T(0)为一个较大的数,T(t)=αT(t-1),P={pi|i=1,2…n}为匹配点的抽样概率集合,初始状态pi=1/n,i=1,2…n,抽样过程中每对匹配点根据马尔科夫链建立转移矩阵, A1为子串“00”的出现次数,A2为子串“10”的出次数,A3为子串“01”的出现次数,A4为子串“11”的出现次数;Inmost为当前最优模型的正确匹配对的数量,初始值为0;Mo为当前拥有最多正确匹配点的基础矩阵,即当前最优模型,初始为3×3全零矩阵;CO为设定的最大迭代次数;Stc为迭代终止条件。
以下为本发明实施例的两个应用实例:
实验1:对模拟数据进行检验
模拟数据由1000对匹配点构成,内点率从0.1到0.4,0.02为步长,假设经过滤后有n对匹配点,模拟数据无匹配点的描述,选七个现有方法进行对比:SCRAMSAC(SpatiallyConsistent Random Sample Consensus)、Optimal-RANSAC(Optimal Random SampleConsensus)、RANSAC(Random Sample Consensus)、MLESAC(Maximum LikelihoodEstimation Sample Consensus)、MAPSAC(Maximum A Posteriori Sample Consensus)、NAPSAC(NAdjacent Points SAmple Consensus)、RANSAC-Tdd(Randomized RANSAC withTd,d,Test),本发明实施例中的方法命名为:Proposed。在实验过程中利用8点法计算基础矩阵,每个匹配对的抽样概率pi的初始值设置为1/n,阈值θ设置为5pixels,初始温度T(0)设置为100,当前最优模型Mo的初始值为3*3全零矩阵,最大迭代次数CO设置为1000,当前最优模型的正确匹配对的数量Inmost的初始值设置为0,每个匹配对的马尔科夫链在t时刻为Ci(0)=10011,迭代终止条件一所需的置信因子R为0.98,迭代终止条件2所需的步长L为10,迭代终止条件2的阈值λ设置为0.001,Ransac-Tdd方法中参数d1=d2=5。
图4为所有方法在不同的内点率(正确匹配点所占的比例)时的完成时间,图5为当内点率为0.1时不同迭代次数下的内点查全率,图6为当内点率为0.3时不同迭代次数下的内点查全率,图7为当内点率为0.3时,随迭代次数的增加过滤后的匹配对的抽样概率变化。本发明实施例的实时性和精确性均优于其他方法,并且在数据错误率较大(90%)的情况下仍然具有理想的效果。
实验2:对真实图像进行检验
有两组真实图像:Graft和Boat,图8为Graft的匹配图像,图9为Boat的匹配图像,其中Graft有明显的仿射变化,即宽基线、大视角,并且光照条件和纵向变化明显,Boat有水平旋转及缩放的变化,但是光照条件和纵向变化不明显,Graft有个2415匹配对,分辨率为800*600pixels,内点率(正确匹配对所占的比例)为14.7%,Boat有3151个匹配对,分辨率为850*680pixels,内点率为8.6%。两组图像均提取SIFT特征点,选八个现有方法进行对比:SCRAMSAC、Optimal-RANSAC、RANSAC、MLESAC、MAPSAC、NAPSAC、RANSAC-Tdd以及PROSAC(PROgressive SAmple Consensus),本发明的方法命名为:Proposed。
在实验过程中利用8点法计算基础矩阵,每个匹配对抽样概率pi的初始值设置为为1/n,阈值θ设置为5pixels,初始温度T(0)设置为100,当前最优模型Mo的初始值为3*3全零矩阵,最大迭代次数CO设置为5000,当前最优模型的正确匹配对的数量Inmost的初始值设置为0,每个匹配对的马尔科夫链在t时刻为Ci(0)=10011,迭代终止条件一所需的置信因子R为0.98,迭代终止条件2所需的步长L为10,迭代终止条件2的阈值λ设置为0.001,Ransac-Tdd方法参数d1=d2=5。选取四个评价指标:得到的正确匹配对数量I;方法迭代次数t;当前基础矩阵所需检测次数vpm(number of verifications per model);运行时间times(/s),每个方法在每组图像上均运行20次,后计算每个指标的平均值。
图10为本发明与其他八个方法的比较结果,图11为采用本发明的得到的图像Graft的匹配结果,图12为采用本发明得到的图像Boat的匹配结果。
从图10中可以看出,本发明在Graft匹配图像中的运行时间方面表现最好,虽然Optimal-RANSAC得到的最终正确匹配对最多,但是该方法的运行时间上是所有方法中最慢,本发明和PROSAC在Boat匹配图像中的表现接近,并且明显优于其他方法,本发明所需的运行时间略微多于PROSAC,但是PROSAC在Graft中所需的时间明显多于本发明。实验结果表明,当匹配图像间有明显的视角变化、仿射变化、深度变化以及光照条件变化时,本发明的效果最好,当图像间只是简单地缩放和平移变化时,本发明的效果接近最优方法,所以综合各种匹配图像的特点,本发明的综合性能最佳。
由上可知,本发明首先获取目标图像组;然后对目标图像组进行特征点或特征区域的提取和匹配,得到匹配对集合;根据当前抽样概率集合,在匹配对集合中抽取预设的抽取数量的匹配对,抽样概率集合包括每个匹配对的抽样概率;根据抽取到的匹配对更新目标图像组之间的基础矩阵;根据当前基础矩阵更新抽样概率集合;最后判断是否满足预设的终止条件,若满足,则输出当前结果;若不满足,则跳转至“根据当前抽样概率集合,在匹配对集合中抽取预设的抽取数量的匹配对”的步骤,进入下一次迭代。本发明根据抽样概率计算当前基础矩阵,再根据基础矩阵对抽样概率进行更新迭代,逐步提高正确匹配对的抽样概率,从而提高误匹配对的去除效率和效果。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
以下为本发明的装置实施例,对于其中未详尽描述的细节,可以参考上述对应的方法实施例。
图2示出了本发明实施例提供的图像误匹配对去除装置的结构示意图,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
如图2所示,图像误匹配对去除装置包括:
获取模块21,用于获取目标图像组,所述目标图像组为同一场景在不同角度下的至少两张图片;
提取模块22,用于对所述目标图像组进行特征点或特征区域的提取,并进行匹配,得到匹配对集合;
抽样模块23,用于根据当前抽样概率集合,在所述匹配对集合中抽取能计算出图像间基础矩阵的最小数量的匹配对,所述抽样概率集合包括每个匹配对的抽样概率;
第一更新模块24,用于根据抽取到的匹配对计算所述目标图像组中图像之间的基础矩阵;
第二更新模块25,用于根据所述匹配对集合中所有匹配对符合当前基础矩阵的程度更新所述抽样概率集合;
终止模块26,用于判断当前抽样概率集合或当前基础矩阵或当前迭代次数是否满足预设的终止条件,在满足时,输出符合当前基础矩阵的匹配对;
在不满足时,跳转至“根据当前抽样概率集合,在所述匹配对集合中抽取能计算出图像间基础矩阵的最小数量的匹配对”的步骤,进入下一次迭代。
可选的,图像误匹配对去除装置还包括数据过滤模块,数据过滤模块包括:
矩阵建立单元,用于根据预设的矩阵计算公式建立数据过滤矩阵,所述矩阵计算公式为:
其中,Z表示数据过滤矩阵,L和R分别表示目标图像组中两张图片的左图和右图,ML和MR分别表示左图的数据过滤矩阵和右图的数据过滤矩阵,与表示左图中的点,表示点在左图中的横坐标,表示点在左图中的纵坐标,表示点在左图中的横坐标,表示点在左图中的纵坐标,与表示右图中的点,表示点在右图中的横坐标,表示点在右图中的纵坐标,表示点在右图中的横坐标,表示点在右图中的纵坐标,m表示匹配对的数量,i,j=1,2…m,表示左图中与两点之间欧氏距离的绝对值,表示右图中与两点之间欧氏距离的绝对值;
阈值计算单元,用于根据所述数据过滤矩阵和预设的阈值计算公式计算数据过滤阈值,所述阈值计算公式为:
其中,T表示数据过滤阈值,flow表示数据过滤矩阵的低值平均值,fhigh表示数据过滤矩阵的高值平均值,f表示数据过滤矩阵中所有数值的平均值,{k′1,k′2…k′m}为{k1,k2…km}的升序排列;
数据过滤单元,用于保留匹配对集合中不小于数据过滤阈值的元素,得到数据过滤后的匹配对集合。
可选的,第一更新模块包括:
基础矩阵计算单元,用于通过v点法计算图像间的基础矩阵,其中,v表示能计算出图像间基础矩阵的最小数量。
可选的,第二更新模块用于:
将当前基础矩阵代入每个匹配对,计算每个匹配对的马尔科夫链;
根据马尔科夫链计算每个配对的抽样概率。
相应的,第二更新模块还包括:
极对计算单元,用于根据预设的极对距离计算公式计算每个匹配对之间的极对距离,所述极对距离计算公式为:
其中,di表示第i个匹配对的极对距离,i=1,2…n,n表示数据过滤后的匹配对的数量,F表示当前的基础矩阵,大小为3行3列,表示F与点的乘积,是大小为3行1列的向量,表示F的转置与点的乘积,是大小为3行1列的向量,表示向量中第一个元素的平方,表示向量中第二个元素的平方,表示向量中第一个元素的平方,表示向量中第二个元素的平方;
判断单元,用于判断每个匹配对是否符合当前基础矩阵,其中,若匹配对的极对距离大于预设的极对距离阈值,则该匹配对符合当前基础矩阵;
马尔科夫链计算单元,根据所述极对距离和预设的马尔科夫链计算公式计算每个匹配对的马尔科夫链,所述马尔科夫链计算公式为:
相应的,第二更新模块还包括:
抽样概率计算单元,用于通过预设的抽样概率计算公式计算每个配对的抽样概率,所述抽样概率计算公式为:
其中,pi表示第i个匹配点的抽样概率,A1为子串“00”的出现次数,A2为子串“10”的出次数,A3为子串“01”的出现次数,A4为子串“11”的出现次数。
可选的,终止条件包括:
条件1:
其中,R表示预设的置信概率,Inmost表示当前符合基础矩阵的匹配对的数量的最大值。
条件2:
其中,L表示步长,λ表示概率变化阈值。
条件3:
t=CO
其中,t表示迭代次数,CO表示预设的最大迭代次数;
条件4:
当前基础矩阵具有最多符合该基础矩阵的匹配对;
其中,同时满足条件1至3中任一项与条件4为满足终止条件。
图3是本发明一实施例提供的终端的示意图。如图3所示,该实施例的终端3包括:处理器30、存储器31以及存储在所述存储器31中并可在所述处理器30上运行的计算机程序32。所述处理器30执行所述计算机程序32时实现上述各个图像误匹配对去除方法实施例中的步骤,例如图1所示的步骤101至步骤103。或者,所述处理器30执行所述计算机程序32时实现上述各装置实施例中各模块/单元的功能。
示例性的,所述计算机程序32可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器31中,并由所述处理器30执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序32在所述终端3中的执行过程。
所述终端3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端可包括,但不仅限于,处理器30、存储器31。本领域技术人员可以理解,图3仅仅是终端3的示例,并不构成对终端3的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器31可以是所述终端3的内部存储单元,例如终端3的硬盘或内存。所述存储器31也可以是所述终端3的外部存储设备,例如所述终端3上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器31还可以既包括所述终端3的内部存储单元也包括外部存储设备。所述存储器31用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像误匹配对去除方法,其特征在于,包括:
获取目标图像组,所述目标图像组包括同一场景在不同角度下的至少两张图片;
对所述目标图像组进行特征点或特征区域的提取,并进行匹配,得到匹配对集合;
根据当前抽样概率集合,在所述匹配对集合中抽取能计算出图像间基础矩阵的最小数量的匹配对,所述抽样概率集合包括每个匹配对的抽样概率;
根据抽取到的匹配对计算所述目标图像组中图像之间的基础矩阵;
根据所述匹配对集合中所有匹配对符合当前基础矩阵的程度更新所述抽样概率集合;
判断当前抽样概率集合或当前基础矩阵或当前迭代次数是否满足预设的终止条件,若满足,则输出符合当前基础矩阵的匹配对;
若不满足,则跳转至“根据当前抽样概率集合,在所述匹配对集合中抽取能计算出图像间基础矩阵的最小数量的匹配对”的步骤,进入下一次迭代。
2.根据权利要求1所述的图像误匹配对去除方法,其特征在于,在根据当前抽样概率集合,在所述匹配对集合中抽取能计算出图像间基础矩阵的最小数量的匹配对之前还包括:
根据预设的矩阵计算公式建立数据过滤矩阵,所述矩阵计算公式为:
其中,Z表示数据过滤矩阵,L和R分别表示目标图像组中两张图片的左图和右图,ML和MR分别表示左图的数据过滤矩阵和右图的数据过滤矩阵,与表示左图中的点,表示点在左图中的横坐标,表示点在左图中的纵坐标,表示点在左图中的横坐标,表示点在左图中的纵坐标,与表示右图中的点,表示点在右图中的横坐标,表示点在右图中的纵坐标,表示点在右图中的横坐标,表示点在右图中的纵坐标,m表示匹配对的数量,表示左图中与两点之间欧氏距离的绝对值,表示右图中与两点之间欧氏距离的绝对值;
根据所述数据过滤矩阵和预设的阈值计算公式计算数据过滤阈值,所述阈值计算公式为:
其中,T表示数据过滤阈值,flow表示数据过滤矩阵的低值平均值,fhigh表示数据过滤矩阵的高值平均值,f表示数据过滤矩阵中所有数值的平均值,{k′1,k′2…k′m}为{k1,k2…km}的升序排列;
保留所述匹配对集合中不小于所述数据过滤阈值的元素,得到数据过滤后的匹配对集合。
3.根据权利要求2所述的图像误匹配对去除方法,其特征在于,所述根据抽取到的匹配对计算所述目标图像组中图像之间的基础矩阵包括:
通过v点法计算图像间的基础矩阵,其中,v表示能计算出图像间基础矩阵的最小数量。
4.根据权利要求3所述的图像误匹配对去除方法,其特征在于,所述根据所述匹配对集合中所有匹配对符合当前基础矩阵的程度更新所述抽样概率集合包括:
将当前基础矩阵代入每个匹配对,计算每个匹配对的马尔科夫链;
根据所述马尔科夫链计算每个配对的抽样概率。
5.根据权利要求4所述的图像误匹配对去除方法,其特征在于,所述将当前基础矩阵代入匹配对,计算每个匹配对的马尔科夫链包括:
根据预设的极对距离计算公式计算每个匹配对之间的极对距离,所述极对距离计算公式为:
其中,di表示第i个匹配对的极对距离,i=1,2…n,n表示数据过滤后的匹配对的数量,F表示当前的基础矩阵,大小为3行3列,表示F与点的乘积,是大小为3行1列的向量,表示F的转置与点的乘积,是大小为3行1列的向量,表示向量中第一个元素的平方,表示向量中第二个元素的平方,表示向量中第一个元素的平方,表示向量中第二个元素的平方;
判断每个匹配对是否符合当前基础矩阵,其中,若匹配对的极对距离大于预设的极对距离阈值,则该匹配对符合当前基础矩阵;
根据所述极对距离和预设的马尔科夫链计算公式计算每个匹配对的马尔科夫链,所述马尔科夫链计算公式为:
8.一种图像误匹配对去除装置,其特征在于,包括:
获取模块,用于获取目标图像组,所述目标图像组为同一场景在不同角度下的至少两张图片;
提取模块,用于对所述目标图像组进行特征点或特征区域的提取,并进行匹配,得到匹配对集合;
抽样模块,用于根据当前抽样概率集合,在所述匹配对集合中抽取能计算出图像间基础矩阵的最小数量的匹配对,所述抽样概率集合包括每个匹配对的抽样概率;
第一更新模块,用于根据抽取到的匹配对计算所述目标图像组中图像之间的基础矩阵;
第二更新模块,用于根据所述匹配对集合中所有匹配对符合当前基础矩阵的程度更新所述抽样概率集合;
终止模块,用于判断当前抽样概率集合或当前基础矩阵或当前迭代次数是否满足预设的终止条件,在满足时,输出符合当前基础矩阵的匹配对;
在不满足时,跳转至“根据当前抽样概率集合,在所述匹配对集合中抽取能计算出图像间基础矩阵的最小数量的匹配对”的步骤,进入下一次迭代。
9.一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上的权利要求1至7中任一项所述图像误匹配对去除方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上的权利要求1至7中任一项所述图像误匹配对去除方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110271236.9A CN112990231B (zh) | 2021-03-12 | 2021-03-12 | 一种图像误匹配对去除方法、装置及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110271236.9A CN112990231B (zh) | 2021-03-12 | 2021-03-12 | 一种图像误匹配对去除方法、装置及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112990231A true CN112990231A (zh) | 2021-06-18 |
CN112990231B CN112990231B (zh) | 2022-08-26 |
Family
ID=76334736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110271236.9A Active CN112990231B (zh) | 2021-03-12 | 2021-03-12 | 一种图像误匹配对去除方法、装置及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112990231B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102620672A (zh) * | 2011-12-01 | 2012-08-01 | 中国人民解放军63653部队 | 图像拼接技术在隧道围岩变形非接触测量中的应用 |
CN102693522A (zh) * | 2012-04-28 | 2012-09-26 | 中国矿业大学 | 一种彩色图像区域复制篡改检测方法 |
US20120243776A1 (en) * | 2011-03-22 | 2012-09-27 | Arafune Akira | Image processing apparatus, image processing method, and program |
CN103700080A (zh) * | 2013-12-06 | 2014-04-02 | 北京工业大学 | 基于Skinner概率自动机的图像误匹配对去除方法 |
CN105279769A (zh) * | 2015-07-16 | 2016-01-27 | 北京理工大学 | 一种联合多特征的层次粒子滤波跟踪方法 |
CN105551012A (zh) * | 2014-11-04 | 2016-05-04 | 阿里巴巴集团控股有限公司 | 计算机图像配准中降低错误匹配对的方法及其系统 |
-
2021
- 2021-03-12 CN CN202110271236.9A patent/CN112990231B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120243776A1 (en) * | 2011-03-22 | 2012-09-27 | Arafune Akira | Image processing apparatus, image processing method, and program |
CN102739922A (zh) * | 2011-03-22 | 2012-10-17 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
CN102620672A (zh) * | 2011-12-01 | 2012-08-01 | 中国人民解放军63653部队 | 图像拼接技术在隧道围岩变形非接触测量中的应用 |
CN102693522A (zh) * | 2012-04-28 | 2012-09-26 | 中国矿业大学 | 一种彩色图像区域复制篡改检测方法 |
CN103700080A (zh) * | 2013-12-06 | 2014-04-02 | 北京工业大学 | 基于Skinner概率自动机的图像误匹配对去除方法 |
CN105551012A (zh) * | 2014-11-04 | 2016-05-04 | 阿里巴巴集团控股有限公司 | 计算机图像配准中降低错误匹配对的方法及其系统 |
CN105279769A (zh) * | 2015-07-16 | 2016-01-27 | 北京理工大学 | 一种联合多特征的层次粒子滤波跟踪方法 |
Non-Patent Citations (1)
Title |
---|
崔恺,等: ""一种基于马尔科夫网的本体匹配算法"", 《计算机工程》 * |
Also Published As
Publication number | Publication date |
---|---|
CN112990231B (zh) | 2022-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20160379375A1 (en) | Camera Tracking Method and Apparatus | |
CN111028292B (zh) | 一种亚像素级图像匹配导航定位方法 | |
CN109960742B (zh) | 局部信息的搜索方法及装置 | |
CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
CN109697728A (zh) | 数据处理方法、装置、系统和存储介质 | |
CN111062400B (zh) | 目标匹配方法及装置 | |
CN111160298A (zh) | 一种机器人及其位姿估计方法和装置 | |
CN112435193A (zh) | 一种点云数据去噪的方法、装置、存储介质和电子设备 | |
CN112036381B (zh) | 视觉跟踪方法、视频监控方法及终端设备 | |
CN111046847A (zh) | 一种视频处理方法、装置、电子设备以及介质 | |
CN113191489A (zh) | 二值神经网络模型的训练方法、图像处理方法和装置 | |
CN114140346A (zh) | 一种图像处理方法及装置 | |
CN112801047A (zh) | 缺陷检测方法、装置、电子设备及可读存储介质 | |
CN111161348B (zh) | 一种基于单目相机的物体位姿估计方法、装置及设备 | |
CN115018999A (zh) | 一种多机器人协作的稠密点云地图构建方法及装置 | |
CN117541632A (zh) | 一种基于特征增强及多尺度相关的多模态图像配准方法 | |
CN112990231B (zh) | 一种图像误匹配对去除方法、装置及终端 | |
CN111104965A (zh) | 车辆目标识别的方法及装置 | |
CN115496993B (zh) | 基于频域融合的目标检测方法、装置、设备及存储介质 | |
CN109816709B (zh) | 基于单目摄像头的深度估计方法、装置及设备 | |
CN112991388B (zh) | 基于光流跟踪预测和凸几何距离的线段特征跟踪方法 | |
CN115631108A (zh) | 一种基于rgbd的图像去雾方法及相关设备 | |
CN110689513B (zh) | 彩色图像融合方法、装置和终端设备 | |
CN115082966A (zh) | 行人重识别模型训练方法、行人重识别方法、装置和设备 | |
CN112084874A (zh) | 一种物体检测方法、装置及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |