CN105469110B - 基于局部线性迁移的非刚性变换图像特征匹配方法及系统 - Google Patents

基于局部线性迁移的非刚性变换图像特征匹配方法及系统 Download PDF

Info

Publication number
CN105469110B
CN105469110B CN201510801246.3A CN201510801246A CN105469110B CN 105469110 B CN105469110 B CN 105469110B CN 201510801246 A CN201510801246 A CN 201510801246A CN 105469110 B CN105469110 B CN 105469110B
Authority
CN
China
Prior art keywords
parameter
image
point
matching
match point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510801246.3A
Other languages
English (en)
Other versions
CN105469110A (zh
Inventor
梅晓光
黄珺
马泳
马佳义
樊凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201510801246.3A priority Critical patent/CN105469110B/zh
Publication of CN105469110A publication Critical patent/CN105469110A/zh
Application granted granted Critical
Publication of CN105469110B publication Critical patent/CN105469110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755Deformable models or variational models, e.g. snakes or active contours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于局部线性迁移的非刚性变换图像特征匹配方法及系统,用于通过去除初始匹配点对中的错误的匹配来建立正确的匹配,包括针对待匹配图像间的非刚性几何变换建立待匹配图像间几何变换相应的模型,并建立匹配点对为正确匹配的后验概率相应的模型,基于最近邻居匹配点、最小二乘法、最优化方法求解模型参数;计算初始匹配点对为正确匹配的后验概率,并根据阈值判断初始匹配点对的正误。本方法针对待匹配图像之间存在非刚性变换的情况进行了建模,大幅降低了匹配的错误率,即使在初步匹配中存在大量错误匹配的情况下,依然保持良好的鲁棒性。

Description

基于局部线性迁移的非刚性变换图像特征匹配方法及系统
技术领域
本发明涉及图像特征匹配技术领域,具体地说,本发明涉及基于局部线性迁移的非刚性变换图像特征匹配技术方案。
背景技术
图像匹配的基本目标是将使用不同传感器在不同的时间和视角下获得的同一个场景的两幅图像的相同部位进行对应。
在过去的几十年里,学者们研究了很多方法来解决遥感图像匹配问题。这些方法大致可以分为两类:基于区域的匹配方法和基于特征的匹配方法。前者通过搜索两幅图像中一定区域内原始灰度值的相似程度来寻找匹配信息;后者则利用局部特征的描述子相似性或空间几何约束来寻找匹配点对。在具有少量显著细节的情况中,灰度值提供的信息比局部形状和结构要多,从而基于区域的方法的匹配效果更好。但是基于区域的方法计算量大,且在图像失真和光度改变的情况下并不适用。相反,特征方法具有更好的鲁棒性,可以处理复杂失真的图像,得到广泛的应用。
如何寻找两幅图像中对应的匹配点,形成匹配点对,并确保匹配点对的正确性是图像匹配方法的关键。
基于区域的匹配方法主要有相关法、傅里叶方法和互信息法三种。相关法的主要思想是计算两幅图像中对应窗的相似性,然后将具有最大相似程度的一对作为匹配点对。但相关法在相似性不显著的无纹理区域无法适用,且计算复杂。傅里叶方法利用了图像在频率域的傅里叶表示。与传统的相关方法相比,这种方法在计算效率更高并且对频率类噪声具有很好的鲁棒性。然而,这种方法在处理具有不同谱结构的图像具有一定限制性。互信息法尽管其匹配效果良好,但是它无法得到整个搜索空间中的全局最大值,因此不可避免的会减低它的鲁棒性。
基于特征的匹配方法中,通常采用一种分为两个步骤的策略。第一步,通过特征描述子的相似程度确定一组初始的匹配点对,其中绝大多数是正确匹配,但不可避免的含有大量的错误匹配。第二步,通过通过几何约束来去除错误的匹配,最后便可得到正确的匹配点对和两幅图像之间变换的几何参数。这种策略的典型例子包括RANSAC方法(M.A.Fischler and R.C.Bolles,“Random sample consensus:A paradigm for modelfitting with application to image analysis and automated cartog-raphy,”Commun.ACM,vol.24,no.6,pp.381–395,Jun.1981)、ARHV方法(P.H.S.Torr andA.Zisserman,“MLESAC:A new robust estimator with application to estimatingimage geometry,”Comput.Vis.Image Under-stand.,vol.78,no.1,pp.138–156,Apr.2000)等依赖于参数模型的方法和VFC方法(J.Ma,J.Zhao,J.Tian,A.L.Yuille,andZ.Tu,“Robust point matching via vector field consensus,”IEEE Trans.ImageProcess.,vol.23,no.4,pp.1706–1721,Apr.2014.)、GS方法(H.Liu and S.Yan,“Commonvisual pattern discovery via spatially coher-ent correspondence,”in Proc.IEEEConf.Comput.Vis.Pattern Recog.,Jun.2010,pp.1609–1616.)和ICF方法(X.Li andZ.Hu,“Rejecting misma tches by correspondence function,”Int.J.Comput.Vis.,vol.89,no.1,pp.1–17,Aug.2010).等基于非参数模型的方法。
虽然这些方法在许多领域获得了成功,但是在图像中含有大量因视角变化造成的局部失真以及图像内容较复杂时,初步匹配后会得到很多错误的初始匹配点对,当错误率超过一定比例时,这些方法就不能有效的去除错误。因此亟需一种对初始匹配错误率具有较强鲁棒性的匹配方法。
发明内容
针对现有技术缺陷,本发明提出了一种基于局部线性迁移的非刚性变换图像特征匹配方法。
为达到上述目的,本发明采用的技术方案提供一种基于局部线性迁移的非刚性变换图像特征匹配方法,包括以下步骤,
步骤1,建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的后验概率相应的模型,实现如下,
设已知的一组初始匹配点对中图像a上点集为X={x1,…,xN}T,图像b上相应点集为Y={y1,…,yN}T,包含N对初始匹配点对;
针对待匹配图像间的非刚性变换,建立变换数学模型如下,
其中,设两幅待匹配图像为图像a和图像b,x和y分别是图像a和图像b上像素的坐标向量,t(x)表示非刚性变换关系,cn是1×2的向量参数,记集合C={c1,…,cN},β是模型参数,I是单位矩阵;
计算第n对匹配点为正确匹配的后验概率pn有如下后验概率数学模型,
其中,γ和σ均为模型参数,e为数学常量,b为预设的系数;
步骤2,根据点集X={x1,…,xN}T和Y={y1,…,yN}T求解模型参数,包括以下子步骤,
步骤2.1,为每一个匹配点xn,n=1,…,N,分别搜索最近的K个邻居匹配点,K取预设值;
步骤2.2,根据步骤2.1的搜索结果,采用最小二乘法求解维度为N×N的权重矩阵W;
步骤2.3,通过最优化方法求解模型参数C、γ、σ,包括以下子步骤,
步骤2.3.1,初始化,包括令γ=γ0,C=0,P=IN×N,γ0为γ的预设初始值,令当前迭代次数k=1,采用下述模型参数公式计算σ,
其中,矩阵T=(t(x1),…,t(xN))T,tr()表示求矩阵的迹;
步骤2.3.2,更新矩阵P,包括采用步骤1中所得后验概率数学模型,计算得到N对匹配点对分别为正确匹配的后验概率p1,…,pN,令P=diag(p1,…,pN),diag表示对角矩阵;
步骤2.3.3,计算参数C如下,
采用下述公式计算参数C,
(P+2λσ2Q)ΓC=PY-(P+2λσ2Q)X
其中,矩阵Q=(I-W)TP(I-W),I表示IN×N,λ为预设的参数;
步骤2.3.4,根据步骤2.3.3计算得到的参数C,重新计算参数γ、σ如下,
采用下述公式计算参数γ,
采用步骤2.3.1中模型参数公式计算σ;
步骤2.3.5,判别收敛条件,包括计算当前的参数L,当满足k=kmax或者(L-Lold)/Lold≤ε,结束迭代,kmax为最大迭代次数,ε是收敛阈值;否则,k=k+1,返回步骤2.3.2;所述参数L的计算公式如下,
其中,Lold表示上一次计算得到的L;
步骤3,计算初始匹配点对为正确匹配的后验概率,并根据阈值判断初始匹配点对的正误,实现如下,
将所述步骤2.3中求解的模型参数代入步骤1中所述后验概率数学模型,计算得到第n对匹配点对为正确匹配的后验概率;当pn≥threshold时,则认为第n对匹配点是正确匹配;当pn<threshold时,则认为第n对匹配点是错误的匹配,其中threshold为预设的判断阈值。
而且,步骤2.2包括以下子步骤,
步骤2.2.1,当匹配点xj不是所述步骤2.1中搜索到的匹配点xi的K个邻居匹配点之一时,则将Wij设置为0,其中匹配点xj和匹配点xi为点集X中的匹配点,且i,j=1,…,N,Wij表示权重矩阵W第i行第j列的元素;
步骤2.2.2,在的约束条件下,采用最小二乘法求解得到使得下述代价函数E(W)取到最小值的权重矩阵W,代价函数E(W)如下,
本发明还相应提供一种基于局部线性迁移的非刚性变换图像特征匹配系统,包括以下模块,
模型构建模块,用于建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的后验概率相应的模型,实现如下,
设已知的一组初始匹配点对中图像a上点集为X={x1,…,xN}T,图像b上相应点集为Y={y1,…,yN}T,包含N对初始匹配点对;
针对待匹配图像间的非刚性变换,建立变换数学模型如下,
其中,设两幅待匹配图像为图像a和图像b,x和y分别是图像a和图像b上像素的坐标向量,t(x)表示非刚性变换关系,cn是1×2的向量参数,记集合C={c1,…,cN},β是模型参数,I是单位矩阵;
计算第n对匹配点为正确匹配的后验概率pn有如下后验概率数学模型,
其中,γ和σ均为模型参数,e为数学常量,b为预设的系数;
参数求解模块,用于根据点集X={x1,…,xN}T和Y={y1,…,yN}T求解模型参数,包括以下子模块,
邻居匹配点子模块,用于为每一个匹配点xn,n=1,…,N,分别搜索最近的K个邻居匹配点,K取预设值;
权重矩阵子模块,用于根据邻居匹配点子模块的搜索结果,采用最小二乘法求解维度为N×N的权重矩阵W;
最优化求解子模块,用于通过最优化方法求解模型参数C、γ、σ,包括以下单元,
初始化单元,用于令γ=γ0,C=0,P=IN×N,γ0为γ的预设初始值,令当前迭代次数k=1,采用下述模型参数公式计算σ,
其中,矩阵T=(t(x1),…,t(xN))T,tr()表示求矩阵的迹;
更新单元,用于更新矩阵P,包括采用模型构建模块中所得后验概率数学模型,计算得到N对匹配点对分别为正确匹配的后验概率p1,…,pN,令P=diag(p1,…,pN),diag表示对角矩阵;
第一参数计算单元,用于计算参数C如下,
采用下述公式计算参数C,
(P+2λσ2Q)ΓC=PY-(P+2λσ2Q)X
其中,矩阵Q=(I-W)TP(I-W),I表示IN×N,λ为预设的参数;
第二参数计算单元,用于根据第一参数计算单元计算得到的参数C,重新计算参数γ、σ如下,
采用下述公式计算参数γ,
采用初始化单元中模型参数公式计算σ;
迭代判断单元,用于判别收敛条件,包括计算当前的参数L,当满足k=kmax或者(L-Lold)/Lold≤ε,结束迭代,kmax为最大迭代次数,ε是收敛阈值;否则,k=k+1,命令更新单元工作;所述参数L的计算公式如下,
其中,Lold表示上一次计算得到的L;
判断结果模块,用于计算初始匹配点对为正确匹配的后验概率,并根据阈值判断初始匹配点对的正误,实现如下,
将所述最优化求解子模块中求解的模型参数代入模型构建模块中所述后验概率数学模型,计算得到第n对匹配点对为正确匹配的后验概率;当pn≥threshold时,则认为第n对匹配点是正确匹配;当pn<threshold时,则认为第n对匹配点是错误的匹配,其中threshold为预设的判断阈值。
而且,权重矩阵子模块包括以下单元,
初始赋值单元,用于当匹配点xj不是所述邻居匹配点子模块中搜索到的匹配点xi的K个邻居匹配点之一时,则将Wij设置为0,其中匹配点xj和匹配点xi为点集X中的匹配点,且i,j=1,…,N,Wij表示权重矩阵W第i行第j列的元素;
求解单元,用于在的约束条件下,采用最小二乘法求解得到使得下述代价函数E(W)取到最小值的权重矩阵W,代价函数E(W)如下,
本发明具有以下优点:
1、本发明针对图像特征匹配提出了一种统一的最大似然框架。与普遍使用的参数模型相比,这种框架可以处理非参数模型情况,应用范围更广。
2、本发明构造了一种局部几何约束对变换模型进行优化。这种约束保存了相邻特征点间的局部结构,因此可用来处理含有大量错误匹配的情况,具有更强的鲁棒性。
具体实施方式
下面通过实施例对本发明技术方案进一步详细说明。
本发明提出的方法首先对待匹配图像非刚性变换进行数学建模,然后通过去除度初步建立一系列的匹配点对中的错误的匹配来建立正确的匹配。本发明提出的方法利用带隐变量的贝叶斯最大似然估计进行数学建模。同时,还构造了一种保留相邻特征点间局部结构的几何约束,即使在初步匹配中存在大量错误匹配的情况下,依然保持良好的鲁棒性。
本发明实施例所提供方法主要包括3个步骤:
步骤1,建立待匹配图像间几何变换的数学模型和匹配点对为正确匹配的后验概率模型。
由于采用现有技术中的图像匹配进行初始匹配所得匹配点对难免有错误,本发明的目的是对其中错误的去掉,则对于已知的一组初始匹配点对中图像a上点集为X={x1,…,xN}T,图像b上相应点集为Y={y1,…,yN}T,其中点x1对应匹配点y1,以此类推,点xN对应匹配点yN,包含N对初始匹配点对。
针对待匹配图像间的非刚性变换,建立变换数学模型如下:
其中,x和y是像素的坐标向量,即设两幅待匹配图像为图像a和图像b,x和y分别是图像a和图像b上像素的坐标向量,t(x)表示刚性几何变换关系;cn是1×2的向量参数,n=1,…,N,即c1,…,cN分别是1×2的向量参数,记集合C={c1,…,cN},β是模型参数,具体实施时,本领域技术人员可以自行预设取值,本实施例中β取0.1;xn是已知的一组初始匹配点对X={x1,…,xN}T,Y={y1,…,yN}T中点集X的元素,n=1,…,N,I是单位矩阵;
则对于这组已知的初始匹配点对X,Y,其中第n对匹配点对为正确匹配的后验概率pn可以由如下模型计算得到:
其中,γ和σ均为模型参数,e为数学常量,系数b可由本领域技术人员预先指定,或者采用可变参数,实施例采用2/5,即
步骤2,根据已知的初始匹配点对,即点集X={x1,…,xN}T,Y={y1,…,yN}T求解所述步骤1中两个模型的参数,包含以下子步骤:
步骤2.1,为每一个匹配点xn,n=1,…,N,分别采用k-d树关联搜索方法搜索与其最近的K个邻居匹配点;具体实施时,本领域技术人员可自行预设K的取值,本实施例中K取15;
步骤2.2,根据所述步骤2.1的搜索结果,采用最小二乘法求解维度为N×N的权重矩阵W;
实施例中,权重矩阵W求解如下,
步骤2.2.1,当匹配点xj不是所述步骤2.1中搜索到的匹配点xi的K个邻居匹配点之一时,则将Wij设置为0,其中匹配点xj和匹配点xi为点集X中的匹配点,且i,j=1,…,N,Wij表示权重矩阵W第i行第j列的元素;
步骤2.2.2,在的约束条件下,采用最小二乘法求解得到使得下述代价函数E(W)取到最小值的权重矩阵W,代价函数E(W)如下:
步骤2.3,通过最优化方法求解未知的数学模型参数:C、γ、σ;
实施例中未知的数学模型参数C、γ、σ的求解过程如下:
步骤2.3.1,初始化参数;令参数γ=γ0(具体实施时,本领域技术人员可以自行设定γ的初始值γ0,实施例取γ0=0.9),参数C=0,矩阵P=IN×N(即维度为N×N、元素全部为1的矩阵),当前迭代次数k=1,采用下述模型参数公式计算参数σ:
其中,矩阵T=(t(x1),…,t(xN))T,tr()表示求矩阵的迹;
步骤2.3.2,更新矩阵P:
采用步骤1中所述后验概率数学模型,计算得到第1,…,N对匹配点对分别为正确匹配的后验概率p1,…,pN,令P=diag(p1,…,pN),diag表示对角矩阵;
步骤2.3.3,计算参数C;
通过解下述方程得到参数C:
(P+2λσ2Q)ΓC=PY-(P+2λσ2Q)X
其中,λ为一个预设的参数,具体实施时本领域技术人员可预设取值,本实施例中取100,将IN×N省略记为I,矩阵Q=(I-W)TP(I-W),Γ是一个N×N的矩阵,其第i行第j列的元素具体实施时本领域技术人员可预设取值,本实施例中β取0.1;
步骤2.3.4,根据步骤2.3.3计算得到的参数C,基于当前的t(x)可重新计算参数γ、σ;
采用下述公式计算参数γ:
采用步骤2.3.1中所述模型参数公式计算σ;
步骤2.3.5,判别收敛条件:
计算当前的参数L,当k=kmax或者(L-Lold)/Lold≤ε,结束迭代;当k<kmax且(L-Lold)/Lold>ε,k=k+1,回到步骤2.3.2,具体实施时,本领域技术人员可自选预设最大迭代次数kmax的取值,本实施例的取值为50;
其中,ε是收敛阈值,具体实施时本领域技术人员可预设取值,例如取0.0001,Lold表示上一次执行步骤2.3.5计算得到的L,首次执行步骤2.3.5时,可以令Lold为一个较大的初始值,例如10的6次方,之后执行即可采用上次执行执行步骤2.3.5的计算结果。L的计算公式如下:
步骤3,计算初始匹配点对为正确匹配的后验概率,并根据阈值判断初始匹配点对的正误;
将所述步骤2.3中求解的参数代入步骤1中所述后验概率数学模型,计算得到第n对匹配点对为正确匹配的后验概率;当pn≥threshold时,则认为第n对匹配点是正确匹配;当pn<threshold时,则认为第n对匹配点是错误的匹配,其中threshold为判断阈值,具体实施时,本领域技术人员可自选预设判断阈值的取值,本实施例中取0.5。
具体实施时,以上流程可采用软件方式实现自动运行。还可以采用模块化方式提供相应系统,本发明实施例还相应提供一种基于局部线性迁移的非刚性变换图像特征匹配系统,包括以下模块,
模型构建模块,用于建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的后验概率相应的模型,实现如下,
设已知的一组初始匹配点对中图像a上点集为X={x1,…,xN}T,图像b上相应点集为Y={y1,…,yN}T,包含N对初始匹配点对;
针对待匹配图像间的非刚性变换,建立变换数学模型如下,
其中,设两幅待匹配图像为图像a和图像b,x和y分别是图像a和图像b上像素的坐标向量,t(x)表示非刚性变换关系,cn是1×2的向量参数,记集合C={c1,…,cN},β是模型参数,I是单位矩阵;
计算第n对匹配点为正确匹配的后验概率pn有如下后验概率数学模型,
其中,γ和σ均为模型参数,e为数学常量,b为预设的系数;
参数求解模块,用于根据点集X={x1,…,xN}T和Y={y1,…,yN}T求解模型参数,包括以下子模块,
邻居匹配点子模块,用于为每一个匹配点xn,n=1,…,N,分别搜索最近的K个邻居匹配点,K取预设值;
权重矩阵子模块,用于根据邻居匹配点子模块的搜索结果,采用最小二乘法求解维度为N×N的权重矩阵W;
最优化求解子模块,用于通过最优化方法求解模型参数C、γ、σ,包括以下单元,
初始化单元,用于令γ=γ0,C=0,P=IN×N,γ0为γ的预设初始值,令当前迭代次数k=1,采用下述模型参数公式计算σ,
其中,矩阵T=(t(x1),…,t(xN))T,tr()表示求矩阵的迹;
更新单元,用于更新矩阵P,包括采用模型构建模块中所得后验概率数学模型,计算得到N对匹配点对分别为正确匹配的后验概率p1,…,pN,令P=diag(p1,…,pN),diag表示对角矩阵;
第一参数计算单元,用于计算参数C如下,
采用下述公式计算参数C,
(P+2λσ2Q)ΓC=PY-(P+2λσ2Q)X
其中,矩阵Q=(I-W)TP(I-W),I表示IN×N,λ为预设的参数;
第二参数计算单元,用于根据第一参数计算单元计算得到的参数C,重新计算参数γ、σ如下,
采用下述公式计算参数γ,
采用初始化单元中模型参数公式计算σ;
迭代判断单元,用于判别收敛条件,包括计算当前的参数L,当满足k=kmax或者(L-Lold)/Lold≤ε,结束迭代,kmax为最大迭代次数,ε是收敛阈值;否则,k=k+1,命令更新单元工作;所述参数L的计算公式如下,
其中,Lold表示上一次计算得到的L;
判断结果模块,用于计算初始匹配点对为正确匹配的后验概率,并根据阈值判断初始匹配点对的正误,实现如下,
将所述最优化求解子模块中求解的模型参数代入模型构建模块中所述后验概率数学模型,计算得到第n对匹配点对为正确匹配的后验概率;当pn≥threshold时,则认为第n对匹配点是正确匹配;当pn<threshold时,则认为第n对匹配点是错误的匹配,其中threshold为预设的判断阈值。
进一步地,权重矩阵子模块包括以下单元,
初始赋值单元,用于当匹配点xj不是所述邻居匹配点子模块中搜索到的匹配点xi的K个邻居匹配点之一时,则将Wij设置为0,其中匹配点xj和匹配点xi为点集X中的匹配点,且i,j=1,…,N,Wij表示权重矩阵W第i行第j列的元素;
求解单元,用于在的约束条件下,采用最小二乘法求解得到使得下述代价函数E(W)取到最小值的权重矩阵W,代价函数E(W)如下,
选取RANSAC、ICF、GS方法与本发明进行图像匹配的对比。对比结果如下表,其中正确率是指方法最后给出的匹配点对中是正确匹配点对的比例;遗漏率是指方法在筛选过程中把正确匹配点对判断为错误匹配点对的比例。可以看到本方法用时最短,准确率最高,遗漏率最低。
方法效果对比表
方法 时间 正确率 遗漏率
RANSAC 12.23 89.38% 2.91%
ICF 2.36 94.82% 18.84%
GS 15.28 91.33% 13.62%
本发明 1.85 99.75% 1.19%
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似方式替代,但并不会偏离本发明的精神或超越所附权利要求书所定义的范围。

Claims (4)

1.一种基于局部线性迁移的非刚性变换图像特征匹配方法,其特征在于:包括以下步骤,
步骤1,建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的后验概率相应的模型,实现如下,
设已知的一组初始匹配点对中图像a上点集为X={x1,…,xN}T,图像b上相应点集为Y={y1,…,yN}T,包含N对初始匹配点对;
针对待匹配图像间的非刚性变换,建立变换数学模型如下,
其中,设两幅待匹配图像为图像a和图像b,x和y分别是图像a和图像b上像素的坐标向量,t(x)表示非刚性变换关系,cn是1×2的向量参数,记集合C={c1,…,cN},β是模型参数,I是单位矩阵;
计算第n对匹配点为正确匹配的后验概率pn有如下后验概率数学模型,
其中,γ和σ均为模型参数,e为数学常量,b为预设的系数;
步骤2,根据点集X={x1,…,xN}T和Y={y1,…,yN}T求解模型参数,包括以下子步骤,
步骤2.1,为每一个匹配点xn,n=1,…,N,分别搜索最近的K个邻居匹配点,K取预设值;
步骤2.2,根据步骤2.1的搜索结果,采用最小二乘法求解维度为N×N的权重矩阵W;
步骤2.3,通过最优化方法求解模型参数C、γ、σ,包括以下子步骤,
步骤2.3.1,初始化,包括令γ=γ0,C=0,P=IN×N,γ0为γ的预设初始值,令当前迭代次数k=1,采用下述模型参数公式计算σ,
其中,矩阵T=(t(x1),…,t(xN))T,tr( )表示求矩阵的迹;
步骤2.3.2,更新矩阵P,包括采用步骤1中所得后验概率数学模型,计算得到N对匹配点对分别为正确匹配的后验概率p1,…,pN,令P=diag(p1,…,pN),diag表示对角矩阵;
步骤2.3.3,计算参数C如下,
采用下述公式计算参数C,
(P+2λσ2Q)ΓC=PY-(P+2λσ2Q)X
其中,矩阵Q=(I-W)TP(I-W),I表示IN×N,λ为预设的参数;
步骤2.3.4,根据步骤2.3.3计算得到的参数C,重新计算参数γ、σ如下,
采用下述公式计算参数γ,
采用步骤2.3.1中模型参数公式计算σ;
步骤2.3.5,判别收敛条件,包括计算当前的参数L,当满足k=kmax或者(L-Lold)/Lold≤ε,结束迭代,kmax为最大迭代次数,ε是收敛阈值;否则,k=k+1,返回步骤2.3.2;所述参数L的计算公式如下,
其中,Lold表示上一次计算得到的L;
步骤3,计算初始匹配点对为正确匹配的后验概率,并根据阈值判断初始匹配点对的正误,实现如下,
将所述步骤2.3中求解的模型参数代入步骤1中所述后验概率数学模型,计算得到第n对匹配点对为正确匹配的后验概率;当pn≥threshold时,则认为第n对匹配点是正确匹配;当pn<threshold时,则认为第n对匹配点是错误的匹配,其中threshold为预设的判断阈值。
2.根据权利要求1所述基于局部线性迁移的非刚性变换图像特征匹配方法,其特征在于:步骤2.2包括以下子步骤,
步骤2.2.1,当匹配点xj不是所述步骤2.1中搜索到的匹配点xi的K个邻居匹配点之一时,则将Wij设置为0,其中匹配点xj和匹配点xi为点集X中的匹配点,且i,j=1,…,N,Wij表示权重矩阵W第i行第j列的元素;
步骤2.2.2,在的约束条件下,采用最小二乘法求解得到使得下述代价函数E(W)取到最小值的权重矩阵W,代价函数E(W)如下,
3.一种基于局部线性迁移的非刚性变换图像特征匹配系统,其特征在于:包括以下模块,
模型构建模块,用于建立待匹配图像间几何变换相应的模型和匹配点对为正确匹配的后验概率相应的模型,实现如下,
设已知的一组初始匹配点对中图像a上点集为X={x1,…,xN}T,图像b上相应点集为Y={y1,…,yN}T,包含N对初始匹配点对;
针对待匹配图像间的非刚性变换,建立变换数学模型如下,
其中,设两幅待匹配图像为图像a和图像b,x和y分别是图像a和图像b上像素的坐标向量,t(x)表示非刚性变换关系,cn是1×2的向量参数,记集合C={c1,…,cN},β是模型参数,I是单位矩阵;
计算第n对匹配点为正确匹配的后验概率pn有如下后验概率数学模型,
其中,γ和σ均为模型参数,e为数学常量,b为预设的系数;
参数求解模块,用于根据点集X={x1,…,xN}T和Y={y1,…,yN}T求解模型参数,包括以下子模块,
邻居匹配点子模块,用于为每一个匹配点xn,n=1,…,N,分别搜索最近的K个邻居匹配点,K取预设值;
权重矩阵子模块,用于根据邻居匹配点子模块的搜索结果,采用最小二乘法求解维度为N×N的权重矩阵W;
最优化求解子模块,用于通过最优化方法求解模型参数C、γ、σ,包括以下单元,
初始化单元,用于令γ=γ0,C=0,P=IN×N,γ0为γ的预设初始值,令当前迭代次数k=1,采用下述模型参数公式计算σ,
其中,矩阵T=(t(x1),…,t(xN))T,tr( )表示求矩阵的迹;
更新单元,用于更新矩阵P,包括采用模型构建模块中所得后验概率数学模型,计算得到N对匹配点对分别为正确匹配的后验概率p1,…,pN,令P=diag(p1,…,pN),diag表示对角矩阵;
第一参数计算单元,用于计算参数C如下,
采用下述公式计算参数C,
(P+2λσ2Q)ΓC=PY-(P+2λσ2Q)X
其中,矩阵Q=(I-W)TP(I-W),I表示IN×N,λ为预设的参数;
第二参数计算单元,用于根据第一参数计算单元计算得到的参数C,重新计算参数γ、σ如下,
采用下述公式计算参数γ,
采用初始化单元中模型参数公式计算σ;
迭代判断单元,用于判别收敛条件,包括计算当前的参数L,当满足k=kmax或者(L-Lold)/Lold≤ε,结束迭代,kmax为最大迭代次数,ε是收敛阈值;否则,k=k+1,命令更新单元工作;所述参数L的计算公式如下,
其中,Lold表示上一次计算得到的L;
判断结果模块,用于计算初始匹配点对为正确匹配的后验概率,并根据阈值判断初始匹配点对的正误,实现如下,
将所述最优化求解子模块中求解的模型参数代入模型构建模块中所述后验概率数学模型,计算得到第n对匹配点对为正确匹配的后验概率;当pn≥threshold时,则认为第n对匹配点是正确匹配;当pn<threshold时,则认为第n对匹配点是错误的匹配,其中threshold为预设的判断阈值。
4.根据权利要求3所述基于局部线性迁移的非刚性变换图像特征匹配系统,其特征在于:权重矩阵子模块包括以下单元,
初始赋值单元,用于当匹配点xj不是所述邻居匹配点子模块中搜索到的匹配点xi的K个邻居匹配点之一时,则将Wij设置为0,其中匹配点xj和匹配点xi为点集X中的匹配点,且i,j=1,…,N,Wij表示权重矩阵W第i行第j列的元素;
求解单元,用于在的约束条件下,采用最小二乘法求解得到使得下述代价函数E(W)取到最小值的权重矩阵W,代价函数E(W)如下,
CN201510801246.3A 2015-11-19 2015-11-19 基于局部线性迁移的非刚性变换图像特征匹配方法及系统 Active CN105469110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510801246.3A CN105469110B (zh) 2015-11-19 2015-11-19 基于局部线性迁移的非刚性变换图像特征匹配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510801246.3A CN105469110B (zh) 2015-11-19 2015-11-19 基于局部线性迁移的非刚性变换图像特征匹配方法及系统

Publications (2)

Publication Number Publication Date
CN105469110A CN105469110A (zh) 2016-04-06
CN105469110B true CN105469110B (zh) 2018-12-14

Family

ID=55606781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510801246.3A Active CN105469110B (zh) 2015-11-19 2015-11-19 基于局部线性迁移的非刚性变换图像特征匹配方法及系统

Country Status (1)

Country Link
CN (1) CN105469110B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107422326B (zh) * 2017-03-30 2020-09-11 燕山大学 基于贝叶斯估计的水下目标追踪方法
CN107220658B (zh) * 2017-05-10 2019-05-31 中国人民解放军军械工程学院 一种图像匹配点对筛选方法
CN108256545B (zh) * 2017-11-29 2021-12-28 西北大学 一种曲线匹配方法及目标物体的形状匹配方法
CN109285110B (zh) * 2018-09-13 2023-04-21 武汉大学 基于鲁棒匹配与变换的红外可见光图像配准方法及系统
CN109448031B (zh) * 2018-09-28 2021-04-16 武汉大学 基于高斯场约束和流形正则化的图像配准方法及系统
CN109785371A (zh) * 2018-12-19 2019-05-21 昆明理工大学 一种基于归一化互相关和sift的太阳图像配准方法
CN110148161A (zh) * 2019-04-12 2019-08-20 中国地质大学(武汉) 一种遥感图像误匹配剔除方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778433A (zh) * 2014-01-15 2014-05-07 东莞华中科技大学制造工程研究院 基于点到直线距离的广义点集匹配方法
CN104599277A (zh) * 2015-01-27 2015-05-06 中国科学院空间科学与应用研究中心 一种面向保积仿射变换的图像配准方法
CN104792546A (zh) * 2015-04-21 2015-07-22 苏州泰克诺机电有限公司 汽车座椅滑轨磨合测试站

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778433A (zh) * 2014-01-15 2014-05-07 东莞华中科技大学制造工程研究院 基于点到直线距离的广义点集匹配方法
CN104599277A (zh) * 2015-01-27 2015-05-06 中国科学院空间科学与应用研究中心 一种面向保积仿射变换的图像配准方法
CN104792546A (zh) * 2015-04-21 2015-07-22 苏州泰克诺机电有限公司 汽车座椅滑轨磨合测试站

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Robust Point Matching via Vector Field Consensus";Jiayi Ma .etc;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20140430;第23卷(第4期);第1706-1721页 *
"基于t分布混合模型的点集非刚性配准算法";周志勇 等;《光学精密工程》;20130930;第21卷(第9期);第2405-2420页 *

Also Published As

Publication number Publication date
CN105469110A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
CN105469110B (zh) 基于局部线性迁移的非刚性变换图像特征匹配方法及系统
CN109285110B (zh) 基于鲁棒匹配与变换的红外可见光图像配准方法及系统
CN106778604B (zh) 基于匹配卷积神经网络的行人再识别方法
CN105488754B (zh) 基于局部线性迁移和仿射变换的图像特征匹配方法及系统
CN113822284B (zh) 一种基于边界注意力的rgbd图像语义分割方法
CN101650828B (zh) 摄像机标定中减少圆形目标定位随机误差的方法
CN104091339B (zh) 一种图像快速立体匹配方法及装置
CN103440659B (zh) 基于星图匹配的星空图像畸变检测与估计方法
CN105160686B (zh) 一种基于改进sift算子的低空多视角遥感影像匹配方法
CN108401565B (zh) 基于改进的KAZE特征和Pseudo-RANSAC算法的遥感图像配准方法
WO2022237225A1 (zh) 针对具有平面基准但不完整的三维扫描点云的在线实时配准方法
CN106980812A (zh) 基于级联卷积神经网络的三维人脸特征点定位方法
CN104732546A (zh) 区域相似性和局部空间约束的非刚性sar图像配准方法
CN111488498A (zh) 基于图神经网络的“节点-图”跨层图匹配方法及系统
CN105469112B (zh) 基于局部线性迁移和刚性模型的图像特征匹配方法及系统
CN108335328B (zh) 摄像机姿态估计方法和摄像机姿态估计装置
CN109448031B (zh) 基于高斯场约束和流形正则化的图像配准方法及系统
CN110288026A (zh) 一种基于度量关系图学习的图像分割方法及装置
CN113379788A (zh) 一种基于三元组网络的目标跟踪稳定性方法
CN106778925B (zh) 一种人脸识别的姿态超完备人脸自动注册方法及其装置
CN110163865B (zh) 一种针对模型拟合中不平衡数据的采样方法
CN114399547B (zh) 一种基于多帧的单目slam鲁棒初始化方法
CN105938615B (zh) 基于特征导向gmm和边缘图像的图像配准方法及系统
CN108205805B (zh) 锥束ct图像间体素稠密对应的自动建立方法
CN111931119A (zh) 一种组合模式的快速稳定圆最优拟合方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Mei Xiaoguang

Inventor after: Huang Jun

Inventor after: Ma Yong

Inventor after: Ma Jiayi

Inventor after: Fan Fan

Inventor before: Huang Jun

Inventor before: Ma Yong

Inventor before: Ma Jiayi

Inventor before: Mei Xiaoguang

Inventor before: Fan Fan

GR01 Patent grant
GR01 Patent grant