CN111582142B - 一种影像匹配方法及装置 - Google Patents

一种影像匹配方法及装置 Download PDF

Info

Publication number
CN111582142B
CN111582142B CN202010367497.6A CN202010367497A CN111582142B CN 111582142 B CN111582142 B CN 111582142B CN 202010367497 A CN202010367497 A CN 202010367497A CN 111582142 B CN111582142 B CN 111582142B
Authority
CN
China
Prior art keywords
dimensional
feature
point matrix
matrix
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010367497.6A
Other languages
English (en)
Other versions
CN111582142A (zh
Inventor
王慧
于翔舟
杨乐
李烁
闫科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202010367497.6A priority Critical patent/CN111582142B/zh
Publication of CN111582142A publication Critical patent/CN111582142A/zh
Application granted granted Critical
Publication of CN111582142B publication Critical patent/CN111582142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322—Rendering the within-class scatter matrix non-singular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322—Rendering the within-class scatter matrix non-singular
    • G06F18/21324—Rendering the within-class scatter matrix non-singular involving projections, e.g. Fisherface techniques

Abstract

本发明属于影像匹配技术领域，具体涉及一种影像匹配方法及装置。本发明首先利用SIFT算法提取待匹配影像的特征点，生成高维特征点矩阵，再将高维特征点矩阵进行拆分，得到高维种子点矩阵，继续利用LDA的监督学习降维技术，将高维种子点矩阵转换为低维种子点矩阵，且低维种子点矩阵中的向量维数低于高维种子点矩阵中的向量维数，继而再将低维种子点矩阵转换为低维特征点矩阵，使得最终得到的低维特征点矩阵中的向量维数低于高维特征点矩阵中的向量维数，实现了高维特征点矩阵的降维处理，缩短了影像匹配时间，提高了运行效率。而且，采用LDA算法，其较好的可区分性可以有效提高匹配精度。

Description

一种影像匹配方法及装置
技术领域
本发明属于影像匹配技术领域，具体涉及一种影像匹配方法及装置。
背景技术
数字影像匹配是指通过一定的匹配算法，根据影像的特征信息在两幅或多幅影像之间识别同名点的过程，已广泛应用于图像拼接与融合、模式识别与目标跟踪等图像处理领域和机器视觉领域。对特征点进行提取以及匹配是影像匹配的重要环节。
特征匹配的经典算法尺度不变特征变换SIFT(Scale-Invariant FeatureTransform)算法于1999年由David Lowe教授提出，并在2004年对其进行完善。SIFT匹配算法是数字摄影测量领域中常用的提取并描述影像中局部特征的算法，主要针对局部区域包含的不变量进行提取。SIFT具有诸多优点，能够提取稳定的特征。对物体摄取二维影像时，所获得的影像一般会由于平移、旋转、缩放发生变形，但由于物体是固定不变的，所以无论影像如何变化，针对这一物体就会存在不变量。SIFT根据不变量进行特征检测，所检测的特征对于图像的尺度和旋转能保持不变性，同时对于亮度的改变也具有较强鲁棒性，并且能够较好地应对拍摄视角的调整、噪声的干扰以及一定程度上的仿射变形，能够实现两幅差异较大的图像之间的特征的匹配。虽然SIFT算法具有诸多优点，但是，由于SIFT算法本身复杂度高，其所生成的特征描述符是高维向量(例如128维)，高维度向量在匹配过程中不仅耗时，并且占用着巨大的计算资源和存储资源，匹配时间久，在实际应用中处理速度明显降低，很难满足实时性的要求。
随着统计学理论的不断发展，数据降维技术被运用在计算机视觉领域。曾有学者利用主成分分析法PCA(Principal Component Analysis)对特征向量进行降维，该方法将特征点邻域内像素梯度分量构成的高维特征向量投影至前20维本征向量空间，即降低至20维。PCA算法使特征向量维度有效降低，大幅度提升了匹配速度，但由于其属于不添加标签的无监督学习，所以匹配精度仍需提高。
发明内容
本发明提供了一种影像匹配方法及装置，用以解决现有技术采用无监督学习算法进行降维造成的匹配精度低的问题。
为解决上述技术问题，本发明的技术方案包括：
本发明提供了一种影像匹配方法，包括如下步骤：
1)采用SIFT算法分别提取待匹配影像的特征点，生成高维特征点矩阵；所述高维特征点矩阵的一行为一个特征点的高维特征向量，且一个特征点包括K个种子点，一个特征点的高维特征向量包括K个种子点的高维特征向量，K＞1；
2)将高维特征点矩阵的每一行进行拆分，得到高维种子点矩阵；所述高维种子点矩阵的一行为一个种子点的高维特征向量；
3)为各个种子点设置标签，并以其中一个待匹配影像的高维种子点矩阵及其标签作为数据集，采用LDA算法计算得到将高维种子点矩阵降至低维种子点矩阵的投影矩阵；低维种子点矩阵中的向量维数低于高维种子点矩阵中的向量维数；
4)利用所述投影矩阵将各个待匹配影像的高维种子点矩阵转换为低维种子点矩阵；所述低维种子点矩阵的一行为一个种子点的低维特征向量；
5)将属于同一个特征点的种子点的低维特征向量进行合并，以将低维种子点矩阵转换为低维特征点矩阵；所述低维特征点矩阵的一行为一个特征点的低维特征向量；
6)根据各个待匹配影像的低维特征点矩阵，进行特征匹配。
上述技术方案的有益效果为：本发明首先利用SIFT算法提取待匹配影像的特征点，生成高维特征点矩阵，再将高维特征点矩阵进行拆分，得到高维种子点矩阵，继续利用LDA的监督学习降维技术，将高维种子点矩阵转换为低维种子点矩阵，且低维种子点矩阵中的向量维数低于高维种子点矩阵中的向量维数，继而再将低维种子点矩阵转换为低维特征点矩阵，使得最终得到的低维特征点矩阵中的向量维数低于高维特征点矩阵中的向量维数，实现了高维特征点矩阵的降维处理，缩短了影像匹配时间，提高了运行效率。该方法采用LDA算法可以将每个特征点的特征向量有效分离开，使同一影像提取出的特征点差异更明显，从而达到更好的匹配效果。
作为方法的进一步改进，所述根据各个待匹配影像的低维特征点矩阵，进行特征匹配包括：根据各个待匹配影像中特征点的低维特征点向量，计算特征点之间的欧氏距离，并以欧氏距离最小的两个特征点作为匹配点。
作为方法的进一步改进，为了进行更加精准的匹配，还包括将匹配结果进行筛选，剔除误匹配的步骤。
作为方法的进一步改进，采用RANSAC算法将匹配结果进行筛选。
作为方法的进一步改进，为了使各种子点更聚集，不同特征描述符间空间距离更大，以便于区分各个特征，步骤3)中，为各个种子点设置标签时，属于同一个特征点的种子点的标签设置一致，不同特征点的种子点的标签不一致。
本发明还提供了一种影像匹配装置，包括存储器和处理器，所述处理器用于执行存储在存储器中的指令以实现上述方法，并达到与方法相同的效果。
附图说明
图1是本发明的由关键点邻域梯度信息生成的特征向量的示意图；
图2是现有技术的LDA算法的流程图；
图3是本发明的方法实施例的流程图；
图4-1a、图4-1b、图4-1c、图4-1d、图4-1e、图4-1f是Brikes数据集中的影像图，且模糊程度依次增大；
图4-2a、图4-2b、图4-2c、图4-2d、图4-2e、图4-2f是Boat数据集中的影像图，且为不同旋转及缩放下的影像图；
图5-1是无人机遥感实验影像中第一组的影像A的影像图；
图5-2是无人机遥感实验影像中第一组的影像B旋转后的影像图；
图5-3是无人机遥感实验影像中第二组的影像A的影像图；
图5-4是无人机遥感实验影像中第二组的影像B旋转并模糊后的影像图；
图6-1是采用本发明LDA-SIFT算法对图5-1和图5-2遥感影像进行匹配的匹配结果图；
图6-2是采用本发明LDA-SIFT算法对图5-3和图5-4遥感影像进行匹配的匹配结果图；
图7是本发明的装置实施例的结构图。
具体实施方式
本发明将SIFT算法和LDA算法相结合，实现了待匹配图像的特征匹配。下面先对SIFT算法和LDA算法做一介绍。
一、SIFT算法
SIFT特征点提取算法具体分为四个步骤：建立尺度空间并检测、确定关键点位置、确定关键点方向以及确定关键点描述子。其中局部特征描述设计算法对于特征的匹配性能影响更大，因此如何构建鲁棒性好的独特的特征描述子是目前研究的重点所在。获得特征点描述子后，通过比对描述子的相似程度即可完成两幅影像的匹配操作。
其中，生成SIFT的特征描述向量是进行SIFT匹配前的最后一个环节，生成的高维特征向量包含了关键点所在邻域的所有信息。为保证SIFT算子的不受到影像旋转影响，需将关键点所在邻域旋转到关键点主方向上。以关键点所在的16×16邻域开辟窗口，如图1所示，窗口中心即为关键点所在位置，该邻域窗口内的像素与小方格逐一对应，箭头的长度对应梯度幅值，箭头的指向对应该像素的梯度方向。SIFT给邻域内像素赋予不同的权重，图1中的圆即确定了高斯加权的范围，越接近关键点位置的像素权值越高。以4×4像素为一个集合，计算梯度方向直方图，并将集合内的16个像素的梯度方向映射到8个方向上，生成一个种子点，最终根据邻域大小共可生成16个种子点。每个种子点包含了该集合内8个方向的信息，所以构成了高维特征向量，其维数为16×8＝128维。
二、LDA算法
LDA是一种监督学习的降维技术，LDA与PCA不同，并不追求数据保持最多的原始信息，而是希望数据能够更好地被区分开，形成高内聚、低耦合的子数据集。LDA在将样本从高维特征空间投影到低维特征空间时，可以使样本的类间方差最大，并同时保持类内方差最小。设数据集D＝{(x1,y1),(x2,y2),···,(xm,ym)}，其中数据集样本xi为n维向量，yi∈{C1,C2,…,Ck}是每个数据的标签。定义Nj(j＝1,2,…,k)为第j类样本的个数，μ为所有样本的均值向量，μj(j＝1,2,…,k)为第j类样本的均值向量；∑j(j＝1,2,…,k)为第j类样本的协方差矩阵。若投影后的低维空间维度为d，构成空间的基向量为(w1,w1,…,wd)，由基向量组成的矩阵W是n×d的矩阵，矩阵W也是高维空间向低维空间投影的投影矩阵，求解W即可实现降维转换。
类内散度矩阵Sw定义为：
Figure BDA0002477001920000041
类间散度矩阵Sb定义为：
Figure BDA0002477001920000042
为了使投影后同类的样本聚集，不同类的样本尽量分开，根据空间投影的原理，本发明选用线性判别分析其中一种常见的优化形式，优化函数为：
Figure BDA0002477001920000043
式中，
Figure BDA0002477001920000044
为任意矩阵A主对角线上元素的乘积，为了求解这一非线性优化方程，可将上式改写为：
Figure BDA0002477001920000051
式中，wi是矩阵W的第i列，显然代价函数J最大化，当且仅当：
Figure BDA0002477001920000052
构成矩阵W的列向量w应使代价函数J(w)最大化，利用式(5)的广义Rayleigh商，对于降低至d维空间，只需要对d个广义Rayleigh商最大化。即，只需要求解广义特征值问题：
Sbwi＝λiSwwi i＝1,2,…,d (6)
可知式(5)的最大值是矩阵
Figure BDA0002477001920000053
的前d个最大特征值相乘，而得到的d个广义特征向量w1,w2,...,wd则构成了高维空间向低维空间转换的投影向量W。图2为线性判别分析算法的流程图。
在此基础上，结合附图及实施例，对本发明的一种影像匹配方法进行进一步的详细说明。
方法实施例：
本实施例中，待匹配影像分别为影像A和影像B，SIFT算法生成的高维特征向量如图1所示。一种影像匹配方法的流程如图3所示，具体步骤如下：
步骤一，采用SIFT算法分别提取影像A和影像B的特征点，生成高维特征点矩阵XA和XB。其中，高维特征点矩阵的一行为一个特征点的高维特征向量xi；且如图1所示，一个特征点包括16个种子点，一个特征点的高维特征向量包括16个种子点的高维特征向量。具体过程包括：
1、采用SIFT算法提取影像A和影像B的特征点，影像A提取出的特征点个数为nA，影像B提取出的特征点个数为nB，得到高维特征向量数据集DA和DB。每个数据集内包含了对应影像提取出的每个特征点的128维特征向量，即特征点的高维特征向量xi，高维特征向量数据集DA包含了nA个128维特征向量，即
Figure BDA0002477001920000054
高维特征向量数据集DB包含了nB个128维特征向量。
2、将高维特征向量数据集DA和DB内的高维特征向量以矩阵形式存储，矩阵的每一行即为一个特征点的高维特征向量，得到的高维特征点矩阵分别为XA和XB，矩阵大小分别为nA×128和nB×128。
步骤二，按照特征点的高维特征向量的形成特点，将高维特征点矩阵XA和XB的每一行进行拆分，得到高维种子点矩阵XPA和XPB，高维种子点矩阵XPA和XPB的一行为一个种子点的高维特征向量pi，实现将高维特征点矩阵XA和XB分别转换为高维种子点矩阵XPA和XPB，用作后续降维处理的数据集。具体过程如下：
特征点的高维特征向量的形成特点为：每个特征点的高维特征向量xi都是由16个种子点组成的128特征向量，且每个种子点内均是由8个方向的梯度信息构成的8维向量，将种子点的高维特征向量设为pi时，xi＝pi1pi2…pi16。将高维特征点矩阵XA和XB的每一行进行拆分，得到高维种子点矩阵XPA和XPB，高维种子点矩阵XPA和XPB的一行为一个种子点的高维特征向量pi，从而将特征点的高维特征向量xi拆分成16个8维的种子点的高维特征向量pi1～pi16，将种子点的高维特征限量以矩阵形式存储于用于降维处理的数据集中，矩阵大小由nA×128、nB×128转换至(16×nA)×8、(16×nB)×8。
在计算机实施操作时，可将步骤一中获取的高维特征点矩阵XA和XB中的数据重新读写至高维种子点矩阵XPA和XPB中，重新读写的规则为原矩阵每一行共128个元素按照从左至右的顺序逐行写入16×8的矩阵中，即原始特征矩阵的1行数据拆分为高维种子点矩阵的16行数据。按此规则将高维特征点矩阵XA和XB的每一行分别重新读写，直至最后一行，则高维特征点矩阵XA和XB转换为高维种子点矩阵XPA和XPB完毕，特征矩阵大小也由nA×128、nB×128转换至(16×nA)×8、(16×nB)×8。
步骤三，为各个种子点设置标签，属于同一个特征点的种子点的标签设置一致，不同特征点的种子点的标签设置不一致。
对于影像A，采用SIFT算法提取出nA个特征点，即高维特征向量数据集DA内包含nA个特征点的高维特征向量，则标签数据也为nA。以数字1作为第一个特征点的高维特征向量的标签，则第一个特征点的高维特征向量所拆分成的16个种子点的高维特征向量对应的标签均为数字1；以数字2作为第二个特征点的高维特征向量的标签，则第二个特征点的高维特征向量所拆分成的16个种子点的高维特征向量对应的标签均为数字2；……；以此类推，直到最后一个特征点的高维特征向量设置标签为数字nA，其所拆分而成的种子点的高维特征向量对应的标签均为数字nA。故影像A的标签向量为
Figure BDA0002477001920000061
对于影像B，其标签设置方式与影像A的标签设置方式相同，采用SIFT算法提取出nB个特征点，其标签向量为
Figure BDA0002477001920000071
步骤四，利用影像A的高维种子点矩阵XPA及其标签作为数据集，运用LDA算法计算出从高维特征空间至低维特征空间的投影矩阵WAB。
针对本实施例而言，每一个特征点的高维特征向量xi均由16个种子点的高维特征向量pi组成，且对于每个特征向量而言pi1～pi16标签相同，则可以视为同一类样本。对于影像A，共有nA个类，对于每一类求解均值向量μ以便后续运算。其中：
Figure BDA0002477001920000072
式中，Pj为第j类种子点的高维特征向量的合集，Nj为第j类种子点的高维特征向量的个数。
相应使式(1)变为：
Figure BDA0002477001920000073
接着按照式(2)～式(6)便可计算得到投影矩阵WAB其大小分别为8×d，d小于8。
步骤五，利用投影矩阵WAB及式(9)将影像A的高维种子点矩阵XPA转换为低维种子点矩阵YPA，利用投影矩阵WAB及式(10)将影像B的高维种子点矩阵XPB转换为低维种子点矩阵YPB：
YPA＝XPAWAB (9)
YPB＝XPBWAB (10)
式中，YPA、YPB的大小分别为(nA×16)×d、(nB×16)×d。
其中，低维种子点矩阵YPA和YPB的一行为一个种子点的低维特征向量。高维种子点矩阵XPA、XPB在高维空间内数据维度均为8，低维种子点矩阵在低维空间内数据维度均为d，且d小于8。
步骤六，将属于同一个特征点的种子点的低维特征向量进行合并，以将低维种子点矩阵XPA和XPB转换为低维特征点矩阵YA和YB。其中，低维特征点矩阵YA和YB的一行为一个特征点的低维特征向量。
运用投影矩阵将高维种子点矩阵进行降维处理后，每个种子点的特征向量维数是d，而d小于8，其由于种子点的高维特征向量是由原始的128维SIFT特征向量拆分而来，为了使每个特征点对应单独的特征向量描述，故需要将将每个特征点对应的16个种子点重新组合，从而得到低维特征点矩阵YA和YB，此时低维特征点矩阵的维数为(16×d)＜128，从而达到了降维的目的。
步骤七，由于降维后的特征向量仍属于浮点型特征描述向量，对于影像A中的某个特征点，以及影像B中的某个特征点，根据影像A的低维特征点矩阵YA和影像B的低维特征点矩阵YB，计算这两个特征点的欧氏距离，影像A的特征点选择在影像B上欧氏距离最小的特征点作为匹配点，形成匹配点对。
步骤八，在根据某种相似性度量对特征进行匹配后，一般情况下得不到全部正确的匹配点对，会产生一定数量的错误匹配，错误的匹配点对会对后续工作带来较大的误差，降低匹配影像之间单应性矩阵的精度，故采用RANSAC算法剔除误匹配。RANSAC算法是目前较为有效的误匹配剔除算法，其基本思想是利用不停的迭代计算发现样本集中包含的异常样本并剔除，再通过去除异常样本的样本集计算出最优的模型参数。具体步骤包括：
1、从样本集中随机采样4个样本数据，该4个样本不能共线，利用样本计算影像间的变换矩阵H，将其标记为影像间的变换模型M；
2、计算样本集中每一个样本与M间的投影误差，若误差小于阈值则归类为内点；
3、如果在该模型M下的内点数量大于最优内点集，则更新此时的点集为最优内点集，并且更新迭代次数N；
4、若迭代次数大于N，则停止迭代并退出，否则重复上述操作。
至此，便可完成影像A和影像B的特征匹配。本发明首先利用SIFT算法提取影像A和影像B的特征点，生成高维特征点矩阵，再将高维特征点矩阵进行拆分，得到高维种子点矩阵，再利用LDA的监督学习降维技术，将高维种子点矩阵转换为低维种子点矩阵，且低维种子点矩阵中的向量维数低于高维种子点矩阵中的向量维数，继而再将低维种子点矩阵转换为低维特征点矩阵，使得最终得到的低维特征点矩阵中的向量维数低于高维特征点矩阵中的向量维数，实现了高维特征点矩阵的降维处理，缩短了影像匹配时间，提高了运行效率。而且，采用LDA算法，其较好的可区分性可以有效提高匹配精度。同时，采用RANSAC算法剔除误匹配可进一步提高匹配正确率。
在本实施例中，由于LDA算法要求样本具有标签，如何为SIFT特征向量设置标签也是算法需要解决的问题之一。根据LDA可以使样本数据被划分为高内聚、低耦合子数据集的特点，对于SIFT算法所提取的大量特征描述符，每一个特征描述符被更好地区分开可以使匹配精度更高。本实施例中将属于同一个特征点的16个种子点的标签设置一致，不同特征点的特征描述符标签不同，标签的数量与提取的特征点数量相等，即对每个种子点的高维特征向量(8维)进行降维。这样设计可以使每个特征描述符内部16个种子点更聚集，不同特征描述符间空间距离更大，更易于区分每个特征。
在本实施例中，利用影像A的高维种子点矩阵XPA及其标签作为数据集，运用LDA算法计算出从高维特征空间至低维特征空间的投影矩阵WAB，进而利用投影矩阵WAB将高维种子点矩阵转换为低维种子点矩阵。作为其他实施方式，可利用影像B的高维种子点矩阵XPB及其标签作为数据集，利用LDA算法计算出从高维特征空间至低维特征空间的投影矩阵WBA，进而利用投影矩阵WBA将高维种子点矩阵转换为低维种子点矩阵。
为了验证本发明方法的性能，针对其匹配精度和效率进行实验。以下内容中称本发明方法中所使用的算法为LDA-SIFT算法。实验的软硬件环境为Windows10 64位操作系统、Intel(R)Core(TM)i5-6300HQ CPU 2.30GHz、8G内存笔记本电脑、编程环境为MicrosoftVisual Studio 2013与OpenCV2.4.9。
1、数据集与评价指标
数据一选用Mikolajczyk提供的标准数据集。该标准数据集为计算机视觉领域内常用标准数据集，提供了影像间精确的单应矩阵，可以进行匹配精度的验证。如图4-1a至4-1f所示Bikes(blur)集，图像模糊程度依次增大，如图4-2a至4-2f所示Boat(zoom+rotation)集，具有一定的旋转以及缩放。
在实验一中用来比较本发明LDA-SIFT算法在降维至不同低维特征空间时的精度，进而求得最优维数。
在实验二中用来验证本发明LDA-SIFT算法较传统SIFT算法以及PCA-SIFT算法有更高的匹配精度。数据二采用某城市海岸带无人机遥感影像，具有一定的重叠，分辨率大小为2246×1498，用以验证本发明LDA-SIFT算法具有更高的匹配效率，实验图像如图5-1至5-4所示，其中图5-1和5-2影像为一组，图5-3和5-4影像为一组。
本实验采用算法的正确匹配率XRR以及算法匹配结果的平均中误差Xavge(以像素为单位)作为指标来对算法性能优劣进行评价。
Figure BDA0002477001920000091
Figure BDA0002477001920000101
式中，XSR表示匹配点经过RANSAC算法滤除误匹配之后得到的正确匹配数，XNSR表示原始的匹配对数。x和x'分别是同一匹配对在两幅影像上对应的匹配点坐标，H表示两幅影像间的单应矩阵，n是正确匹配点数。
匹配效率指正确匹配对数除以匹配总时间的比值，即每秒可以获得的正确匹配点对数量。
2、实验结果分析
实验一是本发明LDA-SIFT算法在不同维度特征空间下平均中误差的对比试验。由于算法设计16个种子点在低维度特征空间下重新组合，所以最终形成的特征向量维数均为16的倍数。在实验一中分别将每个种子点向量利用LDA降低至1至4维，故最终形成的特征点的低维特征向量的维数分别为16、32、48、64维。表1与表2是实验一的结果，采用的是数据一的两个数据集，表中数据为数据集中第一张影像与后续影像的匹配中误差。
表1 Bikes数据集下本发明LDA-SIFT算法在不同维度的匹配精度结果
Figure BDA0002477001920000102
表2 Boat数据集下本发明LDA-SIFT算法在不同维度的匹配精度结果
Figure BDA0002477001920000103
从实验结果可以看出，当影像质量较为理想的状态下，例如Bikes数据集中的图4-1a和4-1b图像模糊变化较小，匹配精度随着维度的降低而升高；当影像存在较大模糊或是旋转缩放的情况下，例如Boat数据集中的图4-2a和4-2f图像间同时存在较大幅度的旋转与缩放，在较高维度的特征空间里进行匹配精度较高。其原因是当影像质量理想时，低维度特征空间有着较好的分类效果，可以将每个特征点向量有效分开，从而达到较高的匹配精度。但是当影像存在着复杂的变化时，低维度的特征描述向量并不具有足够的稳健性，所以保持特征向量在高维度可以更稳健地描述特征点进而在匹配时可以达到较高的精度。从整体来看，LDA-16的精度要优于在其他维度匹配时的精度。
实验二为本发明LDA-SIFT算法与SIFT算法以及PCA-SIFT算法的对比试验，以验证本发明LDA-SIFT算法的匹配精度。表3是实验二的结果，表中数据是采用Bikes数据集的实验结果，其中PCA-SIFT算法同样将特征向量降至16维。
表3三种算法的匹配结果
Figure BDA0002477001920000111
从表3实验结果可以看出，本发明LDA-SIFT算法在匹配精度上要优于PCA-SIFT算法，提升精度5.27％，主要归结于线性判别分析对于数据有着良好的分类效果，在将数据从高维特征空间降低至低维特征空间的过程中可以将每个特征向量有效分离开，使同一影像提取出的特征点差异更明显，从而达到更好的匹配效果。本发明LDA-SIFT算法精度相较于传统SIFT算法总体提升5.88％，当影像存在较大模糊时精度略低于SIFT算法，这是因为降维的目的在于提高匹配的效率，16维的特征向量在复杂特征的描述性上要弱于128维特征向量。在正确匹配率方面，本发明LDA-SIFT算法与PCA-SIFT算法相当，略低于SIFT算法，这主要由于本发明算法与PCA-SIFT算法均将特征向量降低至16维，在对两幅影像提取大量特征点后进行暴力匹配时会出现部分多对一现象，使用RANSAC滤除误匹配后会导致正确匹配率有所降低，但所提取的正确匹配点数量也已足够后续任务处理使用。
实验三为以城市海岸带地区无人机遥感影像作为实验数据验证本发明算法在匹配效率上有较大提高。表4是实验三的结果，表格中的数据是图5-1至5-4无人机遥感影像的实验结果，为了验证本发明LDA-SIFT算法在实际应用中较好的适应性，将图5-2和图5-4的原始图像顺时针旋转180°进行匹配，并对图5-4进行高斯滤波，内核大小为5×5，图6-1和图6-2分别为对图5-1和图5-2遥感影像进行匹配、对图5-3和图5-4遥感影像进行匹配的匹配结果。
表4两种算法运行效率对比
Figure BDA0002477001920000121
从表4实验结果可以看出，本发明LDA-SIFT算法相比于PCA-SIFT算法在匹配效率上略高，种子点特征矩阵的生成导致描述子生成消耗较多时间，但由于线性判别分析相较于主成分分析可以更好的区分特征点，所以形成较多的匹配点对进而提升了匹配效率。由于需要计算投影矩阵所以两种算法在构建特征描述子上相较于SIFT消耗较多时间，但是生成的特征点的低维特征向量可以使在欧式空间进行匹配的时间大大缩减，本发明LDA-SIFT算法在匹配效率上对比SIFT算法提高37.9％。
装置实施例：
本发明的一种影像匹配装置实施例，如图7所示，包括存储器、处理器和内部总线，存储器和处理器之间通过内部总线完成相互间的数据交互与通信。
处理器可为例如微处理器MCU、可编程逻辑器件FPGA等的处理装置。
存储器可为高速随机存储器，还可为非易失性存储器，如一个或者多个磁性存储装置、闪存等。
处理器可以调用存储器中的逻辑指令，以实现一种影像匹配装置方法。关于该方法的具体内容，可见方法实施例中关于该方法的介绍。
而且，上述存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用，也可以存储在一个计算机可读取存储介质中。

Claims (6)

1.一种影像匹配方法，其特征在于，包括如下步骤：
1)采用SIFT算法分别提取待匹配影像的特征点，生成高维特征点矩阵；所述高维特征点矩阵的一行为一个特征点的高维特征向量，且一个特征点包括K个种子点，一个特征点的高维特征向量包括K个种子点的高维特征向量，K＞1；
2)将高维特征点矩阵的每一行进行拆分，得到高维种子点矩阵；所述高维种子点矩阵的一行为一个种子点的高维特征向量；
3)为各个种子点设置标签，并以其中一个待匹配影像的高维种子点矩阵及其标签作为数据集，采用LDA算法计算得到将高维种子点矩阵降至低维种子点矩阵的投影矩阵；低维种子点矩阵中的向量维数低于高维种子点矩阵中的向量维数；
4)利用所述投影矩阵将各个待匹配影像的高维种子点矩阵转换为低维种子点矩阵；所述低维种子点矩阵的一行为一个种子点的低维特征向量；
5)将属于同一个特征点的种子点的低维特征向量进行合并，以将低维种子点矩阵转换为低维特征点矩阵；所述低维特征点矩阵的一行为一个特征点的低维特征向量；
6)根据各个待匹配影像的低维特征点矩阵，进行特征匹配。
2.根据权利要求1所述的影像匹配方法，其特征在于，步骤6)中，所述根据各个待匹配影像的低维特征点矩阵，进行特征匹配包括：根据各个待匹配影像中特征点的低维特征点向量，计算特征点之间的欧氏距离，并以欧氏距离最小的两个特征点作为匹配点。
3.根据权利要求1所述的影像匹配方法，其特征在于，步骤6)中，还包括将匹配结果进行筛选，剔除误匹配的步骤。
4.根据权利要求3所述的影像匹配方法，其特征在于，采用RANSAC算法将匹配结果进行筛选。
5.根据权利要求1所述的影像匹配方法，其特征在于，步骤3)中，为各个种子点设置标签时，属于同一个特征点的种子点的标签设置一致，不同特征点的种子点的标签不一致。
6.一种影像匹配装置，其特征在于，包括存储器和处理器，所述处理器用于执行存储在存储器中的指令以实现如权利要求1～5任一项所述的影像匹配方法。
CN202010367497.6A 2020-04-30 2020-04-30 一种影像匹配方法及装置 Active CN111582142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010367497.6A CN111582142B (zh) 2020-04-30 2020-04-30 一种影像匹配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010367497.6A CN111582142B (zh) 2020-04-30 2020-04-30 一种影像匹配方法及装置

Publications (2)

Publication Number Publication Date
CN111582142A CN111582142A (zh) 2020-08-25
CN111582142B true CN111582142B (zh) 2022-10-18

Family

ID=72114099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010367497.6A Active CN111582142B (zh) 2020-04-30 2020-04-30 一种影像匹配方法及装置

Country Status (1)

Country Link
CN (1) CN111582142B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967542B (zh) * 2020-10-23 2021-01-29 江西小马机器人有限公司 一种基于深度特征点的表计识别二次定位方法
CN113591895B (zh) * 2021-05-17 2023-04-07 电子科技大学 一种用于多旋翼无人机识别的二维主分量特征提取方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778494A (zh) * 2016-11-21 2017-05-31 河海大学 一种基于sift‑lpp的高光谱遥感影像特征提取方法
CN109410255A (zh) * 2018-10-17 2019-03-01 中国矿业大学 一种基于改进的sift与哈希算法的图像配准方法及装置

Also Published As

Publication number Publication date
CN111582142A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
Marcos et al. Rotation equivariant vector field networks
Yuan et al. Remote sensing image scene classification using rearranged local features
Harandi et al. Riemannian coding and dictionary learning: Kernels to the rescue
Jiang et al. Robust feature matching for remote sensing image registration via linear adaptive filtering
Berg et al. Shape matching and object recognition using low distortion correspondences
Behmo et al. Towards optimal naive bayes nearest neighbor
Wei et al. Kernelized subspace pooling for deep local descriptors
Fan et al. Local image descriptor: modern approaches
Zafar et al. Image classification by addition of spatial information based on histograms of orthogonal vectors
Berg et al. Shape matching and object recognition
Srivastava et al. Image classification using SURF and bag of LBP features constructed by clustering with fixed centers
Ali et al. Modeling global geometric spatial information for rotation invariant classification of satellite images
Dong Optimal Visual Representation Engineering and Learning for Computer Vision
CN112836671A (zh) 一种基于最大化比率和线性判别分析的数据降维方法
CN111582142B (zh) 一种影像匹配方法及装置
Simon et al. Fine-grained classification of identity document types with only one example
Caseiro et al. Semi-intrinsic mean shift on Riemannian manifolds
Yang et al. Weighted feature histogram of multi-scale local patch using multi-bit binary descriptor for face recognition
Luevano et al. A study on the performance of unconstrained very low resolution face recognition: Analyzing current trends and new research directions
Li et al. Experimental evaluation of FLIR ATR approaches—a comparative study
Csurka et al. From handcrafted to deep local features
Lu et al. Enhanced hierarchical model of object recognition based on a novel patch selection method in salient regions
Baisantry et al. Discriminative spectral–spatial feature extraction-based band selection for hyperspectral image classification
Li et al. Supervised learning on local tangent space
Ni B-SIFT: a binary SIFT based local image feature descriptor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant