CN110443261A - 一种基于低秩张量恢复的多图匹配方法 - Google Patents

一种基于低秩张量恢复的多图匹配方法 Download PDF

Info

Publication number
CN110443261A
CN110443261A CN201910752068.8A CN201910752068A CN110443261A CN 110443261 A CN110443261 A CN 110443261A CN 201910752068 A CN201910752068 A CN 201910752068A CN 110443261 A CN110443261 A CN 110443261A
Authority
CN
China
Prior art keywords
tensor
point
matrix
order
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910752068.8A
Other languages
English (en)
Other versions
CN110443261B (zh
Inventor
王雪琴
朱虎
李海波
邓丽珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201910752068.8A priority Critical patent/CN110443261B/zh
Publication of CN110443261A publication Critical patent/CN110443261A/zh
Application granted granted Critical
Publication of CN110443261B publication Critical patent/CN110443261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于低秩张量恢复的多图匹配方法，包括如下步骤：S1：对各帧图像进行预处理并进行特征提取，即提取兴趣点特征；S2：对各帧图像的兴趣点进行处理，根据兴趣点的拓扑关系提取其高阶信息特征；S3:基于多图循环一致性，根据置换矩阵和图像特征的全局对应关系组建多图高阶特征信息张量；S4:采用秩约束作为标准，基于交替方向乘子法(ADMM)算法求解多图高阶特征信息张量的低秩表示，可以有效地计算出多个图像之间对应的最优置换矩阵即匹配结果矩阵。本发明提出基于低秩张量恢复的多图匹配方法，实现了图匹配一致性提高了匹配精度，其对图像匹配应用研究、目标识别和目标追踪技术具有重要的意义。

Description

一种基于低秩张量恢复的多图匹配方法
技术领域
本发明涉及一种基于低秩张量恢复的多图匹配方法，可用于图像处理领域，特别是图像、图形、基因等领域的数据分析。
背景技术
作为模式识别、计算机视觉研究中的热点问题，图像匹配产生于二十世纪七十年代美国在军事领域的研究，一直受到了广泛的关注与研究。图像匹配理论在模式识别领域的其他研究方向中也具有十分重要的作用，如图像拼接技术，其核心就是图像匹配；目标跟踪技术，后期环节需要依靠匹配算法；以及对于很多检测、识别算法，其中一大类就是依靠匹配技术来实现的。可以看出，图像匹配具有十分重要的世纪应用价值和理论研究意义。
图匹配算法的基本思想是基于某种拓扑结构来描述特征点之间的某种关系，由于一个特征点可能同时出现在多个局部结构关系的描述中，通过这样的彼此联系就间接描述了待匹配物体的全局结构关系。与基于局部特征的匹配算法相比，图匹配最大的特点是考虑了关系信息，这样可以具有较好的鲁棒性，尤其是减少个别的错误匹配；而与基于形状特征的匹配算法相比，图匹配最大的特点是关系描述的对象为特征点，而不是边缘或某种先验结构，这样不依赖于某种物体的特有固定结构，具有更广的适用性。当拓扑结构(即局部关系描述)仅考虑两个特征点之间时，即一条边连接了两个点，因而常称为图匹配(也叫做二阶图匹配)；当考虑特征点(区域)个数多于两个时，即一条边连接了两个以上的点(这种图称为超图，其边称为超边)，因而常称为超图匹配(也叫做高阶图匹配)。在单图高阶特征信息表示时利用元组(即三个特征点)之间的位置信息可以更好地利用特征点间的结构信息，同时可以有效地避免误匹配点对结果的影响。
传统图匹配方法大多聚焦于二图间的匹配这一经典场景。直到近年来,涌现出一系列关于多图协同匹配的研究工作。多图匹配问题具有较大的研究空间和研究紧迫性,理由如下:第一,从方法层面来看,多个包含类似或者相同结构的图数据为有效的信息融合提供了可能性。特别是当局部两个图存在较强噪声时,全局的信息融合变得更为关键。相比之下,传统的二图匹配受限于可获得信息的有限性,特别是在信息受到噪声干扰时,即使算法得到了全局最优解,未必是物理意义上的真实解。第二,从应用层面来看,在包括图像集匹配,基因集匹配等实际问题中,往往需要同时匹配多个图结构。采取简单两两匹配的做法往往不是最佳方式。匹配一致性成为相似度之外用于评估匹配精度的一个重要指标。
多图匹配问题可以通过迭代求解的方式转换为每次迭代中的二图匹配问题,进而可以使用现有的二图匹配算法进行迭代求解；也可利用二图两两匹配的结果作为初始值,后通过处理来满足或者逼近循环一致性的性质；第3类是通过低秩,聚类等方式来看待多图匹配问题；第4类研究则聚焦于在线的增量式多图匹配。根据交替方向乘子法(ADMM)来解决带有线性约束的可分离凸优化问题则可很好的解决低秩张量的恢复问题。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种基于低秩张量恢复的多图匹配方法，通过提取多个图像的高阶特征信息，实现了多图特征张量，实现了对候选目标点的配准。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于低秩张量恢复的多图匹配方法，包括以下步骤：
步骤S1：对各帧图像进行预处理并进行特征点提取，即提取兴趣点特征，获得兴趣点的位置信息；
步骤S2：对各帧图像的兴趣点进行处理，根据兴趣点的拓扑关系提取各图的高阶信息特征；将特征点抽象为图上的一点，把点与点之间通过拓扑结构所描述的关系抽象为连接它的边，根据对三个特征点进行关系描述提取单幅图的高阶信息特征；
步骤S3:基于多图匹配的循环一致性，将置换矩阵和步骤S2中处理后的单图高阶信息特征组建多图高阶特征信息张量；
基于多图匹配一致性和根据步骤S2所得的单图高阶特征信息及各图的置换矩阵，可由多图的高阶信息构建多图高阶特征信息张量L：
L＝[A1,A2,A3,…AM],
其中，A1,A2,A3,…AM表示各图高阶特征和置换矩阵的模式积，N表示特征点数，Q表示单图拓扑结构中特征维度，M表示图片数，具体的，单幅图的特征张量H大小为N2×N2×Q，其与匹配结果矩阵Tucker模式-1积A1＝H×1vec(P),为矩阵，按照某个维度排列即可得到多图高阶特征张量L，其中，P＝N×N，P为置换矩阵，这里表示匹配结果矩阵；
步骤S4：采用秩约束作为标准，基于交替方向乘子法(ADMM)算法求解多图高阶特征信息张量的低秩表示，通过多图特征信息张量的低秩恢复可以有效地计算出多个图像之间对应的最优置换矩阵即匹配结果矩阵；
步骤S41，张量恢复：
张量恢复看做是矩阵恢复的推广，将每个张量模展开矩阵的秩作为稀疏测度度量，通过求解这些秩加权和的最小化问题来达到张量恢复的问题，张量恢复可由矩阵恢复拓展得到，同时根据张量Tucker分解和Parafac原理，将张量恢复问题转化为以下模式展开矩阵的凸优化问题：
引入N2个辅助张量变量E1,E2,…,令他们都等于张量L，对于所有的i∈{1,2,…,N2},并且其模式展开也相等Ei,(i)＝L(i)；其中，λ表示稀疏张量的权重，ε是原始张量的稀疏表示；
步骤S42，步骤S41中的模式展开矩阵的凸优化问题的增广拉格朗日函数表示为：
其中，Λi为拉格朗日张量乘子，β为系数，则求解问题的原始ADMM算法迭代方式如下：
由上式可得ADMM算法更新求解的每步为：
(2.1)更新辅助变量E1,E2,…,
(2.2)更新稀疏张量：
(2.3)更新置换矩阵：
记θn＝vec(P(n)),n＝1,2,…,M
(2.4)更新拉格朗日张量Λi：
通过不断的更新迭代计算出多个图像之间对应的最优置换矩阵即匹配结果矩阵，在已经求得正确的匹配点对的情况下，矩阵X为一个行列数为匹配点对个数的单位阵，表示为：
通过各图的最优置换矩阵即可得到图与图之间的匹配结果。
所述步骤S1中获得兴趣点的位置信息包括以下步骤：
S11：特征提取及关键点检测
在多尺度空间内检测特征点，使提取的特征点具有良好的尺度不变特性，图像的尺度空间L(x,y,σ)定义为原始图像I(x,y)与一个可变尺度的二维高斯函数G(x,y,σ)的卷积运算：
L(x,y,σ)＝G(x,y,σ)*I(x,y)
其中，二维空间尺度可变高斯函数表达式为：
其中，(x,y)表示像素点的坐标位置；为图像的中心位置；参数σ为尺度空间因子；
通过高斯差分函数和图像进行卷积能够更加高效的检测特征点，且得到的特征点更稳定，其表达式如下：
G(x,y,kσ)-G(x,y,σ)
则高斯差分函数尺度空间为：
D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)
＝L(x,y,k,σ)-L(x,y,σ)
其中k是常数因子；
为了使SIFT特征具有旋转不变性，定义关键点的方向，即主方向：以关键点为中心，根据附近区域内像素点的梯度幅值和方向进行直方图统计，其中直方图的主峰即为该关键点的主方向；在得到了关键点的位置、尺度和主方向信息后，便可对其进行特征描述；
S12：SIFT特征描述
首先将坐标轴旋转为关键点的方向，以确保旋转不变性，接下来以关键点为中心取16*16的邻域采样窗口：将16*16的区域均等分为4*4个区域，其中，每个区域都有4*4个像素，计算这些像素8个方向的方向直方图，就可得到关于该关键点的4*4个直方图，每个直方图有8个方向的统计值，这样就得到了SIFT算法4*4*8＝128维的特征描述。
关键点是由高斯差分函数尺度空间的局部极值点组成的，关键点的初步探查是通过同一组内各高斯差分函数相邻两层图像之间比较完成的；为了寻找高斯差分函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小，以确保在尺度空间和二维图像空间都检测到极值点。
优选的：用一条连续曲线来拟合检测到的极值点从而实现极值点的精确定位。
优选的：剔除不稳定的边缘响应点，边缘区域在纵向上灰度值突变很大，但是横向上的变化就很小了，通过获取特征点处的Hessian矩阵，若比值Tr(H0)2/Det(H0)小于一定的阈值，则保留该关键点，否则剔除
Tr(H0)＝Dxx+Dyy＝α+β
Det(H0)＝DxxDyy-(Dxy)2＝αβ
其中，H0表示特征点处的Hessian矩阵，Dxx(x,y)表示特征点水平方向的二阶导数，
Dxy(x,y)表示特征点先水平后垂直方向上的二阶导数，Dyy(x,y)表示特征点垂直方向上的二阶导数，Tr(H0)表示矩阵的迹，Det(H0)表示矩阵的行列式，α表示特征点水平方向的梯度，β表示特征点垂直方向上的梯度，H0的特征值α和β代表了X和Y方向的梯度。
优选的：所述步骤S2提取单幅图的高阶信息特征包括以下步骤：
基于步骤S1步骤所得图像关键点的位置信息，根据其拓扑关系随机选取点组形成一个三角形，由图像特征点组成的各个三角形内部信息构建单图的高阶特征信息；通过一个三角形对三个特征点进行关系描述，其属于高阶图匹配，而这三个点称为一个点组。
优选的：当拓扑结构仅考虑两个特征点之间，即一条边连接了两个点，称为二阶图匹配；当考虑特征点个数多于两个时，称为高阶图匹配；。
优选的：步骤S3中张量是多维数据的数据表示，它是矩阵和向量在高维空间的一种拓展，标量为零阶张量，向量称为一阶张量，矩阵为二阶张量，三阶及三阶以上则为高阶张量。
优选的：步骤S3中匹配一致性是基于一个直观的事实：两图G1和G2之间直接匹配的结果应该与通过第三方图G3所传递的对应结果一致，即X12＝X13X32。
优选的：步骤S3中在多图匹配问题中置换矩阵表示某一幅图与参考图的分配矩阵，根据图匹配的循环一致性得出任意两图之间的匹配结果：Xmn表示第m幅图和第n幅图之间的匹配结果矩阵，Xm0表示第m幅图和第0幅图之间的匹配结果矩阵，表示第n幅图和第0幅图之间的匹配结果矩阵的转置。本发明相比现有技术，具有以下有益效果：
通过特征点的拓扑关系构建单图的高阶特征考虑了关系信息，使得各图具有了更为丰富的特征信息，具有较好的鲁棒性，尤其是减少个别的错误匹配。通过多图的高阶特征信息，实现了对多图候选目标点配准，提出了一种基于低秩张量恢复的计算多图匹配的新方法，解决了现有二图匹配中由于噪声和形变的存在使得相似度函数与实际问题中的真实相似度发生偏差，甚至出现真值匹配结果并不是相似度函数对应优化问题的最优值情况，同时匹配一致性成为相似度之外用于评估匹配精度的一个重要指标。本发明提出基于低秩张量恢复的多图匹配方法，实现了图匹配一致性提高了匹配精度，其对图像匹配应用研究、目标识别和目标追踪技术具有重要的意义。
附图说明
图1为本发明的一种基于低秩张量恢复的多图匹配方法的流程图。
图2为本发明的SIFT特征提取过程示意图。
图3为本发明的DOG关键点检测示意图。
图4为本发明的SIFT128维特征向量示例图。
图5为本发明的由拓扑结构构建全局结构图。
图6为本发明的分配矩阵示意图。
图7为本发明的Face数据特征点标注示意图。
图8为本发明的Face数据匹配结果示意图。
图9为本发明的Car数据特征点标注示意图。
图10为本发明的Car数据匹配结果示意图。
图11为本发明的不同方法在不同数据库中的匹配准确率对比。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种基于低秩张量恢复的多图匹配方法，具体步骤如下：
步骤1：对各帧图像进行预处理并进行特征提取，即提取兴趣点特征，获得兴趣点的位置信息。
SIFT(尺度不变特征变换)常用来侦测与描述影像中的局部性特征，局部影像特征的描述与侦测可以帮助辨识物体，SIFT算法在不同的尺度空间上寻找特征点(关键点)，并计算这些特征点的具体方向。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。同时SIFT特征对平移、尺度缩放、旋转、目标遮挡和噪声等具有良好的不变性。其主要过程有在尺度空间上检测极值、关键点选取、方向参数生成、特征点描述这几个部分，提取流程如图2所示。
(1)特征提取
在多尺度空间内检测特征点，使提取的特征点具有良好的尺度不变特性，一个图像的尺度空间L(x,y,σ)定义为原始图像I(x,y)与一个可变尺度的二维高斯函数G(x,y,σ)的卷积运算。
L(x,y,σ)＝G(x,y,σ)*I(x,y)
其中二维空间尺度可变高斯函数表达式为：
其中(x,y)表示像素点的坐标位置；为图像的中心位置；参数σ为尺度空间因子，代表了图像的平滑程度，小尺度为精细尺度，分辨率较高，能够表示图像的细节特征；大尺度为粗糙尺度，分辨率低，能够表示图像的概貌。
通过高斯差分函数(DOG算子)和图像进行卷积能够更加高效的检测特征点，且得到的特征点更稳定，其表达式如下：
G(x,y,kσ)-G(x,y,σ)
则高斯差分尺度空间为：
D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)
＝L(x,y,k,σ)-L(x，y，σ)
其中k是常数因子。
(2)极值点(关键点)检测
关键点是由DOG空间的局部极值点组成的，关键点的初步探查是通过同一组内各DOG相邻两层图像之间比较完成的。为了寻找DOG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。如图3所示，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。
由于找的极值点是在高斯差分之后所确定下来的，其属于离散空间上的点，不一定是真正意义上的极值点，所以需要用一条连续曲线来拟合从而实现极值点的精确定位。
同时DOG算子会产生较强的边缘响应，需要剔除不稳定的边缘响应点。边缘区域在纵向上灰度值突变很大，但是横向上的变化就很小了，通过获取特征点处的Hessian矩阵(如下式)，若比值Tr(H0)2/Det(H0)小于一定的阈值，则保留该关键点，否则剔除。
Tr(H0)＝Dxx+Dyy＝α+β
Det(H0)＝DxxDyy-(Dxy)2＝αβ
其中H0的特征值α和β代表了X和Y方向的梯度。
(3)关键点方向分配
为了使描述符具有旋转不变性，需要利用图像的局部特征为给每个关键点分配一个基准方向。选择特征点邻域像素的梯度主方向(幅值最大)作为特征点方向，此时已经得到赋值后的SIFT特征点，其包含了位置，尺度，方向信息。
(4)特征点描述
为每个关键点建立一个描述符，使其不随各种变化而改变，并且描述符应该有较高的独特性，以便于提高特征点正确匹配的概率。
首先将坐标轴旋转为关键点的方向，以确保旋转不变性，接下来以关键点为中心取16*16的邻域采样窗口，见图4左图所示。图中央黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，然后用高斯窗口对其进行加权运算。使用高斯权重的是为了防止位置微小的变化给特征向量带来很大的改变，并且给远离特征点的点赋予较小的权重，以防止错误的匹配。在每4*4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，所以共有4×4×8＝128个数据，如图4右边所示。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。
SIFT特征描述子对于影响图匹配算法的诸多因素，包括视角变化，噪声等都具有较好的稳定性，同时该算法可以描述丰富的图像信息，适合在海量数据中进行快速、准确的匹配，根据图像特征点的SIFT信息可以很好的得到特征点的位置信息。
步骤2：对各帧图像的兴趣点进行处理，根据兴趣点的拓扑关系提取各图的高阶信息特征。
从图的角度看，把特征点抽象为图上的一点，把点与点之间通过某种拓扑结构所描述的关系抽象为连接它们的边。当拓扑结构仅考虑两个特征点之间，即一条边连接了两个点，常称为二阶图匹配；当考虑特征点个数多于两个时，常称为高阶图匹配。如图5所示，由于通过一个三角形对三个特征点进行关系描述，其属于高阶图匹配，而这三个点称为一个点组。通过对图中每个不同点组所组成三角形内部信息进行表述，通过这样的彼此联系就间接描述了带匹配图片的全局结构关系，组建了各图的高阶信息特征。
步骤3:基于多图循环一致性，根据置换矩阵和图像特征的全局对应关系组建多图高阶特征信息张量。
(1)匹配一致性是基于一个直观的事实：两图G1和G2之间直接匹配的结果应该与通过第三方图G3所传递的对应结果一致，即X12＝X13X32(Xij表示第i幅图和第j幅图之间的匹配结果矩阵)。匹配一致性成为相似度之外用于评估匹配精度的一个重要指标:第一,从方法层面来看,多个包含类似或者相同结构的图数据为有效的信息融合提供了可能性，特别是当局部两个图存在较强噪声时,全局的信息融合变得更为关键；第二,从应用层面来看,在包括图像集匹配,基因集匹配等实际问题中,往往需要同时匹配多个图结构，采取简单两两匹配的做法往往不是最佳方式。
置换矩阵在图匹配问题中指代匹配结果分配矩阵，其在高阶特征信息张量的结果表示如图6所示。而在多图匹配问题中置换矩阵表示某一幅图与参考图的分配矩阵，根据图匹配的循环一致性可以得出任意两图之间的匹配结果
(2)多图高阶特征信息张量的建立
张量是多维数据的数据表示，它是矩阵和向量在高维空间的一种拓展，标量为零阶张量，向量称为一阶张量，矩阵为二阶张量，三阶及三阶以上则为高阶张量。基于多图匹配一致性和根据步骤2所得的单图高阶特征信息及各图的置换矩阵，可由多图的高阶信息构建多图高阶特征信息张量L。具体的：
L＝[A1,A2,A3,…AM],
其中N表示特征点数，这里默认多图的特征点数一致，Q表示单图拓扑结构中特征维度，M表示图片数。具体的，单幅图的特征张量H大小为N2×N2×Q，其与置换矩阵即匹配矩阵的Tucker模式-1积其与匹配结果矩阵(P＝N×N)Tucker模式-1积A1＝H×1vec(P),为矩阵，按照某个维度排列即可得到多图高阶特征张量L。
步骤4:采用秩约束作为标准，基于ADMM算法求解多图高阶特征信息张量的低秩表示，可以有效地计算出多个图像之间对应的最优置换矩阵即匹配结果矩阵。
(1)张量恢复
在很多具体问题中，信号或者数据往往以矩阵的形式表达，鲁棒性主成分分析(RPCA)是指当矩阵的某些元素被严重破坏后，自动识别出被破坏的元素并恢复出原始矩阵，一般将含破坏的数据矩阵Dk表示为两矩阵之和，即Dk＝Bk+Ck，其中矩阵Bk是低秩的并逼近原始数据矩阵，Ck是稀疏的噪声数据矩阵，于是矩阵恢复可用如下凸优化问题来描述：
其中，rank(Bk)表示矩阵Bk的秩，目标函数为矩阵Bk的秩以及噪声矩阵Ck的0范数，系数λ表示噪声所占的权重。由于矩阵的核范数是矩阵秩的包络，矩阵的0范数和1范数在一定条件下可以等价，可将上式松弛为如下凸优化问题：
其中表示矩阵Bk的第v个较大奇异值。
张量恢复可以看做是矩阵恢复的推广，将每个张量模展开矩阵的秩作为稀疏测度度量，通过求解这些秩加权和的最小化问题来达到张量恢复的问题。一般的，张量恢复可由矩阵恢复拓展得到，同时根据张量Tucker分解和Parafac原理，将张量恢复问题进一步转化为一下模式展开矩阵的凸优化问题：
引入N2个辅助张量变量E1,E2,…,令他们都等于张量L，对于所有的i∈{1,2,…,N2},并且其模式展开也相等Ei,(i)＝L(i)；其中ε是原始张量的稀疏表示。
(2)交替方向乘子法求解
交替方向乘子法(ADMM)是解决带有线性约束的可分离凸优化问题的一种有效工具，可广泛的应用于机器学习、图像处理等领域。在此考虑以下凸优化问题：
其增广拉格朗日函数表示为：
其中Λi为拉格朗日张量乘子，β为系数。则求解问题的原始ADMM算法迭代方式如下：
由上式可得ADMM算法更新求解的每步为：
(2.1)更新辅助变量E1，E2，…，
(2.2)更新稀疏张量：
(2.3)更新置换矩阵：
记θn＝vec(P(n)),n＝1,2,…,M
(2.4)更新拉格朗日张量Λi：
通过不断的更新迭代即可有效地计算出多个图像之间对应的最优置换矩阵即匹配结果矩阵。由图6可知，在已经求得正确的匹配点对的情况下，矩阵X为一个行列数为匹配点对个数的单位阵，表示为：
通过各图的置换矩阵即可得到图与图之间的匹配结果，其在不同数据上的匹配结果如图8和图10所示(其中黑色连线代表正确匹配结果，白色连线表示错误匹配结果)。
方法1：本发明所述方法，方法2：一种基于张量的高阶图匹配算法(O.Duchenne,F.Bach,I.Kweon,and J.Ponce.A tensor-based algorithm for high-order graphmatching.IEEE Conference on Computer Vision&Pattern Recognition,2009:1980-1987.)，方法3：概率图和超图匹配算法(R.Zass and A.Shashua.Probabilistic graphand hypergraph matching.IEEE Conference on Computer Vision&PatternRecognition，2008:1-8.)的比较见图11。
综上，本发明提出的基于低秩张量恢复的多图匹配方法，可以有效的提升图匹配的准确率。相比于传统方法，充分利用了特征之间的拓扑关系特征和图匹配的循环一致性。
本发明提出的算法充分利用了图像特征点的关系特征信息，可以实现特征点之间的匹配。其技术效果包括：第一，针对当前特征提取算法的不足，利用SIFT查找到的关键点是一些十分突出，不会因为光照，仿射变换和噪音等因素而变化的点，同时其特征对平移、尺度缩放、旋转等具有良好的不变性；第二，通过特征点之间的拓扑关系构建单图高阶特征信息充分的利用了关系特征，这种关联性降低了错误匹配的概率，例如最常见的三角结构中提取内角信息对仿射变换具有较好的鲁棒性；第三，现有二图匹配中由于噪声和形变的存在使得相似度函数与实际问题中的真实相似度发生偏差，甚至出现真值匹配结果并不是相似度函数对应优化问题的最优值情况，匹配一致性成为相似度之外用于评估匹配精度的一个重要指标，通过匹配一致性解决多图匹配问题使得匹配精度有所提高，因此基于低秩张量恢复的多图匹配方法具有更高的可靠型。
综上所述可以看出本发明提出的基于低秩张量恢复的多图匹配方法具有更高的准确性和鲁棒性。
本发明尚有多种实施方式，凡采用等同变换或者等效变换而形成的所有技术方案，均落在本发明的保护范围之内。

Claims (10)

1.一种基于低秩张量恢复的多图匹配方法，其特征在于，包括以下步骤：
步骤S1：对各帧图像进行预处理并进行特征点提取，即提取兴趣点特征，获得兴趣点的位置信息；
步骤S2：对各帧图像的兴趣点进行处理，根据兴趣点的拓扑关系提取各图的高阶信息特征；将特征点抽象为图上的一点，把点与点之间通过拓扑结构所描述的关系抽象为连接它的边，根据对三个特征点进行关系描述提取单幅图的高阶信息特征；
步骤S3:基于多图匹配的循环一致性，将置换矩阵和步骤S2中处理后的单图高阶信息特征组建多图高阶特征信息张量；
基于多图匹配一致性和根据步骤S2所得的单图高阶特征信息及各图的置换矩阵，可由多图的高阶信息构建多图高阶特征信息张量L：
其中，A1,A2,A3,…AM表示各图高阶特征和置换矩阵的模式积，N表示特征点数，Q表示单图拓扑结构中特征维度，M表示图片数，具体的，单幅图的特征张量H大小为N2×N2×Q，其与匹配结果矩阵Tucker模式-1积为矩阵，按照某个维度排列即可得到多图高阶特征张量L，其中，P＝N×N，P为置换矩阵，作为匹配结果矩阵；
步骤S4：采用秩约束作为标准，基于交替方向乘子法算法求解多图高阶特征信息张量的低秩表示，通过多图特征信息张量的低秩恢复可以有效地计算出多个图像之间对应的最优置换矩阵即匹配结果矩阵；
步骤S41，张量恢复：
张量恢复看做是矩阵恢复的推广，将每个张量模展开矩阵的秩作为稀疏测度度量，通过求解这些秩加权和的最小化问题来达到张量恢复的问题，张量恢复可由矩阵恢复拓展得到，同时根据张量Tucker分解和Parafac原理，将张量恢复问题转化为以下模式展开矩阵的凸优化问题：
引入N2个辅助张量变量令他们都等于张量L，对于所有的并且其模式展开也相等Ei,(i)＝L(i)；其中，λ表示稀疏张量的权重，ε是原始张量的稀疏表示；
步骤S42，步骤S41中的模式展开矩阵的凸优化问题的增广拉格朗日函数表示为：
其中，Λi为拉格朗日张量乘子，β为系数，则求解问题的原始ADMM算法迭代方式如下：
由上式可得ADMM算法更新求解的每步为：
(2.1)更新辅助变量
(2.2)更新稀疏张量：
(2.3)更新置换矩阵：
(2.4)更新拉格朗日张量Λi：
通过不断的更新迭代计算出多个图像之间对应的最优置换矩阵即匹配结果矩阵，在已经求得正确的匹配点对的情况下，矩阵X为一个行列数为匹配点对个数的单位阵，表示为：
通过各图的最优置换矩阵即可得到图与图之间的匹配结果。
2.根据权利要求1所述基于低秩张量恢复的多图匹配方法，其特征在于：所述步骤S1中获得兴趣点的位置信息包括以下步骤：
S11：特征提取及关键点检测
在多尺度空间内检测特征点，使提取的特征点具有良好的尺度不变特性，图像的尺度空间L(x，y，σ)定义为原始图像I(x，y)与一个可变尺度的二维高斯函数G(x，y，σ)的卷积运算：
L(x，y，σ)＝G(x，y，σ)*I(x，y)
其中，二维空间尺度可变高斯函数表达式为：
其中，(x，y)表示像素点的坐标位置；为图像的中心位置；参数σ为尺度空间因子；
通过高斯差分函数和图像进行卷积能够更加高效的检测特征点，且得到的特征点更稳定，其表达式如下：
G(x，y，kσ)-G(x，y，σ)
则高斯差分函数尺度空间为：
D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)
＝L(x，y，k，σ)-L(x，y，σ)
其中k是常数因子；
为了使SIFT特征具有旋转不变性，定义关键点的方向，即主方向：以关键点为中心，根据附近区域内像素点的梯度幅值和方向进行直方图统计，其中直方图的主峰即为该关键点的主方向；在得到了关键点的位置、尺度和主方向信息后，便可对其进行特征描述；
S12：SIFT特征描述
首先将坐标轴旋转为关键点的方向，以确保旋转不变性，接下来以关键点为中心取16*16的邻域采样窗口：将16*16的区域均等分为4*4个区域，其中，每个区域都有4*4个像素，计算这些像素8个方向的方向直方图，就可得到关于该关键点的4*4个直方图，每个直方图有8个方向的统计值，这样就得到了SIFT算法4*4*8＝128维的特征描述。
3.根据权利要求1所述基于低秩张量恢复的多图匹配方法，其特征在于：关键点是由高斯差分函数尺度空间的局部极值点组成的，关键点的初步探查是通过同一组内各高斯差分函数相邻两层图像之间比较完成的；为了寻找高斯差分函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小，以确保在尺度空间和二维图像空间都检测到极值点。
4.根据权利要求1所述基于低秩张量恢复的多图匹配方法，其特征在于：用一条连续曲线来拟合检测到的极值点从而实现极值点的精确定位。
5.根据权利要求1所述基于低秩张量恢复的多图匹配方法，其特征在于：剔除不稳定的边缘响应点，边缘区域在纵向上灰度值突变很大，但是横向上的变化就很小了，通过获取特征点处的Hessian矩阵，若比值Tr(H0)2/Det(H0)小于一定的阈值，则保留该关键点，否则剔除
Tr(H0)＝Dxx+Dyy＝α+β
Det(H0)＝DxxDyy-(Dxy)2＝αβ
其中，H0表示特征点处的Hessian矩阵，Dxx(x，y)表示特征点水平方向的二阶导数，Dxy(x，y)表示特征点先水平后垂直方向上的二阶导数，Dyy(x，y)表示特征点垂直方向上的二阶导数，Tr(H0)表示矩阵的迹，Det(H0)表示矩阵的行列式，α表示特征点水平方向的梯度，β表示特征点垂直方向上的梯度，H0的特征值α和β代表了X和Y方向的梯度。
6.根据权利要求1所述基于低秩张量恢复的多图匹配方法，其特征在于：所述步骤S2提取单幅图的高阶信息特征包括以下步骤：
基于步骤S1步骤所得图像关键点的位置信息，根据其拓扑关系随机选取点组形成一个三角形，由图像特征点组成的各个三角形内部信息构建单图的高阶特征信息；通过一个三角形对三个特征点进行关系描述，其属于高阶图匹配，而这三个点称为一个点组。
7.根据权利要求1所述基于低秩张量恢复的多图匹配方法，其特征在于：当拓扑结构仅考虑两个特征点之间，即一条边连接了两个点，称为二阶图匹配；当考虑特征点个数多于两个时，称为高阶图匹配；。
8.根据权利要求1所述基于低秩张量恢复的多图匹配方法，其特征在于：步骤S3中张量是多维数据的数据表示，它是矩阵和向量在高维空间的一种拓展，标量为零阶张量，向量称为一阶张量，矩阵为二阶张量，三阶及三阶以上则为高阶张量。
9.根据权利要求1所述基于低秩张量恢复的多图匹配方法，其特征在于：步骤S3中匹配一致性是基于一个直观的事实：两图G1和G2之间直接匹配的结果应该与通过第三方图G3所传递的对应结果一致，即X12＝X13X32。
10.根据权利要求1所述基于低秩张量恢复的多图匹配方法，其特征在于：步骤S3中在多图匹配问题中置换矩阵表示某一幅图与参考图的分配矩阵，根据图匹配的循环一致性得出任意两图之间的匹配结果：Xmn表示第m幅图和第n幅图之间的匹配结果矩阵，Xm0表示第m幅图和第0幅图之间的匹配结果矩阵，表示第n幅图和第0幅图之间的匹配结果矩阵的转置。
CN201910752068.8A 2019-08-15 2019-08-15 一种基于低秩张量恢复的多图匹配方法 Active CN110443261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910752068.8A CN110443261B (zh) 2019-08-15 2019-08-15 一种基于低秩张量恢复的多图匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910752068.8A CN110443261B (zh) 2019-08-15 2019-08-15 一种基于低秩张量恢复的多图匹配方法

Publications (2)

Publication Number Publication Date
CN110443261A true CN110443261A (zh) 2019-11-12
CN110443261B CN110443261B (zh) 2022-05-27

Family

ID=68435706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910752068.8A Active CN110443261B (zh) 2019-08-15 2019-08-15 一种基于低秩张量恢复的多图匹配方法

Country Status (1)

Country Link
CN (1) CN110443261B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955792A (zh) * 2019-12-13 2020-04-03 云粒智慧科技有限公司 一种基于图片的搜索方法、装置、电子设备及存储介质
CN111461181A (zh) * 2020-03-16 2020-07-28 北京邮电大学 一种车辆细粒度分类方法及装置
CN112085092A (zh) * 2020-09-08 2020-12-15 哈尔滨工业大学（深圳） 一种基于时空连续性约束的图匹配方法及装置
CN112200785A (zh) * 2020-10-14 2021-01-08 北京科技大学 基于随机散点关系拓扑匹配函数的改进数字图像相关方法
CN113963020A (zh) * 2021-09-18 2022-01-21 江苏大学 一种基于超图匹配的多智能网联汽车协同目标跟踪方法
WO2024113396A1 (zh) * 2022-12-02 2024-06-06 中国科学院深圳先进技术研究院 基于高阶张量的扩散磁共振稀疏成像方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140181171A1 (en) * 2012-12-24 2014-06-26 Pavel Dourbal Method and system for fast tensor-vector multiplication
CN107169922A (zh) * 2017-05-16 2017-09-15 山东大学 基于张量稀疏表示的拓扑结构维持的图像配准方法
CN108537252A (zh) * 2018-03-21 2018-09-14 温州大学苍南研究院 一种基于新范数的图像噪声去除方法
CN109753912A (zh) * 2018-12-27 2019-05-14 南京邮电大学 一种基于张量的多光谱掌纹匹配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140181171A1 (en) * 2012-12-24 2014-06-26 Pavel Dourbal Method and system for fast tensor-vector multiplication
CN107169922A (zh) * 2017-05-16 2017-09-15 山东大学 基于张量稀疏表示的拓扑结构维持的图像配准方法
CN108537252A (zh) * 2018-03-21 2018-09-14 温州大学苍南研究院 一种基于新范数的图像噪声去除方法
CN109753912A (zh) * 2018-12-27 2019-05-14 南京邮电大学 一种基于张量的多光谱掌纹匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HU ZHU等: "Hypergraph matching with an entropy barrier function", 《IEEE ACCESS》 *
徐国夏等: "基于迭代重加权的高阶张量图匹配算法", 《研究与设计》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955792A (zh) * 2019-12-13 2020-04-03 云粒智慧科技有限公司 一种基于图片的搜索方法、装置、电子设备及存储介质
CN111461181A (zh) * 2020-03-16 2020-07-28 北京邮电大学 一种车辆细粒度分类方法及装置
CN112085092A (zh) * 2020-09-08 2020-12-15 哈尔滨工业大学（深圳） 一种基于时空连续性约束的图匹配方法及装置
CN112085092B (zh) * 2020-09-08 2023-06-20 哈尔滨工业大学（深圳） 一种基于时空连续性约束的图匹配方法及装置
CN112200785A (zh) * 2020-10-14 2021-01-08 北京科技大学 基于随机散点关系拓扑匹配函数的改进数字图像相关方法
CN112200785B (zh) * 2020-10-14 2023-12-29 北京科技大学 基于随机散点关系拓扑匹配函数的改进数字图像相关方法
CN113963020A (zh) * 2021-09-18 2022-01-21 江苏大学 一种基于超图匹配的多智能网联汽车协同目标跟踪方法
WO2024113396A1 (zh) * 2022-12-02 2024-06-06 中国科学院深圳先进技术研究院 基于高阶张量的扩散磁共振稀疏成像方法及装置

Also Published As

Publication number Publication date
CN110443261B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN110443261A (zh) 一种基于低秩张量恢复的多图匹配方法
CN103839265B (zh) 基于sift和归一化互信息的sar图像配准方法
CN103077512B (zh) 基于主成分析的数字图像的特征提取与匹配方法
Berg et al. Shape matching and object recognition using low distortion correspondences
CN102722890B (zh) 基于光流场模型的非刚性心脏图像分级配准方法
CN101980250B (zh) 基于降维局部特征描述子和隐条件随机场的目标识别方法
EP1594078B1 (en) Multi-image feature matching using multi-scale oriented patches
US9141871B2 (en) Systems, methods, and software implementing affine-invariant feature detection implementing iterative searching of an affine space
CN112085772B (zh) 一种遥感图像配准方法及装置
CN106600600A (zh) 基于特征匹配的晶圆缺陷检测方法
CN109118528A (zh) 基于区域分块的奇异值分解图像匹配算法
CN107862708A (zh) 一种sar与可见光图像配准方法
CN111767960A (zh) 一种应用于图像三维重建的图像匹配方法及系统
CN111242221A (zh) 基于图匹配的图像匹配方法、系统及存储介质
CN104834931A (zh) 一种基于小波变换的改进的尺度不变特征匹配算法
Daixian SIFT algorithm analysis and optimization
CN102446356A (zh) 一种获取均匀分布匹配点的遥感影像并行自适应匹配方法
Park et al. A line feature matching technique based on an eigenvector approach
Gao et al. Multi-scale PIIFD for registration of multi-source remote sensing images
CN108182705A (zh) 一种基于机器视觉的三维坐标定位方法
CN110909678B (zh) 一种基于宽度学习网络特征提取的人脸识别方法及系统
Lan et al. An edge-located uniform pattern recovery mechanism using statistical feature-based optimal center pixel selection strategy for local binary pattern
Barroso-Laguna et al. Scalenet: A shallow architecture for scale estimation
CN114358166A (zh) 一种基于自适应k均值聚类的多目标定位方法
CN104700359A (zh) 像平面不同极轴方向图像序列进行超分辨率重建的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant