CN110148162B - 一种基于复合算子的异源图像匹配方法 - Google Patents

一种基于复合算子的异源图像匹配方法 Download PDF

Info

Publication number
CN110148162B
CN110148162B CN201910353671.9A CN201910353671A CN110148162B CN 110148162 B CN110148162 B CN 110148162B CN 201910353671 A CN201910353671 A CN 201910353671A CN 110148162 B CN110148162 B CN 110148162B
Authority
CN
China
Prior art keywords
point
matching
image
points
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910353671.9A
Other languages
English (en)
Other versions
CN110148162A (zh
Inventor
王鑫
张丽荷
宁晨
吕国芳
张香梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201910353671.9A priority Critical patent/CN110148162B/zh
Publication of CN110148162A publication Critical patent/CN110148162A/zh
Application granted granted Critical
Publication of CN110148162B publication Critical patent/CN110148162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于复合算子的异源图像匹配方法。首先，采用一种改进的Harris边缘提取算子，分别获取可见光图像和红外图像的边缘图像；其次，对可见光图像和红外图像的边缘采用SURF算子提取特征点，并建立特征描述向量；第三，提出一种改进的最近次邻近原则，利用欧式距离度量特征点之间的相似性提取匹配对，并计算所有匹配点对的平均欧式距离以及方差，根据方差大小设定阈值，剔除错误匹配点对，实现粗匹配；最后，采用一种基于神经网络梯度下降法，对所有粗匹配点对进行拟合得到函数模型，计算所有粗匹配点对与函数模型的误差，剔除误差大的匹配点对，得到精确匹配结果。

Description

一种基于复合算子的异源图像匹配方法
技术领域
本发明属于图像处理领域，尤其涉及一种基于复合算子的异源图像匹配方法。
背景技术
图像匹配技术最初是由美国军方提出的，用于飞行器辅助导航系统、武器投射系统的制导及搜索等。现阶段，这项技术已从最初的军事应用扩展到医学诊断、民用目标识别等领域。图像匹配技术分为同源图像匹配和异源图像匹配，匹配依据是图像是否是由同类成像设备获得。其中，由于异源图像间的灰度信息差距较大，现有的大多数同源图像匹配技术在异源图像匹配中使用效果不佳，因此需要研究鲁棒性高的异源图像匹配方法。
基于特征的图像匹配方法常常通过提取图像中的点特征、线特征等进行匹配。特征是对图像更高层次的描述，可以在异源图像中稳定存在，因此，基于特征的图像匹配方法可用于异源图像的匹配。基于特征的图像匹配方法不直接对灰度信息进行采集处理，而是通过提取图像上有代表性的特征信息，如点特征等，通过相似性度量完成图像匹配。由于异源图像中检测到的特征点一般含有较多干扰点，因此需要鲁棒性较强的特征匹配方法。
针对可见光和红外异源图像间的匹配，本发明公开了一种基于复合算子的异源图像匹配方法。首先，采用一种改进的Harris边缘提取算子，分别获取可见光图像和红外图像的边缘图像；其次，对可见光图像和红外图像的边缘采用SURF算子提取特征点，并建立特征描述向量；第三，提出一种改进的最近次邻近原则，利用欧式距离度量特征点之间的相似性提取匹配对，并计算所有匹配点对的平均欧式距离以及方差，根据方差大小设定阈值，剔除错误匹配点对，实现粗匹配；最后，采用一种基于神经网络梯度下降法，对所有粗匹配点对进行拟合得到函数模型，计算所有粗匹配点对与函数模型的误差，剔除误差大的匹配点对，得到精确匹配结果。
发明内容
发明目的：针对以上问题，本发明提出一种基于复合算子的异源图像匹配方法以积极复合算子解决异源图像匹配问题。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于复合算子的异源图像匹配方法，该方法步骤如下：
(1)采用一种改进的Harris边缘提取算子，分别获取可见光图像和红外图像的边缘图像；
(2)对可见光图像和红外图像的边缘采用SURF算子提取特征点，并建立特征描述向量；
(3)提出一种改进的最近次邻近原则，利用欧式距离度量特征点之间的相似性提取匹配对，并计算所有匹配点对的平均欧式距离以及方差，根据方差大小设定阈值，剔除错误匹配点对，实现粗匹配；
(4)最后，采用一种基于神经网络梯度下降法，对所有粗匹配点对进行拟合得到函数模型，计算所有粗匹配点对与函数模型的误差，剔除误差大的匹配点对，得到精确匹配结果。
进一步的，所述步骤(1)中，采用一种改进的Harris边缘提取算子，分别获取可见光图像和红外图像的边缘图像，具体方法如下：
(1.1)给定待匹配的可见光图像V和红外图像R，对待匹配的可见光图像V和红外图像R中每一像素点计算相关矩阵M：首先利用水平，竖直差分算子对图像的每个像素进行滤波以求得该像素在x坐标方向的差分Ix、该像素在y坐标方向的差分Iy,然后对
Figure BDA0002044724520000021
IxIy、IyIx分别进行高斯平滑滤波，得到M中的四个元素的值，进而得到自相关矩阵M：
Figure BDA0002044724520000022
Figure BDA0002044724520000023
Figure BDA0002044724520000024
Figure BDA0002044724520000025
Figure BDA0002044724520000026
其中：
Figure BDA0002044724520000027
代表卷积操作，高斯函数
Figure BDA0002044724520000028
其中，σ是模糊系数，x是像素的横坐标，y是像素的纵坐标，e是自然对数的底数。
(1.2)利用M中的四个元素计算每个像素点的Harris角点响应R；
R＝det(M)-k×trace2(M)＝(AB-CD)2-k×(A+B)2
其中，k是常数，det(M)为自相关矩阵M的行列式，trace(M)为自相关矩阵M的迹；
(1.3)若目标像素点计算的R角点响应函数值大于预先设定的阈值thresh，thresh＞0，若R＞thresh，则该像素点为初步候选角点；由此可得整个图像对应的角点集合；
(1.4)采用一种改进的方法，从角点集合中提取强角点，具体如下：针对某一初步候选角点p，以其为中心形成一个l×l的正方形邻域，从正方形边缘上以步长为1间隔抽取z个点，将这些像素点的灰度值I(x)与中心像素点灰度值I(p)进行比较，其差值将分为以下三类：
1)若I(p)-t≥I(x)，则像素点x比中心像素点p暗；
2)若I(p)+t≤I(x)，则像素点x比中心像素点p亮；
3)若I(p)-t＜I(x)＜I(p)+t，则像素点x和中心像素点p灰度相似；
其中，t是阈值。假如上述z个点中，有四分之三的点落在第一类或第二类中，即比中心像素p的强度都暗，或都亮，则认为点p为强角点。
(1.5)由提取出来的强角点集合，即可分别构成可见光边缘图像V'和红外边缘图像R'。
进一步的，所述步骤(2)中，对可见光图像和红外图像的边缘采用SURF算子提取特征点，并建立特征描述向量从而描述特征点的具体实现方式如下：
对可见光边缘图像V'和红外边缘图像R'进行SURF特征检测，分别使用不同尺寸以及不同模糊系数的盒式滤波器与边缘图像V'和R'进行滤波，构造高斯金字塔，对金字塔中所有子图像都采用Hessian矩阵行列值来取得图像的特征点，汇集为V'和R'上的特征点点集D1和D2。
(2.1)对某一图像采用Hessian矩阵行列值来生成所有斑点响应值，具体为：
(2.1.1)取某一图像中某一像素点x，构造尺度为σ的Hessian矩阵，计算特征值α，具体步骤如下：
Figure BDA0002044724520000031
其中，Lxx(x,σ)是高斯二阶微分
Figure BDA0002044724520000041
在点x处与该图像的卷积，Lxy(x,σ)是高斯二阶微分
Figure BDA0002044724520000042
在点x处与该图像的卷积，Lyy(x,σ)是高斯二阶微分
Figure BDA0002044724520000043
在点x处与该图像的卷积。
(2.1.2)使用Hessian矩阵行列式的近似值α来表示图像中某一点x处的斑点响应值：
α＝LxxLyy-(0.9Lxy)2；
(2.1.3)遍历图像中所有的像素点，便形成了在某一尺度下的响应图像。
(2.2)构造SURF高斯金字塔，构造尺度空间。前述金字塔分为若干组，每一组的原始图片是通过对原始图片V'和R'进行不同高斯模糊的模板尺寸得到的；每一组又分为若干层，每层的各个图片是对该组的原始图片通过不同高斯模糊系数得到的。
(2.3)斑点响应极值点定位，具体方法为：
在构造好的SURF高斯金字塔中，按照步骤(2.1)中Hessian矩阵处理金字塔中的每个像素点，生成与之对应的斑点响应值α。取某一斑点响应值α与其在SURF高斯金字塔中三维领域的26个斑点响应值进行大小数值比较，若该斑点为这26个斑点中的最大值或最小值，则将斑点保留下来，作为初步的特征点。
(2.4)确定特征点主方向，具体步骤为：
统计任一特征点圆形邻域内(即以特征点为中心，半径为6s的邻域)的Harr小波特征，即在特征点的圆形邻域内，统计60度扇形内所有点在水平x和垂直y方向的Harr小波响应总和，Harr小波边长取4s，s为特征点所在的尺度值，并给这些Harr小波响应值赋上高斯权重系数，高斯权重系数由高斯模型在不同的角度和距离上确定，权重系数的和为1；然后将60度范围内的响应相加以形成特征矢量，遍历整个特征点的圆形区域，覆盖整个360度，选择最长矢量的方向为该特征点的主方向。
(2.5)方向构造对应特征点SURF特征描述子，具体方法为：
在特征点邻域范围内取一个正方形框，框的边长为20s，s是该特征点所在的尺度值；把框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的Harr小波特征。该小波特征作为：水平方向灰度值之和∑dx，水平方向灰度值绝对值之和∑|dx|，垂直方向灰度值之和∑dy，垂直方向灰度值绝对值之和∑|dy|，对于每个特征点，建立64维向量作为该特征点的SURF特征描述子，其中列向量对应16个子区域，行向量对应各个子区域的4个Harr小波特征参数值。
(2.6)采用SURF方法构建SURF描述子并进行归一化处理，汇集为V'和R'上的所有的SURF描述子为特征点点集D1和D2。
进一步的，所述步骤(3)中，提出一种改进的最近次邻近原则，利用欧式距离度量特征点之间的相似性提取匹配对，并计算所有匹配点对的平均欧式距离以及方差，根据方差大小设定阈值，剔除错误匹配点对，实现粗匹配的具体实现方式如下：
(3.1)输入V'和R'上的特征点点集D1和D2，采用快速近邻匹配方法找到可见光边缘图像V'和红外边缘图像R'中具有最小欧式距离的初始匹配点并建立合集D1'和D2'；其中，快速近邻匹配方法如下：
对于待匹配图像V'的特征点点集D1中的一个特征点，计算它到参考图象R'的特征点点集D2上所有点的欧式距离，得到一个距离集合。通过对距离集合进行比较运算得到最近欧式距离和次近欧式距离。设定一个阈值o，若最近距离(即最小距离)和次近邻距离(即次小距离)的比值小于阈值o，则选取最小距离的点作为特征点所对应的匹配点。
欧式距离的方法如下：
Figure BDA0002044724520000051
其中，d是两特征点的欧式距离，n是特征点向量的维数，γ为合集D1中某一特征点的SURF描述子，ρ为D2中某一特征点的SURF描述子；
(3.2)统计匹配点对数量为n1，根据所有匹配点对的欧式距离d，计算所有匹配点对的平均距离daverage，及所有匹配点对距离d与平均距离的方差χ；
Figure BDA0002044724520000052
Figure BDA0002044724520000061
其中：欧式距离d越小，表明特征点的相似度越高；方差χ越大，代表匹配点对欧式距离的浮动性大，错误匹配对数较多。
(3.3)设定剔除点对个数为D＝λ×χ，λ的取值范围为2-5，分别剔除匹配点对合集D1'和D2'中前D个具有最大欧氏距离的点，可得最终粗匹配特征点点集U1'和U2'。
进一步的，所述步骤(4)中，采用一种基于神经网络梯度下降法，对所有粗匹配点对进行拟合得到函数模型，计算所有粗匹配点对与函数模型的误差，剔除误差不符合要求的匹配点对，得到精确匹配结果。其具体实现方式如下：
(4.1)根据V'和R'的粗匹配特征点点集U1'和U2'，采用一种基于神经网络梯度下降法的方法，对所有粗匹配点点集U1'和U2'进行拟合函数模型，这里选择多项式函数模型f(x)＝a+bx2+cx3，该模型中有三个未知参数a，b，c；
(4.2)预设目标函数f(x)＝a+bx2+cx3中参数a，b，c的值分别为3，2，1；
(4.3)构建一个没有隐藏层的神经网络模型，包括三个输入神经元1,
Figure BDA0002044724520000062
xi是某点集U1'中某一特征点的坐标值，和一个输出神经元prediction(i)，即根据函数模型计算出的与点集U1'中某一特征点匹配的估计坐标值，i＝1,2,...,m，m是数据集U1'或U2'中点的个数，则该神经网络的输出可以表示为：
Figure BDA0002044724520000063
(4.4)根据函数模型f(x)＝a+bx2+cx3计算出所有与点集U1'中所有特征点匹配的估计坐标值，通过网络损失函数(即最小化误差的平方和)寻找数据的最佳函数匹配；
网络损失函数loss定义为：
Figure BDA0002044724520000064
其中：target(i)表示目标值，即真实参考点的坐标值，参考点即点集U2'2中一点，与U1'中选取的一点匹配。
(4.5)采用梯度下降法迭代多次模型参数θ，使得网络损失函数loss取得最小值，参数迭代公式：
Figure BDA0002044724520000071
根据函数模型f(x)＝a+bx2+cx3看到，其中的变量有三个，是一个多变量的梯度下降问题，求解该函数的梯度，也就是分别对三个变量进行微分：
Figure BDA0002044724520000072
Figure BDA0002044724520000073
Figure BDA0002044724520000074
Figure BDA0002044724520000075
统一矩阵化：
Figure BDA0002044724520000076
其中，xi代表矩阵
Figure BDA0002044724520000077
m是数据集U1'或U2'中点的个数；
根据梯度下降法迭代公式
Figure BDA0002044724520000078
可得出迭代公式为：
Figure BDA0002044724520000079
其中：α是学习率；j是迭代次数；θ是模型参数a，b，c的集合。
(4.6)定义迭代次数γ，经过γ次迭代后，loss取得最小值，取得最终的θ模型参数，即a，b，c的集合，函数f(x)拟合成功；
(4.7)通过拟合得到的变换公式f(x)＝a+bx2+cx3计算每对匹配点对坐标的误差，将样本集U1'或U2'中误差大于预先设定阈值ω的匹配点对从原始匹配点对列表中剔除；得到新的粗匹配点集S1和S2。
其中，误差的计算方式如下：
Figure BDA0002044724520000081
(4.8)根据步骤(4.7)得到匹配点的集合，判断匹配点的个数小于原始样本集U1'或U2'总体数目m的1/2或者无法根据该原则进行剔除为止，得到最终的匹配点对W1'和W2'；否则将新的匹配点集S1和S2作为输入，重复步骤(4.1)～(4.8)。
有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：
(1)本发明基于改进的Harris算子提取图像边缘信息并结合SURF算子加以描述，解决了异源图像匹配技术中，由于不同图像传感器的成像特点各异，图像间的灰度具有很大差异的问题。提出的方法不依赖于灰度分布，利用几何特征与点特征相结合的方式来进行异源图像匹配。
(2)改进的Harris算子，针对Harris算子运算慢的问题，将候选角点与与之临近的正方形邻域上的角点进行比较，若多个角点比此角点亮或者暗，则判定此角点有效，否则排除该点。此法排除大量非特征点，减少其运算量，从而提高检测效率。
(3)改进的最近临近方法进行粗匹配，计算所有匹配点对的平均欧式距离以及方差，根据方差大小设定阈值，剔除错误匹配点对，提高匹配的精确度。
(4)采用一种基于神经网络梯度下降法的方法进行精匹配。采用基于神经网络梯度下降法，对所有待匹配点进行拟合以得到函数模型，计算所有匹配图像特征点与待匹配函数模型的误差，接着设定阈值，当匹配点的误差大于设定阈值时，被认为是误匹配点，将其剔除，进一步提高了方法的精确度。
附图说明
图1为本发明的整体流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
如图1所示，本发明提出一种基于复合算子的异源图像匹配方法，该方法步骤如下：
(1)采用一种改进的Harris边缘提取算子，分别获取可见光图像和红外图像的边缘图像；
(2)对可见光图像和红外图像的边缘采用SURF算子提取特征点，并建立特征描述向量；
(3)提出一种改进的最近次邻近原则，利用欧式距离度量特征点之间的相似性提取匹配对，并计算所有匹配点对的平均欧式距离以及方差，根据方差大小设定阈值，剔除错误匹配点对，实现粗匹配；
(4)最后，采用一种基于神经网络梯度下降法，对所有粗匹配点对进行拟合得到函数模型，计算所有粗匹配点对与函数模型的误差，剔除误差大的匹配点对，得到精确匹配结果。
进一步的，所述步骤(1)中，采用一种改进的Harris边缘提取算子，分别获取可见光图像和红外图像的边缘图像，具体方法如下：
(1.1)给定待匹配的可见光图像V和红外图像R，对待匹配的可见光图像V和红外图像R中每一像素点计算相关矩阵M：首先利用水平，竖直差分算子对图像的每个像素进行滤波以求得该像素在x坐标方向的差分Ix、该像素在y坐标方向的差分Iy,然后对
Figure BDA0002044724520000091
IxIy、IyIx分别进行高斯平滑滤波，得到M中的四个元素的值，进而得到自相关矩阵M：
Figure BDA0002044724520000092
Figure BDA0002044724520000093
Figure BDA0002044724520000094
Figure BDA0002044724520000095
Figure BDA0002044724520000096
其中：
Figure BDA0002044724520000097
代表卷积操作，高斯函数
Figure BDA0002044724520000098
其中，σ是模糊系数，x是像素的横坐标，y是像素的纵坐标，e是自然对数的底数。
(1.2)利用M中的四个元素计算每个像素点的Harris角点响应R；
R＝det(M)-k×trace2(M)＝(AB-CD)2-k×(A+B)2
其中，k是常数，det(M)为自相关矩阵M的行列式，trace(M)为自相关矩阵M的迹；
(1.3)若目标像素点计算的R角点响应函数值大于预先设定的阈值thresh，thresh＞0，若R＞thresh，则该像素点为初步候选角点；由此可得整个图像对应的角点集合；
(1.4)采用一种改进的方法，从角点集合中提取强角点，具体如下：针对某一初步候选角点p，以其为中心形成一个l×l的正方形邻域，从正方形边缘上以步长为1间隔抽取z个点，将这些像素点的灰度值I(x)与中心像素点灰度值I(p)进行比较，其差值将分为以下三类：
1)若I(p)-t≥I(x)，则像素点x比中心像素点p暗；
2)若I(p)+t≤I(x)，则像素点x比中心像素点p亮；
3)若I(p)-t＜I(x)＜I(p)+t，则像素点x和中心像素点p灰度相似；
其中，t是阈值。假如上述z个点中，有四分之三的点落在第一类或第二类中，即比中心像素p的强度都暗，或都亮，则认为点p为强角点。
(1.5)由提取出来的强角点集合，即可分别构成可见光边缘图像V'和红外边缘图像R'。
进一步的，所述步骤(2)中，对可见光图像和红外图像的边缘采用SURF算子提取特征点，并建立特征描述向量从而描述特征点的具体实现方式如下：
对可见光边缘图像V'和红外边缘图像R'进行SURF特征检测，分别使用不同尺寸以及不同模糊系数的盒式滤波器与边缘图像V'和R'进行滤波，构造高斯金字塔，对金字塔中所有子图像都采用Hessian矩阵行列值来取得图像的特征点，汇集为V'和R'上的特征点点集D1和D2。
(2.1)对某一图像采用Hessian矩阵行列值来生成所有斑点响应值，具体为：
(2.1.1)取某一图像中某一像素点x，构造尺度为σ的Hessian矩阵，计算特征值α，具体步骤如下：
Figure BDA0002044724520000111
其中，Lxx(x,σ)是高斯二阶微分
Figure BDA0002044724520000112
在点x处与该图像的卷积，Lxy(x,σ)是高斯二阶微分
Figure BDA0002044724520000113
在点x处与该图像的卷积，Lyy(x,σ)是高斯二阶微分
Figure BDA0002044724520000114
在点x处与该图像的卷积。
(2.1.2)使用Hessian矩阵行列式的近似值α来表示图像中某一点x处的斑点响应值：
α＝LxxLyy-(0.9Lxy)2；
(2.1.3)遍历图像中所有的像素点，便形成了在某一尺度下的响应图像。
(2.2)构造SURF高斯金字塔，构造尺度空间。前述金字塔分为若干组，每一组的原始图片是通过对原始图片V'和R'进行不同高斯模糊的模板尺寸得到的；每一组又分为若干层，每层的各个图片是对该组的原始图片通过不同高斯模糊系数得到的。
(2.3)斑点响应极值点定位，具体方法为：
在构造好的SURF高斯金字塔中，按照步骤(2.1)中Hessian矩阵处理金字塔中的每个像素点，生成与之对应的斑点响应值α。取某一斑点响应值α与其在SURF高斯金字塔中三维领域的26个斑点响应值进行大小数值比较，若该斑点为这26个斑点中的最大值或最小值，则将斑点保留下来，作为初步的特征点。
(2.4)确定特征点主方向，具体步骤为：
统计任一特征点圆形邻域内(即以特征点为中心，半径为6s的邻域)的Harr小波特征，即在特征点的圆形邻域内，统计60度扇形内所有点在水平x和垂直y方向的Harr小波响应总和，Harr小波边长取4s，s为特征点所在的尺度值，并给这些Harr小波响应值赋上高斯权重系数，高斯权重系数由高斯模型在不同的角度和距离上确定，权重系数的和为1；然后将60度范围内的响应相加以形成特征矢量，遍历整个特征点的圆形区域，覆盖整个360度，选择最长矢量的方向为该特征点的主方向。
(2.5)方向构造对应特征点SURF特征描述子，具体方法为：
在特征点邻域范围内取一个正方形框，框的边长为20s，s是该特征点所在的尺度值；把框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的Harr小波特征。该小波特征作为：水平方向灰度值之和∑dx，水平方向灰度值绝对值之和∑|dx|，垂直方向灰度值之和∑dy，垂直方向灰度值绝对值之和∑|dy|，对于每个特征点，建立64维向量作为该特征点的SURF特征描述子，其中列向量对应16个子区域，行向量对应各个子区域的4个Harr小波特征参数值。
(2.6)采用SURF方法构建SURF描述子并进行归一化处理，汇集为V'和R'上的所有的SURF描述子为特征点点集D1和D2。
进一步的，所述步骤(3)中，提出一种改进的最近次邻近原则，利用欧式距离度量特征点之间的相似性提取匹配对，并计算所有匹配点对的平均欧式距离以及方差，根据方差大小设定阈值，剔除错误匹配点对，实现粗匹配的具体实现方式如下：
(3.1)输入V'和R'上的特征点点集D1和D2，采用快速近邻匹配方法找到可见光边缘图像V'和红外边缘图像R'中具有最小欧式距离的初始匹配点并建立合集D1'和D2'；其中，快速近邻匹配方法如下：
对于待匹配图像V'的特征点点集D1中的一个特征点，计算它到参考图象R'的特征点点集D2上所有点的欧式距离，得到一个距离集合。通过对距离集合进行比较运算得到最近欧式距离和次近欧式距离。设定一个阈值o，若最近距离(即最小距离)和次近邻距离(即次小距离)的比值小于阈值o，则选取最小距离的点作为特征点所对应的匹配点。
欧式距离的方法如下：
Figure BDA0002044724520000121
其中，d是两特征点的欧式距离，n是特征点向量的维数，γ为合集D1中某一特征点的SURF描述子，ρ为D2中某一特征点的SURF描述子；
(3.2)统计匹配点对数量为n1，根据所有匹配点对的欧式距离d，计算所有匹配点对的平均距离daverage，及所有匹配点对距离d与平均距离的方差χ；
Figure BDA0002044724520000131
Figure BDA0002044724520000132
其中：欧式距离d越小，表明特征点的相似度越高；方差χ越大，代表匹配点对欧式距离的浮动性大，错误匹配对数较多。
(3.3)设定剔除点对个数为D＝λ×χ，λ的取值范围为2-5，分别剔除匹配点对合集D1'和D2'中前D个具有最大欧氏距离的点，可得最终粗匹配特征点点集U1'和U2'。
进一步的，所述步骤(4)中，采用一种基于神经网络梯度下降法，对所有粗匹配点对进行拟合得到函数模型，计算所有粗匹配点对与函数模型的误差，剔除误差不符合要求的匹配点对，得到精确匹配结果。其具体实现方式如下：
(4.1)根据V'和R'的粗匹配特征点点集U1'和U2'，采用一种基于神经网络梯度下降法的方法，对所有粗匹配点点集U1'和U2'进行拟合函数模型，这里选择多项式函数模型f(x)＝a+bx2+cx3，该模型中有三个未知参数a，b，c；
(4.2)预设目标函数f(x)＝a+bx2+cx3中参数a，b，c的值分别为3，2，1；
(4.3)构建一个没有隐藏层的神经网络模型，包括三个输入神经元1,
Figure BDA0002044724520000133
xi是某点集U1'中某一特征点的坐标值，和一个输出神经元prediction(i)，即根据函数模型计算出的与点集U1'中某一特征点匹配的估计坐标值，i＝1,2,...,m，m是数据集U1'或U2'中点的个数，则该神经网络的输出可以表示为：
Figure BDA0002044724520000134
(4.4)根据函数模型f(x)＝a+bx2+cx3计算出所有与点集U1'中所有特征点匹配的估计坐标值，通过网络损失函数(即最小化误差的平方和)寻找数据的最佳函数匹配；
网络损失函数loss定义为：
Figure BDA0002044724520000141
其中：target(i)表示目标值，即真实参考点的坐标值，参考点即点集U'2中一点，与U'1中选取的一点匹配。
(4.5)采用梯度下降法迭代多次模型参数θ，使得网络损失函数loss取得最小值，参数迭代公式：
Figure BDA0002044724520000142
根据函数模型f(x)＝a+bx2+cx3看到，其中的变量有三个，是一个多变量的梯度下降问题，求解该函数的梯度，也就是分别对三个变量进行微分：
Figure BDA0002044724520000143
Figure BDA0002044724520000144
Figure BDA0002044724520000145
Figure BDA0002044724520000146
统一矩阵化：
Figure BDA0002044724520000147
其中，xi代表矩阵
Figure BDA0002044724520000148
m是数据集U1'或U2'中点的个数；
根据梯度下降法迭代公式
Figure BDA0002044724520000149
可得出迭代公式为：
Figure BDA0002044724520000151
其中：α是学习率；j是迭代次数；θ是模型参数a，b，c的集合。
(4.6)定义迭代次数γ，经过γ次迭代后，使得loss取得最小值，取得最终的θ模型参数，即a，b，c的集合，函数f(x)拟合成功；
(4.7)通过拟合得到的变换公式f(x)＝a+bx2+cx3计算每对匹配点对坐标的误差，将样本集U1'或U2'中误差大于预先设定阈值ω的匹配点对从原始匹配点对列表中剔除；得到新的粗匹配点集S1和S2。
其中，误差的计算方式如下：
Figure BDA0002044724520000152
(4.8)根据步骤(4.7)得到匹配点的集合，判断匹配点的个数小于原始样本集U1'或U2'总体数目m的1/2或者无法根据该原则进行剔除为止，得到最终的匹配点对W1'和W2'；否则将新的匹配点集S1和S2作为输入，重复步骤(4.1)～(4.8)。

Claims (2)

1.一种基于复合算子的异源图像匹配方法，其特征在于，该方法步骤如下：
(1)采用Harris边缘提取算子，分别获取可见光图像和红外图像的边缘图像；
(2)对可见光图像和红外图像的边缘采用SURF算子提取特征点，并建立特征描述向量；
(3)利用欧式距离度量特征点之间的相似性提取匹配对，并计算所有匹配点对的平均欧式距离以及方差，根据方差大小设定阈值，剔除错误匹配点对，实现粗匹配；
(4)采用神经网络梯度下降法，对所有粗匹配点对进行拟合得到函数模型，计算所有粗匹配点对与函数模型的误差，剔除误差大于预先设定阈值ω的匹配点对，得到精确匹配结果；
所述步骤(2)中，对可见光图像和红外图像的边缘采用SURF算子提取特征点，并建立特征描述向量的具体实现方式如下：对可见光边缘图像V'和红外边缘图像R'进行SURF特征检测，分别使用不同尺寸以及不同模糊系数的盒式滤波器与边缘图像V'和R'进行滤波，构造高斯金字塔，对金字塔中所有子图像都采用Hessian矩阵行列值来取得图像的特征点，汇集为V'和R'上的特征点点集D1和D2；
步骤(3)中，实现粗匹配的方法如下：
(3.1)输入V'和R'上的特征点点集D1和D2，采用快速近邻匹配方法找到可见光边缘图像V'和红外边缘图像R'中具有最小欧式距离的初始匹配点并建立合集D1'和D2'；其中，快速近邻匹配方法如下：
对于待匹配图像V'的特征点点集D1中的一个特征点，计算它到参考图像R'的特征点点集D2上所有点的欧式距离，得到一个距离集合，通过对距离集合进行比较运算得到最近欧式距离和次近欧式距离，设定阈值o，若最近距离和次近邻距离的比值小于阈值o，则选取最小距离的点作为特征点所对应的匹配点；
欧式距离的方法如下：
Figure FDA0003725664450000011
其中，d是两特征点的欧式距离，n是特征点向量的维数，γ为合集D1中某一特征点的SURF描述子，ρ为D2中某一特征点的SURF描述子；
(3.2)统计匹配点对数量为n1，根据所有匹配点对的欧式距离d，计算所有匹配点对的平均距离daverage，及所有匹配点对距离d与平均距离的方差χ；
Figure FDA0003725664450000021
Figure FDA0003725664450000022
(3.3)设定剔除点对个数为D＝λ×χ，λ为预先设置的系数，分别剔除匹配点对合集D1'和D2'中前D个具有最大欧氏距离的点，可得最终粗匹配特征点点集U1'和U2'；
所述步骤(4)中，得到精确匹配结果，其实现方式如下：
(4.1)根据V'和R'的粗匹配特征点点集U1'和U2'，采用基于神经网络梯度下降法的方法，对所有粗匹配点点集U1'和U2'进行拟合函数模型，选择多项式函数模型f(x)＝a+bx2+cx3，该模型中有三个未知参数a，b，c；
(4.2)预设目标函数f(x)＝a+bx2+cx3中参数a，b，c的初值；
(4.3)构建一个没有隐藏层的神经网络模型，包括三个输入神经元1,
Figure FDA0003725664450000025
xi是某点集U1'中某一特征点的坐标值，和一个输出神经元prediction(i)，即根据函数模型计算出的与点集U1'中某一特征点匹配的估计坐标值，i＝1,2,...,m，m是数据集U1'或U2'中点的个数，则该神经网络的输出可以表示为：
Figure FDA0003725664450000023
(4.4)根据函数模型f(x)＝a+bx2+cx3计算出所有与点集U1'中所有特征点匹配的估计坐标值，通过网络损失函数寻找数据的最佳函数匹配；
网络损失函数loss定义为：
Figure FDA0003725664450000024
其中：target(i)表示目标值，即真实参考点的坐标值，参考点即点集U'2中一点，与U1'中选取的一点匹配；
(4.5)采用梯度下降法迭代多次模型参数θ，使得网络损失函数loss取得最小值，参数迭代公式：
Figure FDA0003725664450000031
根据函数模型f(x)＝a+bx2+cx3看到，其中的变量有三个，是一个多变量的梯度下降问题，求解该函数的梯度，也就是分别对三个变量进行微分：
Figure FDA0003725664450000032
Figure FDA0003725664450000033
Figure FDA0003725664450000034
Figure FDA0003725664450000035
统一矩阵化：
Figure FDA0003725664450000036
其中，xi代表矩阵
Figure FDA0003725664450000037
m是数据集U1'或U2'中点的个数；
根据梯度下降法迭代公式
Figure FDA0003725664450000038
可得出迭代公式为：
Figure FDA0003725664450000039
其中，α是学习率，j表示第j次迭代，θ是模型参数a，b，c的集合；
(4.6)定义迭代次数γ，经过γ次迭代后，使得loss取得最小值，取得最终的θ模型参数，即a，b，c的集合，函数f(x)拟合成功；
(4.7)通过拟合得到的变换公式f(x)＝a+bx2+cx3计算每对匹配点对坐标的误差，将样本集U1'或U2'中误差大于预先设定阈值ω的匹配点对从原始匹配点对列表中剔除；得到新的粗匹配点集S1和S2；
其中，误差的计算方式如下：
Figure FDA0003725664450000041
(4.8)根据步骤(4.7)得到匹配点的集合，判断匹配点的个数小于原始样本集U1'或U2'总体数目m的1/2或者无法根据该原则进行剔除为止，得到最终的匹配点对W1'和W2'；否则将新的匹配点集S1和S2作为输入，重复步骤(4.1)～(4.8)。
2.根据权利要求1所述的一种基于复合算子的异源图像匹配方法，其特征在于，所述步骤(1)中，采用Harris边缘提取算子，分别获取可见光图像和红外图像的边缘图像，具体方法如下：
(1.1)给定待匹配的可见光图像V和红外图像R，对待匹配的可见光图像V和红外图像R中每一像素点计算相关矩阵M：首先利用水平，竖直差分算子对图像的每个像素进行滤波以求得该像素在x坐标方向的差分Ix、该像素在y坐标方向的差分Iy,然后对
Figure FDA0003725664450000042
IxIy、IyIx分别进行高斯平滑滤波，得到M中的四个元素的值，进而得到自相关矩阵M：
Figure FDA0003725664450000043
Figure FDA0003725664450000044
Figure FDA0003725664450000045
Figure FDA0003725664450000046
Figure FDA0003725664450000047
其中：
Figure FDA0003725664450000051
代表卷积操作，高斯函数
Figure FDA0003725664450000052
其中，σ是模糊系数，x是像素的横坐标，y是像素的纵坐标，e是自然对数的底数；
(1.2)利用M中的四个元素计算每个像素点的Harris角点响应R；
R＝det(M)-k×trace2(M)＝(AB-CD)2-k×(A+B)2
其中，k是常数，det(M)为自相关矩阵M的行列式，trace(M)为自相关矩阵M的迹；
(1.3)若目标像素点计算的R角点响应函数值大于预先设定的阈值thresh，若R＞thresh，则该像素点为初步候选角点；由此可得整个图像对应的角点集合；
(1.4)针对某一初步候选角点p，以其为中心形成一个l×l的正方形邻域，从正方形边缘上以步长为1间隔抽取z个点，将这些像素点的灰度值I(x)与中心像素点灰度值I(p)进行比较，其差值将分为以下三类：
1)若I(p)-t≥I(x)，则像素点x比中心像素点p暗；
2)若I(p)+t≤I(x)，则像素点x比中心像素点p亮；
3)若I(p)-t＜I(x)＜I(p)+t，则像素点x和中心像素点p灰度相似；
其中，t是阈值，假如上述z个点中，有四分之三的点落在第一类或第二类中，即比中心像素p的强度都暗，或都亮，则认为点p为强角点；
(1.5)由提取出来的强角点集合，即可分别构成可见光边缘图像V'和红外边缘图像R'。
CN201910353671.9A 2019-04-29 2019-04-29 一种基于复合算子的异源图像匹配方法 Active CN110148162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910353671.9A CN110148162B (zh) 2019-04-29 2019-04-29 一种基于复合算子的异源图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910353671.9A CN110148162B (zh) 2019-04-29 2019-04-29 一种基于复合算子的异源图像匹配方法

Publications (2)

Publication Number Publication Date
CN110148162A CN110148162A (zh) 2019-08-20
CN110148162B true CN110148162B (zh) 2022-09-02

Family

ID=67593924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910353671.9A Active CN110148162B (zh) 2019-04-29 2019-04-29 一种基于复合算子的异源图像匹配方法

Country Status (1)

Country Link
CN (1) CN110148162B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544260B (zh) * 2019-08-22 2020-06-30 河海大学 融合自学习语义特征与设计特征的遥感影像目标提取方法
CN110490872B (zh) * 2019-08-27 2022-03-01 北京理工大学 加工设备的异物检测方法和系统
CN110533711A (zh) * 2019-09-04 2019-12-03 云南电网有限责任公司带电作业分公司 一种基于加速稳健特征的高效大尺度立体匹配算法
CN113033590A (zh) * 2019-12-25 2021-06-25 杭州海康机器人技术有限公司 图像特征匹配方法、装置、图像处理设备及存储介质
CN111209835B (zh) * 2019-12-31 2023-05-23 合肥赛为智能有限公司 一种改进的surf移动机器人图像匹配方法
CN111223133B (zh) * 2020-01-07 2022-10-11 上海交通大学 一种异源图像的配准方法
CN111242139B (zh) * 2020-01-14 2023-04-18 南京航空航天大学 一种基于点线特征的最大直方图异源图像匹配方法
CN111369605B (zh) * 2020-02-27 2022-08-16 河海大学 一种基于边缘特征的红外与可见光图像的配准方法和系统
CN111445502B (zh) * 2020-03-06 2023-11-07 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 集成电路图像匹配方法及系统
CN112288758B (zh) * 2020-05-25 2022-08-30 国网江苏省电力有限公司常州供电分公司 一种电力设备红外与可见光图像配准方法
CN111832496B (zh) * 2020-07-17 2023-11-03 南京康尼机电股份有限公司 一种轨道车门开关状态判断方法、装置及存储介质
CN112632872A (zh) * 2020-12-31 2021-04-09 浙江航天恒嘉数据科技有限公司 一种气体管道泄露处质量通量计算方法、系统和存储介质
CN113077508A (zh) * 2021-03-30 2021-07-06 深圳市墨者安全科技有限公司 一种图像相似度匹配方法及装置
CN113222028B (zh) * 2021-05-19 2022-09-06 中国电子科技集团公司第二十八研究所 一种基于多尺度邻域梯度模型的图像特征点实时匹配方法
CN113486729A (zh) * 2021-06-15 2021-10-08 北京道达天际科技有限公司 基于gpu的无人机影像特征点提取方法
CN114723770B (zh) * 2022-05-16 2022-08-09 中国人民解放军96901部队 一种基于特征空间关系的异源图像匹配方法
CN117939751B (zh) * 2024-03-25 2024-06-04 济宁医学院附属医院 一种紫外线的灯光控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0550101A1 (fr) * 1991-12-30 1993-07-07 Laboratoires D'electronique Philips Procédé de recalage d'images
CN103729654A (zh) * 2014-01-22 2014-04-16 青岛新比特电子科技有限公司 基于改进sift算法的图像匹配检索系统
CN106257535A (zh) * 2016-08-11 2016-12-28 河海大学常州校区 基于surf算子的电气设备红外与可见光图像配准方法
CN109064502A (zh) * 2018-07-11 2018-12-21 西北工业大学 基于深度学习和人工设计特征相结合的多源图像配准方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0550101A1 (fr) * 1991-12-30 1993-07-07 Laboratoires D'electronique Philips Procédé de recalage d'images
CN103729654A (zh) * 2014-01-22 2014-04-16 青岛新比特电子科技有限公司 基于改进sift算法的图像匹配检索系统
CN106257535A (zh) * 2016-08-11 2016-12-28 河海大学常州校区 基于surf算子的电气设备红外与可见光图像配准方法
CN109064502A (zh) * 2018-07-11 2018-12-21 西北工业大学 基于深度学习和人工设计特征相结合的多源图像配准方法

Also Published As

Publication number Publication date
CN110148162A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN110148162B (zh) 一种基于复合算子的异源图像匹配方法
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN107609575B (zh) 书法评价方法、书法评价装置和电子设备
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN109191502B (zh) 一种自动识别弹壳痕迹的方法
CN111339839B (zh) 一种密集型目标检测计量方法
CN109726746B (zh) 一种模板匹配的方法及装置
CN111369605B (zh) 一种基于边缘特征的红外与可见光图像的配准方法和系统
CN111652292B (zh) 一种基于ncs、ms的相似物体实时检测方法及系统
CN107292869B (zh) 基于各向异性高斯核和梯度搜索的图像斑点检测方法
CN108564092A (zh) 基于sift特征提取算法的向日葵病害识别方法
CN112288761B (zh) 一种异常发热的电力设备检测方法、装置和可读存储介质
CN111553422A (zh) 手术器械自动识别回收方法及系统
CN111709313A (zh) 基于局部和通道组合特征的行人重识别方法
CN111967337A (zh) 一种基于深度学习和无人机影像的管道线变化检测方法
CN115880501A (zh) 一种基于红外相机的高压电线红外图像处理方法和系统
CN117495891B (zh) 点云边缘检测方法、装置和电子设备
CN113781413A (zh) 一种基于Hough梯度法的电解电容定位方法
CN111862178B (zh) 改进的lbp特征提取方法
CN115311293B (zh) 一种印刷品图案的快速匹配方法
CN112418262A (zh) 车辆再识别的方法、客户端及系统
CN110992301A (zh) 一种气体轮廓识别方法
CN117079272A (zh) 一种结合手工特征和学习特征的弹底窝痕特征识别方法
CN115511853A (zh) 基于方向可变特征的遥感船舶检测与识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant