CN109064502B - 基于深度学习和人工设计特征相结合的多源图像配准方法 - Google Patents
基于深度学习和人工设计特征相结合的多源图像配准方法 Download PDFInfo
- Publication number
- CN109064502B CN109064502B CN201810754359.6A CN201810754359A CN109064502B CN 109064502 B CN109064502 B CN 109064502B CN 201810754359 A CN201810754359 A CN 201810754359A CN 109064502 B CN109064502 B CN 109064502B
- Authority
- CN
- China
- Prior art keywords
- image
- point
- matching
- feature point
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习和人工设计特征相结合的多源图像配准方法。首先采用传统的人工设计特征点提取方法来提取匹配点对,并利用改进的加权图变换算法去除误匹配点对;然后,以匹配点对坐标为中心,分别在基准图像和待配准图像中截取固定大小的图像块得到匹配图像块集合;接着,构建相似性度量深度卷积网络模型,并使用自建的多源匹配图像数据集对模型进行预训练,再利用前面获得的匹配图像块集合对预训练网络模型进行微调,得到最终的网络模型;最后,利用此网络对基准图像和待配准图像中的图像块进行相似性度量,计算变换矩阵,并完成图像配准。本发明方法结合了人工设计特征以及基于深度学习的特征度量,提高了图像配准的精度。
Description
技术领域
本发明属图像配准技术领域,具体涉及一种基于深度学习和人工设计特征相结合的多源图像配准方法。
背景技术
多源图像配准是指将不同类型的传感器从不同时间、不同角度所获得的针对同一场景的两幅或多幅图像数据进行预处理后,再采用一定的算法或模型将它们变换到同一坐标系下的过程,这里的多源图像主要是指可见光图像、热红外图像、近红外图像、高光谱图像的单波段图像等。多源图像配准为多源图像处理提供了统一的空间基准,是多源图像融合等处理的基础,可用于图像拼接、目标检测、运动估计、特征匹配等,具有重要的研究意义和实用价值。
在现有的多源图像配准方法中,无论是基于特征的图像配准方法还是基于灰度的图像配准方法,在匹配阶段都需要采用某个相似性度量标准进行匹配与否的判断。因此,多源图像配准的难点就在于相似性难以度量,同名点的特征描述不一致,灰度信息也不一致,而传统的相似性度量方法难以达到度量值越小相似度越高的目标。
文献“M.Izadi,P.Saeedi.Robust Weighted Graph Transformation Matchingfor Rigid and Nonrigid Image Registration.[J].IEEE Transactions on ImageProcessing A Publication of the IEEE Signal Processing Society,2012,21(10):4369”提出了一种基于图变化匹配(GTM)的加权图变换算法(WGTM),引入角距离作为另一空间信息对匹配点对进行判断,从而进行外点去除。该算法首先构造了中值K邻接图及邻接矩阵,然后给每个特征点构建权重矩阵,根据权重值的大小进行多次迭代筛选内点和外点。该算法在配准成功率上优于现有其他方法,但由于筛选内点的条件过于苛刻,导致配准匹配点对数量太少,从而降低了配准精度。
发明内容
为了解决现有多源图像配准方法提取的配准点对数量少和配准精度不高的问题,本发明提供一种基于深度学习和人工设计特征相结合的多源图像配准方法。首先采用传统的人工设计特征点提取方法来提取匹配点对,通过改进的加权图变换算法去除误匹配点对后,得到匹配点对集合;再以匹配点对集合中的匹配点对坐标为中心,分别在基准图像和待配准图像中截取固定大小的图像块得到匹配图像块集合;然后,构建基于深度卷积网络的图像块相似性度量网络,并使用自建的多源匹配图像数据集对整个模型进行预先训练,再使用前面获得的匹配图像块集合对预训练网络模型进行微调,得到最终的相似性度量模型;最后,以此网络作为相似性度量手段,对基准图像和待配准图像中的所有图像块进行相似性度量,计算得到变换矩阵,并完成图像配准。本发明方法通过传统提取特征匹配对的方式和深度学习的结合来进行相似性度量,提高了图像配准的精度。
一种基于深度学习和人工设计特征相结合的多源图像配准方法,其特征在于步骤如下:
步骤1:输入多源图像对,分别记为基准图像和待配准图像,采用传统人工设计特征点提取和匹配方法,分别对输入图像进行特征点提取和匹配,得到初步的特征点集P和P′,其中,P={p1,…,pN}是基准图像的特征点集合,P′={p′1,…,p′N}是待配准图像的特征点集合,两个集合中相同下标的两个元素pi和pi′为一对匹配点,i=1,…,N,N为集合P中的特征点个数。
步骤2:采用改进的加权图变换算法去除错误匹配点对,具体为:
步骤2.1:以集合P中的特征点为顶点,当点pi是点pj的邻接特征点时,则有一条无向边(pi,pj)连接点pi和pj,同时令邻接矩阵A中的元素A(i,j)=1;否则,点pi和点pj之间不存在无向边,并令邻接矩阵A中的元素A(i,j)=0,其中,i=1,…,N,j=1,…,N,所有连接邻接特征点之间的无向边共同构成边的集合FP。所述的邻接特征点需要满足条件:||pi-pj||≤η,η为阈值,Rmedian(·)表示取迭代中位数,pm和pn表示集合P中的任意特征点,||pi-pj||表示点pi和点pj空间上的欧式距离或马氏距离。
对集合P′按此步骤上述过程构造得到其邻接矩阵A′和边的集合FP′。
如果集合P中某个特征点上与之相连的无向边个数少于2,则从集合P中删除该特征点,并从集合FP中删除该特征点上的无向边,同时,对应从集合P′中删除与该特征点匹配的点,以及集合FP′中与该特征点匹配的点上的无向边;如果集合P′中某个特征点上与之相连的无向边个数少于2,则从集合P′中删除该特征点,并从集合FP′中删除该特征点上的无向边,同时,对应从集合P中删除与该特征点匹配的点,以及集合FP中与该特征点匹配的点上的无向边。此时,集合P中剩余特征点构成集合Vp={v1,…,vn},集合P′中剩余特征点构成集合Vp′={v′1,…,v′n},n为集合P中剩余特征点的个数,集合FP中剩余边构成集合EP,集合FP′中剩余边构成集合EP′,集合Vp中的点及其点之间的无向边共同构成中值K邻近图Gp=(Vp,Ep),集合Vp′中的点及其点之间的无向边共同构成中值K邻近图Gp′=(Vp′,Ep′)。
步骤2.2:构造得到权重矩阵W,如果集合Vp中特征点vi和vj之间没有无向边,则W(i,j)=0,否则:
其中,W(i,j)表示集合Vp中连接特征点vi和特征点vj的无向边的权值,vi和vj为集合Vp中的点,vi′和vj′为集合Vp′中的点,表示特征点vi在图像上的坐标向量,表示特征点vj在图像上的坐标向量,表示特征点在图像上的坐标向量,表示特征点vi′在图像上的坐标向量,表示特征点vj′在图像上的坐标向量,i=1,…,n,j=1,…,n;Rot(·)表示转向率,θ(·)表示求取两个向量间的夹角,其计算公式分别如下:
其中,(vi,vK)表示集合EP中连接点vi和vK的无向边,(vi,vj)表示集合EP中连接点vi和vj的无向边。
然后,对于集合Vp和Vp′中的对应匹配的点对vi和vi′,如果vi′上的无向边的个数与vi上的无向边的个数的比值小于0.5,则将权重矩阵W中所有不对应的边的权值W(i,l)设为π,所述的不对应的边,是指(vi′,vl′)属于EP′,但(vi,vl)不属于EP的边,i=1,…,n,l=1,…,n。
步骤2.3:对Vp中的每个特征点vi,i=1,…,n,按照下式计算其权重:
其中,M为特征点vi上的无向边的个数,median(·)表示取中位数。
找到所有特征点的权重最大值ωmax,并从集合Vp中删除权重最大值ωmax对应的特征点,同时从集合Vp′中删除与该特征点匹配的点。
然后,计算剩余所有特征点权重的均值μ,如果ωmax<π且|μ-μold|<ε,则此时的特征点集合Vp和Vp′即为最终的特征点集合;否则,令μold=μ,以此时的特征点集合Vp和Vp′作为初始特征点集合P和P′,返回步骤2.1;其中,μold的初始值为2π,阈值ε=0.001。
步骤3:以步骤2得到的最终特征点集合Vp和Vp′为基础,首先,计算两个集合中各匹配特征点对vi和vi′的尺度比值,并计算所有尺度比值的平均值作为相似尺度值,其中,i=1,…,n1,n1为特征点集合Vp中最终剩余的特征点个数;然后,将待配准图像变换到基准图像的这个相似尺度上,并分别以各个特征点的坐标为中心分别在基准图像和待配准图像中截取65×65大小的匹配图像块,所有匹配图像块构成匹配图像块数据集。
步骤4:构建多源图像块相似性度量深度卷积网络模型,该网络包括2层卷积层、2层池化层和3层全连接层,具体网络结构为:第1个卷积层使用32个大小为3×3×3的卷积核来进行卷积,得到的结果通过非线性激活函数RELU后送入第1个池化层;第1个池化层的池化核的大小为2×2,采用最大池化方法,池化的步长为2,得到结果送入第2个卷积层;第2个卷积层使用64个大小为3×3×3的卷积核来进行卷积,得到结果通过非线性激活函数RELU函数送入第2个池化层;第2个池化层与第1个池化层参数相同,得到结果送入第1个全连接层;在进入第1个全连接层前将第2个池化层输出的数据变为一维向量,经过第1个全连接层输出节点数量变为500,并送入第2个全连接层中;数据经过第2个全连接层输出节点数量变为10并送入第3个全连接层中;数据经过第3个全连接层输出一个一维向量,节点数为2;网络的损失函数采用对比损失函数,由正例部分和反例部分组成。
步骤5:将多源图像匹配数据集的训练集数据输入到步骤4得到的多源图像块相似性度量深度卷积网络,采用Adam优化方法对网络进行迭代训练,得到预训练网络模型。
所述的多源图像匹配数据集按如下方法构建得到:给定已有的已逐像素空间对齐后的多源图像数据集,在两幅匹配图像中分别以同一特征点空间坐标为中心截取65×65的图像块,得到匹配图像块,并设其标签为0,记为正样本;在两幅匹配图像中分别以任意不同空间坐标为中心截取65×65的图像块,得到不匹配图像块,并设其标签为1,记为负样本;所有正负样本共同构成多源图像匹配数据集,其中,每组数据包含两个图像块和一个标签;多源图像匹配数据集中的数据按照3:1:1的比例划分为训练集、测试集和验证集。
步骤6:将多源图像匹配数据集的测试集数据中的所有样本标签均设置为0,并输入到步骤5得到的预训练网络模型,每组测试数据得到一个网络输出损失值,以能够最大程度将测试数据集中的正负样本分开的损失值为阈值T;
步骤7:将多源图像块相似性度量深度卷积网络模型中除了全连接层外的所有其他层均固定使用步骤5得到的预训练模型中的参数,并以步骤3得到的匹配图像块数据集为输入,采用Adam优化方法对网络模型进行训练,训练时仅对全连接层的参数进行迭代优化,得到最终的网络模型。
步骤8:以步骤1中的特征点集合P和P′为基础,首先,计算两个集合中各匹配特征点对pi和pi′的尺度比值,并计算所有尺度比值的平均值作为相似尺度值,其中,i=1,…,N;然后,将待配准图像变换到基准图像的这个相似尺度上,并分别以各个特征点的坐标为中心在基准图像和待匹配图像中截取65×65大小的对应图像块,将这些对应图像块分别输入到步骤7得到的最终的网络模型中,如果得到的网络输出损失值小于阈值T,则输入的对应图像块对即为一对匹配的图像块,图像块的中心点坐标即为一对匹配的点对。利用所有匹配点对的坐标,使用最小二乘法计算得到变换矩阵H,利用变换矩阵H将待配准图像变换到基准图像坐标系下,完成图像配准。
步骤1中所述的传统人工设计特征点提取和匹配方法包括SIFT方法、SR-SIFT方法、MOGSIFT方法、SURF方法、MMSURF方法,匹配搜素过程采用K-D Tree加速。
步骤5中所述的已有的多源图像数据集包括:公开数据集OSU、AIC、KAIST,以及各种自建的可见光-热红外、可见光-近红外、可见光-高光谱图像数据集。
本发明的有益效果是:由于采用传统人工设计特征点提取与描述方法初步提取特征点,并采用改进的基于加权图匹配的方法去除其中的错误匹配点对,提高了初始匹配点对的正确性;由于利用初始匹配点对已训练好的多源图像块相似性度量深度网络模型进行再训练,使网络的度量精度更高;由于结合了人工设计特征以及基于深度学习的特征度量,可以更加准确鲁棒得进行多源图像相似特征的提取和度量,获得更多的正确匹配点对数目,变换矩阵计算更加精确,提高图像配准的精度。
具体实施方式
下面结合实施例对本发明进一步说明,本发明包括但不仅限于下述实施例。
本发明提供了一种基于深度学习和人工设计特征相结合的多源图像配准方法,其基本实现过程如下:
1、基于传统特征点提取方法对输入的多源图像对寻找匹配点对
输入多源图像对,分别记为基准图像和待配准图像,采用传统人工设计特征点提取和匹配方法分别对输入图像进行特征点提取和匹配,可用方法有SIFT方法、SR-SIFT方法、MOGSIFT方法、SURF方法、MMSURF方法等,匹配搜素过程采用K-D Tree加速。这些方法均是图像配准领域的经典算法。由此得到初步的特征点集P和P′,其中,P={p1,…,pN}是基准图像的特征点集合,P′={p′1,…,p′N}是待配准图像的特征点集合,两个集合中相同下标的两个元素pi和pi′为一对匹配点,i=1,…,N,N为集合P中的特征点个数。
其中,SIFT方法记录在文献“Lowe DG.Distinctive Image Features fromScale-Invariant Keypoints(SIFT)[J].IJCV,2004,60(2):91-110.”中,SR-SIFT方法记录在文献“Yi Z,Zhiguo C,Yang X.Multi-spectral remote image registration based onSIFT[J].Electronics Letters.2008,44(2):107-108.”中,MOGSIFT方法记录在文献“LvG,Teng SW,Lu G.Enhancing SIFT-based Image Registration Performance byBuilding and Selecting Highly Discriminating Descriptors(MOGSIFT)[J].PatternRecognition Letters.2016,84:156-162.”中,SURF方法记录在文献“Bay H etal.Speeded-Up Robust Features(SURF)[J].Computer Vision&ImageUnderstanding.2008,110(3):346-359.”中,MMSURF方法记录在文献“Zhao D et al.Rapidmultimodality registration based on MM-SURF[J].Neurocomputing.2014,131(131):87-97.”中,K-D Tree加速方法记录在文献“C Silpaanan,R Hartley.Optimised KD-treesfor fast image descriptor matching.IEEE Conference on Computer Vision&PatternRecognition,2008:1-8.”中。
2、利用改进的加权图变换算法去除错误匹配对
由于传统的特征点采用的匹配方式依赖于特征描述的准确性,因此匹配中往往存在错误匹配对,需要采用数据拟合方法剔除其中的错误匹配对,本发明采用了一种改进的加权图变换算法去除错误匹配对。具体为:
步骤2.1:以集合P中的特征点为顶点,当点pi是点pj的邻接点时,则有一条无向边(pi,pj)连接点pi和pj,所述的邻接点需要满足条件:||pi-pj||≤η,η为阈值,Rmedian(·)表示取迭代中位数,pm和pn表示集合P中的任意特征点,||pi-pj||表示点pi和点pj空间上的欧式距离或马氏距离,i和j分别为集合P中特征点的下标,i=1,…,N,j=1,…,N。此处,为了克服特征点存在多簇分布情况带来的影响,采用了迭代中位数,而非中位数。如果点pi和pj满足上述邻接点条件,则认为这两个点间存在相邻边(pi,pj),即(pi,pj)∈Fp,Fp为集合P中特征点间边的集合;反之,如果这两点不满足上述邻接点条件,则认为这两点间不存在边,即
基于上述描述,构造对于集合P中的点构造邻接矩阵A:
对集合P′按上述过程构造得到其邻接矩阵A′和边的集合FP′。
如果集合P中某个特征点上与之相连的无向边个数少于2,则从集合P中删除该特征点,并从集合FP中删除该特征点上的无向边,同时,对应从集合P′中删除与该特征点匹配的点,以及集合FP′中与该特征点匹配的点上的无向边;如果集合P′中某个特征点上与之相连的无向边个数少于2,则从集合P′中删除该特征点,并从集合FP′中删除该特征点上的无向边,同时,对应从集合P中删除与该特征点匹配的点,以及集合FP中与该特征点匹配的点上的无向边。
此时,集合P中剩余特征点构成集合Vp={v1,…,vn},集合P′中剩余特征点构成集合Vp′={v1′,…,vn′},n为集合P中剩余特征点的个数,集合FP中剩余边构成集合EP,集合FP′中剩余边构成集合EP′,集合Vp中的点及其点之间的无向边共同构成中值K邻近图Gp=(Vp,Ep),集合Vp′中的点及其点之间的无向边共同构成中值K邻近图Gp′=(Vp′,Ep′)。
步骤2.2:构造得到权重矩阵W:
W(i,j)表示集合Vp中连接特征点vi和特征点vj的无向边的权值。如果集合Vp中特征点vi和vj之间没有无向边,则W(i,j)=0;否则,按如下公式计算W(i,j)。
其中,vi和vj为集合Vp中的点,vi′和vj′为集合Vp′中的点,表示特征点vi在图像上的坐标向量,表示特征点vj在图像上的坐标向量,表示特征点vKmin在图像上的坐标向量,表示特征点vi′在图像上的坐标向量,表示特征点vj′在图像上的坐标向量,i=1,…,n,j=1,…,n;Rot(·)表示转向率,θ(·)表示求取两个向量间的夹角,用于求解有向边和之间的夹角;kmin(·)函数是为了求取相对于输入点而言最优的旋转角度,该最优旋转角是由另一个特征点来决定,这里用特征点序号Kmin来表示。其计算公式分别如下:
对于集合Vp和Vp′中的对应匹配的点对vi和vi′,如果vi′上的无向边的个数与vi上的无向边的个数的比值小于0.5,则将权重矩阵W中所有不对应的边的权值W(i,l)设为π。所述的不对应的边,是指(vi′,vl′)属于EP′,但(vi,vl)不属于EP的边,i=1,…,n,l=1,…,n。即:
步骤2.3:对Vp中的每个特征点vi,i=1,…,n,按照下式计算其权重:
其中,M为特征点vi上的无向边的个数,median(·)表示取中位数。
找到所有特征点的权重最大值ωmax,并从集合Vp中删除权重最大值ωmax对应的特征点,同时从集合Vp′中删除与该特征点匹配的点。
然后,计算剩余所有特征点权重的均值μ,如果ωmax<π且|μ-μold|<ε,则此时的特征点集合Vp和Vp′即为最终的特征点集合;否则,令μold=μ,以此时的特征点集合Vp和Vp′作为初始特征点集合P和P′,返回步骤2.1;其中,μold的初始值为2π,阈值ε=0.001。
每一次迭代都将会有一个外点及其对应点被移除出匹配点集,这个过程将使得μ逐渐减小,一旦所有的外点都被去除,算法将找到内点中最“坏”的点并认为它为外点,此时的μ改变的值将很小,满足停止迭代条件。
3、利用初始匹配点集构造得到匹配图像块数据集
由于输入的图像对之间可能存在较大的尺度差异,如果直接从基准图像和待配准图像上截取图像块,则所截取的两个图像块并不是空间上匹配的。因此,需要首先估计基准图像和待配准图像间的尺度变化,将待配准图像缩放到与基准图像近似尺度上,再进行图像块的截取,才能得到匹配图像块。
由于采用传统人工设计特征点提取方法进行特征点提取时,包含了特征点的尺度信息。因此,以步骤2得到的最终特征点集合Vp和Vp′为基础,首先,计算两个集合中各匹配特征点对vi和vi′的尺度比值,并计算所有尺度比值的平均值作为尺度变换的估计值,即相似尺度值,其中,i=1,…,n1,n1为特征点集合Vp中最终剩余的特征点个数;然后,将待配准图像变换到基准图像的这个相似尺度上,并分别以各个特征点的坐标为中心分别在基准图像和待配准图像中截取65×65大小的匹配图像块,所有匹配图像块构成匹配图像块数据集,这个数据集用于对后面的多源图像块相似性度量深度卷积网络模型进行微调。
4、构建基于深度卷积网络的多源图像块相似性度量模型
本发明方法,借鉴Siamese网络思想,构建多源图像块相似性度量深度卷积网络模型。该网络包括2层卷积层、2层池化层和3层全连接层,损失函数为对比损失函数。考虑到不同源图像在灰度分布和纹理方面差异较大,与Siamese网络不同,该网络的两个网络分支的权值是不共享的,每个分支代表不同的特征提取过程。具体网络结构为:
第1个卷积层使用32个大小为3×3×3的卷积核来进行卷积,得到的结果通过非线性激活函数RELU后送入第1个池化层;第1个池化层的池化核的大小为2×2,采用最大池化方法,池化的步长为2,得到结果送入第2个卷积层;第2个卷积层使用64个大小为3×3×3的卷积核来进行卷积,得到结果通过非线性激活函数RELU函数送入第2个池化层;第2个池化层与第1个池化层参数相同,得到结果送入第1个全连接层;在进入第1个全连接层前将第2个池化层输出的数据变为一维向量,经过第1个全连接层输出节点数量变为500,并送入第2个全连接层中;数据经过第2个全连接层输出节点数量变为10并送入第3个全连接层中;数据经过第3个全连接层输出一个一维向量,节点数为2;网络的损失函数采用对比损失函数,由正例部分和反例部分组成。
5、使用自建多源匹配图像数据集对网络进行预训练
首先,基于已有的多源图像数据集构建多源匹配图像数据集,已有的多源图像数据集包括OSU、AIC、KAIST等公开多源图像数据集,以及各种自建的可见光-热红外,可见光-近红外,可见光-高光谱图像数据集合。由于已有多源图像数据集中对应的多源图像均已逐像素空间对齐,因此,构建的数据集中的每一组数据包含两幅图像块和一个标签,如果这两个图像块分别是由一对匹配点为中心截取的65×65大小得到的图像块,则其标签为0,为正样本;反之,如果这两个图像块是由一对不匹配的点为中心截取的65×65大小得到的图像块,则其标签为1,为负样本。并将构建的数据集按照3:1:1的比例将其分成训练集、测试集和验证集。
将训练集数据输入前面构建的多源图像块相似性度量深度卷积网络模型,采用Adam优化方法对网络进行迭代训练,得到训练后的模型参数,称为预训练模型。
其中,公开多源图像数据集OSU记录在文献“Conaire C O,Cooke E,Connor O N,et al.Background modeling infrared and visible spectrum video for peopletracking[C].IEEE Computer Society Conference onComputer Vision and PatternRecognition-Workshops,2005:20-20.”中,AIC记录在文献“Leykin A,Hammoud R.Robustmulti-pedestrian tracking in thermal-visible surveillance videos.IEEEConference on Computer Vision and Pattern Recognition Workshops[C],2006,0:136.”中,KAIST记录在文献“Soonmin H,Jaesik P,Namil K,et al.MultispectralPedestrian Detection:Benchmark Dataset and Baseline,Computer Vision&PatternRecognition,2015:1037-1045.”中。
6、基于测试数据集,计算最佳分类阈值T
在测试阶段,将测试集中的数据样本标签都设置为0,仅考虑对比损失函数中的正例损失部分,即两个输入图像在特征空间中的相似性。并将测试样本输入到预训练模型中。这种情况下,标签原本为0的测试数据,在通过预训练模型时,输出的损失普遍都会很小;而标签原本为1的测试数据,强制把其标签设为0,则通过预训练模型输出的损失将会普遍很大。因此,通过预训练模型输出的损失,可以将两类标签不同的测试数据显著区别开来。对于每组测试数据将得到一个网络输出损失值,在此基础上,以最大程度上将测试数据集中的正负样本区分开来的损失值即作为阈值T。阈值T的求取可看作一维数据的二分类问题,阈值T即为最佳的分界点,可以利用逻辑回归算法计算得到。
7、网络微调
由于多源图像数据量相对较少,模态间差异也常随时间发生变化,使用预训练模型对实际问题的图像进行配准时,难以取得很满意效果,需要对预训练模型进行微调工作。微调操作可以使网络模型更加适用于当前问题,微调也是深度神经网络模型在实际应用时的常用步骤。此处的做法是:多源图像块相似性度量深度卷积网络模型中除了全连接层外的所有层都固定使用步骤5得到的预训练模型中对应层的参数,并以步骤3得到的匹配图像块数据集为输入,使用Adam优化方法对网络模型进行训练,训练时仅仅对全连接层的参数进行迭代优化,完成微调工作,从而得到最终的相似性度量模型。
8、计算变换矩阵并完成图像配准
以步骤1中的特征点集合P和P′为基础,首先,计算两个集合中各匹配特征点对pi和pi′的尺度比值,并计算所有尺度比值的平均值作为尺度变换的估计值,即相似尺度值,其中,i=1,…,N;然后,将待配准图像变换到基准图像的这个相似尺度上,并分别以各个特征点的坐标为中心在基准图像和待匹配图像中截取65×65大小的对应图像块,将这些对应图像块分别输入到步骤7得到的最终的网络模型中,如果得到的网络输出损失值小于阈值T,则输入的对应图像块对即为一对匹配的图像块,图像块的中心点坐标即为一对匹配的点对,记录图像块的中心点坐标,并使用这些坐标使用最小二乘法计算得到变换矩阵H,待配准图像通过变换矩阵H的变换得到一个新的图像,即将待配准图像变换到与基准图像在同一坐标系下,从而完成图像配准。
Claims (3)
1.一种基于深度学习和人工设计特征相结合的多源图像配准方法,其特征在于步骤如下:
步骤1:输入多源图像对,分别记为基准图像和待配准图像,采用传统人工设计特征点提取和匹配方法,分别对输入图像进行特征点提取和匹配,得到初步的特征点集P和P′,其中,P={p1,…,pN}是基准图像的特征点集合,P′={p′1,…,p′N}是待配准图像的特征点集合,两个集合中相同下标的两个元素pi和pi′为一对匹配点,i=1,…,N,N为集合P中的特征点个数;
步骤2:采用改进的加权图变换算法去除错误匹配点对,具体为:
步骤2.1:以集合P中的特征点为顶点,当点pi是点pj的邻接特征点时,则有一条无向边(pi,pj)连接点pi和pj,同时令邻接矩阵A中的元素A(i,j)=1;否则,点pi和点pj之间不存在无向边,并令邻接矩阵A中的元素A(i,j)=0,其中,i=1,…,N,j=1,…,N,所有连接邻接特征点之间的无向边共同构成边的集合FP;所述的邻接特征点需要满足条件:||pi-pj||≤η,η为阈值,Rmedian(·)表示取迭代中位数,pm和pn表示集合P中的任意特征点,||pi-pj||表示点pi和点pj空间上的欧式距离或马氏距离;
对集合P′按此步骤上述过程构造得到其邻接矩阵A′和边的集合FP′;
如果集合P中某个特征点上与之相连的无向边个数少于2,则从集合P中删除该特征点,并从集合FP中删除该特征点上的无向边,同时,对应从集合P′中删除与该特征点匹配的点,以及集合FP′中与该特征点匹配的点上的无向边;如果集合P′中某个特征点上与之相连的无向边个数少于2,则从集合P′中删除该特征点,并从集合FP′中删除该特征点上的无向边,同时,对应从集合P中删除与该特征点匹配的点,以及集合FP中与该特征点匹配的点上的无向边;此时,集合P中剩余特征点构成集合Vp={v1,…,vn},集合P′中剩余特征点构成集合Vp′={v1′,…,vn′},n为集合P中剩余特征点的个数,集合FP中剩余边构成集合EP,集合FP′中剩余边构成集合EP′,集合Vp中的点及其点之间的无向边共同构成中值K邻近图Gp=(Vp,Ep),集合Vp′中的点及其点之间的无向边共同构成中值K邻近图Gp′=(Vp′,Ep′);
步骤2.2:构造得到权重矩阵W,如果集合Vp中特征点vi和vj之间没有无向边,则W(i,j)=0,否则:
其中,W(i,j)表示集合Vp中连接特征点vi和特征点vj的无向边的权值,vi和vj为集合Vp中的点,vi′和vj′为集合Vp′中的点,表示特征点vi在图像上的坐标向量,表示特征点vj在图像上的坐标向量,表示特征点在图像上的坐标向量,表示特征点vi′在图像上的坐标向量,表示特征点vj′在图像上的坐标向量,i=1,…,n,j=1,…,n;Rot(·)表示转向率,θ(·)表示求取两个向量间的夹角,其计算公式分别如下:
其中,(vi,vK)表示集合EP中连接点vi和vK的无向边,(vi,vj)表示集合EP中连接点vi和vj的无向边;
然后,对于集合Vp和Vp′中的对应匹配的点对vi和vi′,如果vi′上的无向边的个数与vi上的无向边的个数的比值小于0.5,则将权重矩阵W中所有不对应的边的权值W(i,l)设为π,所述的不对应的边,是指(vi′,vl′)属于EP′,但(vi,vl)不属于EP的边,i=1,…,n,l=1,…,n;
步骤2.3:对Vp中的每个特征点vi,i=1,…,n,按照下式计算其权重:
其中,M为特征点vi上的无向边的个数,median(·)表示取中位数;
找到所有特征点的权重最大值ωmax,并从集合Vp中删除权重最大值ωmax对应的特征点,同时从集合Vp′中删除与该特征点匹配的点;
然后,计算剩余所有特征点权重的均值μ,如果ωmax<π且|μ-μold|<ε,则此时的特征点集合Vp和Vp′即为最终的特征点集合;否则,令μold=μ,以此时的特征点集合Vp和Vp′作为初始特征点集合P和P′,返回步骤2.1;其中,μold的初始值为2π,阈值ε=0.001;
步骤3:以步骤2得到的最终特征点集合Vp和Vp′为基础,首先,计算两个集合中各匹配特征点对vi和vi′的尺度比值,并计算所有尺度比值的平均值作为相似尺度值,其中,i=1,…,n1,n1为特征点集合Vp中最终剩余的特征点个数;然后,将待配准图像变换到基准图像的这个相似尺度上,并分别以各个特征点的坐标为中心分别在基准图像和待配准图像中截取65×65大小的匹配图像块,所有匹配图像块构成匹配图像块数据集;
步骤4:构建多源图像块相似性度量深度卷积网络模型,该网络包括2层卷积层、2层池化层和3层全连接层,具体网络结构为:第1个卷积层使用32个大小为3×3×3的卷积核来进行卷积,得到的结果通过非线性激活函数RELU后送入第1个池化层;第1个池化层的池化核的大小为2×2,采用最大池化方法,池化的步长为2,得到结果送入第2个卷积层;第2个卷积层使用64个大小为3×3×3的卷积核来进行卷积,得到结果通过非线性激活函数RELU函数送入第2个池化层;第2个池化层与第1个池化层参数相同,得到结果送入第1个全连接层;在进入第1个全连接层前将第2个池化层输出的数据变为一维向量,经过第1个全连接层输出节点数量变为500,并送入第2个全连接层中;数据经过第2个全连接层输出节点数量变为10并送入第3个全连接层中;数据经过第3个全连接层输出一个一维向量,节点数为2;网络的损失函数采用对比损失函数,由正例部分和反例部分组成;
步骤5:将多源图像匹配数据集的训练集数据输入到步骤4得到的多源图像块相似性度量深度卷积网络,采用Adam优化方法对网络进行迭代训练,得到预训练网络模型;
所述的多源图像匹配数据集按如下方法构建得到:给定已有的已逐像素空间对齐后的多源图像数据集,在两幅匹配图像中分别以同一特征点空间坐标为中心截取65×65的图像块,得到匹配图像块,并设其标签为0,记为正样本;在两幅匹配图像中分别以任意不同空间坐标为中心截取65×65的图像块,得到不匹配图像块,并设其标签为1,记为负样本;所有正负样本共同构成多源图像匹配数据集,其中,每组数据包含两个图像块和一个标签;多源图像匹配数据集中的数据按照3:1:1的比例划分为训练集、测试集和验证集;
步骤6:将多源图像匹配数据集的测试集数据中的所有样本标签均设置为0,并输入到步骤5得到的预训练网络模型,每组测试数据得到一个网络输出损失值,以能够最大程度将测试数据集中的正负样本分开的损失值为阈值T;
步骤7:将多源图像块相似性度量深度卷积网络模型中除了全连接层外的所有其他层均固定使用步骤5得到的预训练模型中的参数,并以步骤3得到的匹配图像块数据集为输入,采用Adam优化方法对网络模型进行训练,训练时仅对全连接层的参数进行迭代优化,得到最终的网络模型;
步骤8:以步骤1中的特征点集合P和P′为基础,首先,计算两个集合中各匹配特征点对pi和pi′的尺度比值,并计算所有尺度比值的平均值作为相似尺度值,其中,i=1,…,N;然后,将待配准图像变换到基准图像的这个相似尺度上,并分别以各个特征点的坐标为中心在基准图像和待匹配图像中截取65×65大小的对应图像块,将这些对应图像块分别输入到步骤7得到的最终的网络模型中,如果得到的网络输出损失值小于阈值T,则输入的对应图像块对即为一对匹配的图像块,图像块的中心点坐标即为一对匹配的点对;利用所有匹配点对的坐标,使用最小二乘法计算得到变换矩阵H,利用变换矩阵H将待配准图像变换到基准图像坐标系下,完成图像配准。
2.如权利要求1所述的一种基于深度学习和人工设计特征相结合的多源图像配准方法,其特征在于步骤1中所述的传统人工设计特征点提取和匹配方法包括SIFT方法、SR-SIFT方法、MOGSIFT方法、SURF方法、MMSURF方法,匹配搜素过程采用K-D Tree加速。
3.如权利要求1或2所述的一种基于深度学习和人工设计特征相结合的多源图像配准方法,其特征在于步骤5中所述的已有的多源图像数据集包括:公开数据集OSU、AIC、KAIST,以及各种自建的可见光-热红外、可见光-近红外、可见光-高光谱图像数据集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810754359.6A CN109064502B (zh) | 2018-07-11 | 2018-07-11 | 基于深度学习和人工设计特征相结合的多源图像配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810754359.6A CN109064502B (zh) | 2018-07-11 | 2018-07-11 | 基于深度学习和人工设计特征相结合的多源图像配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109064502A CN109064502A (zh) | 2018-12-21 |
CN109064502B true CN109064502B (zh) | 2021-10-22 |
Family
ID=64815807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810754359.6A Active CN109064502B (zh) | 2018-07-11 | 2018-07-11 | 基于深度学习和人工设计特征相结合的多源图像配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109064502B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163244A (zh) * | 2019-04-04 | 2019-08-23 | 睿视智觉(厦门)科技有限公司 | 一种瓷砖纹理分类方法和装置 |
CN110148162B (zh) * | 2019-04-29 | 2022-09-02 | 河海大学 | 一种基于复合算子的异源图像匹配方法 |
CN110929748A (zh) * | 2019-10-12 | 2020-03-27 | 杭州电子科技大学 | 一种基于深度学习的运动模糊图像特征匹配方法 |
CN110837861B (zh) * | 2019-11-06 | 2022-11-29 | 亮风台(上海)信息科技有限公司 | 一种图像匹配方法、装置、设备和存储介质 |
CN111260621B (zh) * | 2020-01-14 | 2023-05-09 | 湖南大学 | 一种印制电路板表面缺陷定位与识别方法 |
CN111369601B (zh) * | 2020-02-12 | 2023-04-07 | 西北工业大学 | 一种基于孪生网络的遥感图像配准方法 |
CN111291887B (zh) * | 2020-03-06 | 2023-11-10 | 北京迈格威科技有限公司 | 神经网络的训练方法、图像识别方法、装置及电子设备 |
CN111932593B (zh) * | 2020-07-21 | 2024-04-09 | 湖南中联重科智能技术有限公司 | 基于触摸屏手势校正的图像配准方法、系统及设备 |
CN111882593B (zh) * | 2020-07-23 | 2022-06-17 | 首都师范大学 | 结合注意力机制及三维图卷积网络的点云配准模型及方法 |
CN112164100B (zh) * | 2020-09-25 | 2023-12-12 | 闽江学院 | 一种基于图卷积神经网络的图像配准方法 |
CN112598718B (zh) * | 2020-12-31 | 2022-07-12 | 北京深睿博联科技有限责任公司 | 一种无监督多视角多模态智能眼镜图像配准方法及装置 |
CN113298854B (zh) * | 2021-05-27 | 2022-02-01 | 广州柏视医疗科技有限公司 | 基于标记点的图像配准方法 |
CN113587816A (zh) * | 2021-08-04 | 2021-11-02 | 天津微深联创科技有限公司 | 一种阵列式大场景结构光三维扫描测量方法及其装置 |
CN114565511B (zh) * | 2022-02-28 | 2024-05-21 | 西安交通大学 | 基于全局单应性估计的轻量级图像配准方法、系统及装置 |
CN115410088B (zh) * | 2022-10-10 | 2023-10-31 | 中国矿业大学 | 一种基于虚拟分类器的高光谱图像领域自适应方法 |
CN115690178A (zh) * | 2022-10-21 | 2023-02-03 | 上海精劢医疗科技有限公司 | 基于深度学习的跨模块非刚体配准方法、系统及介质 |
CN116363382B (zh) * | 2023-02-14 | 2024-02-23 | 长春理工大学 | 一种双波段图像特征点搜索与匹配方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514606A (zh) * | 2013-10-14 | 2014-01-15 | 武汉大学 | 一种异源遥感影像配准方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101697512B1 (ko) * | 2011-12-15 | 2017-01-19 | 한국전자통신연구원 | 영상 정합 장치 및 방법 |
KR102294734B1 (ko) * | 2014-09-30 | 2021-08-30 | 삼성전자주식회사 | 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치 |
US10235606B2 (en) * | 2015-07-22 | 2019-03-19 | Siemens Healthcare Gmbh | Method and system for convolutional neural network regression based 2D/3D image registration |
CN105809693B (zh) * | 2016-03-10 | 2018-11-16 | 西安电子科技大学 | 基于深度神经网络的sar图像配准方法 |
CN106447704B (zh) * | 2016-10-13 | 2019-04-19 | 西北工业大学 | 基于显著区域特征和边缘度的可见光-红外图像配准方法 |
CN106920215B (zh) * | 2017-03-06 | 2020-03-27 | 长沙全度影像科技有限公司 | 一种全景图像配准效果的检测方法 |
CN107590831B (zh) * | 2017-08-30 | 2021-02-05 | 电子科技大学 | 一种基于深度学习的立体匹配方法 |
CN107798697A (zh) * | 2017-10-26 | 2018-03-13 | 中国科学院深圳先进技术研究院 | 一种基于卷积神经网络的医学图像配准方法、系统及电子设备 |
-
2018
- 2018-07-11 CN CN201810754359.6A patent/CN109064502B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514606A (zh) * | 2013-10-14 | 2014-01-15 | 武汉大学 | 一种异源遥感影像配准方法 |
Non-Patent Citations (2)
Title |
---|
Deformable Image Registration Using a Cue-Aware Deep Regression Network;Xiaohuan C.等;《IEEE Transactions on Biomedical Engineering》;20180404;第1900-1911页 * |
Robust Weighted Graph Transformation Matching for Rigid and Nonrigid Image Registration;Mohammad I.等;《IEEE Transactions on Image Processing》;20120716;第4369-4382页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109064502A (zh) | 2018-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109064502B (zh) | 基于深度学习和人工设计特征相结合的多源图像配准方法 | |
CN108960140B (zh) | 基于多区域特征提取和融合的行人再识别方法 | |
CN110097093B (zh) | 一种异源图像精确匹配方法 | |
CN108388896B (zh) | 一种基于动态时序卷积神经网络的车牌识别方法 | |
CN105740899B (zh) | 一种机器视觉图像特征点检测与匹配复合的优化方法 | |
CN109711366B (zh) | 一种基于群组信息损失函数的行人重识别方法 | |
CN109784223B (zh) | 一种基于卷积神经网络的多时相遥感影像匹配方法及系统 | |
WO2022028031A1 (zh) | 一种轮廓形状识别方法 | |
CN104090972A (zh) | 用于三维城市模型检索的图像特征提取和相似性度量方法 | |
CN111126412B (zh) | 基于特征金字塔网络的图像关键点检测方法 | |
CN107862319B (zh) | 一种基于邻域投票的异源高分光学影像匹配误差剔除方法 | |
CN108550166B (zh) | 一种空间目标图像匹配方法 | |
CN110490915B (zh) | 一种基于卷积受限玻尔兹曼机的点云配准方法 | |
CN110516533B (zh) | 一种基于深度度量的行人再辨识方法 | |
WO2022237225A1 (zh) | 针对具有平面基准但不完整的三维扫描点云的在线实时配准方法 | |
CN111369601B (zh) | 一种基于孪生网络的遥感图像配准方法 | |
CN112084895B (zh) | 一种基于深度学习的行人重识别方法 | |
CN114358166B (zh) | 一种基于自适应k均值聚类的多目标定位方法 | |
CN107292268A (zh) | 快速脊波反卷积结构学习模型的sar图像语义分割方法 | |
CN113128518B (zh) | 基于孪生卷积网络和特征混合的sift误匹配检测方法 | |
CN114332172A (zh) | 一种基于协方差矩阵改进的激光点云配准方法 | |
CN116703895B (zh) | 基于生成对抗网络的小样本3d视觉检测方法及其系统 | |
CN114463425A (zh) | 一种基于概率Hough直线检测的工件表面无特征点定位方法 | |
CN117036429A (zh) | 一种用于光伏缺陷检测的红外-可见光异源图像配准方法 | |
CN117079272A (zh) | 一种结合手工特征和学习特征的弹底窝痕特征识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |