CN113592923A - 一种基于深度局部特征匹配的批图像配准方法 - Google Patents

一种基于深度局部特征匹配的批图像配准方法 Download PDF

Info

Publication number
CN113592923A
CN113592923A CN202110734205.2A CN202110734205A CN113592923A CN 113592923 A CN113592923 A CN 113592923A CN 202110734205 A CN202110734205 A CN 202110734205A CN 113592923 A CN113592923 A CN 113592923A
Authority
CN
China
Prior art keywords
image
matching
matrix
batch
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110734205.2A
Other languages
English (en)
Other versions
CN113592923B (zh
Inventor
沈然
张宏达
胡若云
郑斌
丁麒
徐润
汪一帆
王庆娟
金良峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Zhejiang Electric Power Co Ltd
Marketing Service Center of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
State Grid Zhejiang Electric Power Co Ltd
Marketing Service Center of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Zhejiang Electric Power Co Ltd, Marketing Service Center of State Grid Zhejiang Electric Power Co Ltd filed Critical State Grid Zhejiang Electric Power Co Ltd
Priority to CN202110734205.2A priority Critical patent/CN113592923B/zh
Publication of CN113592923A publication Critical patent/CN113592923A/zh
Application granted granted Critical
Publication of CN113592923B publication Critical patent/CN113592923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度局部特征匹配的批图像配准方法,包括以下步骤:步骤S1、建立图像校准模型,通过对图像校准模型的训练得到一批校准后图像;步骤S2、通过图像配准评估方法为该批次图像打分,并选择超过阈值的最好图像作为模板辅助精确校准过程;步骤S3、计算模板图像和待配准图像若干深度特征点之间的匹配关系;步骤S4、通过RANSAC检验并排除错误匹配点,并得到两幅对应图像之间的仿射变换关系矩阵;步骤S5、通过相对位姿变换关系得到配准后图像,进行图像增强处理后输出校准结果。对批数据的配准需求,我们将图像匹配方案与图像矫正结合,通过一种判断矫正质量的方案自适应进行两个阶段的匹配,并获得较好的匹配效果。

Description

一种基于深度局部特征匹配的批图像配准方法
技术领域
本发明涉及图像处理技术领域,具体的,涉及一种基于深度局部特征匹配的批图像配准方法。
背景技术
随着信息化和数字化浪潮推进,无纸化办公已经成为社会的新常态。越来越多的文件和表格以电子图像的形式被扫描和处理,既节约了办公成本,提高了办公效率,又推进了环保事业的发展。在数字化办公方式与传统办公方式承接的当下,亟需一批能够在数字图像与格式化存储文档之间转化的光学字符识别(OCR)工具进行纸质文档自动化识别录入。为了提高OCR工具的准确率,图像校正等技术被广泛地应用于该领域。图像校正是指对失真图像进行的复原性处理。引起图像失真的原因有:成像系统的象差、畸变、带宽有限等造成的图像失真;由于成像器件拍摄姿态和扫描非线性引起的图像几何失真;由于运动模糊、辐射失真、引入噪声等造成的图像失真。其中对OCR效果影响最大的是拍摄时相机状态不同造成的图像畸变。
图像校正主要分为两类:几何校正和灰度校正。图像几何校正的思路是通过一些已知的参考点,即无失真图像的某些象素点和畸变图像相应像素的坐标间对应关系,拟合出映射关系中的未知系数,并作为恢复其它象素的基础;灰度校正则根据图像不同失真情况以及所需的不同图像特征可以采用不同的修正方法,其主要有以下三类:灰度级校正,灰度变换,直方图修正;图像匹配(Image matching)是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配的过程,匹配后图像可以进一步用于图像配准等过程。基于特征的图像匹配技术的流程如下:首先对两幅图像进行特征提取;通过进行相似性度量找到匹配的特征对;然后通过匹配的特征对得到图像空间坐标变换参数;最后由坐标变换参数进行图像匹配。其中特征提取是匹配技术中的关键,准确的特征提取为特征匹配的成功进行提供了保障。因此,寻求具有良好不变性和准确性的特征提取方法,对于匹配精度至关重要。
由于传统图像矫正方法对数据要求较高,在很多情况下,实际应用场景中图像存在边缘缺失、质量较差、模糊等情况,使基于边缘检测和角点定位的图像矫正效果较差。在实际应用中,因为目标图像种类多样,需要在矫正前通过先验知识设计特定模式,才能够得到较好的矫正效果。当待矫正图像关键区域缺失时,大多数基于图像模板、边缘等二阶信息丢失较多,传统方案在部分数据上难以取得较好的矫正效果。当前,图像匹配的主流方案都是基于特征点的匹配。其中,以SIFT、SURF、ORB特征为主的非深度学习特征在工业上有较为广泛的应用。近年来,随着深度学习的发展,一批基于深度学习的特征点检测和描述子逐渐成熟,在性能上超越了所有非深度学习特征方案。但是这些方案主要关注了图像块级别的匹配关系,没有利用图像级别的先验对误匹配对进行消除。
发明内容
本发明的目的是针对传统图像校正方法无法处理校正目标边缘缺失、图像质量较差、图像方向与校正后的实际正确方向相差较大等缺点,提出一种基于深度局部特征匹配的批图像配准方法,针对批数据的配准需求,将图像匹配方案与图像矫正结合,通过一种判断矫正质量的方案自适应进行两个阶段的匹配,并获得较好的匹配效果。
为实现上述技术目的,本发明提供的一种技术方案是,一种基于深度局部特征匹配的批图像配准方法,包括以下步骤:
步骤S1、建立图像校准模型,通过对图像校准模型的训练得到一批校准后图像;
步骤S2、通过图像配准评估方法为该批次图像打分,并选择超过阈值的最好图像作为模板辅助精确校准过程;
步骤S3、再次通过图像校准模型对模板图像和待配准图像进行深度特征提取及匹配网络匹配,计算若干深度特征点之间的匹配关系;
步骤S4、通过RANSAC检验并排除错误匹配点,并得到两幅对应图像之间的仿射变换关系矩阵;
步骤S5、通过相对位姿变换关系得到配准后图像,进行图像增强处理后输出校准结果。
本方案中,本发明中的图像校正特指图像的几何校正,几何校正的基本方法是:建立几何校正的数学模型;其次利用已知条件确定模型参数;根据模型对图像进行几何校正。对于传统的纸张几何校正技术,首先通过Canny等基于图像二阶信息的滤波算子得到图像的梯度信息,辅之以高斯滤波提取去除噪声后的边界信息,其中通过改变高斯滤波核的大小可以得到不同尺度的边缘信息,接着通过膨胀腐蚀算法得到较为鲁棒的边缘信息,进一步去除独立与图像主体部分的孤立噪点;最后通过寻找最外轮廓的边缘位置与标准位置差确定图像畸变,并通过对即便图像使用逆投影变换得到原图。
作为优选,建立图像校准模型之前,需要构造仿射变换数据集作为图像校准模型的训练数据集;构造仿射变换数据集步骤如下:
将一张图像的四个角点
Figure BDA0003140942490000021
随机平移若干像素,得到四个新的角点
Figure BDA0003140942490000022
模拟随机透视变换后的图像角点:
ph(xi,yi)=(xi+N(0,1)*T,yi+N(0,1)*T)
其中N(0,1)为均值为0,方差为1的正态分布;根据仿射变换原理求解原图和仿射变换后图像的单应性变换矩阵H:
ph(xi,yi)=H*p(xi,yi)
记录仿射变换关系,并保存增强后图像。
作为优选,图像校准模型的训练包括以下步骤:
使用baseline方法提取图像特征,预处理训练数据集并得到点对点之间的匹配关系;将稀疏特征提取模型记作M,输入图像I,并将提取到的稀疏特征集合记作F,其中:F=M(I);
采用多层图神经网络抽取匹配关系;
通过可导Pooling算子,在子图上进行信息聚合,提取高层特征;
通过构建两幅图所有特征点之间相似度矩阵S,并构造传输代价矩阵C;将代价矩阵通过Sinkhorn算法求解,得到概率分配矩阵P;记录相似度矩阵P中所有既是所在行最大值,又是所在列最大值,且超过匹配概率阈值t的点对应的行列序号对(i,j),(i,j)即为两幅图上的预测匹配关系。
作为优选,采用多层图神经网络抽取匹配关系包括步骤如下:
首先使用编码器Ep对每个稀疏特征点f进行编码,得到位置特征fkenc,并得到该点的新特征fmix
其中:fkenc=Ep(f)
fmix=fkenc+f
根据encoder编码位置关系,将带有位置编码信息的特征通过多层GNN进行信息聚合;采用数据库查询机制对第l层特征Ol进行编码,设定O0=fmix,有:
attn_output(Ol)=Attention(MqOl,MkOl,MvOl)
其中,Mq、Mk、Mv分别代表可学习的查询参数、关键词参数、值参数。
作为优选,Attention函数的计算公式如下:
Figure BDA0003140942490000031
dk表示特征维度;对Attention编码后的特征施加非线性变化层MLP,有:
SubLayer(Ol)=MLP(attn_output(Ol))
第l+1层的编码特征Ol+1表示为前一公式和上一层编码的残差和形式,有:
Ol+1=Ol+SubLayer(Ol)。
作为优选,提取高层特征包括如下步骤:
设计一个可学习的原图与子图之间的池化矩阵,得到原图特征矩阵F和子图特征矩阵Fsubgraph之间的关系:Fsubgraph=Massignment*F;
其中,Fsubgraph为m*d维矩阵表示m个维度为d的子图上所有节点特征;Massignment为n*m维的可导分配矩阵,该分配矩阵将n个点的原始特征压缩为m个点的子图特征,在高层特征Osubgraph表示上进行特征关系提取和表示;
将子图特征通过Massignment T进行Unpooling操作,得到与原图节点数对齐的子图特征,该特征与原图特征O相加得到融合特征Omix
Omix=Massignment T*Osubgraph+O
其中O为n*d维矩阵,表示n个维度为d的原图上所有节点特征。
作为优选,步骤S2包括如下步骤:
步骤S21、获取图像二阶信息;使用Canny算子计算图像边缘,使用二维高斯函数h(x,y,σ)对图像进行去噪处理;
步骤S22、获取图像轮廓和边缘;使用OpenCV库函数findContours获取边缘图像的轮廓线,使用膨胀腐蚀去除噪点和不完整的轮廓,使用霍夫变换算法从轮廓图中获取边缘直线;
步骤S23、获取角点位置并求解透视变换矩阵;求所有由霍夫变换获得的直线交点,并通过KMeans算法聚类获得四个角点簇;通过取每个簇横纵坐标的中位数,获得估计的角点位置;联立原点、预设置的矫正后角点位置和透视变换矩阵形成的方程解出变换矩阵;
步骤S24、通过角点簇的性质评估图像矫正质量。
作为优选,步骤S4包括如下步骤:
通过RANSAC对上一步所有输出的匹配对进行检验,求解内点最多的仿射变换矩阵T;通过求解T的逆矩阵T得到由待匹配图像到模板图像的矫正策略;对于待匹配图像中的任意一点的齐次坐标表示pij,其在矫正后图像中的位置p′ij为:
Figure BDA0003140942490000042
作为优选,二维高斯函数h(x,y,σ)表示如下:
Figure BDA0003140942490000041
其中σ为方差大小,令f(x,y)为去噪前图像,g(x,y)为去噪后图像,去噪过程可表示为:
g(x,y)=h(x,y,σ)*f(x,y)
其中*为卷积操作。
本发明的有益效果:
1)本发明在克服传统图像校准算法可扩展性较小,仅能检测部分纸张或表格图像的缺点,将校正任务拓展到任意图案、标志上来,扩展了图像校正的适用范围;
2)本发明通过深度局部特征匹配辅助传统图像校正方法,充分挖掘除了边缘信息之外的大部分尚未被传统校准方法利用到的图像信息,使校正能够成功应用到残缺图像、低质量图像和大尺度旋转缩放图像上来;
3)实验证明,与传统方法相比,本发明在提供的一批任意旋转角度和质量的待校正图像数据上能够达到较高的校正成功率;有利于提高复杂用例和未知环境下的图像校正任务的成功率;
附图说明
图1为本发明的一种基于深度局部特征匹配的批图像配准方法流程图。
图2为本发明的一种基于深度局部特征匹配的批图像配准方法的原理示意图。
具体实施方式
为使本发明的目的、技术方案以及优点更加清楚明白,下面结合附图和实施例对本发明作进一步详细说明,应当理解的是,此处所描述的具体实施方式仅是本发明的一种最佳实施例,仅用以解释本发明,并不限定本发明的保护范围,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例:如图1所示,一种基于深度局部特征匹配的批图像配准方法,包括以下步骤:
步骤S1、建立图像校准模型,通过对图像校准模型的训练得到一批校准后图像;
建立图像校准模型之前,需要构造仿射变换数据集作为图像校准模型的训练数据集;构造仿射变换数据集步骤如下:
将一张图像的四个角点
Figure BDA0003140942490000051
随机平移若干像素,得到四个新的角点
Figure BDA0003140942490000052
模拟随机透视变换后的图像角点:
ph(xi,yi)=(xi+N(0,1)*T,yi+N(0,1)*T)
其中N(0,1)为均值为0,方差为1的正态分布;根据仿射变换原理求解原图和仿射变换后图像的单应性变换矩阵H:
ph(xi,yi)=H*p(xi,yi)
记录仿射变换关系,并保存增强后图像。
图像校准模型的训练包括以下步骤:
使用baseline方法提取图像特征,预处理训练数据集并得到点对点之间的匹配关系;将稀疏特征提取模型记作M,输入图像I,并将提取到的稀疏特征集合记作F,每一个特征fi∈F,并记录其位置ci,其中:F=M(I)。
采用多层图神经网络抽取匹配关系,包括如下步骤:
首先使用编码器Ep对每个稀疏特征点f进行编码,得到位置特征fkenc,并得到该点的新特征fmix
其中:fkenc=Ep(f),fmix=fkenc+f
根据encoder编码位置关系,将带有位置编码信息的特征通过多层GNN进行信息聚合;采用数据库查询机制对第l层特征Ol进行编码,设定O0=fmix,有:
attn_output(Ol)=Attention(MqOl,MkOl,MvOl)
其中,Mq、Mk、Mv分别代表可学习的查询参数、关键词参数、值参数。
Attention函数的计算公式如下:
Figure BDA0003140942490000061
dk表示特征维度;对Attention编码后的特征施加非线性变化层MLP,有:
SubLayer(Ol)=MLP(attn_output(Ol))
第l+1层的编码特征Ol+1表示为前一公式和上一层编码的残差和形式,有:
Ol+1=Ol+SubLayer(Ol)。
通过可导Pooling算子,在子图上进行信息聚合,提取高层特征;包括如下步骤:设计一个可学习的原图与子图之间的池化矩阵,得到原图特征矩阵F和子图特征矩阵Fsubgraph之间的关系:Fsubgraph=Massignment*F;
其中,Fsubgraph为m*d维矩阵表示m个维度为d的子图上所有节点特征;Massignment为n*m维的可导分配矩阵,该分配矩阵将n个点的原始特征压缩为m个点的子图特征,在高层特征Osubgraph表示上进行特征关系提取和表示;
将子图特征通过Massignment T进行Unpooling操作,得到与原图节点数对齐的子图特征,该特征与原图特征O相加得到融合特征Omix
Omix=Massignment T*Osubgraph+O
其中O为n×d维矩阵,表示n个维度为d的原图上所有节点特征。
将匹配结果通过最优传输策略进行调整;由最优传输问题的近似方法Sinkhorn算法,将点匹配问题转化为起始点与终点之间的匹配代价最小化问题;通过构建两幅图所有特征点之间相似度矩阵S,并构造传输代价矩阵C:
cij=-log(Sij)
其中cij表示左图第i个关键点与对应右图第j个关键点的匹配代价;将代价矩阵进行Sinkhorn求解,得到概率分配矩阵P;记录相似度矩阵P中所有既是所在行最大值,又是所在列最大值,且超过匹配概率阈值t的点对应的行列序号对(i,j),即为两幅图上的预测匹配关系:左图第i个关键点和对应右图第j个关键点是匹配对。
当模型进行训练时,由于通过预处理步骤得到的图像对具有真实的特征点对应关系,通过监督两幅图上网络得出的特征点之间两两匹配的概率,对模型进行训练;其损失函数L:
Figure BDA0003140942490000071
其中,N为左图中关键点数目,M为右图中关键点数目。
步骤S2、通过图像配准评估方法为该批次图像打分,并选择超过阈值的最好图像作为模板辅助精确校准过程;包括如下步骤:
步骤S21、获取图像二阶信息;使用Canny算子计算图像边缘,使用二维高斯函数h(x,y,σ)对图像进行去噪处理;二维高斯函数h(x,y,σ)表示如下:
Figure BDA0003140942490000072
其中σ为方差大小,令f(x,y)为去噪前图像,g(x,y)为去噪后图像,去噪过程可表示为:
g(x,y)=h(x,y,σ)*f(x,y)
其中*为卷积操作;
步骤S22、获取图像轮廓和边缘;使用OpenCV库函数findContours获取边缘图像的轮廓线,使用膨胀腐蚀去除噪点和不完整的轮廓,使用霍夫变换算法从轮廓图中获取边缘直线;
步骤S23、获取角点位置并求解透视变换矩阵;求所有由霍夫变换获得的直线交点,并通过KMeans算法聚类获得四个角点簇;通过取每个簇横纵坐标的中位数,获得估计的角点位置;联立原点、预设置的矫正后角点位置和透视变换矩阵形成的方程解出变换矩阵;
步骤S24、通过角点簇的性质评估图像矫正质量;将一批数据中经过传统矫正方案获得评估分数最高,即矫正质量最高的图像作为模板,使用步骤S1训练得到的图像校准模型匹配并矫正质量较差的其他图像。
步骤S3、再次通过图像校准模型对模板图像和待配准图像进行深度特征提取及匹配网络匹配,计算若干深度特征点之间的匹配关系;
步骤S4、通过RANSAC检验并排除错误匹配点,并得到两幅对应图像之间的仿射变换关系矩阵;包括如下步骤:
通过RANSAC对上一步所有输出的匹配对进行检验,求解内点最多的仿射变换矩阵T;通过求解T的逆矩阵T得到由待匹配图像到模板图像的矫正策略;对于待匹配图像中的任意一点的齐次坐标表示pij,其在矫正后图像中的位置p′ij为:
Figure BDA0003140942490000082
步骤S5、通过相对位姿变换关系得到配准后图像,进行图像增强处理后输出校准结果。
如图2所示为本实施例一种基于深度局部特征匹配的批图像配准方法的原理示意图:原始的基于图网络的图像匹配方法只提取了同层级的特征;但是在实际特征提取的过程中,提取到的关键点可能同属一个语义类中,这样仅有单层图结构无法充分提取特征点对之间的关系;本发明设计了基于图池化操作的多层特征子图网络,在原始图结构的基础上加入了不同尺度的子图,这样网络可以在若干上层子图所在的层级抽取不同级别的语义关系,增强了网络的灵活性和表达能力,使最后得到的特征更具判别力。
下面通过具体数据对比实验对本发明的效果进一步说明,并不能认为是作为对本发明所请求保护的技术范围做进一步限定;为了验证本发明方法对于图像矫正效果的提升,使用真实应用场景下的若干数据集进行训练,通过验证集调整后,在划分出的测试数据集上测试;训练数据集概况如表1所示:
表1.训练数据集概况
Figure BDA0003140942490000081
为了验证本发明的有效性,在以上数据集上对比了以下几种方法:1)传统矫正算法;2)传统方法矫正算法与基于SIFT的图像匹配算法;3)在改进算法的基础上将SIFT替换为深度学习匹配算法;4)将深度学习预训练模型通过构造额外数据集微调的算法;5)本发明提出的分层多尺度特征聚合图像匹配算法。
测试数据矫正准确率的对比实验如表2所示:
表2测试数据矫正准确率对比表
Figure BDA0003140942490000091
通过表2可以看到本发明方法在不同任务的数据集上都取得了较好的结果;其中带有图像匹配过程的矫正算法在传统图像矫正算法的成功率基础上有一定的提升;基于深度学习的图像匹配模型的算法在替代传统匹配算法后,矫正效果有了非常大的提升;基于图像增强的自监督训练方法在预训练模型的基础上又获得了一定提升,在指定数据集下成功率超过95%,最后通过改良的深度学习图像匹配算法,在指定数据集上的成功率超过97%。
以上所述之具体实施方式为本发明一种基于深度局部特征匹配的批图像配准方法的较佳实施方式,并非以此限定本发明的具体实施范围,本发明的范围包括并不限于本具体实施方式,凡依照本发明之形状、结构所作的等效变化均在本发明的保护范围内。

Claims (9)

1.一种基于深度局部特征匹配的批图像配准方法,其特征在于,包括以下步骤:
步骤S1、建立图像校准模型,通过对图像校准模型的训练得到一批校准后图像;
步骤S2、通过图像配准评估方法为该批次图像打分,并选择超过阈值的最好图像作为模板辅助精确校准过程;
步骤S3、再次通过图像校准模型对模板图像和待配准图像进行深度特征提取及匹配网络匹配,计算若干深度特征点之间的匹配关系;
步骤S4、通过RANSAC检验并排除错误匹配点,并得到两幅对应图像之间的仿射变换关系矩阵;
步骤S5、通过相对位姿变换关系得到配准后图像,进行图像增强处理后输出校准结果。
2.根据权利要求1所述的一种基于深度局部特征匹配的批图像配准方法,其特征在于,建立图像校准模型之前,需要构造仿射变换数据集作为图像校准模型的训练数据集;构造仿射变换数据集步骤如下:
将一张图像的四个角点
Figure FDA0003140942480000011
随机平移若干像素,得到四个新的角点
Figure FDA0003140942480000012
模拟随机透视变换后的图像角点:
ph(xi,yi)=(xi+N(0,1)*T,yi+N(0,1)*T)
其中N(0,1)为均值为0,方差为1的正态分布;根据仿射变换原理求解原图和仿射变换后图像的单应性变换矩阵H:
ph(xi,yi)=H*p(xi,yi)
记录仿射变换关系,并保存增强后图像。
3.根据权利要求2所述的一种基于深度局部特征匹配的批图像配准方法,其特征在于,图像校准模型的训练包括以下步骤:
使用baseline方法提取图像特征,预处理训练数据集并得到点对点之间的匹配关系;将稀疏特征提取模型记作M,输入图像I,并将提取到的稀疏特征集合记作F,其中:F=M(I);
采用多层图神经网络抽取匹配关系;
通过可导Pooling算子,在子图上进行信息聚合,提取高层特征;
通过构建两幅图所有特征点之间相似度矩阵S,并构造传输代价矩阵C;将代价矩阵通过Sinkhorn算法求解,得到概率分配矩阵P;记录相似度矩阵P中所有既是所在行最大值,又是所在列最大值,且超过匹配概率阈值t的点对应的行列序号对(i,j),(i,j)即为两幅图上的预测匹配关系。
4.根据权利要求3所述的一种基于深度局部特征匹配的批图像配准方法,其特征在于,
采用多层图神经网络抽取匹配关系包括步骤如下:
首先使用编码器Ep对每个稀疏特征点f进行编码,得到位置特征fkenc,并得到该点的新特征fmix
其中:fkenc=Ep(f)
fmix=fkenc+f
根据encoder编码位置关系,将带有位置编码信息的特征通过多层GNN进行信息聚合;
采用数据库查询机制对第l层特征Ol进行编码,设定O0=fmix,有:
attn_output(Ol)=Attention(MqOl,MkOl,MvOl)
其中,Mq、Mk、Mv分别代表可学习的查询参数、关键词参数、值参数。
5.根据权利要求4所述的一种基于深度局部特征匹配的批图像配准方法,其特征在于,Attention函数的计算公式如下:
Figure FDA0003140942480000021
dk表示特征维度;对Attention编码后的特征施加非线性变化层MLP,有:
SubLayer(Ol)=MLP(attn_output(Ol))
第l+1层的编码特征Ol+1表示为前一公式和上一层编码的残差和形式,有:
Ol+1=Ol+SubLayer(Ol)。
6.根据权利要求3所述的一种基于深度局部特征匹配的批图像配准方法,其特征在于,
提取高层特征包括如下步骤:
设计一个可学习的原图与子图之间的池化矩阵,得到原图特征矩阵F和子图特征矩阵Fsubgraph之间的关系:Fsubgraph=Massignment*F;
其中,Fsubgraph为m*d维矩阵表示m个维度为d的子图上所有节点特征;Massignment为n*m维的可导分配矩阵,该分配矩阵将n个点的原始特征压缩为m个点的子图特征,在高层特征Osubgraph表示上进行特征关系提取和表示;
将子图特征通过Massignment T进行Unpooling操作,得到与原图节点数对齐的子图特征,该特征与原图特征O相加得到融合特征Omix
Omix=Massignment T*Osubgraph+O
其中O为n*d维矩阵,表示n个维度为d的原图上所有节点特征。
7.根据权利要求1所述的一种基于深度局部特征匹配的批图像配准方法,其特征在于,
步骤S2包括如下步骤:
步骤S21、获取图像二阶信息;使用Canny算子计算图像边缘,使用二维高斯函数h(x,y,σ)对图像进行去噪处理;
步骤S22、获取图像轮廓和边缘;使用OpenCV库函数findContours获取边缘图像的轮廓线,使用膨胀腐蚀去除噪点和不完整的轮廓,使用霍夫变换算法从轮廓图中获取边缘直线;
步骤S23、获取角点位置并求解透视变换矩阵;求所有由霍夫变换获得的直线交点,并通过KMeans算法聚类获得四个角点簇;通过取每个簇横纵坐标的中位数,获得估计的角点位置;联立原点、预设置的矫正后角点位置和透视变换矩阵形成的方程解出变换矩阵;
步骤S24、通过角点簇的性质评估图像矫正质量。
8.根据权利要求1所述的一种基于深度局部特征匹配的批图像配准方法,其特征在于,
步骤S4包括如下步骤:
通过RANSAC对上一步所有输出的匹配对进行检验,求解内点最多的仿射变换矩阵T;通过求解T的逆矩阵T得到由待匹配图像到模板图像的矫正策略;对于待匹配图像中的任意一点的齐次坐标表示pij,其在矫正后图像中的位置p′ij为:p′ij=Tpij
9.根据权利要求7所述的一种基于深度局部特征匹配的批图像配准方法,其特征在于,
二维高斯函数h(x,y,σ)表示如下:
Figure FDA0003140942480000041
其中σ为方差大小,令f(x,y)为去噪前图像,g(x,y)为去噪后图像,去噪过程可表示为:
g(x,y)=h(x,y,σ)*f(x,y)
其中*为卷积操作。
CN202110734205.2A 2021-06-30 2021-06-30 一种基于深度局部特征匹配的批图像配准方法 Active CN113592923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110734205.2A CN113592923B (zh) 2021-06-30 2021-06-30 一种基于深度局部特征匹配的批图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110734205.2A CN113592923B (zh) 2021-06-30 2021-06-30 一种基于深度局部特征匹配的批图像配准方法

Publications (2)

Publication Number Publication Date
CN113592923A true CN113592923A (zh) 2021-11-02
CN113592923B CN113592923B (zh) 2024-03-29

Family

ID=78245284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110734205.2A Active CN113592923B (zh) 2021-06-30 2021-06-30 一种基于深度局部特征匹配的批图像配准方法

Country Status (1)

Country Link
CN (1) CN113592923B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114220068A (zh) * 2021-11-08 2022-03-22 珠海优特电力科技股份有限公司 刀闸分合状态确定方法、装置、设备、介质及产品
CN114463595A (zh) * 2021-12-27 2022-05-10 广州极飞科技股份有限公司 生成仿射变换数据集的方法和装置及电子设备
CN114485684A (zh) * 2021-12-31 2022-05-13 武汉中海庭数据技术有限公司 一种基于地面要素拓扑关系的地图道路匹配方法和系统
CN115018892A (zh) * 2022-07-28 2022-09-06 北京卫星信息工程研究所 遥感影像的自动配准方法及装置
CN115502967A (zh) * 2022-01-25 2022-12-23 中国科学院自动化研究所 基于深度生成的仿人灵巧手物体抓取方法及机器人系统
CN117664518A (zh) * 2023-10-16 2024-03-08 中国气象科学研究院 一种利用稳定光源进行光学校准的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150093042A1 (en) * 2012-06-08 2015-04-02 Huawei Technologies Co., Ltd. Parameter calibration method and apparatus
CN110148181A (zh) * 2019-04-25 2019-08-20 青岛康特网络科技有限公司 一种通用双目立体匹配方法
CN111369601A (zh) * 2020-02-12 2020-07-03 西北工业大学 一种基于孪生网络的遥感图像配准方法
CN112017225A (zh) * 2020-08-04 2020-12-01 华东师范大学 一种基于点云配准的深度图像匹配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150093042A1 (en) * 2012-06-08 2015-04-02 Huawei Technologies Co., Ltd. Parameter calibration method and apparatus
CN110148181A (zh) * 2019-04-25 2019-08-20 青岛康特网络科技有限公司 一种通用双目立体匹配方法
CN111369601A (zh) * 2020-02-12 2020-07-03 西北工业大学 一种基于孪生网络的遥感图像配准方法
CN112017225A (zh) * 2020-08-04 2020-12-01 华东师范大学 一种基于点云配准的深度图像匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘政;刘本永;: "基于图像深度信息的尺度不变特征变换算法误匹配点对剔除", 计算机应用, no. 12 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114220068A (zh) * 2021-11-08 2022-03-22 珠海优特电力科技股份有限公司 刀闸分合状态确定方法、装置、设备、介质及产品
CN114220068B (zh) * 2021-11-08 2023-09-01 珠海优特电力科技股份有限公司 刀闸分合状态确定方法、装置、设备、介质及产品
CN114463595A (zh) * 2021-12-27 2022-05-10 广州极飞科技股份有限公司 生成仿射变换数据集的方法和装置及电子设备
CN114463595B (zh) * 2021-12-27 2023-04-07 广州极飞科技股份有限公司 生成仿射变换数据集的方法和装置及电子设备
CN114485684A (zh) * 2021-12-31 2022-05-13 武汉中海庭数据技术有限公司 一种基于地面要素拓扑关系的地图道路匹配方法和系统
CN114485684B (zh) * 2021-12-31 2023-11-28 武汉中海庭数据技术有限公司 一种基于地面要素拓扑关系的地图道路匹配方法和系统
CN115502967A (zh) * 2022-01-25 2022-12-23 中国科学院自动化研究所 基于深度生成的仿人灵巧手物体抓取方法及机器人系统
CN115018892A (zh) * 2022-07-28 2022-09-06 北京卫星信息工程研究所 遥感影像的自动配准方法及装置
CN117664518A (zh) * 2023-10-16 2024-03-08 中国气象科学研究院 一种利用稳定光源进行光学校准的方法及系统

Also Published As

Publication number Publication date
CN113592923B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN113592923B (zh) 一种基于深度局部特征匹配的批图像配准方法
CN108985137B (zh) 一种车牌识别方法、装置及系统
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN112819772B (zh) 一种高精度快速图形检测识别方法
CN108122256B (zh) 一种逼近状态下旋转目标位姿测量的方法
CN109118473B (zh) 基于神经网络的角点检测方法、存储介质与图像处理系统
CN110020692B (zh) 一种基于印刷体模板的手写体分离与定位方法
CN106650721A (zh) 一种基于卷积神经网络的工业字符识别方法
CN110472625B (zh) 一种基于傅里叶描述子的象棋棋子视觉识别方法
CN103136520A (zh) 基于pca-sc算法的形状匹配和目标识别方法
CN114596500A (zh) 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法
CN115471682A (zh) 一种基于SIFT融合ResNet50的图像匹配方法
CN112861785A (zh) 一种基于实例分割和图像修复的带遮挡行人重识别方法
CN107798329A (zh) 基于cnn的自适应粒子滤波目标跟踪方法
CN109271882B (zh) 一种区分颜色的手写体汉字提取方法
CN113780240A (zh) 基于神经网络及旋转特征增强的物体位姿估计方法
CN112949765A (zh) 融合局部和全局信息的图像匹配方法
CN112418262A (zh) 车辆再识别的方法、客户端及系统
CN110070626B (zh) 一种基于多视角分类的三维物体检索方法
CN114742705A (zh) 一种基于halcon的图像拼接方法
CN111127311B (zh) 基于微重合区域的图像配准方法
CN110555792B (zh) 基于归一化直方图综合特征向量的图像篡改盲检测方法
CN114332890A (zh) 表格结构提取方法、装置、电子设备及存储介质
Chen et al. Applying Image Processing Technology to Automatically Detect and Adjust Paper Benchmark for Printing Machine.
CN117132592B (zh) 一种基于熵融合的工业缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant