CN111709980A - 基于深度学习的多尺度图像配准方法和装置 - Google Patents
基于深度学习的多尺度图像配准方法和装置 Download PDFInfo
- Publication number
- CN111709980A CN111709980A CN202010524717.1A CN202010524717A CN111709980A CN 111709980 A CN111709980 A CN 111709980A CN 202010524717 A CN202010524717 A CN 202010524717A CN 111709980 A CN111709980 A CN 111709980A
- Authority
- CN
- China
- Prior art keywords
- image
- registered
- feature
- feature point
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 48
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 38
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 23
- 230000009466 transformation Effects 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 abstract description 4
- 238000013519 translation Methods 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000011176 pooling Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013450 outlier detection Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请提出一种基于深度学习的多尺度图像配准方法和装置。其中，方法包括：获取第一待配准图像和第二待配准图像，通过预设多层卷积神经网络架构分别对第一待配准图像和第二待配准图像进行特征提取处理；获取目标中间层输出的第一特征描述符和第二特征描述符，根据第一特征描述符和第二特征描述符计算第一待配准图像和第二待配准图像的特征点距离矩阵；根据特征点距离矩阵对第一待配准图像和第二待配准图像进行双向特征点匹配得到特征点匹配对；根据特征点匹配对第一待配准图像和第二待配准图像进行图像配准。由此，能够在快速完成图像配准的前提下，具有非常好的尺度适应性，同时对旋转，光照，平移等变换具有较好的适应性。
Description
技术领域
本申请涉及计算机视觉和深度学习领域，特别涉及基于深度学习的多尺度图像配准方法和装置。
背景技术
图像配准将两幅或多幅拍摄于不同时间、不同视角等多种变化的图像进行对齐，继而确定图像间空间位置、强度等之间的映射关系。它是图像处理领域的关键技术，在图像融合、图像拼接以及计算机视觉等方面发挥重要作用。
相关图像配准方法主要分为三类：基于特征的配准方法、基于变换域的配准方法和基于灰度信息的配准方法。基于特征的方法计算速度快且对灰度变化和图像形变等都有较好的适应能力，克服了其它两种方法的不足，是如今图像配准研究领域的热门方法。基于特征的图像配准的步骤主要包括以下四步：手动或自动的特征提取；两幅待配准图像进行特征匹配；估计图像变换模型的参数；统一坐标变换进行图像配准。其中特征提取和特征匹配在整个配准过程是非常关键的。点特征是基于特征的图像配准方法中最常用到的特征之一，特征点提取方法有Moravec提出的Mo～角点检测算法、Chris Harris和Mike Stephens提出的Harris角点检测算法、Mokhtarian和Suomela提出的CSS特征检测算法等，但这些算法对旋转及尺度变化的适应性较差。
尺度不变特征变化的特征点提取方法以优越的图像细节描述能力和较好的稳定性在图像配准算法中有着广泛的应用。David G.Lowe提出了SIFT算法，此算法是基于高斯尺度空间的特征点提取算法，所提取的特征点具有尺度和旋转不变性，是目前公认的最为稳定的算子，并于2004年对该算法进行了深入的发展和完善。Krystian Mikolajczyk和Cord-elia Schmid提出了仿射和尺度不变性的harris角点检测并且证明了该算法相较于其他尺度空间的特征提取算法有更高的重复率。张小洪利用多分辨的思想，结合小波变换的灰度强度变化公式，提出了基于小波变换的harris角点检测，该算法克服了单一尺度的harris角点可能存在角点丢失等问题并且具有尺度不变性。Bay等人对SIFT算法进行了改进，采用了han特征以及积分图像的概念，加快了计算速度。许多学者结合不同特征提取和匹配方法提出了各种图像配准方法，Wang Weixing等人用Harris-Laplace算子进行特征提取，用SURF算法进行特征描述并用欧氏距离进行匹配，此算法的优点在于完成了自动图像配准，提高了配准精度且减少了时间。许佳佳结合Harris与SIFF算法进行角点检测，再用随机kd树算法进行特征匹配，从而完成图像配准，该方法保证特征点的尺度不变性且相较于SIFT算法减少了图像配准的时间，但在特征点提取时加大了计算复杂性。
近几年，也有很多研究人员将深度学习应用到图像配准过程中。2014年，Dosovitskiy等人提出了一种通用的特征提取方法，使用未标记的数据训练卷积神经网络。这些特征的通用性使转换具有鲁棒性。这些特征或描述符的性能优于SIFT描述符以匹配任务。2018年，Yang等人开发了一种基于相同思想的非刚性配准方法。他们使用预训练的VGG网络层来生成一个特征描述符，同时保留卷积信息和局部特征。这些描述符的性能也优于类似SIFT的探测器，特别是在SIFT包含许多异常值或无法匹配足够数量特征点的情况下。在2016年，DeTone等人发表了Deep Image Homography Estimation，提出了HomographyNe回归网络，这是一种VGG风格模型，可以学习两幅相关图像的单应性。该算法具有以端到端的方式同时学习单应性和CNN模型参数的优势，不需要前两个阶段的过程。
但是无论是传统的SIFT方法还是基于深度学习的图像配准方法，现有的图像配准方法都无法在尺度相差较大时快速完成图像配准。目前效果最好的SIFT方法在图像尺度相差超过16倍时，便无法获得足够的特征点匹配对用于图像配准。现有基于深度学习的图像配准方法也无法在尺度相差较大时快速完成图像配准，且耗时较长。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种根据基于深度学习的多尺度图像配准方法，能够在快速完成图像配准的前提下，具有非常好的尺度适应性，同时对旋转，光照，平移等变换具有较好的适应性。
本发明的另一个目的在于提出一种基于深度学习的多尺度图像配准装置。
本申请一方面实施例提出了一种基于深度学习的多尺度图像配准方法，包括：
获取第一待配准图像和第二待配准图像，通过预设多层卷积神经网络架构分别对第一待配准图像和第二待配准图像进行特征提取处理；
获取目标中间层输出的第一特征描述符和第二特征描述符，根据第一特征描述符和第二特征描述符计算第一待配准图像和第二待配准图像的特征点距离矩阵；
根据特征点距离矩阵对第一待配准图像和第二待配准图像进行双向特征点匹配得到特征点匹配对；
根据特征点匹配对第一待配准图像和第二待配准图像进行图像配准。
本申请另一方面实施例提出了一种基于深度学习的多尺度图像配准装置，包括：
第一获取模块，用于获取第一待配准图像和第二待配准图像；
处理模块，用于通过预设多层卷积神经网络架构分别对第一待配准图像和第二待配准图像进行特征提取处理；
第二获取模块，用于获取目标中间层输出的第一特征描述符和第二特征描述符；
计算模块，用于根据第一特征描述符和第二特征描述符计算第一待配准图像和第二待配准图像的特征点距离矩阵；
匹配模块，用于根据特征点距离矩阵对第一待配准图像和第二待配准图像进行双向特征点匹配得到特征点匹配对；
配准模块，用于根据特征点匹配对第一待配准图像和第二待配准图像进行图像配准。
本申请实施例所提供的技术方案可以包含如下的有益效果：
通过获取第一待配准图像和第二待配准图像，通过预设多层卷积神经网络架构分别对第一待配准图像和第二待配准图像进行特征提取处理；获取目标中间层输出的第一特征描述符和第二特征描述符，根据第一特征描述符和第二特征描述符计算第一待配准图像和第二待配准图像的特征点距离矩阵；根据特征点距离矩阵对第一待配准图像和第二待配准图像进行双向特征点匹配得到特征点匹配对；根据特征点匹配对第一待配准图像和第二待配准图像进行图像配准。由此，能够在快速完成图像配准的前提下，具有非常好的尺度适应性，同时对旋转，光照，平移等变换具有较好的适应性。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种基于深度学习的多尺度图像配准方法的流程示意图；
图2为本申请实施例所提供的多层卷积神经网络框架示例图；
图3为本申请实施例所提供的一个图像块上的特征描述符分布图；
图4为本申请实施例所提供的进行多尺度图像块定位时的数据流框图；
图5为本申请实施例所提供的进行多尺度图像配准时的数据流框图；
图6为本申请实施例所提供的基于深度学习的多尺度图像配准装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参照附图描述本申请实施例提出的基于深度学习的多尺度图像配准方法和装置。
图1为本申请实施例所提供的一种基于深度学习的多尺度图像配准方法的流程示意图。
如图1所示，该方法包括以下步骤：
步骤101，获取第一待配准图像和第二待配准图像，通过预设多层卷积神经网络架构分别对第一待配准图像和第二待配准图像进行特征提取处理。
在本申请的一个实施例中，预设多层卷积神经网络架构，包括但不限于使用Tiny-yolo多层卷积神经网络、AlexNet多层卷积神经网络、VGGNet多层卷积神经网络和GoogleNet多层卷积神经网络中的一种或者多种。
在申请实施例中，多层卷积神经网络架构必须包含多个卷积层，这样才能从输入图像中提取足够的多尺度特征。比VGGNet-19举例，靠前的卷积层输出提取的特征不够明显，靠后的卷积层输出的特征受具体分类对象影响较多，不具有一般性；再比如使用Tiny-yolo多层卷积神经网络做具体说明，这也是一种VGGNet-19风格的网络，它的第四，第五，第六池化层输出中的特征具有一般性，能够用于提取图像的多尺度特征。
步骤102，获取目标中间层输出的第一特征描述符和第二特征描述符，根据第一特征描述符和第二特征描述符计算第一待配准图像和第二待配准图像的特征点距离矩阵。
在本申请的一个实施例中，根据第一特征描述符和第二特征描述符计算第一待配准图像和第二待配准图像的特征点距离矩阵，包括：
特征点x和y之间的特征距离是三个距离值的加权和：
其中，d(x,y)表示特征点x的特征描述符与特征点y的特征描述符之间的距离，在F1类特征描述符中，每一个特征点的特征描述符是128维的数据，所以
F2类特征描述符中，每一个特征点的特征描述符是256维，F3类特征描述符中，每一个特征点的特征描述符是512维。
每个分量的距离值度量方法采用欧氏距离：
di(x,y)＝Euclidean-distance(Di(x),Di(y))；
其中，D(x)表示特征点x的特征描述符，D(y)表示特征点y的特征描述符，针对第一特征描述符和第二特征描述符进行上述距离计算，得到第一待配准图像和第二待配准图像的特征点距离矩阵。
进一步地，对第一待配准图像和第二待配准图分别进行角点检测获得角点信息；将角点信息更改到预设尺寸，然后展平为目标数组获得角点坐标先验信息；将角点坐标先验信息运用到特征点距离矩阵计算中。
作为一种场景举例，将两张待配准图片输入到多层卷积神经网络模型中，比如用Tiny-yolo网络举例，输入前将待配准图片调整到448*448的分辨率，每16*16的像素块生成一个特征点；使用多层卷积神经网络的中间层输出生成特征描述符，分别从网络的第四池化层，第五池化层，第六池化层提取出特征描述符F1，F2，F3，尺寸分别为28*28*128，14*14*256，7*7*512，相当于每个特征点生成1个F1类特征描述符，每4个特征点生成一个F2类特征描述符，每16个特征点生成一个F3类特征描述符。
以及，在池化层中提取不同尺度的特征描述符的同时，也能保留一定的定位能力，为后期的特征点匹配提供了可能性。这里的多层卷积网络并不局限于tiny-yolo，也可以是AlexNet，VGGNet，等多层卷积神经网络。需要说明的是，相比其他网络，tiny-yolo速度更快，特征描述符的种类也不只局限于上述描述三类。
进一步地，在得到两三类特征描述符F1，F2和F3之后，分别将三类特征描述符由28*28*128，14*14*256，7*7*512的三维矩阵展平为784*128，196*256，49*512的二维矩阵，表示在每张图片的特征描述符F1中，每个特征描述符为128维；在特征描述符F2中，每个特征描述符为256维，在特征描述符F3中，每个特征描述符为512维，然后再做正则化。
进一步地，定义特征的距离度量，两个特征点x和y之间的特征距离是三个距离值的加权和：
每个分量的距离值度量方法这里采用欧氏距离：
di(x,y)＝Euclidean-distance(Di(x),Di(y))。
两张图的F1类特征描述符大小都为784*128，经计算生成一个784*784的特征点距离矩阵，在计算特征点距离矩阵的时候，通过添加角点先验信息从而加快计算速度。
具体流程为：1)对两张图分别使用Harris角点检测获得角点信息；2)将角点信息resize到28*28，然后展平为784*1的数组；3)将获得的角点坐标先验信息运用到784*784的距离矩阵计算中，不属于角点的特征点，不计算两幅图特征点之间的距离，这样可以加快计算速度。
具体地，两张图的F2类特征描述符大小都为196*256，经计算生成一个196*196的特征点距离矩阵，这个特征点距离矩阵的计算过程中，也通过添加角点先验信息以加快计算速度，方法和上述一样；两张图的F3类特征描述符大小都为49*512，经计算生成一个49*49的特征点距离矩阵；接着将196*196和49*49的特征点距离矩阵上采样为784*784的特征点距离矩阵。
最后再通过公式：
将三个特征点距离矩阵合并成一个大小为784*784的特征点距离矩阵。
步骤103，根据特征点距离矩阵对第一待配准图像和第二待配准图像进行双向特征点匹配得到特征点匹配对。
在本申请的一个实施例中，根据特征点距离矩阵对第一待配准图像和第二待配准图像进行双向特征点匹配得到特征点匹配对，包括：
根据特征点距离矩阵获取第一待配准图像和第二待配准图像的之间双向特征点小于等于匹配阈值的作为特征点匹配对。
具体地，特征点匹配过程包括但不限于：
特征点x、y匹配的条件：1)d(x；y)是所有d(·；y)中最小的；2)不存在d(z；y)使得d(z；y)<θ·d(x；y)，θ是大于1的参数，称为匹配阈值。
在特征匹配时，计算图一中特征点A与图二中最近的特征点B，第二近特征点C的距离值d1,d2，然后计算d2/d1,这个比值记为θ。
具体地，1，先取最大的θ值记为max；2，max＝max-0.01；3，遍历所有特征点匹配对的θ值，计算一共有多少对匹配对的θ大于max；4，判断特征点匹配对的θ值大于max的数量是否小于128，如果小于，则回到第二步，继续循环，如果不小于，则停止循环。
因此，相当于取前128个θ值最大的特征点匹配对，这里使用的双向特征点匹配，
指的是不但逐一用图一中的特征点去图二中搜索与之匹配的特征点，也逐一用图二中的特征点去图一中搜索与之匹配的特征点，然后得到了两份特征点匹配对集合，接着取两份特征点匹配对集合的交集，这些特征点匹配对更加稳健，准确率更高。
步骤104，根据特征点匹配对第一待配准图像和第二待配准图像进行图像配准。
在本申请的一个实施例中，根据特征点匹配对计算第一待配准图像和第二待配准图像的单应性变换矩阵；根据单应性变换矩阵对第一待配准图像和第二待配准图像进行图像配准。
具体地，获取到足够的特征点匹配对之后，如果需要做的是图像块定位，则还另外需要在大图中得到的特征匹配点中做离群点检测，然后剔除大图中特征匹配点中的离群点。离群点检测算法可以使用LOF算法，也可以使用KNN算法，添加离群点检测后可以避免图像块定位结果产生偏移或者是畸变。
如果不需要做图像块定位，则可以直接用得到的特征点匹配对计算两张图像的变换矩阵。这里计算的是两张图的单应性变换矩阵，因为计算单应性变换矩阵速度较快，且需要的特征点匹配对较少。也可以使用薄板样条插值法(TPS)进行图像配准。
为了更加清楚描述上述实施例，下面结合图2-图5进行详细描述。
图2为本申请实施例所提供的多层卷积神经网络框架示例图；图3为本申请实施例所提供的一个图像块上的特征描述符分布图；图4为本申请实施例所提供的进行多尺度图像块定位时的数据流框图；图5为本申请实施例所提供的进行多尺度图像配准时的数据流框图。
使用tiny-yolo网络作为网络架构，用于提取输入图片的特征；将两张不同尺度下的图片分别输入tiny-yolo网络中，提取第四，第五，第六池化层的输出，生成三类特征描述符F1，F2，F3，尺寸分别为28*28*128，14*14*256，7*7*512。
如图3所示，该图显示了一块64*64图像块区域中特征描述符的分布，绿点表示在16*16的区域块中生成的F1类特征描述符，蓝点表示F2类特征描述符，每一个由4个特征点确定。红色的点表示由16个特征点确定的F3类特征描述符。在池化层中提取不同尺度的特征描述符的同时，也能保留一定的定位能力，为后期的特征点匹配提供了可能性。
将三类特征描述符转换为尺寸分别为784*128，196*256，49*512的二维矩阵。接着计算两张图的特征点距离矩阵，分别得到三个距离矩阵，尺寸分别为784*784，196*196，49*49。计算过程中加入角点先验信息以加快计算速度。
将196*196和49*49的距离矩阵上采样为784*784的距离矩阵，接着根据公式
将三个距离矩阵合并为一个距离矩阵。
根据上一步得到的特征点距离矩阵，做双向特征点匹配。
如果需要做图像块定位，则还需要在双向特征点匹配后，在大图得到的特征点匹配点中做离群点检测，剔除特征点匹配过程中出现的离群点。否者，直接可以用双向特征点匹配得到的结果做图像配准。
根据得到的特征点匹配对，计算两张图之间的单应性变换矩阵，完成图像配准。
为了验证上述方法的有效性，本实施例采用一张遥感地图进行演示。
如图4所示，先从原图中截取一块图片，然后将原图缩小64倍，这样，图像块B与缩小后的原图A尺度相差为64倍。然后将两张图片输入tiny-yolo网络中，计算特征描述符，做双向特征点匹配，接着做离群点检测，最后进行图像配准即图像块定位，便得到了图5的结果，可以看到，本发明可以很好地在尺度相差较大的情况下做图像块定位。
如图5所示，先将原图缩小128倍，然后将原图A和缩小后的图B输入tiny-yolo网络中，计算特征描述符，做双向特征点匹配，最后根据得到的特征点匹配对做图像配准，便得到了图5的结果。可以看到，本发明可以很好地在尺度相差非常大的情况下做图像配准。
图6为本申请实施例所提供的基于深度学习的多尺度图像配准装置的结构示意图。
如图6所示，该装置包括：第一获取模块601、处理模块602、第二获取模块603、计算模块604、匹配模块605和配准模块606。
第一获取模块601，用于获取第一待配准图像和第二待配准图像。
处理模块602，用于通过预设多层卷积神经网络架构分别对第一待配准图像和第二待配准图像进行特征提取处理。
第二获取模块603，用于获取目标中间层输出的第一特征描述符和第二特征描述符。
计算模块604，用于根据第一特征描述符和第二特征描述符计算第一待配准图像和第二待配准图像的特征点距离矩阵。
匹配模块605，用于根据特征点距离矩阵对第一待配准图像和第二待配准图像进行双向特征点匹配得到特征点匹配对。
配准模块606，用于根据特征点匹配对第一待配准图像和第二待配准图像进行图像配准。
进一步地，在本申请实施例的一种可能的实现方式中，预设多层卷积神经网络架构，包括但不限于使用Tiny-yolo多层卷积神经网络、AlexNet多层卷积神经网络、VGGNet多层卷积神经网络和GoogleNet多层卷积神经网络中的一种或者多种。
进一步地，在本申请实施例的一种可能的实现方式中，匹配模块605，具体用于：
根据特征点距离矩阵获取第一待配准图像和第二待配准图像的之间双向特征点小于等于匹配阈值的作为特征点匹配对。
进一步地，在本申请实施例的一种可能的实现方式中，配准模块606，具体用于：
根据特征点匹配对计算第一待配准图像和第二待配准图像的单应性变换矩阵；
根据单应性变换矩阵对第一待配准图像和第二待配准图像进行图像配准。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
本申请实施例提出的基于深度学习的多尺度图像配准装置，通过获取第一待配准图像和第二待配准图像，通过预设多层卷积神经网络架构分别对第一待配准图像和第二待配准图像进行特征提取处理；获取目标中间层输出的第一特征描述符和第二特征描述符，根据第一特征描述符和第二特征描述符计算第一待配准图像和第二待配准图像的特征点距离矩阵；根据特征点距离矩阵对第一待配准图像和第二待配准图像进行双向特征点匹配得到特征点匹配对；根据特征点匹配对第一待配准图像和第二待配准图像进行图像配准。由此，能够在快速完成图像配准的前提下，具有非常好的尺度适应性，同时对旋转，光照，平移等变换具有较好的适应性。
为了实现上述实施例，本申请实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如前述终端设备执行方法实施例所述的基于深度学习的多尺度图像配准方法。
为了实现上述实施例，本申请实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现前述方法实施例所述的基于深度学习的多尺度图像配准方法。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于深度学习的多尺度图像配准方法，其特征在于，包括以下步骤：
获取第一待配准图像和第二待配准图像，通过预设多层卷积神经网络架构分别对所述第一待配准图像和所述第二待配准图像进行特征提取处理；
获取目标中间层输出的第一特征描述符和第二特征描述符，根据所述第一特征描述符和所述第二特征描述符计算所述第一待配准图像和所述第二待配准图像的特征点距离矩阵；
根据所述特征点距离矩阵对所述第一待配准图像和所述第二待配准图像进行双向特征点匹配得到特征点匹配对；
根据所述特征点匹配对所述第一待配准图像和所述第二待配准图像进行图像配准。
2.如权利要求1所述的方法，其特征在于，所述预设多层卷积神经网络架构，包括但不限于使用Tiny-yolo多层卷积神经网络、AlexNet多层卷积神经网络、VGGNet多层卷积神经网络和GoogleNet多层卷积神经网络中的一种或者多种。
3.如权利要求1所述的方法，其特征在于，所述根据所述第一特征描述符和所述第二特征描述符计算所述第一待配准图像和所述第二待配准图像的特征点距离矩阵，包括但不限于使用曼哈顿距离、或欧式距离的距离度量方式；
针对所述第一特征描述符和所述第二特征描述符进行上述距离计算，得到所述第一待配准图像和所述第二待配准图像的特征点距离矩阵。
4.如权利要求3所述的方法，其特征在于，还包括：
对所述第一待配准图像和所述第二待配准图分别进行角点检测获得角点信息；
将所述角点信息更改到预设尺寸，然后展平为目标数组获得角点坐标先验信息；
将所述角点坐标先验信息运用到所述特征点距离矩阵计算中。
5.如权利要求1所述的方法，其特征在于，所述根据所述特征点距离矩阵对所述第一待配准图像和所述第二待配准图像进行双向特征点匹配得到特征点匹配对，包括：
根据特征点距离矩阵获取所述第一待配准图像和所述第二待配准图像的之间双向特征点小于等于匹配阈值的作为特征点匹配对。
6.如权利要求1所述的方法，其特征在于，根据所述特征点匹配对所述第一待配准图像和所述第二待配准图像进行图像配准，包括：
根据所述特征点匹配对计算所述第一待配准图像和所述第二待配准图像的单应性变换矩阵；
根据所述单应性变换矩阵对所述第一待配准图像和所述第二待配准图像进行图像配准。
7.一种基于深度学习的多尺度图像配准装置，其特征在于，包括：
第一获取模块，用于获取第一待配准图像和第二待配准图像；
处理模块，用于通过预设多层卷积神经网络架构分别对所述第一待配准图像和所述第二待配准图像进行特征提取处理；
第二获取模块，用于获取目标中间层输出的第一特征描述符和第二特征描述符；
计算模块，用于根据所述第一特征描述符和所述第二特征描述符计算所述第一待配准图像和所述第二待配准图像的特征点距离矩阵；
匹配模块，用于根据所述特征点距离矩阵对所述第一待配准图像和所述第二待配准图像进行双向特征点匹配得到特征点匹配对；
配准模块，用于根据所述特征点匹配对所述第一待配准图像和所述第二待配准图像进行图像配准。
8.如权利要求7所述的装置，其特征在于：
所述预设多层卷积神经网络架构，包括但不限于使用Tiny-yolo多层卷积神经网络、AlexNet多层卷积神经网络、VGGNet多层卷积神经网络和GoogleNet多层卷积神经网络中的一种或者多种。
9.如权利要求7所述的装置，其特征在于，所述匹配模块，具体用于：
根据特征点距离矩阵获取所述第一待配准图像和所述第二待配准图像的之间双向特征点小于等于匹配阈值的作为特征点匹配对。
10.如权利要求7所述的装置，其特征在于，所述配准模块，具体用于：
根据所述特征点匹配对计算所述第一待配准图像和所述第二待配准图像的单应性变换矩阵；
根据所述单应性变换矩阵对所述第一待配准图像和所述第二待配准图像进行图像配准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010524717.1A CN111709980A (zh) | 2020-06-10 | 2020-06-10 | 基于深度学习的多尺度图像配准方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010524717.1A CN111709980A (zh) | 2020-06-10 | 2020-06-10 | 基于深度学习的多尺度图像配准方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111709980A true CN111709980A (zh) | 2020-09-25 |
Family
ID=72540204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010524717.1A Pending CN111709980A (zh) | 2020-06-10 | 2020-06-10 | 基于深度学习的多尺度图像配准方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111709980A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634337A (zh) * | 2021-03-11 | 2021-04-09 | 展讯通信（上海）有限公司 | 一种图像处理方法及装置 |
| CN112861672A (zh) * | 2021-01-27 | 2021-05-28 | 电子科技大学 | 一种基于光学-sar异源遥感图像匹配方法 |
| CN113095371A (zh) * | 2021-03-22 | 2021-07-09 | 北京大学 | 一种面向三维重建的特征点匹配方法及系统 |
| CN113160291A (zh) * | 2021-04-12 | 2021-07-23 | 华雁智科(杭州)信息技术有限公司 | 一种基于图像配准的变化检测方法 |
| CN113408592A (zh) * | 2021-06-01 | 2021-09-17 | 北京百度网讯科技有限公司 | 特征点匹配方法、装置、电子设备及计算机可读存储介质 |
| CN114066954A (zh) * | 2021-11-23 | 2022-02-18 | 广东工业大学 | 一种用于多模态图像的特征提取配准方法 |
| CN114663482A (zh) * | 2022-03-30 | 2022-06-24 | 中国农业银行股份有限公司 | 一种图像处理方法、装置及设备 |
| CN115423853A (zh) * | 2022-07-29 | 2022-12-02 | 荣耀终端有限公司 | 一种图像配准方法和设备 |
| WO2022267287A1 (zh) * | 2021-06-25 | 2022-12-29 | 浙江商汤科技开发有限公司 | 图像配准方法及相关装置、设备和存储介质 |
| CN116934591A (zh) * | 2023-06-28 | 2023-10-24 | 深圳市碧云祥电子有限公司 | 多尺度特征提取的图像拼接方法、装置、设备及存储介质 |
| CN117690016A (zh) * | 2023-11-07 | 2024-03-12 | 国网四川省电力公司信息通信公司 | 一种变电站的业务场景图像匹配方法和系统 |
| CN118660118A (zh) * | 2024-08-20 | 2024-09-17 | 中国人民解放军海军航空大学 | 高效实时视频拼接方法 |
-
2020
- 2020-06-10 CN CN202010524717.1A patent/CN111709980A/zh active Pending
Non-Patent Citations (2)
| Title |
|---|
| 盛明伟;唐松奇;万磊;秦洪德;李俊;: "基于改进CNN-RANSAC的水下图像特征配准方法", 计算机工程与科学, no. 05, pages 859 - 868 * |
| 石国强;赵霞;陈星洲;陈雨佳;陈萌;郭松;陈凤;: "基于卷积神经网络的局部图像特征描述符算法", 上海航天(中英文), no. 01 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861672A (zh) * | 2021-01-27 | 2021-05-28 | 电子科技大学 | 一种基于光学-sar异源遥感图像匹配方法 |
| CN112634337A (zh) * | 2021-03-11 | 2021-04-09 | 展讯通信（上海）有限公司 | 一种图像处理方法及装置 |
| CN113095371B (zh) * | 2021-03-22 | 2023-01-17 | 北京大学 | 一种面向三维重建的特征点匹配方法及系统 |
| CN113095371A (zh) * | 2021-03-22 | 2021-07-09 | 北京大学 | 一种面向三维重建的特征点匹配方法及系统 |
| CN113160291A (zh) * | 2021-04-12 | 2021-07-23 | 华雁智科(杭州)信息技术有限公司 | 一种基于图像配准的变化检测方法 |
| CN113160291B (zh) * | 2021-04-12 | 2023-02-14 | 华雁智科(杭州)信息技术有限公司 | 一种基于图像配准的变化检测方法 |
| CN113408592B (zh) * | 2021-06-01 | 2024-03-01 | 北京百度网讯科技有限公司 | 特征点匹配方法、装置、电子设备及计算机可读存储介质 |
| CN113408592A (zh) * | 2021-06-01 | 2021-09-17 | 北京百度网讯科技有限公司 | 特征点匹配方法、装置、电子设备及计算机可读存储介质 |
| WO2022267287A1 (zh) * | 2021-06-25 | 2022-12-29 | 浙江商汤科技开发有限公司 | 图像配准方法及相关装置、设备和存储介质 |
| CN114066954A (zh) * | 2021-11-23 | 2022-02-18 | 广东工业大学 | 一种用于多模态图像的特征提取配准方法 |
| CN114663482A (zh) * | 2022-03-30 | 2022-06-24 | 中国农业银行股份有限公司 | 一种图像处理方法、装置及设备 |
| CN114663482B (zh) * | 2022-03-30 | 2024-08-06 | 中国农业银行股份有限公司 | 一种图像处理方法、装置及设备 |
| CN115423853A (zh) * | 2022-07-29 | 2022-12-02 | 荣耀终端有限公司 | 一种图像配准方法和设备 |
| CN116934591A (zh) * | 2023-06-28 | 2023-10-24 | 深圳市碧云祥电子有限公司 | 多尺度特征提取的图像拼接方法、装置、设备及存储介质 |
| CN117690016A (zh) * | 2023-11-07 | 2024-03-12 | 国网四川省电力公司信息通信公司 | 一种变电站的业务场景图像匹配方法和系统 |
| CN117690016B (zh) * | 2023-11-07 | 2024-10-11 | 国网四川省电力公司信息通信公司 | 一种变电站的业务场景图像匹配方法和系统 |
| CN118660118A (zh) * | 2024-08-20 | 2024-09-17 | 中国人民解放军海军航空大学 | 高效实时视频拼接方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709980A (zh) | 基于深度学习的多尺度图像配准方法和装置 | |
| Melekhov et al. | Dgc-net: Dense geometric correspondence network | |
| WO2020228446A1 (zh) | 模型训练方法、装置、终端及存储介质 | |
| Jiang et al. | Robust feature matching for remote sensing image registration via linear adaptive filtering | |
| Lipson et al. | Coupled iterative refinement for 6d multi-object pose estimation | |
| En et al. | Rpnet: An end-to-end network for relative camera pose estimation | |
| CN109903299B (zh) | 一种条件式生成对抗网络的异源遥感图像配准方法及装置 | |
| CN111489394B (zh) | 物体姿态估计模型训练方法、系统、装置及介质 | |
| CN112233181A (zh) | 6d位姿识别的方法、装置及计算机存储介质 | |
| CN106991695A (zh) | 一种图像配准方法及装置 | |
| CN117522817A (zh) | 一种基于人工智能算法的医学图像处理方法及系统 | |
| CN112084849A (zh) | 图像识别方法和装置 | |
| CN110827304A (zh) | 一种基于深度卷积网络与水平集方法的中医舌像定位方法和系统 | |
| CN107862680A (zh) | 一种基于相关滤波器的目标跟踪优化方法 | |
| CN114120013A (zh) | 一种红外与rgb跨模态特征点匹配方法 | |
| CN115456870A (zh) | 基于外参估计的多图像拼接方法 | |
| Potje et al. | Extracting deformation-aware local features by learning to deform | |
| CN112102379B (zh) | 一种无人机多光谱影像配准方法 | |
| CN108182700B (zh) | 一种基于两次特征检测的图像配准方法 | |
| CN117649589A (zh) | 一种基于改进YOLO-V5s模型的LNG卸料臂目标识别方法 | |
| CN113159158A (zh) | 一种基于生成对抗网络的车牌矫正与重构方法及系统 | |
| CN111047513B (zh) | 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置 | |
| CN117351078A (zh) | 基于形状先验的目标尺寸与6d姿态估计方法 | |
| Gao et al. | Learning accurate template matching with differentiable coarse-to-fine correspondence refinement | |
| CN115410014A (zh) | 一种鱼眼图像的自监督特征点匹配方法及其存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200925 |