CN111724424A - 图像配准方法 - Google Patents

图像配准方法 Download PDF

Info

Publication number
CN111724424A
CN111724424A CN202010594923.XA CN202010594923A CN111724424A CN 111724424 A CN111724424 A CN 111724424A CN 202010594923 A CN202010594923 A CN 202010594923A CN 111724424 A CN111724424 A CN 111724424A
Authority
CN
China
Prior art keywords
image
layer
neural network
registered
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010594923.XA
Other languages
English (en)
Other versions
CN111724424B (zh
Inventor
陈颖
王东振
李绩鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Technology
Original Assignee
Shanghai Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Technology filed Critical Shanghai Institute of Technology
Priority to CN202010594923.XA priority Critical patent/CN111724424B/zh
Publication of CN111724424A publication Critical patent/CN111724424A/zh
Application granted granted Critical
Publication of CN111724424B publication Critical patent/CN111724424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像配准方法，本发明首先采用密集结构改进的双通道神经网络模型对输入的图像对进行特征提取生成相应的特征点，采用最近邻匹配算法对生成的特征点进行粗匹配后，生成最后的目标点集和控制点集；然后用移动最小二乘法进行点集变换得到最优变化解；最后待配准图像根据该变换模型实现变换，完成配准。实验表明，使用本发明对于具有显著地貌差异的图像配准有着更好的效果且本发明的鲁棒性较好。

Description

图像配准方法
技术领域
本发明涉及一种图像配准方法。
背景技术
遥感图像是指由航空器上或卫星上成像系统获得的具有地面目标特征的图像。遥感图像配准在图像辅助导航，导弹制导等方面有着重要的应用。本发明关注于具有显著地貌差异的遥感图像的配准技术研究，即两幅图像(分别称作参考图像和待配准图像)由同一传感器采集，但采集视角有水平或(或)垂直方向上的改变。
因为基于点特征的配准方法是目前遥感图像配准主要的研究方向，所以在此对现有的一些点配准方法进行了介绍和讨论。由于SIFT及其改进算法等传统算法具有尺度不变性和旋转不变性，因此，大部分基于点特征的配准方法都还是采用传统算法或其改进算法来完成对于图像特征点的检测。然而，若原图像与待配准图像在外观上存在显著地貌差异，则采用SIFT检测出的特征点也许会包含较多的外点(即在配准过程中没有利用价值的特征点)。
发明内容
本发明的目的在于提供一种图像配准方法。
为解决上述问题，本发明提供一种图像配准方法，包括：
训练构建好的深度卷积神经网络；
将原图像A与待配准图像B分别输入到所述度卷积神经网络中，并将所述深度卷积神经网络中不同卷积块中的池化层提取的特征进行输出；
对于卷积神经网络网络中后3层池化层各层的输出，在每一个层中划分不同的搜索区域，根据不同的搜索区域得到的特征点使用最近邻匹配算法完成粗匹配；
基于所述粗匹配并利用最近邻匹配算法对特征点进行筛选后，得到相应的特征点集，采用点集配准算法基于所述特征点集，完成对于所述原图像A与待配准图像B的配准。
进一步的，在上述方法中，训练构建好的深度卷积神经网络，包括：
使用密集结构对VGG16和VGG19共同搭建的双通道卷积神经网络进行改进，以得到所述深度卷积神经网络。
进一步的，在上述方法中，使用密集结构对VGG16和VGG19共同搭建的双通道卷积神经网络进行改进，以得到所述深度卷积神经网络，包括：
将VGG16网络的卷积块中第一层与第二层的特征图F1、F2结合作为第三层F3的输入，并将第二、三层的特征图F2、F3再次结合作为池化层的输入，最后对VGG16网络的剩余的卷积块做同样的处理；
将VGG19网络的卷积块中第一层与第二层的特征图F1、F2结合作为第三层F3的输入，并将第二、三层的特征图F2、F3再次结合作为下一层的输入，将得到的特征图F3、F4融合后作为池化层的输入，最后对VGG19网络的剩余的卷积块做同样的处理。
进一步的，在上述方法中，将原图像A与待配准图像B分别输入到所述度卷积神经网络中，并将所述深度卷积神经网络中不同卷积块中的池化层提取的特征进行输出，包括：
将原图像A与待配准图像B分别输入到所述度卷积神经网络中，并将所述深度卷积神经网络的各个网络通道中后3个池化层提取的特征进行融合输出。
进一步的，在上述方法中，对于卷积神经网络网络中后3层池化层各层的输出，在每一个层中划分不同的搜索区域，根据不同的搜索区域得到的特征点使用最近邻匹配算法完成粗匹配，包括：
将原图像A与待配准图像B输入到网络中后得到的第3层池化层的输出，划分为n个搜索区域，其中，n为正整数；
针对原图像A的划分的区域中每一个子张量，在待配准图像B的划分的区域内计算距离同一位置的子张量距离最近的子张量；
对于待配准图像B类比原图像A，对划分区域中的每一个子张量都做一样的处理，在原图像A的划分的区域内计算距离同一位置的子张量距离最近的子张量；
若计算的结果显示，在原图像A和待配准图像B的同一个划分区域中存在一对子张量之间相互距离最近，则这一对子张量称之为最近邻匹配对，反之，则不是。
进一步的，在上述方法中，完成对于所述原图像A与待配准图像B的配准，包括：
采用最小移动二乘法对原图像A和待配准图像B生成的特征点进行点集配准。
进一步的，在上述方法中，采用最小移动二乘法对原图像A和待配准图像B生成的特征点进行点集配准，包括：
利用最近邻匹配算法筛选后的特征点，将点集分为参考图像的目标点集p和待配准图像的控制点集q；
接下来根据参考图像的目标点集p，利用移动最小二乘法完成对待配准图像的配准，其中，配准公式如下：F为变形函数，对于图像中任意像素点V构造形变函数，公式如下：
FV(x)＝Mx+T
M为线性变换项是一个2×2矩阵，T为平移变换项是一个行向量，F通过如下最优化问题简化：
min∑w|FV(p)-q|2
其中，
Figure BDA0002555187580000031
α为调节形变效果的参数，该二次优化问题解为：
Figure BDA0002555187580000041
其中，
Figure BDA0002555187580000042
为加权中心，公式如下：
利用M的闭合解，函数FV可写作：
Figure BDA0002555187580000043
其中，
Figure BDA0002555187580000044
在操作点集进行形变过程中，p所代表的为固定点集，则有：
Figure BDA0002555187580000045
其中，A为一个标量，由V和p决定，最后利用移动最小二乘法求解该公式的最优化结果，得到变化模型。
综上所述，本发明涉及一种基于双通道神经网络(DCCNN)和移动最小二乘法(MLS)的图像配准方法。本发明首先采用密集结构改进的双通道神经网络模型对输入的图像对进行特征提取生成相应的特征点，采用最近邻匹配算法对生成的特征点进行粗匹配后，生成最后的目标点集和控制点集；然后用移动最小二乘法进行点集变换得到最优变化解；最后待配准图像根据该变换模型实现变换，完成配准。实验表明，使用本发明对于具有显著地貌差异的图像配准有着更好的效果且本发明的鲁棒性较好。
与现有技术相比，本发明具有如下优点：
(1)本发明采用密集结构改进的双通道卷积神经网络对图像的特征进行提取，主要通过增加网络提取图像特征的重复利用率和进行多尺度特征的融合，来增加网络提取特征的丰富性，从而解决传统算法检测到的特征点不足的问题。
(2)本发明用移动最小二乘法做点集配准，采用半自动标记点的方法解决了手动标记点不准确性的问题。
附图说明
图1是本发明一实施例的基于DCCNN和MLS的遥感图像配准方法流程图；
图2是本发明一实施例的由谷歌地图所获取的两对测试图像对；
图3是本发明一实施例的两对原图像与待配准图像的特征点匹配示意图；
图4是本发明一实施例的两对原图像与待配准的图像配准结果示意图；
图5是本发明一实施例的本文发明的配准算法与基于VGG16的配准方法和基于SIFT的配准方法定性对比结果示意图；
图6是本发明一实施例的本文发明的配准算法与基于VGG16的配准方法和基于SIFT的配准方法定量对比结果示意图；
图7是本发明一实施例的双通道卷积神经网络架构示意图；
图8是本发明一实施例的VGG16单个卷积块的连接示意图；
图9是本发明一实施例的VGG19单个卷积块的连接示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供一种图像配准方法，包括：
步骤S1，训练构建好的深度卷积神经网络；
在此，可以通过合理的网络结构设计并进行训练，得到对输入的图像进行特征提取的卷积神经网络；
步骤S2，将原图像A与待配准图像B分别输入到所述度卷积神经网络中，并将所述深度卷积神经网络中不同卷积块中的池化层提取的特征进行输出；
步骤S3，对于卷积神经网络网络中后3层池化层各层的输出，在每一个层中划分不同的搜索区域，根据不同的搜索区域得到的特征点使用最近邻匹配算法完成粗匹配；
步骤S4，基于所述粗匹配并利用最近邻匹配算法对特征点进行筛选后，得到相应的特征点集，采用点集配准算法基于所述特征点集，完成对于所述原图像A与待配准图像B的配准。
在此，遥感图像配准技术在地面目标识别、城市发展评价、地理变化评价等军事和民用领域有着重要的应用。
本发明的图像配准方法一实施例中，步骤S1，训练构建好的深度卷积神经网络，包括：
使用密集结构对VGG16和VGG19共同搭建的双通道卷积神经网络进行改进，以得到所述深度卷积神经网络。
在此，可以用预训练好的VGG16和VGG19共同搭建构成双通道卷积神经网络模型。网络结构如图7所示。
卷积神经网络的卷积块中的卷积层和池化层常见的连接方式是采用的单向的顺序连接，随着网络层数的增加，会降低网络提取特征的利用率和局部特征的缺失。本发明提出利用密集结构对双通道卷积神经网络进行改进，通过改变双通道卷积神经网络中VGG16和VGG19的卷积层和池化层的连接方式，由原本单一的顺序连接，改变成跨连和顺序连接相结合的连接方式，从而减少了局部特征缺失，图像配准的最终效果也越好。
本发明的图像配准方法一实施例中，使用密集结构对VGG16和VGG19共同搭建的双通道卷积神经网络进行改进，以得到所述深度卷积神经网络，包括：
将VGG16网络的卷积块中第一层与第二层的特征图F1、F2结合作为第三层F3的输入，并将第二、三层的特征图F2、F3再次结合作为池化层的输入，最后对VGG16网络的剩余的卷积块做同样的处理；
将VGG19网络的卷积块中第一层与第二层的特征图F1、F2结合作为第三层F3的输入，并将第二、三层的特征图F2、F3再次结合作为下一层的输入，将得到的特征图F3、F4融合后作为池化层的输入，最后对VGG19网络的剩余的卷积块做同样的处理。
具体的，首先，用密集结构优化VGG16的网络模型，VGG16网络优化后的网络结构和部分参数如下所示。图8代表密集结构改进VGG16网络中的一个卷积块。将VGG16网络的卷积块中第一层与第二层的特征图F1、F2结合作为第三层F3的输入，并将第二、三层的特征图F2、F3再次结合作为池化层的输入，最后对剩余的卷积块做同样的处理。这样实现提取特征的重复利用，同时这些特征图的结合并没有增加网络的复杂度。由于该网络结构的每一个卷积层被重复的利用，因此能有效缓解因网络加深而导致的梯度消失现象。
然后，用密集结构对VGG19的网络进行优化，VGG19网络优化后的网络结构和部分参数如下所示。图9代表VGG19网络中的一个卷积块，将VGG19网络的卷积块中第一层与第二层的特征图F1、F2结合作为第三层F3的输入，并将第二、三层的特征图F2、F3再次结合作为下一层的输入，将得到的特征图F3、F4融合后作为池化层的输入，最后对VGG19网络的剩余的卷积块做同样的处理。
其中，VGG19包含的网络结构比VGG16多了3个卷积层。后续，通过对改进后VGG16和VGG19所构成的双通道卷积神经网络不同池化层提取的特征生成相应的特征点集。
本发明的图像配准方法一实施例中，步骤S2，将原图像A与待配准图像B分别输入到所述度卷积神经网络中，并将所述深度卷积神经网络中不同卷积块中的池化层提取的特征进行输出，包括：
将原图像A与待配准图像B分别输入到所述度卷积神经网络中，并将所述深度卷积神经网络的各个网络通道中后3个池化层提取的特征进行融合输出。
在此，通过对VGG16包含的第三、四、五卷积块提取的图像特征和VGG19相对应的卷积块提取的特征进行特征融合。使网络提取的特征更加完整性，促使之后图像配准的效果也越好。
本发明的图像配准方法一实施例中，步骤S3，对于卷积神经网络网络中后3层池化层各层的输出，在每一个层中划分不同的搜索区域，根据不同的搜索区域得到的特征点使用最近邻匹配算法完成粗匹配，包括：
将原图像A与待配准图像B输入到网络中后得到的第3层池化层的输出，划分为n个搜索区域，其中，n为正整数；
针对原图像A的划分的区域中每一个子张量，在待配准图像B的划分的区域内计算距离同一位置的子张量距离最近的子张量；
对于待配准图像B类比原图像A，对划分区域中的每一个子张量都做一样的处理，在原图像A的划分的区域内计算距离同一位置的子张量距离最近的子张量；
若计算的结果显示，在原图像A和待配准图像B的同一个划分区域中存在一对子张量之间相互距离最近，则这一对子张量称之为最近邻匹配对，反之，则不是。
在此，本实施例是以第3层中的池化层划分的第n个区域为例，最近邻匹配算法的主要操作步骤。
同时还可以通过设定阈值，将计算得出的输出张量的响应值与预先设定的阈值进行对比，若计算得到响应值的数值低于设定的阈值，则该最近邻匹配对不满足配准的要求，进行舍去。
本发明的图像配准方法一实施例中，步骤S4，完成对于所述原图像A与待配准图像B的配准，包括：
采用最小移动二乘法对原图像A和待配准图像B生成的特征点进行点集配准。
本发明的图像配准方法一实施例中，采用最小移动二乘法对原图像A和待配准图像B生成的特征点进行点集配准，包括：
利用最近邻匹配算法筛选后的特征点，将点集分为参考图像的目标点集p和待配准图像的控制点集q；
接下来根据参考图像的目标点集p，利用移动最小二乘法完成对待配准图像的配准，其中，配准公式如下：F为变形函数，对于图像中任意像素点V构造形变函数，公式如下：
FV(x)＝Mx+T
M为线性变换项是一个2×2矩阵，T为平移变换项是一个行向量，F可通过如下最优化问题简化：
min∑w|FV(p)-q|2
其中，
Figure BDA0002555187580000091
α为调节形变效果的参数，该二次优化问题解为：
Figure BDA0002555187580000092
其中，
Figure BDA0002555187580000093
为加权中心，公式如下：
利用M的闭合解，函数FV可写作：
Figure BDA0002555187580000094
其中，
Figure BDA0002555187580000095
在操作点集进行形变过程中，p所代表的为固定点集，则有：
Figure BDA0002555187580000096
其中，A为一个标量，由V和p决定，最后利用移动最小二乘法求解该公式的最优化结果，得到变化模型。
在此，为了解决SIFT算法检测的特征点也许会包含较多的外点或SIFT无法检测到足够的数量特征点，本发明构建了一种基于双通道神经网络(DCCNN)和移动最小二乘法(MLS)的图像配准方法，该方法能够使网络提取的特征更加的丰富化，并增加图像配准的精确性。
实验分析与对比
本发明实验是用Python代码编写，本文实验编译环境为Windows 10，Tensorflow版本1.0.1，CUDA版本9，cuDNN版本7，Python版本3.6；实验硬件环境：英特尔酷睿工7-7700KCPU；Nvidia GTX1080Ti GPU；16G双DDR4内存。
为了验证本文发明的配准方法的创新性和可行性，进行了如下实验，实验包括本文发明方法的具体流程，同时还选取了基于VGG16网络和一致性点漂移的配准方法和基于SIFT的配准方法两种算法和本文发明的配准方法来做对比。采用棋盘格的方式显示图像配准的结果，可以为图像配准做定性的分析；采用均方根误差(Root Mean Square Distance，RMSD)，平均绝对误差(Mean Absolute Distance，MAD)，均方误差(Mean Square Error，MSE)等数据进行对比，对图像配准的结果做定量的分析。
图2是本发明一实施例的由谷歌地图所获取的两对测试图像对；图3是本发明一实施例的两对原图像与待配准图像的特征点匹配示意图；图4是本发明一实施例的两对原图像与待配准的图像配准结果示意图。
图5和图6分别代表的是本文方法与基于VGG16网络和一致性点漂移的配准方法和基于SIFT的配准方法两种算法的实验结果对比图和数据对比图。图5中，由左往右，依次为SIFT配准结果、VGG16配准结果和本发明的配准结果，通过对比，可见本发明发明方法对显著地貌差异的图像有良好的配准效果，并比基于VGG16网络和一致性点漂移的配准方法和基于SIFT的配准方法的配准效果更好。
综上所述，本发明涉及一种基于双通道神经网络(DCCNN)和移动最小二乘法(MLS)的图像配准方法。本发明首先采用密集结构改进的双通道神经网络模型对输入的图像对进行特征提取生成相应的特征点，采用最近邻匹配算法对生成的特征点进行粗匹配后，生成最后的目标点集和控制点集；然后用移动最小二乘法进行点集变换得到最优变化解；最后待配准图像根据该变换模型实现变换，完成配准。实验表明，使用本发明对于具有显著地貌差异的图像配准有着更好的效果且本发明的鲁棒性较好。
与现有技术相比，本发明具有如下优点
(1)本发明采用密集结构改进的双通道卷积神经网络对图像的特征进行提取，主要通过增加网络提取图像特征的重复利用率和进行多尺度特征的融合，来增加网络提取特征的丰富性，从而解决传统算法检测到的特征点不足的问题。
(2)本发明用移动最小二乘法做点集配准，采用半自动标记点的方法解决了手动标记点不准确性的问题。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (7)

1.一种图像配准方法，其特征在于，包括：
训练构建好的深度卷积神经网络；
将原图像A与待配准图像B分别输入到所述度卷积神经网络中，并将所述深度卷积神经网络中不同卷积块中的池化层提取的特征进行输出；
对于卷积神经网络网络中后3层池化层各层的输出，在每一个层中划分不同的搜索区域，根据不同的搜索区域得到的特征点使用最近邻匹配算法完成粗匹配；
基于所述粗匹配并利用最近邻匹配算法对特征点进行筛选后，得到相应的特征点集，采用点集配准算法基于所述特征点集，完成对于所述原图像A与待配准图像B的配准。
2.如权利要求1所述的图像配准方法，其特征在于，训练构建好的深度卷积神经网络，包括：
使用密集结构对VGG16和VGG19共同搭建的双通道卷积神经网络进行改进，以得到所述深度卷积神经网络。
3.如权利要求1所述的图像配准方法，其特征在于，使用密集结构对VGG16和VGG19共同搭建的双通道卷积神经网络进行改进，以得到所述深度卷积神经网络，包括：
将VGG16网络的卷积块中第一层与第二层的特征图F1、F2结合作为第三层F3的输入，并将第二、三层的特征图F2、F3再次结合作为池化层的输入，最后对VGG16网络的剩余的卷积块做同样的处理；
将VGG19网络的卷积块中第一层与第二层的特征图F1、F2结合作为第三层F3的输入，并将第二、三层的特征图F2、F3再次结合作为下一层的输入，将得到的特征图F3、F4融合后作为池化层的输入，最后对VGG19网络的剩余的卷积块做同样的处理。
4.如权利要求1所述的图像配准方法，其特征在于，将原图像A与待配准图像B分别输入到所述度卷积神经网络中，并将所述深度卷积神经网络中不同卷积块中的池化层提取的特征进行输出，包括：
将原图像A与待配准图像B分别输入到所述度卷积神经网络中，并将所述深度卷积神经网络的各个网络通道中后3个池化层提取的特征进行融合输出。
5.如权利要求1所述的图像配准方法，其特征在于，对于卷积神经网络网络中后3层池化层各层的输出，在每一个层中划分不同的搜索区域，根据不同的搜索区域得到的特征点使用最近邻匹配算法完成粗匹配，包括：
将原图像A与待配准图像B输入到网络中后得到的第3层池化层的输出，划分为n个搜索区域，其中，n为正整数；
针对原图像A的划分的区域中每一个子张量，在待配准图像B的划分的区域内计算距离同一位置的子张量距离最近的子张量；
对于待配准图像B类比原图像A，对划分区域中的每一个子张量都做一样的处理，在原图像A的划分的区域内计算距离同一位置的子张量距离最近的子张量；
若计算的结果显示，在原图像A和待配准图像B的同一个划分区域中存在一对子张量之间相互距离最近，则这一对子张量称之为最近邻匹配对，反之，则不是。
6.如权利要求1所述的图像配准方法，其特征在于，完成对于所述原图像A与待配准图像B的配准，包括：
采用最小移动二乘法对原图像A和待配准图像B生成的特征点进行点集配准。
7.如权利要求1所述的图像配准方法，其特征在于，采用最小移动二乘法对原图像A和待配准图像B生成的特征点进行点集配准，包括：
利用最近邻匹配算法筛选后的特征点，将点集分为参考图像的目标点集p和待配准图像的控制点集q；
接下来根据参考图像的目标点集p，利用移动最小二乘法完成对待配准图像的配准，其中，配准公式如下：F为变形函数，对于图像中任意像素点V构造形变函数，公式如下：
FV(x)＝Mx+T
M为线性变换项是一个2×2矩阵，T为平移变换项是一个行向量，F通过如下最优化问题简化：
min∑w|FV(p)-q|2
其中，
Figure FDA0002555187570000031
α为调节形变效果的参数，该二次优化问题解为：
Figure FDA0002555187570000032
其中，
Figure FDA0002555187570000033
为加权中心，公式如下：
利用M的闭合解，函数FV可写作：
Figure FDA0002555187570000034
其中，
Figure FDA0002555187570000035
在操作点集进行形变过程中，p所代表的为固定点集，则有：
Figure FDA0002555187570000036
其中，A为一个标量，由V和p决定，最后利用移动最小二乘法求解该公式的最优化结果，得到变化模型。
CN202010594923.XA 2020-06-24 2020-06-24 图像配准方法 Active CN111724424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010594923.XA CN111724424B (zh) 2020-06-24 2020-06-24 图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010594923.XA CN111724424B (zh) 2020-06-24 2020-06-24 图像配准方法

Publications (2)

Publication Number Publication Date
CN111724424A true CN111724424A (zh) 2020-09-29
CN111724424B CN111724424B (zh) 2024-05-14

Family

ID=72568920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010594923.XA Active CN111724424B (zh) 2020-06-24 2020-06-24 图像配准方法

Country Status (1)

Country Link
CN (1) CN111724424B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529897A (zh) * 2020-12-24 2021-03-19 上海商汤智能科技有限公司 一种图像检测方法、装置、计算机设备及存储介质
CN113052882A (zh) * 2021-03-26 2021-06-29 上海商汤智能科技有限公司 图像配准方法及相关装置、电子设备、存储介质
CN114119607A (zh) * 2022-01-20 2022-03-01 广州易道智慧信息科技有限公司 基于深度神经网络的酒瓶缺陷样本生成方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461115A (zh) * 2018-07-27 2019-03-12 北京电影学院 一种基于深度卷积网络的自动图像配准方法
CN109544610A (zh) * 2018-10-15 2019-03-29 天津大学 一种基于卷积神经网络的图像配准方法
WO2019071754A1 (zh) * 2017-10-09 2019-04-18 哈尔滨工业大学深圳研究生院 一种基于深度学习的图像隐私感知方法
CN109934272A (zh) * 2019-03-01 2019-06-25 大连理工大学 一种基于全卷积网络的图像匹配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019071754A1 (zh) * 2017-10-09 2019-04-18 哈尔滨工业大学深圳研究生院 一种基于深度学习的图像隐私感知方法
CN109461115A (zh) * 2018-07-27 2019-03-12 北京电影学院 一种基于深度卷积网络的自动图像配准方法
CN109544610A (zh) * 2018-10-15 2019-03-29 天津大学 一种基于卷积神经网络的图像配准方法
CN109934272A (zh) * 2019-03-01 2019-06-25 大连理工大学 一种基于全卷积网络的图像匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王新华;黄玮;欧阳继红;: "多探测器拼接成像系统实时图像配准", 中国光学, no. 02 *
贾迪;朱宁丹;杨宁华;吴思;李玉秀;赵明远;: "图像匹配方法研究综述", 中国图象图形学报, no. 05 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529897A (zh) * 2020-12-24 2021-03-19 上海商汤智能科技有限公司 一种图像检测方法、装置、计算机设备及存储介质
CN113052882A (zh) * 2021-03-26 2021-06-29 上海商汤智能科技有限公司 图像配准方法及相关装置、电子设备、存储介质
WO2022198915A1 (zh) * 2021-03-26 2022-09-29 上海商汤智能科技有限公司 图像配准方法、装置、电子设备、存储介质及程序
CN113052882B (zh) * 2021-03-26 2023-11-24 上海商汤智能科技有限公司 图像配准方法及相关装置、电子设备、存储介质
CN114119607A (zh) * 2022-01-20 2022-03-01 广州易道智慧信息科技有限公司 基于深度神经网络的酒瓶缺陷样本生成方法及系统

Also Published As

Publication number Publication date
CN111724424B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN111724424A (zh) 图像配准方法
CN112766244B (zh) 目标对象检测方法、装置、计算机设备和存储介质
CN110443818B (zh) 一种基于涂鸦的弱监督语义分割方法与系统
CN111723732B (zh) 一种光学遥感图像变化检测方法、存储介质及计算设备
CN111199214B (zh) 一种残差网络多光谱图像地物分类方法
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和系统
CN111402294B (zh) 目标跟踪方法、装置、计算机可读存储介质和计算机设备
Abdollahi et al. Improving road semantic segmentation using generative adversarial network
Yuan et al. LEGION-based automatic road extraction from satellite imagery
KR20210129189A (ko) 타깃 검출 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체
CN113223068B (zh) 一种基于深度全局特征的多模态图像配准方法及系统
CN105869173A (zh) 一种立体视觉显著性检测方法
Pan et al. A generic FCN-based approach for the road-network extraction from VHR remote sensing images–using openstreetmap as benchmarks
Marcu et al. A multi-stage multi-task neural network for aerial scene interpretation and geolocalization
Yue et al. Adaptive spatial pyramid constraint for hyperspectral image classification with limited training samples
CN114187255A (zh) 一种差异指导的遥感影像变化检测方法
Forlani et al. Where is photogrammetry heading to? State of the art and trends
CN111179272B (zh) 一种面向道路场景的快速语义分割方法
Li et al. RDense: a protein-RNA binding prediction model based on bidirectional recurrent neural network and densely connected convolutional networks
Choi et al. Comparative analysis of generalized intersection over union
CN114494870A (zh) 一种双时相遥感图像变化检测方法、模型构建方法和装置
CN104680167A (zh) 基于深度学习的极光卵位置确定方法
CN106504219B (zh) 有约束的路径形态学高分辨率遥感影像道路增强方法
CN106056577A (zh) 基于mds‑srm混合级联的sar图像变化检测方法
CN114926738A (zh) 一种基于深度学习的滑坡识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant