CN110111371A - 一种基于卷积神经网络的斑点图图像配准方法 - Google Patents

一种基于卷积神经网络的斑点图图像配准方法 Download PDF

Info

Publication number
CN110111371A
CN110111371A CN201910303320.7A CN201910303320A CN110111371A CN 110111371 A CN110111371 A CN 110111371A CN 201910303320 A CN201910303320 A CN 201910303320A CN 110111371 A CN110111371 A CN 110111371A
Authority
CN
China
Prior art keywords
layer
spot
pond
kernel size
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910303320.7A
Other languages
English (en)
Other versions
CN110111371B (zh
Inventor
黄欢
张丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201910303320.7A priority Critical patent/CN110111371B/zh
Publication of CN110111371A publication Critical patent/CN110111371A/zh
Application granted granted Critical
Publication of CN110111371B publication Critical patent/CN110111371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于卷积神经网络的斑点图图像配准方法，属于天文图像处理技术领域。本发明是通过卷积神经网络对训练集进行迭代训练，从而利用训练好的卷积神经网络模型对斑点图进行配准，该方法将斑点图配准的问题转换为特征配准问题，能够快速准确的实现对斑点图配准，而且该方法能最大可能的利用更多斑点图的特征，也能够避免传统人工提取特征的过程，大幅度的节约时间成本，具有实时性和简单性，便于实际推广和应用。

Description

一种基于卷积神经网络的斑点图图像配准方法
技术领域
本发明涉及一种基于卷积神经网络的斑点图图像配准方法，属于天文图像处理技术领域。
背景技术
在天文图像领域，图像配准主要用于校正设备抖动造成的图像平移，旋转、缩放或大气扰动带来的非刚性变形。图像配准是很多图像应用视觉的一个关键问题，是将相同场景在不同时间、不同视角、使用相同或不同设备拍摄的多幅图像校准到同一坐标下，以消除或降低图像间存在的位置、尺度和光照等差异，从而获得有几何一致性图像的过程。
斑点图最明显的特征就是细节丰富，因此我们可以对斑点图特征提取，基于特征进行图像配准，但是斑点图的缺点是边界处模糊，图像的强度和梯度变化不明显，并且背景复杂多变。目前图像配准的方法主要分为基于特征的配准方法和基于灰度的方法，以及近几年基于神经网络的图像配准。但是这些方法存在着不少缺点，一方面这些方法对于斑点图图像配准不是很准确，另一方面这些方法往往要提取大量的图像特征，耗费大量时间，而且在设计的特征不具有普适性，也会导致图像配准的效果不佳。因此，发明一种基于卷积神经网络的斑点图图像配准方法实现快速准确的图像配准是非常必要的。
发明内容
本发明提供了一种基于卷积神经网络的斑点图图像配准方法，用以解决现有技术中斑点图图像配准存在配准过程复杂、配准率不高的技术问题。
本发明的技术方案是：一种基于卷积神经网络的斑点图图像配准方法，包括以下步骤：
Step1、获取斑点图图像作为样本集，并划分训练样本集、验证样本集和测试样本集；
Step2、构建卷积神经网络；
Step3、对训练样本集中的样本图片进行预处理；
Step4、将预处理后的样本图片作为训练数据输入到卷积神经网络进行训练，得到训练后的卷积神经网络的各层参数；
Step5、利用训练好的卷积神经网络，对测试样本集中的样本图片进行特征提取，利用斑点图特征实现斑点图图像配准。
进一步地，所述Step1中，斑点图图像包括待配准斑点图和配准斑点图。
进一步地，所述Step2中的卷积神经网络，其中有1个输入层，7个卷积层，6个池化层和3个全连接层和1个输出层，其中带有权重的为卷积层和全连接层；每个卷积层有相同的配置，即卷积核大小为3×3，步长为1，填充为1；共有6个池化层，池化内核大小都为2×2，步长2；有三个全连接层，前两层都是4096通道，第三层1000路代表着1000个标签类别；最后一层为输出层；第一层为卷积层，卷积核大小为3×3，个数为64个；第二层为池化层，池化内核大小为2×2，步长2；第三层是卷积层，卷积核大小为3×3，个数为128个；第四层为池化层，池化内核大小为2×2，步长2；第五层是卷积层，卷积核大小为3×3，个数为256个；第六层是池化层，池化内核大小为2×2，步长2；第七层是卷积层，卷积核大小为3×3，个数为256个；第八层是池化层，池化内核大小为2×2，步长2；第九层是卷积层，卷积核大小为3×3，个数为512个；第十层是池化层，池化内核大小为2×2，步长2；第十一层、十二层是卷积层，卷积核大小为3×3，个数为512个；第十三层是池化层，池化内核大小为2×2，步长2；
第十四、十五、十六层为全连接层，将上层输出的二维特征图转化成一维向量；第十七层是输出层，其使用Soft-max分类器输出2种类型的目标：待配准斑点图和配准斑点图。
进一步地，所述Step3中，对训练样本集中的样本图片进行预处理是对样本图片旋转、平移、和非线性形变。
本发明的有益效果是：
（1）该斑点图图像配准是通过卷积神经网络进行特征提取，根据特征进行配准，避免传统技术中人工设计特征的过程，大幅度节约时间成本，具有实时性。
（2）该斑点图图像配准方法是通过卷积神经网络对斑点图进行特征提取，可以最大可能地利用更多的斑点图特征，实现短周期斑点图图像配准。
（3）该斑点图图像配准误差低，即使图像存在大气抖动的影响和光照的不同也能得到较好的配准结果。
（4）允许待配准图像发生一定的旋转、平移和非线性形变。
附图说明
图1为本发明的流程图；
图2为本发明待配准斑点图图像；
图3为本发明配准斑点图像。
具体实施方式
实施例1：如图1-3所示，一种基于卷积神经网络的斑点图图像配准方法，包括以下步骤：
Step1、获取斑点图图像作为样本集，并划分训练样本集、验证样本集和测试样本集；
进一步地，所述Step1中，斑点图图像包括待配准斑点图和配准斑点图。
在所述Step1中，斑点图如图2和图3所示。使用图形辅助工具采集斑点图500张作为样本图片，其中待配准斑点图像400张，配准斑点图100张，并对所有样本图片添加标签，最后将80%的样本图片作为训练样本集，10%的样本图片作为验证样本集，10%的样本图片作为测试样本集。
Step2、构建卷积神经网络；
进一步地，所述Step2中的卷积神经网络，其中有1个输入层，7个卷积层，6个池化层和3个全连接层和1个输出层，其中带有权重的为卷积层和全连接层；每个卷积层有相同的配置，即卷积核大小为3×3，步长为1，填充为1；共有6个池化层，池化内核大小都为2×2，步长2；有三个全连接层，前两层都是4096通道，第三层1000路代表着1000个标签类别；最后一层为输出层；第一层为卷积层，卷积核大小为3×3，个数为64个；第二层为池化层，池化内核大小为2×2，步长2；第三层是卷积层，卷积核大小为3×3，个数为128个；第四层为池化层，池化内核大小为2×2，步长2；第五层是卷积层，卷积核大小为3×3，个数为256个；第六层是池化层，池化内核大小为2×2，步长2；第七层是卷积层，卷积核大小为3×3，个数为256个；第八层是池化层，池化内核大小为2×2，步长2；第九层是卷积层，卷积核大小为3×3，个数为512个；第十层是池化层，池化内核大小为2×2，步长2；第十一层、十二层是卷积层，卷积核大小为3×3，个数为512个；第十三层是池化层，池化内核大小为2×2，步长2；
第十四、十五、十六层为全连接层，将上层输出的二维特征图转化成一维向量；第十七层是输出层，其使用Soft-max分类器输出2种类型的目标：待配准斑点图和配准斑点图。
Step3、对训练样本集中的样本图片进行预处理；
进一步地，所述Step3中，对训练样本集中的样本图片进行预处理是对样本图片旋转、平移、和非线性形变。
在所述Step3中，对样本图片进行预处理主要是随机裁剪样本图片得到大小为一个宽和高分别为512像素和512像素的图片。对样本图像进行旋转、平移和非线性形变，其中旋转斑点图图像为50张，发生位移斑点图图像为50张，同时发生旋转和位移的斑点图图像为100张，发生非线性形变的斑点图图像为200张。
Step4、将预处理后的样本图片作为训练数据输入到卷积神经网络进行训练，得到训练后的卷积神经网络的各层参数；
在所述Step4中，训练卷积神经网络的过程包括前向传播和反向传播两个过程。在前向传播过程中，首先将512×512大小的样本图输入到第一层卷积层进行卷积运算，64通道的特征图，然后传入第二层池化层进行最大值池化操作得到256×256大小，64通道的特征图，再传入第三层卷积层进行卷积运算操作得到256×256大小，128通道的特征图，接下来传入第四层最大池化层进行运算得到128×128大小，128通道的特征图，然后传入第五层卷积层进行卷积运算、ReLU激活函数运算得到128×128大小，256通道的特征图，然后传入第六层池化层进行最大值池化操作得到128×128大小，256通道的特征图然后传入第七层卷积层进行卷积运算、ReLU激活函数运算得到64×64大小，256通道的特征图，然后传入第八层池化层进行最大值池化操作得到32×32大小，512通道的特征图，然后传入第九层卷积层进行卷积运算、ReLU激活函数运算得到32×32大小，512通道的特征图，然后传入第十层池化层进行最大值池化操作得到16×16大小，512通道的特征图，然后传入第十一层卷积层进行卷积运算、ReLU激活函数运算得到16×16大小，512通道的特征图，然后传入第十二层卷积层进行卷积运算、ReLU激活函数运算得到8×8大小，512通道的特征图，然后传入第十三层池化层进行最大值池化操作得到4×4大小，512通道的特征图，然后依此传入第十四层、第十五层、第十六层分别进行ReLU激活函数运算得到有4096个元素的一维向量，最后传入输出层得到输出结果。在反向传播过程中，计算卷积神经网络前向传播的输出结果对样本输入的最小均方误差，按照极小化误差的方式，反向逐层调整网络的权值。重复进行前向传播和反向传播，直到达到误差最小或者达到最大迭代次数时，从而得到训练好的卷积神经网络模型。经过训练样本训练出多个模型后，为了能找出效果最佳的模型，验证样本输入卷积神经网络得到的配准斑点图来调节了迭代数、学习率等，使得配准斑点图在验证集上最优，得到最优的卷积神经网络模型。
Step5、利用训练好的卷积神经网络，对测试样本集中的样本图片进行特征提取，利用斑点图特征实现斑点图图像配准。
在所述Step5中，使用的测试样本集大小为50张斑点图待配准图像，测试前先对测试样本集进行裁剪得到大小为一个宽和高分别为512像素和512像素的图片，利用训练好的卷积神经网络，对测试样本集中的样本图片进行特征提取，利用斑点图特征实现斑点图图像配准。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (4)

1.一种基于卷积神经网络的斑点图图像配准方法，其特征在于：包括以下步骤：
Step1、获取斑点图图像作为样本集，并划分训练样本集、验证样本集和测试样本集；
Step2、构建卷积神经网络；
Step3、对训练样本集中的样本图片进行预处理；
Step4、将预处理后的样本图片作为训练数据输入到卷积神经网络进行训练，得到训练后的卷积神经网络的各层参数；
Step5、利用训练好的卷积神经网络，对测试样本集中的样本图片进行特征提取，利用斑点图特征实现斑点图图像配准。
2.根据权利要求1所述的基于卷积神经网络的斑点图图像配准方法，其特征在于：所述Step1中，斑点图图像包括待配准斑点图和配准斑点图。
3.根据权利要求1所述的基于卷积神经网络的斑点图图像配准方法，其特征在于：所述Step2中的卷积神经网络，其中有1个输入层，7个卷积层，6个池化层和3个全连接层和1个输出层，其中带有权重的为卷积层和全连接层；每个卷积层有相同的配置，即卷积核大小为3×3，步长为1，填充为1；共有6个池化层，池化内核大小都为2×2，步长2；有三个全连接层，前两层都是4096通道，第三层1000路代表着1000个标签类别；最后一层为输出层；第一层为卷积层，卷积核大小为3×3，个数为64个；第二层为池化层，池化内核大小为2×2，步长2；第三层是卷积层，卷积核大小为3×3，个数为128个；第四层为池化层，池化内核大小为2×2，步长2；第五层是卷积层，卷积核大小为3×3，个数为256个；第六层是池化层，池化内核大小为2×2，步长2；第七层是卷积层，卷积核大小为3×3，个数为256个；第八层是池化层，池化内核大小为2×2，步长2；第九层是卷积层，卷积核大小为3×3，个数为512个；第十层是池化层，池化内核大小为2×2，步长2；第十一层、十二层是卷积层，卷积核大小为3×3，个数为512个；第十三层是池化层，池化内核大小为2×2，步长2；
第十四、十五、十六层为全连接层，将上层输出的二维特征图转化成一维向量；第十七层是输出层，其使用Soft-max分类器输出2种类型的目标：待配准斑点图和配准斑点图。
4.根据权利要求1所述的基于卷积神经网络的斑点图图像配准方法，其特征在于：所述Step3中，对训练样本集中的样本图片进行预处理是对样本图片旋转、平移、和非线性形变。
CN201910303320.7A 2019-04-16 2019-04-16 一种基于卷积神经网络的斑点图图像配准方法 Active CN110111371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910303320.7A CN110111371B (zh) 2019-04-16 2019-04-16 一种基于卷积神经网络的斑点图图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910303320.7A CN110111371B (zh) 2019-04-16 2019-04-16 一种基于卷积神经网络的斑点图图像配准方法

Publications (2)

Publication Number Publication Date
CN110111371A true CN110111371A (zh) 2019-08-09
CN110111371B CN110111371B (zh) 2023-04-18

Family

ID=67484079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910303320.7A Active CN110111371B (zh) 2019-04-16 2019-04-16 一种基于卷积神经网络的斑点图图像配准方法

Country Status (1)

Country Link
CN (1) CN110111371B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827332A (zh) * 2019-10-09 2020-02-21 哈尔滨工程大学 一种基于卷积神经网络的sar图像的配准方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373109A (zh) * 2016-08-31 2017-02-01 南方医科大学 一种医学图像模态合成的方法
CN106952223A (zh) * 2017-03-17 2017-07-14 北京邮电大学 图像配准方法及装置
US20180074506A1 (en) * 2017-11-21 2018-03-15 GM Global Technology Operations LLC Systems and methods for mapping roadway-interfering objects in autonomous vehicles
CN109035316A (zh) * 2018-08-28 2018-12-18 北京安德医智科技有限公司 核磁共振图像序列的配准方法及设备
CN109035315A (zh) * 2018-08-28 2018-12-18 武汉大学 融合sift特征和cnn特征的遥感图像配准方法及系统
CN109272026A (zh) * 2018-08-30 2019-01-25 昆明理工大学 一种基于卷积神经网络的脉冲星识别方法
CN109389051A (zh) * 2018-09-20 2019-02-26 华南农业大学 一种基于卷积神经网络的建筑物遥感图像识别方法
CN109544610A (zh) * 2018-10-15 2019-03-29 天津大学 一种基于卷积神经网络的图像配准方法
CN109584283A (zh) * 2018-11-29 2019-04-05 合肥中科离子医学技术装备有限公司 一种基于卷积神经网络的医学图像配准算法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373109A (zh) * 2016-08-31 2017-02-01 南方医科大学 一种医学图像模态合成的方法
CN106952223A (zh) * 2017-03-17 2017-07-14 北京邮电大学 图像配准方法及装置
US20180074506A1 (en) * 2017-11-21 2018-03-15 GM Global Technology Operations LLC Systems and methods for mapping roadway-interfering objects in autonomous vehicles
CN109035316A (zh) * 2018-08-28 2018-12-18 北京安德医智科技有限公司 核磁共振图像序列的配准方法及设备
CN109035315A (zh) * 2018-08-28 2018-12-18 武汉大学 融合sift特征和cnn特征的遥感图像配准方法及系统
CN109272026A (zh) * 2018-08-30 2019-01-25 昆明理工大学 一种基于卷积神经网络的脉冲星识别方法
CN109389051A (zh) * 2018-09-20 2019-02-26 华南农业大学 一种基于卷积神经网络的建筑物遥感图像识别方法
CN109544610A (zh) * 2018-10-15 2019-03-29 天津大学 一种基于卷积神经网络的图像配准方法
CN109584283A (zh) * 2018-11-29 2019-04-05 合肥中科离子医学技术装备有限公司 一种基于卷积神经网络的医学图像配准算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PUYANG WANG 等: "SAR Image Despeckling Using a Convolutional Neural Network" *
张丹 等: "无人系统之"眼"——计算机视觉技术与应用浅析" *
苏燕飞: "基于卷积神经网络和SIFT的多源遥感图像配准研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827332A (zh) * 2019-10-09 2020-02-21 哈尔滨工程大学 一种基于卷积神经网络的sar图像的配准方法
CN110827332B (zh) * 2019-10-09 2022-12-13 哈尔滨工程大学 一种基于卷积神经网络的sar图像的配准方法

Also Published As

Publication number Publication date
CN110111371B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
Chiang et al. Stylizing 3d scene via implicit representation and hypernetwork
CN110008915A (zh) 基于掩码-rcnn进行稠密人体姿态估计的系统及方法
CN109410321A (zh) 基于卷积神经网络的三维重建方法
CN112465111A (zh) 一种基于知识蒸馏和对抗训练的三维体素图像分割方法
CN109886225A (zh) 一种基于深度学习的图像手势动作在线检测与识别方法
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
CN107730451A (zh) 一种基于深度残差网络的压缩感知重建方法和系统
CN109035267B (zh) 一种基于深度学习的图像目标抠取方法
CN112686898B (zh) 一种基于自监督学习的放疗靶区自动分割方法
CN110009028B (zh) 一种显微图像数据增强方法及装置
CN107609638A (zh) 一种基于线性解码器和插值采样优化卷积神经网络的方法
CN109035146A (zh) 一种基于深度学习的低质量图像超分方法
CN109272026A (zh) 一种基于卷积神经网络的脉冲星识别方法
CN111784777A (zh) 基于卷积神经网络的smt物料数量统计方法及统计系统
CN116935043A (zh) 一种基于多任务生成对抗网络的典型地物遥感图像生成方法
CN109086806A (zh) 一种基于低分辨率压缩图像的iot便携式设备视觉识别加速方法
CN115861614A (zh) 一种基于羽绒服图像的自动生成语义分割图的方法和装置
Hu et al. A novel electronic component classification algorithm based on hierarchical convolution neural network
CN110288529A (zh) 一种基于递归局部合成网络的单幅图像超分辨率重建方法
Zhao et al. Deep equilibrium models for snapshot compressive imaging
CN110111371A (zh) 一种基于卷积神经网络的斑点图图像配准方法
CN113822825A (zh) 基于3d-r2n2的光学建筑目标三维重建方法
CN112561782B (zh) 一种提高海上场景仿真图片真实度的方法
CN112288626B (zh) 一种基于双路径深度融合的人脸幻构方法及系统
CN112862946B (zh) 基于级联条件生成对抗网络的灰度岩心图像三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant