CN107480701B - 基于多通道卷积神经网络的光学图像与雷达图像匹配方法 - Google Patents

基于多通道卷积神经网络的光学图像与雷达图像匹配方法 Download PDF

Info

Publication number
CN107480701B
CN107480701B CN201710590173.7A CN201710590173A CN107480701B CN 107480701 B CN107480701 B CN 107480701B CN 201710590173 A CN201710590173 A CN 201710590173A CN 107480701 B CN107480701 B CN 107480701B
Authority
CN
China
Prior art keywords
convolution
output
neuron
image
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710590173.7A
Other languages
English (en)
Other versions
CN107480701A (zh
Inventor
张绍明
熊璐
吴睿泽
阳群益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201710590173.7A priority Critical patent/CN107480701B/zh
Publication of CN107480701A publication Critical patent/CN107480701A/zh
Application granted granted Critical
Publication of CN107480701B publication Critical patent/CN107480701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及一种基于多通道卷积神经网络的光学图像与雷达图像匹配方法，包括以下步骤：1)采用一个深度卷积神经网络对光学图像进行特征提取，获取光学图像的32×32×32维图像特征数据；2)采用另一个深度卷积神经网络对SAR图像进行特征提取，获取SAR图像的32×32×32维图像特征数据；3)对SAR图像和光学图像提取出的图像特征数据进行级联形成联合特征；4)根据联合特征构建匹配网络，并进行全连接匹配分类并输出匹配结果。与现有技术相比，本发明具有特征级联、匹配稳定等优点。

Description

基于多通道卷积神经网络的光学图像与雷达图像匹配方法
技术领域
本发明涉及遥感数据处理领域，尤其是涉及一种基于多通道卷积神经网络的光学图像与雷达图像匹配方法。
背景技术
目前，在遥感数据处理领域，多光谱光学图像和合成孔径雷达(SyntheticAperture Radar，SAR)图像经过配准后再进行应用处理是使用极为广泛的数据处理式，并且对提升遥感图像的利用价值具有重要意义。在图像的配准中，由于光学图像和SAR图像的成像方式、成像频率、图像通道数量都存在巨大的差异，使二者的高精度配准具有很大的难度。
现有的通用方法大多采用两种方式：
1)将多通道的光学图像整合为单通道灰度图像，之后直接与同等大小的SAR图像计算归一化相关系数，通过归一化相关系数的大小判断二者是否匹配；
2)在光学图像和SAR图像中分别提取边缘、直线、角点等特征，利用特征进行匹配。
第一种方法由于将多通道图像整合为单通道图像，舍弃和浪费了大量图像信息。并且由于光学和SAR的成像方式、波段频率不同，对同一类地物的反射率会具有非常大的差异，因此直接计算相关系数具有非常高的不确定性。
第二种方法避免了两种类型图像反射率不确定的影响，但是两种图像对特征的表达能力不同，经常出现特征在一种类型的图像中存在，而在另外一种类型的图像中不存在的情况。并且两种类型的图像特征之间会存在一定的位移，导致无法精确匹配。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种特征级联、匹配稳定的基于多通道卷积神经网络的光学图像与雷达图像匹配方法。
本发明的目的可以通过以下技术方案来实现：
一种基于多通道卷积神经网络的光学图像与雷达图像匹配方法，包括以下步骤：
1)采用一个深度卷积神经网络对光学图像进行特征提取，获取光学图像的32×32×32维图像特征数据；
2)采用另一个深度卷积神经网络对SAR图像进行特征提取，获取SAR图像的32×32×32维图像特征数据；
3)对SAR图像和光学图像提取出的图像特征数据进行级联形成联合特征；
4)根据联合特征构建匹配网络，并进行全连接匹配分类并输出匹配结果。
所述的步骤1)具体包括以下步骤：
11)将光学图像大小缩放为256×256像素；
12)对图像进行96次7×7卷积，得到96个通道的尺寸为256×256的卷积结果，每个通道的每个像素上对应的卷积结果通过激活函数为ReLU的神经元得到并输出；
13)对步骤12)中神经元输出的卷积结果进行窗口为2×2的均值下采样，使每个通道的缩小为128×128；
14)对96个通道的128×128结果进行128次5×5的窗口卷积，得到128个输出通道的128×128的卷积结果，每个通道的每个像素上对应的卷积结果通过激活函数为ReLU的神经元得到并输出；
15)对步骤14)中神经元输出的卷积结果进行窗口为2×2的均值下采样，使每个通道缩小为64×64；
16)对128个通道的64×64结果进行32次3×3窗口卷积，得到32个输出通道的64×64的卷积结果，每个通道的每个像素上对应的卷积结果通过激活函数为ReLU的神经元得到并输出。
17)对步骤16)中神经元输出的卷积结果进行窗口为2×2的均值下采样，使每个通道的卷积结果缩小为32×32，最终获取的32×32×32维光学图像的特征。
所述的步骤2)具体包括以下步骤：
21)将SAR图像大小缩放到256×256像素；
22)对图像进行12次7×7卷积，得到12个通道的尺寸为256×256的卷积结果，每个通道的每个像素上对应的卷积结果通过激活函数为ReLU的神经元得到并输出；
23)对步骤22)中神经元输出的卷积结果进行窗口为2×2的均值下采样，将每个通道的缩小为128×128；
24)对12个通道的128×128结果进行24次5×5的窗口卷积，得到24个输出通道的128×128的卷积结果，每个通道的每个像素上对应的卷积结果通过激活函数为ReLU的神经元得到并输出；
25)对步骤24)中神经元输出的卷积结果进行窗口为2×2的均值下采样，使每个通道缩小为64×64；
26)对24个通道的64×64结果进行32次3×3窗口卷积，得到32个输出通道的64×64的卷积结果，每个通道的每个像素上对应的卷积结果通过激活函数为ReLU的神经元得到输出；
27)上对步骤26)中神经元输出的卷积结果进行窗口为2×2的均值下采样，使每个通道的卷积结果缩小为32×32，此时得到的32×32×32维数据为SAR图像的特征。
所述的步骤3)具体包括以下步骤：
对光学图像和SAR图像对应的32×32×32维图像特征数据进行并联，形成64×32×32维的联合特征。
所述的步骤4)具体包括以下步骤：
41)对64×32×32维的联合特征进行32次3×3卷积，得到32个通道的尺寸为32×32的卷积结果，每个通道的每个像素上对应的卷积结果通过激活函数为ReLU神经元得到并输出；
42)对步骤41)中神经元输出的卷积结果进行窗口为2×2的均值下采样，使每个通道的缩小为16×16；
43)对32个通道的16×16结果进行32次2×2的窗口卷积，得到32个输出通道的16×16的卷积结果，每个通道的每个像素上对应的卷积结果通过激活函数为ReLU的神经元得到并输出；
44)对步骤43)中神经元输出的卷积结果进行窗口为2×2的均值下采样，使每个通道缩小为8×8，得到32×8×8维光学和SAR图像最终联合特征；
45)对最终联合特征与1000个神经元进行完全连接，并得到1000维输出结果；
46)将步骤45)1000维输出结果再次与1000个神经元进行完全连接，得到输出结果；
47)将步骤46)得到的1000维输出结果连接到1个神经元，得到最终的匹配结果，即：1表示匹配，0表示不匹配。
所述的步骤45)和46)中的神经元的激活函数为ReLU，所述的步骤47)中的神经元的激活函数为Softmax函数。
所述的步骤4)中，匹配网络的训练采用梯度下降法，对训练误差进行后向传播修正网络连接权值。
与现有技术相比，本发明具有以下优点：
一、采用多达96通道的初始卷积层对光学图像进行特征提取，可稳定的提取所有波段的信息，与传统方法相比对图像信息的利用更加充分。
二、采用光学和SAR图像特征级联的方式，避免了人工定义光学与SAR图像的共性特征，可更好的定义图像匹配的特征空间。
三、采用深度卷积神经网络对光学与SAR图像联合特征进行相似性匹配判断，而不是利用现有的欧式距离，可以获得更稳定的匹配结果。
附图说明
图1为本发明的算法流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，下面以两张1000×1000的图像进行匹配为例，对以下步骤进行详细描述：
在步骤“预处理”中，将光学图像和雷达图像都压缩到256×256，然后执行步骤401和401-1；
在步骤401中，对光学图像进行96次7×7的卷积，将卷积结果输入到ReLU神经元；在步骤401-1中对SAR图像进行12次7×7卷积，将卷积结果输入到ReLU神经元；然后执行步骤402和402-1；
在步骤402中，对步骤401中得到的神经元输出进行2×2的均值下采样；在步骤402-1中，对步骤401-1中得到的神经元输出进行2×2的均值下采样；然后执行步骤403和403-1；
在步骤403中，对光学图像进行128次5×5的卷积，将卷积结果输入到ReLU神经元；在步骤403-1中对SAR图像进行24次5×5卷积，将卷积结果输入到ReLU神经元；然后执行步骤404和404-1；
在步骤404中，对步骤403中得到的神经元输出进行2×2的均值下采样；在步骤404-1中，对步骤403-1中得到的神经元输出进行2×2的均值下采样；然后执行步骤405和405-1；
在步骤405中，对光学图像进行32次3×3的卷积，将卷积结果输入到ReLU神经元；在步骤405-1中对SAR图像进行32次3×3卷积，将卷积结果输入到ReLU神经元；然后执行步骤406和406-1；
在步骤406中，对步骤405中得到的神经元输出进行2×2的均值下采样；在步骤406-1中，对步骤405-1中得到的神经元输出进行2×2的均值下采样；然后执行步骤407；
在步骤407中，将步骤406和步骤406-1中得到的输出进行联合，得到64通道的光学和SAR图像联合特征。然后执行408。
在步骤408中，对光学图像进行32次3×3的卷积，将卷积结果输入到ReLU神经元；然后执行步骤409。
在步骤409中，对步骤408中得到的神经元输出进行2×2的均值下采样；然后执行步骤410。
在步骤410中，对光学图像进行32次2×2的卷积，将卷积结果输入到ReLU神经元；然后执行步骤411。
在步骤411中，对步骤410中得到的神经元输出进行2×2的均值下采样；然后执行步骤412。
在步骤412中，将步骤411中得到的所有输出与1000个ReLU神经元进行全连接，并获得1000个输出。执行步骤413。
在步骤413中，将步骤412中得到的所有输出与1000个ReLU神经元进行全连接，并获得1000个输出。执行步骤414。
在步骤414中，将步骤413中得到的所有输出与1个Softmax神经元进行全连接，并获得1个输出。输出值为1表示匹配，输出值为0表示不匹配。

Claims (6)

1.一种基于多通道卷积神经网络的光学图像与雷达图像匹配方法，其特征在于，包括以下步骤：
1)采用一个深度卷积神经网络对光学图像进行特征提取，获取光学图像的32×32×32维图像特征数据，具体包括以下步骤：
11)将光学图像大小缩放为256×256像素；
12)对图像进行96次7×7卷积，得到96个通道的卷积特征尺寸为256×256的卷积结果，每个通道的每个像素上对应的卷积结果通过激活函数为ReLU的神经元得到并输出；
13)对步骤12)中神经元输出的卷积结果进行窗口为2×2的均值下采样，使每个通道的卷积特征尺寸缩小为128×128；
14)对96个通道卷积特征尺寸为128×128的卷积结果进行128次5×5的窗口卷积，得到128个输出通道卷积特征尺寸为128×128的卷积结果，每个通道的每个像素上对应的卷积结果通过激活函数为ReLU的神经元得到并输出；
15)对步骤14)中神经元输出的卷积结果进行窗口为2×2的均值下采样，使每个通道的卷积特征尺寸为缩小为64×64；
16)对128个通道卷积特征尺寸为64×64的卷积结果进行32次3×3窗口卷积，得到32个输出通道卷积特征尺寸为64×64的卷积结果，每个通道的每个像素上对应的卷积结果通过激活函数为ReLU的神经元得到并输出；
17)对步骤16)中神经元输出的卷积结果进行窗口为2×2的均值下采样，使每个通道的卷积特征尺寸缩小为32×32，最终获取的32×32×32维光学图像的特征；
2)采用另一个深度卷积神经网络对SAR图像进行特征提取，获取SAR图像的32×32×32维图像特征数据；
3)对SAR图像和光学图像提取出的图像特征数据进行级联形成联合特征；
4)根据联合特征构建匹配网络，并进行全连接匹配分类并输出匹配结果。
2.根据权利要求1所述的一种基于多通道卷积神经网络的光学图像与雷达图像匹配方法，其特征在于，所述的步骤2)具体包括以下步骤：
21)将SAR图像大小缩放到256×256像素；
22)对图像进行12次7×7卷积，得到12个通道的卷积特征尺寸为256×256的卷积结果，每个通道的每个像素上对应的卷积结果通过激活函数为ReLU的神经元得到并输出；
23)对步骤22)中神经元输出的卷积结果进行窗口为2×2的均值下采样，将每个通道的卷积特征尺寸缩小为128×128；
24)对12个通道的128×128结果进行24次5×5的窗口卷积，得到24个输出通道卷积特征尺寸为128×128的卷积结果，每个通道的每个像素上对应的卷积结果通过激活函数为ReLU的神经元得到并输出；
25)对步骤24)中神经元输出的卷积结果进行窗口为2×2的均值下采样，使每个通道的卷积特征尺寸缩小为64×64；
26)对24个通道的64×64结果进行32次3×3窗口卷积，得到32个输出通道卷积特征尺寸为64×64的卷积结果，每个通道的每个像素上对应的卷积结果通过激活函数为ReLU的神经元得到输出；
27)上对步骤26)中神经元输出的卷积结果进行窗口为2×2的均值下采样，使每个通道的卷积特征尺寸缩小为32×32，此时得到的32×32×32维数据为SAR图像的特征。
3.根据权利要求1所述的一种基于多通道卷积神经网络的光学图像与雷达图像匹配方法，其特征在于，所述的步骤3)具体包括以下步骤：
对光学图像和SAR图像对应的32×32×32维图像特征数据进行并联，形成64×32×32维的联合特征。
4.根据权利要求1所述的一种基于多通道卷积神经网络的光学图像与雷达图像匹配方法，其特征在于，所述的步骤4)具体包括以下步骤：
41)对64×32×32维的联合特征进行32次3×3卷积，得到32个通道的卷积特征尺寸为32×32的卷积结果，每个通道的每个像素上对应的卷积结果通过激活函数为ReLU神经元得到并输出；
42)对步骤41)中神经元输出的卷积结果进行窗口为2×2的均值下采样，使每个通道的卷积特征尺寸缩小为16×16；
43)对32个通道的16×16结果进行32次2×2的窗口卷积，得到32个输出通道卷积特征尺寸为16×16的卷积结果，每个通道的每个像素上对应的卷积结果通过激活函数为ReLU的神经元得到并输出；
44)对步骤43)中神经元输出的卷积结果进行窗口为2×2的均值下采样，使每个通道的卷积特征尺寸缩小为8×8，得到32×8×8维光学和SAR图像最终联合特征；
45)对最终联合特征与1000个神经元进行完全连接，并得到1000维输出结果；
46)将步骤45)1000维输出结果再次与1000个神经元进行完全连接，得到输出结果；
47)将步骤46)得到的1000维输出结果连接到1个神经元，得到最终的匹配结果，即：1表示匹配，0表示不匹配。
5.根据权利要求4所述的一种基于多通道卷积神经网络的光学图像与雷达图像匹配方法，其特征在于，所述的步骤45)和46)中的神经元的激活函数为ReLU，所述的步骤47)中的神经元的激活函数为Softmax函数。
6.根据权利要求1所述的一种基于多通道卷积神经网络的光学图像与雷达图像匹配方法，其特征在于，所述的步骤4)中，匹配网络的训练采用梯度下降法，对训练误差进行后向传播修正网络连接权值。
CN201710590173.7A 2017-07-19 2017-07-19 基于多通道卷积神经网络的光学图像与雷达图像匹配方法 Active CN107480701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710590173.7A CN107480701B (zh) 2017-07-19 2017-07-19 基于多通道卷积神经网络的光学图像与雷达图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710590173.7A CN107480701B (zh) 2017-07-19 2017-07-19 基于多通道卷积神经网络的光学图像与雷达图像匹配方法

Publications (2)

Publication Number Publication Date
CN107480701A CN107480701A (zh) 2017-12-15
CN107480701B true CN107480701B (zh) 2020-07-28

Family

ID=60595847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710590173.7A Active CN107480701B (zh) 2017-07-19 2017-07-19 基于多通道卷积神经网络的光学图像与雷达图像匹配方法

Country Status (1)

Country Link
CN (1) CN107480701B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108254741B (zh) * 2018-01-16 2021-02-09 中国人民解放军海军航空大学 基于循环神经网络的目标航迹预测方法
CN108564606B (zh) * 2018-03-30 2022-06-24 西安电子科技大学 基于图像转换的异源图像块匹配方法
CN108510532B (zh) * 2018-03-30 2022-07-15 西安电子科技大学 基于深度卷积gan的光学和sar图像配准方法
WO2019197427A1 (en) 2018-04-09 2019-10-17 Koninklijke Philips N.V. Ultrasound system with artificial neural network for retrieval of imaging parameter settings for recurring patient
CN109190651A (zh) * 2018-07-06 2019-01-11 同济大学 基于多通道卷积神经网络的光学图像与雷达图像匹配方法
CN111899269B (zh) * 2020-07-16 2022-07-05 武汉大学 一种基于边缘结构信息的无人机图像与sar卫星图像的匹配方法
CN112200845A (zh) * 2020-10-22 2021-01-08 清华大学 一种图像配准方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200224A (zh) * 2014-08-28 2014-12-10 西北工业大学 基于深度卷积神经网络的无价值图像去除方法
CN106295714A (zh) * 2016-08-22 2017-01-04 中国科学院电子学研究所 一种基于深度学习的多源遥感图像融合方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200224A (zh) * 2014-08-28 2014-12-10 西北工业大学 基于深度卷积神经网络的无价值图像去除方法
CN106295714A (zh) * 2016-08-22 2017-01-04 中国科学院电子学研究所 一种基于深度学习的多源遥感图像融合方法

Also Published As

Publication number Publication date
CN107480701A (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
CN107480701B (zh) 基于多通道卷积神经网络的光学图像与雷达图像匹配方法
US10339633B2 (en) Method and device for super-resolution image reconstruction based on dictionary matching
CN110544212B (zh) 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN109272010B (zh) 基于卷积神经网络的多尺度遥感图像融合方法
CN110598692B (zh) 一种基于深度学习的椭圆识别方法
CN102436652B (zh) 一种多源遥感图像自动配准方法
CN108647568B (zh) 基于全卷积神经网络的草地退化自动提取方法
CN110287969A (zh) 基于图残差注意力网络的摩尔文本图像二值化系统
Pashaei et al. Deep learning-based single image super-resolution: an investigation for dense scene reconstruction with UAS photogrammetry
CN103793705B (zh) 基于迭代随机抽样一致性算法和局部掌纹描述符的非接触掌纹认证方法
CN116665053B (zh) 顾及阴影信息的高分辨遥感影像建筑物识别方法及系统
CN104978742A (zh) 基于级联结构的图像配准方法及装置
CN113066030B (zh) 一种基于空谱融合网络的多光谱图像全色锐化方法及系统
CN107845066B (zh) 基于分段仿射变换模型的城市遥感图像拼接方法及装置
CN112330576A (zh) 车载鱼眼摄像头畸变矫正方法、装置、设备及存储介质
CN115471437A (zh) 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法
CN114998167A (zh) 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法
CN107766810B (zh) 一种云、影检测方法
CN116055460A (zh) 一种复杂通信条件下的图像压缩恢复方法
CN115527119A (zh) 一种基于深度学习的农作物遥感图像语义分割方法
CN116703769A (zh) 一种卫星遥感图像全色锐化系统
CN113239828A (zh) 一种基于tof摄像模组的人脸识别方法及装置
CN111598115B (zh) 一种基于交叉皮质神经网络模型的sar影像融合方法
CN114998630B (zh) 一种从粗到精的地对空图像配准方法
CN113962904B (zh) 一种高光谱图像滤波降噪的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant