CN112288690B - 一种融合多尺度多层级特征的卫星影像密集匹配方法 - Google Patents

一种融合多尺度多层级特征的卫星影像密集匹配方法 Download PDF

Info

Publication number
CN112288690B
CN112288690B CN202011094084.1A CN202011094084A CN112288690B CN 112288690 B CN112288690 B CN 112288690B CN 202011094084 A CN202011094084 A CN 202011094084A CN 112288690 B CN112288690 B CN 112288690B
Authority
CN
China
Prior art keywords
cost
image
scale
module
steps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011094084.1A
Other languages
English (en)
Other versions
CN112288690A (zh
Inventor
张永军
郑志
万一
鄢小虎
刘欣怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202011094084.1A priority Critical patent/CN112288690B/zh
Publication of CN112288690A publication Critical patent/CN112288690A/zh
Application granted granted Critical
Publication of CN112288690B publication Critical patent/CN112288690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种融合多尺度多层级特征的卫星影像密集匹配方法，该方法划分为四个组成部分，分别为特征提取、代价体构建、代价聚合和视差回归。网络的特征提取部分利用残差模块构建了多尺度特征提取模块和多层级特征融合模块，前者用于多尺度影像信息挖掘，后者用于融合多层次特征。利用多尺度特征提取模块和多层级特征融合模块，网络将实现对影像信息的有效提取。在给定视差范围的条件下，代价体构建部分将提取的左、右影像特征构造成一个四维的代价聚合体。代价聚合部分利用本发明提出的代价聚合模块对代价聚合体进行三维卷积变换，以实现匹配代价聚合。视差回归部分对聚合后的匹配代价依次进行维度变换、上采样和回归分析，获取最终视差图。

Description

一种融合多尺度多层级特征的卫星影像密集匹配方法
技术领域
本发明属于遥感影像处理方法，具体涉及一种融合多尺度多层级特征的卫星影像密集匹配网络。
技术背景
利用卫星影像生成数字表面模型的核心过程为卫星影像密集匹配。传统处理流程中，该过程一般被分为四个步骤：代价计算，代价积聚，视差优化以及视差精化。这种分步骤处理的方式会造成处理误差的逐步积累，尽管处理中会对得到的视差图进行精化处理，但最终生成的视差图的精度仍旧较低。此外，传统方法高度依赖于人为设计的特征提取器，这种特征提取器在弱纹理、重复纹理等地物特征不够明显区域极易产生误匹配。上述两个因素是导致传统卫星影像密集匹配精度较低、特殊区域误匹配严重的主要原因。近年来，深度学习技术的快速发展，很大程度上解决了传统方法的弊端、推动了影像密集匹配精度的提升。首先，基于卷积神经网络的影像密集匹配技术采取端到端的处理方式，将特征提取、代价体构建、代价聚合和视差回归等流程纳入到统一的网络中进行处理，避免了处理过程中的误差积累；此外，这类方法无需设计复杂的人工特征，而是通过数据驱动的方式学习样本中的特征范式，因而对弱纹理、重复纹理等区域有更强的抵抗性，可以显著降低匹配困难区域的误匹配率。然而，由于当前基于深度学习的密集匹配方法在进行特征提取时仅使用了多尺度特征或多层级特征，对特征信息的挖掘程度不够，匹配精度仍有待提升。在该背景下，本发明提出一种融合多尺度多层级特征的卫星影像密集匹配方法，旨在通过融合影像间的多尺度及多层级特征，实现更高精度的卫星影像密集匹配。
发明内容
本发明提出一种融合多尺度多层级特征的卫星影像密集匹配方法，用以提高卫星影像密集匹配的精度、降低误匹配率。
本发明所使用的技术方案是：一种融合多尺度多层级特征的卫星影像密集匹配方法，其特征在于，包括以下步骤：
步骤1：将能够构成立体像对的两景卫星影像通过几何精校正和核线纠正得到处理后的左、右卫星影像；利用同一地理范围、相近时间获得的激光雷达点云(LiDAR)或其他辅助高程数据生成数字表面模型(DSM)、并转化为以左卫星影像为基准的视差图；通过左、右卫星影像，视差图构建训练集。其中，左、右卫星影像用于预测匹配视差图，训练集给定的视差图将作为真值数据，用于算法精度验证。
步骤2：定义多尺度特征提取模块、多层级特征融合模块和代价聚合模块。多尺度特征提取模块、多层级特征融合模块和代价聚合模块均具有双分支。其中，多尺度特征提取模块用以提取不同尺度的影像特征；多层级特征融合模块用于进行不同层级影像特征的融合；代价聚合模块以不同步距的三维卷积进行不同尺度的代价计算、并通过反卷积及代价级联方式实现多尺度代价聚合。
步骤3：利用多尺度特征提取模块、多层级特征融合模块和代价聚合模块构建密集匹配网络；所述密集匹配网络主要分为四个部分，分别是：特征提取部分、匹配代价体部分、代价聚合部分及视差回归部分，具体描述如下：
特征提取部分；首先通过二维卷积将影像转换到特征空间；而后通过多尺度特征提取模块提取两个尺度的影像特征，该模块的分支一将作为后续多尺度特征提取模块的输入，分支二将与下一多尺度特征提取模块的分支一特征一起实现多层级特征融合。交替使用多个多尺度特征提取模块及多层级特征融合模块，即可在特征提取过程实现影像多尺度与多层级特征的初步融合。最后，对获取的多层级特征进行尺度和维度变换实现进一步的特征融合，以此提取融合多尺度和多层级信息的影像特征。左、右影像通过权重共享的方式提取影像特征。
匹配代价体部分；在给定视差范围的条件下，网络将利用特征提取部分中提取的左、右影像特征构建匹配代价体。
代价聚合部分；以得到的匹配代价体作为输入，该部分首先通过一系列三维卷积操作构建初始匹配聚合代价。而后以初始聚合代价为输入，通过依次使用多个代价聚合模块(不少于三个)实现不同层级匹配代价的聚合。最后按一定比例对多层级聚合代价进行叠加，实现多层级匹配代价聚合。
视差回归部分；对于获取的不同层级聚合代价，网络依次进行维度变换、上采样和视差回归处理，获取多层级的预测视差图结果；而后对多层级视差图结果以一定比例进行融合，得到网络的最终输出。
利用步骤1中构建的训练集训练步骤3设计的密集匹配网络，当网络的预测视差图和训练集给定的视差图真值之间的差别小于一定的阈值，即认为网络训练完成。
步骤4：当训练完成后，利用训练好的网络对经过几何精校正和核线纠正的待匹配影像进行密集匹配，即可获得匹配结果——视差图。
作为优选，步骤1所述能构成立体像对的左、右卫星影像之间具有合适的交会角、且两景影像地理覆盖范围具有一定的重叠；
所述经过几何精校正和核线纠正的第i组左、右卫星影像定义为：{Il，i、Ir，i}；视差图中u列第v行的像素值D*(u，v)＝d说明第i组左、右卫星影像Il，i和Ir，i在该位置基于左卫星影像的视差大小为d像素。
步骤1中所述训练集为：
其中，为经由高精度LiDAR点云或其他辅助高程数据转化生成的、以第i组左、右卫星影像中左影像为基准的视差图真值。
步骤2中所述多尺度特征提取模块、多层级特征融合模块和代价聚合模块的定义如下：
步骤2.1：定义所使用的基础残差模块为Ress；其中，下标s(s＝1，2，...N)表明残差模块的步距为s。根据特征图尺寸计算公式，当给定尺寸为{I像素*I像素}的输入特征图，设定卷积核尺寸大小为{k*k}像素,边缘填充像素数为p像素,则经过残差模块Ress运算后得到的特征图大小为：
步骤2.2：定义多尺度特征提取模块SFEm。其中，下标m(m＝1，2，...N)表示第m个多尺度提取模块，该模块具备双分支结构，分支1由n1个步距为s1的残差模块Ress1和n2个步距为s2的残差模块Ress2构成，分支2由n3个步距为s3的残差模块Ress3和n4个步距为s4的残差模块Ress4构成。作为优选，要求：
由此，SFEm的不同分支将获取不同尺度的特征图，由此实现多尺度特征提取。
步骤2.3：定义多层级特征融合模块CSFn。其中，下标n(n＝1，2，...m-1)表示第n个多层级特征融合模块；且要求在使用过程中，假设多尺度特征提取模块SFE的个数为m，则多层级特征融合模块CSF的个数为m-1。CSFn具有双分支结构，该模块要求SFEm-1的分支2和SFEm的分支1具有相同尺度，并以级联方式融合SFEm-1分支2获取的特征图和SFEm的分支1获取的特征图。假设待融合特征图的尺寸为{S像素*S像素}；SFEm分支1的通道数为C1，SFEm-1分支2的通道数为C2，则经过CSFm融合操作后，所得特征图的尺寸为：
(C1+C2)*S
步骤2.4：定义代价聚合模块CAp(p＝1,2,...N)。其中，下标p(p＝1，2，...N)表示第p个代价聚合模块，该模块具有双分支结构。定义三维卷积操作1为3CBR，该卷积操作包含三维卷积、批量归一化和非线性化操作；定义三维卷积操作2为3CB，该卷积操作包含三维卷积和批量归一化操作；定义三维反卷积操作为3DC。
进一步地，代价聚合模块CAp(p＝1,2,...N)的构建过程如下；
步骤2.4.1:定义CAp分支1为Costb1，Costb1由l1个步距为q1的3CBR,l2个步距为q2的3CBR和l3个步距为q3的3CB构成；定义CAp分支2为Costb2，Costb2由l4个步距为q4的3CBR；由此，CAp分支1的尺度将降为初始代价的CAp分支2的尺度将变为初始代价的/>为进行不同尺度的代价聚合，CAp要求：
步骤2.4.2：为实现不同尺度匹配代价的聚合，CAp分支2利用l5个步距为的反卷积操作3DC进行尺度变换。经由尺度变换后Costb2的尺度降为原尺度的/>
步骤2.4.3：作为优选，CAp首先对Costb1和Costb2进行元素级相加，即要求：
而后，CAp对叠加后的聚合代价施以l6个步距为的反卷积操作3DC以及l7个步距为q5的3CB，得到和输入代价体具有相同尺寸的聚合代价Costagg_p。
步骤3中所述一种融合多尺度多层级特征的卫星影像密集网络模型为：
其中，I表示输入的立体像对，Θ表示网络参数，表示网络特征提取部分输出的特征图；/>表示构建的匹配代价体；Costp表示第p层级的聚合代价；Dp表示经由第p层级聚合代价预测的视差图。
步骤3中所述通过多尺度特征提取模块、多层级特征融合模块和代价聚合模块构建密集匹配网络的过程具体为：
训练过程中,Φ经由特征提取部分获取左、右影像的特征图和/>利用/>和/>构建匹配代价体/>对/>进行多层级代价聚合，得到Costp；对Costp进行视差回归，得到对应层级的预测视差Dp；按照一定比例因子对Dp进行元素级相加，得到以左影像为基准的视差图，即视差图D。
进一步地，利用构造的密集匹配网络，经由所述训练集训练密集匹配网络的过程包含以下子步骤：
步骤3.1：以训练集作为密集匹配网络的输入。其中，左、右影像数据Il，i，Ir，i作为密集匹配网络的输入，用于学习预测的视差结果D′i；视差真值用于和预测视差结果D′i进行比对，判断预测结果的准确性并通过反向传播机制更新网络。
步骤3.2：构建网络的特征提取部分。作为优选，步骤3.2中所述网络特征提取部分可定义为：
其中，I表示左、右影像，为网络特征提取部分的输入，Conva表示需要进行的二维卷积；SFEb表示使用的多尺度特征提取模块；CSFc表示使用的多层级特征融合模块；Td表示需要进行的维度转换或尺度变换操作。下标a,b,c,d表示这些操作和模块均可以多次使用。N*表示正整数。则分别以左、右影像Il、Ir为输入，经过特征提取部分，即可得到影像对应的输出特征图
进一步地，以左影像Il为例，网络特征提取部分的构建过程如下：
步骤3.2.1：定义左影像大小为C*H*W，其中，C为影像的通道数(波段数)，H为影像的高度，W为影像宽度。以左影像数据Il，i为输入，通过二维卷积操作Conv1将影像数据转换到特征空间，定义此时获得的特征图为F0，l，其尺寸为C0*H0*W0。
步骤3.2.2：利用多尺度特征提取模块SFE1对F0，l进行多尺度特征提取。定义SFE1分支1和分支2的输出结果为F0_1，l，F0_2，l；通道数分别为C0_1,C0_2。
SFE1的分支1采用n1个步距为s1的残差模块和n2个步距为s2的残差模块/>进行特征提取，所得特征图F0_1，l的尺寸为：
SFE1的分支2采用n3个步距为s3的残差模块和n4个步距为s4的残差模块/>进行特征提取，所得特征图F0_2，l的尺寸为：
步骤3.2.3：利用多尺度特征提取模块SFE2对F0_1，l进行多尺度特征提取。定义SFE2分支1和分支2的输出结果为F1_2，l，F1_3，l；通道数分别为C1_2,C1_3。
SFE2的分支1采用n5个步距为s5的残差模块和n6个步距为s6的残差模块/>进行特征提取，所得特征图F1_2，l的尺寸为：
SFE2的分支2采用n7个步距为s7的残差模块和n8个步距为s8的残差模块/>进行特征提取，所得特征图F1_3，l的尺寸为：
步骤3.2.4：利用多层级特征融合模块CSF1对F0_2，l和F1_2，l进行特征融合，定义CSF1的输出结果为F2_2，l。该模块要求：
则F2_2，l的尺寸为:
步骤3.2.5：利用多尺度特征提取模块SFE3对F2_2，l进行多尺度特征提取。定义SFE3分支1和分支2的输出结果为F2_3，l，F2_4，l；通道数分别为C2_3,C2_4。
SFE3的分支1采用n9个步距为s9的残差模块和n10个步距为s10的残差模块进行特征提取，所得特征图F2_3，l的尺寸为：
SFE3的分支2采用n11个步距为s11的残差模块和n12个步距为s12的残差模块进行特征提取，所得特征图F2_4，l的尺寸为：
步骤3.2.6：利用多层级特征融合模块CSF2对F1_3，l和F2_3，l进行特征融合，定义CSF2的输出结果为F3_3，l。该模块要求：
则F3_3，l的尺寸为:
步骤3.2.7：利用卷积操作Conv2对F3_3，l进行维度压缩得到F3_3_dim，l，作为优选，压缩后的通道数为C3_3_dim；F3_3_dim，l经过n13个步距为s13的残差模块Ress13和n14个步距为s14的残差模块Ress14得到输出特征图F3_4,F3_4，l的通道数为C3_4。则F3_4，l的尺寸为：
步骤3.2.8：对F2_4，l和F3_4，l进行特征融合，定义CSF3的输出结果为F4_4，l。要求:
则F4_4，l的尺寸为：
步骤3.2.9：利用尺度变换操作T1对特征图F3_3，l进行尺度和维度变换，利用尺度和维度变换操作T2对特征图F4_4，l进行尺度和维度变换。定义变换后的特征图分别为F3_3_u，l，F4_4_u，l,变换后特征图的通道数分别为C3_u,C4_u。
作为优选，要求F3_3_u，l，F4_4_u，l和F2_2，l具有相同尺寸，并通过级联方式对F3_3_u，l，F4_4_u，l和，F2_2，l进行连接，定义为Ffuse，l。则Ffuse，l的尺寸为：
步骤3.2.10：对Ffuse，l进行卷积操作Conv3和维度变换操作T3，得到左影像的特征提取结果Fl。作为优选，Fl的通道数与F0，l一致,则特征图Fl的尺寸为：
步骤3.2.11：定义右影像大小为C*H*W。对右影像进行如步骤3.2.1至步骤3.2.10的操作，则可得到右影像的特征提取结果Fr。作为优选，Fr的通道数与F0，r一致,则特征图Fr的尺寸为
步骤3.3：构建网络的匹配代价体部分。作为优选，步骤3.3中所述网络匹配代价体部分可定义为：
其中， 表示左、右影像经由网络特征提取部分获取的影像特征；dmax表示给定的左、右影像的视差值范围；/>为经由匹配代价体构建过程得到的代价体。
当给定视差大小为d(0≤d<dmax)、影像行列数为x和y时，经过校正的左、右影像的对应像素之间具有如下关系：
(xl,y)＝(xr-d,y)
即左影像的第x列(x≥d)像素对应于右影像的第(x-d)列像素。
进一步地，网络代价体的构建过程如下：
步骤3.3.1：左、右卫星影像经由步骤3.2以权重共享方式得到的影像特征图的尺寸为给定待匹配影像的视差范围为dmax，则所需构建的代价体的尺寸为：/>
步骤3.3.2：匹配代价体的计算过程如下：
当视差为d时,从左、右影像特征图中各获取尺寸为的区域构建代价图，则单张代价图尺寸为/>在C0维度叠加左、右影像的代价图构建视差为d时的联合代价图，其尺寸为/>该代价图[0,C0)通道的代价值根据左影像特征图进行计算，[C0,2C0)通道的代价值根据右影像特征图进行计算。
根据视差对应关系，该代价图的[0,C0)通道的代价值为：特征图对应通道的第列至第/>列；[C0,2C0)通道内的代价值为：特征图对应通道的第1列至第列。
步骤3.3.3：设定视差d的取值范围为0≤d＜dmax，则共可获取张代价图。将在不同视差值下获取的联合代价图在维度d处进行叠加，即可得到尺寸为/>的代价体。
步骤3.4：构建网络的代价聚合部分。作为优选，步骤3.4中所述网络代价聚合部分可定义为：
其中，为经由匹配代价体构建过程计算得到的代价体；3CBR为需要进行归一化和非线性激活的三维卷积操作；3CB为需要进行归一化的三维卷积操作；3DC为三维反卷积操作；CAp为代价聚合模块；下标p指第p个模块；N*表示正整数。经由相关操作，即可获取不同层级的聚合代价Costp。
进一步地，网络代价聚合部分的构建过程如下：
步骤3.4.1：首先构建初始聚合代价Cost1。Cost1由m1个步距为1的3CBR构成；其中，m1个3CBR中的后m′1(m′1＜m1)个以跳跃连接方式进行连接。
作为优选，Cost1的通道数为Cc_1,则Cost1的尺寸为：
步骤3.4.2：利用步骤2.3中定义的CAp聚合第p(p≥2)个模块匹配代价Costagg_p；则第p(p≥2)层级的代价Costp的代价聚合结果为：
Costp＝Costp-1+Costagg_p(p≥2)
步骤3.5：构建网络的视差回归部分。作为优选，步骤3.5中所述网络视差回归部分可定义为：
D＝∑p∈NλpDp,p∈N*
其中，Dp表示经由一系列变换操作及进行视差回归得到的各层级视差，λp表示Dp对应的比例因子；D表示预测的以左影像为基准的视差图；
定义用于维度变换的三维卷积操作Clf。Clf包含t个三维卷积操作。其中，前t-1个三维卷积在卷积后均进行批量归一化和以ReLU为激活函数的非线性化操作。第t个卷积操作只进行卷积操作，且输出通道数为1。进一步地，视差回归部分的构建过程如下：
步骤3.5.1：对步骤3.4获取的多层级聚合代价Costp(p∈N*)依次进行Clf、倍数为的上采样操作及以[0,1]为范围的回归分析操作，得到多层级的预测视差Dp(p∈N*)，其尺寸为1*H0*W0。
步骤3.5.2：按照一定的比例因子λp对Dp进行元素级相加，得到以左影像为基准的预测视差D。即：
D＝∑p∈N*λpDp,p∈N*
步骤3.6：以输出结果D和真值D*之间的相似程度计算损失函数，利用后向传播更新全部网络学习参数
作为优选，步骤3.6所述训练过程中采用的损失函数可以定义为：
其中，λp为权重控制参数，用以调控Dp之间的比例。
上述训练过程需要迭代进行，通过不断更新网络参数来降低损失函数，提升网络性能，直到满足迭代停止条件。作为优选，此处设定的迭代终止条件为全部训练数据经由χ轮迭代循环。
步骤3中所述得到训练后跨层卷积神经网络模型为：
其中，Θ*， Costp *，D*表示经由网络训练后得到的最优网络参数，Φ*表示最终所得到的最优网络结果，该结果将对能构成立体像对的卫星影像进行密集匹配处理，得到密集匹配结果。
步骤4：利用训练集训练设计的密集匹配网络。通过训练后的卫星影像密集匹配网络对经过几何精校正和核线纠正的左、右卫星影像进行密集匹配，得到以左影像为基准的视差图。
与现有技术相比，本发明的优点和有益效果：相较于传统密集匹配算法，本发明采取端到端的处理方式，避免了处理过程中的误差积累，且对弱纹理、重复纹理等区域有更强的抵抗性，可以显著降低匹配困难区域的误匹配率。相较于现有基于深度学习的密集匹配方法，本发明采取的多尺度特征提取模块有效的挖掘了影像的多尺度特征；采取的多层级特征融合模块实现了影像多尺度及多层级特征的融合，故而网络具备更好的特征提取能力，能更充分的提取影像信息；采取的代价聚合模块在代价聚合过程中进一步纳入了多尺度和多层级信息，因此能进一步降低匹配误差并能有效应对卫星影像中地物尺度的变化，故而更加适合于卫星影像的密集匹配。
附图说明
图1：本发明涉及的卫星影像密集匹配流程图；
图2：本发明方法所设计的网络特征提取部分；
图3：本发明方法所设计的网络代价聚合部分。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
图1为本发明涉及的卫星影像密集匹配流程图；图2为本发明方法的特征提取部分；图3为本发明方法的代价聚合部分。
下面结合图1至图3介绍本发明的具体实施方式，包括以下步骤：
步骤1：将经过几何精校正和核线纠正的第i组左、右卫星影像定义为：Il，i、Ir，i；视差图中u列第v行的像素值D*(u，v)＝d说明第i组左、右卫星影像Il，i和Ir，i在该位置基于左卫星影像的视差大小为d像素。
步骤1中所述训练集为：
其中，为经由高精度LiDAR点云或其他辅助高程数据转化生成的、以第i组左、右卫星影像中左影像为基准的视差图，即真值。具体实施时，训练集图像I1，l与I2，l的尺寸大小设定为{256像素*512像素}，图像通道数均为1。
步骤2：构建多尺度特征提取模块SFEm(m＝1，2，3)。
步骤2.1：SFEm使用了两种残差模块Resa和Resb；其中，下标a和b表明该残差模块所用的步距。作为优选，本发明实际使用的残差模块的卷积核尺寸为{3像素*3像素},边缘填充像素为1，设定步距a＝1,b＝2。则：
经由Resa运算后得到的特征图大小为：
[I+2*1-3]+1＝I
经由Resb运算后得到的特征图大小为：
作为优选，本发明使用的残差模块如图2所示。残差模块Resa和Resb第一次卷积时所使用的步距分别为a和b。第二次卷积时所使用的步距为1，而后通过跳跃连接将初始特征图和经过卷积变换后的特征图进行元素级相加。
步骤2.2：本发明使用的多尺度特征提取模块的定义如下：
多层级特征提取模块的左右分支仅使用步距为1和2的残差模块构建。作为优选，SFE1的分支1由3个Resa构成、分支2由4个Resa和1个Resb构成；SFE2的分支1由4个Resa和1个Resb构成构成；分支2由2个Resb构成；SFE3的分支1由2个Resa和1个Resb构成构成；分支2由2个Resb构成。
步骤2.3：本发明使用的多层级特征融合模块的定义如下:
作为优选，CSF1将SFE1的分支2与SFE2的分支1以级联方式进行连；CSF2将SFE2的分支2与SFE3的分支1以级联方式进行连接。
步骤2.4：本发明使用的代价聚合模块的定义如下：
作为优选，如不作特别说明，本发明中所使用的三维卷积3CBR，3CB和3DC的卷积核尺寸均为{3像素*3像素*3像素}，边缘填充像素数均为1。三维卷积后，3CBR将进行批量归一化和以ReLU为激活函数的非线性操作；3CB则只进行批量归一化处理。
步骤2.4.1：代价聚合模块CAp的分支1定义为Costb1，分支2定义为Costb2。Costb1利用1个步距为2的3CBR和1个步距为1的3CBR进行代价聚合；假设初始代价Cost1的尺寸为SC；则Costb1的尺寸为Costb2利用2个步距为2的3CBR进行代价聚合，此时Costb2的尺寸为
步骤2.4.2：为实现不同尺度代价的聚合，Costb1利用1个步距为1的3CB进行维度变换，变换后Costb1的维度与Costb2一致；Costb2则利用1个步距为2的3DC进行尺度变换，其尺度变为
步骤2.4.3：对进行了维度变换的Costb1和进行了尺度变换的Costb2以元素级相加方式进行代价聚合；对聚合后的代价施以1个步距为2的反卷积操作3DC以及1个步距为1的3CB，得到和输入代价具有相同尺寸的聚合代价Costagg_p。
作为优选，步骤3中所述一种融合多尺度多层级特征的卫星影像密集网络模型为：
其中，Θ表示网络参数，表示网络特征提取部分输出的特征图；/>表示构建的匹配代价体；Costp表示第p层级的聚合代价；D表示视差预测过程得到的视差图。
步骤3中所述通过多尺度特征提取模块，多层级特征融合模块以及代价聚合模块构建密集匹配网络的具体过程为：
训练过程中,Φ经由特征提取部分获取输出特征图和/>利用/>和/>构建匹配代价体/>对代价体/>进行多层级的代价聚合，得到Costp；对Costp进行视差回归，并按照一定比例因子进行元素级合并，得到最终的以左影像为基准的视差图，即视差图D。
进一步地、利用构造的密集匹配网络，经由所述训练集训练密集匹配网络的过程包含以下子步骤：
步骤3.1：以训练集作为密集匹配网络的输入。训练集影像Il，i，Ir，i的尺寸为均为{256像素*512像素}，通道数为1。即C＝1,H＝256,W＝512。
步骤3.2:构建网络的特征提取部分。网络特征提取部分如图2所示：
作为优选，步骤3.2中所述网络特征提取部分定义为：
其中，I表示左、右影像，为网络特征提取部分的输入，Conva表示需要进行的卷积操作；SFEb表示使用的多尺度特征提取模块；CSFc表示使用的多层级特征融合模块；Td表示需要进行的维度转换或尺度变换操作。下标a,b,c,d表示这些操作和模块均可以多次使用，N*表示正整数。则以I为输入，经过特征提取部分，即可得到该部分输出特征图
作为优选，不做特别说明时，本发明的网络特征提取部分所使用的二维卷积操作的卷积核尺寸均为{3像素*3像素}，边缘填充数均为1像素，且每个卷积操作在卷积之后均进行批量归一化并利用ReLU函数进行激活。进一步地，以左影像为例、网络特征提取部分的构建过程如下：
步骤3.2.1：以左影像Il，i为输入，通过二维卷积操作Conv1将影像转换到特征空间，获得特征图F0，l。其中，Conv1的操作包含一个步距为2的卷积操作和2个步距为1的卷积操作、卷积操作的输出特征图通道数均为32。由于输入左影像的尺寸为1*256*512，则该过程所获取的特征图F0，l的尺寸为C0*H0*W0，即32*128*256。
步骤3.2.2：利用多尺度特征提取模块SFE1对特征图F0，l进行多尺度特征提取。定义SFE1分支1和分支2的输出特征图为F0_1，l，F0_2，l。
作为优选，F0_1，l，F0_2，l的通道数C0_1＝32，C0_2＝64。
作为优选，SFE1分支1采用3个步距为1的残差模块Resa进行特征提取；所得特征图F0_1，l的尺寸为:
即32*128*256
作为优选，分支2采用5个步距为1的残差模块Resa和1个步距为2的残差模块Resb进行特征提取；所得特征图F0_2，l的尺寸为：
即64*64*128
步骤3.2.3：利用多尺度特征提取模块SFE2对特征图F0_1，l进行多尺度特征提取。定义SFE2分支1和分支2的输出结果为F1_2，l，F1_3，l。
作为优选，F1_2，l，F1_3，l的通道数C1_2＝64，C1_3＝64。
作为优选，SFE2的分支1采用4个步距为1的残差模块Resa和1个步距为2的残差模块Resb进行特征提取；所得特征图F1_2，l的尺寸为：
即64*64*128
作为优选，分支2采用2个步距为2的残差模块Resb进行特征提取；所得特征图F1_3，l的尺寸为:
即64*32*64
步骤3.2.4：利用多层级特征融合模块CSF1对特征图F0_2，l和F1_2，l进行特征融合，定义CSF1的输出结果为F2_2，l。则F2_2，l的尺寸为：
即128*64*128
步骤3.2.5：利用多尺度特征提取模块SFE3对特征图F2_2，l进行多尺度特征提取。定义SFE3分支1和分支2的输出结果分别为F2_3，l，F2_4，l。
作为优选，，F2_3，l，，F2_4，l的通道数C2_3＝128，C2_4＝128。
作为优选，SFE3的分支1采用2个步距为1的残差模块Resa和1个步距为2的残差模块Resb进行特征提取；所得特征图F2_3，l的尺寸为：
即128*32*64
作为优选，分支2采用2个步距为2的残差模块Resb进行特征提取；所得特征图F2_4，l的尺寸为：
即128*16*32
步骤3.2.6：利用多层级特征融合模块CSF2对特征图F1_3，l和F2_3，l进行特征融合，定义CSF2的输出结果为F3_3，l。则F3_3，l的尺寸为：
即192*32*64
步骤3.2.7：利用卷积操作Conv2对F3_3，l进行维度压缩得到F3_3_dim，l。
作为优选，Conv2包含1个卷积核尺寸为{1像素*1像素}，边缘填充数为0的二维卷积操作；卷积操作后，进行批量归一化操作和以ReLU为激活函数的非线性化操作。
作为优选，压缩后的通道数C3_3_dim＝64。
作为优选，采用2个步距为1的残差模块Resa和1个步距为2的残差模块Resb对特征图F3_3_dim，l进行特征提取，得到特征图F3_4，l；F3_4，l的通道数C3_4＝128；尺寸为：
即128*16*32
步骤3.2.8：对特征图F2_4，l和F3_4，l进行特征融合，定义输出结果为F4_4，l。则F4_4，l的尺寸为：
即256*16*32
步骤3.2.9：利用尺度变换操作T1对特征图F3_3，l进行尺度和维度变换得到特征图F3_3_u，l，利用尺度和维度变换操作T2对特征图F4_4，l进行尺度和维度变换得到特征图F4_4_u，l。
作为优选，F3_3_u，l，F4_4_u，l和，F2_2，l具有相同尺寸。
作为优选，以级联方式连接F3_3_u，l，F4_4_u，l和，F2_2，l得到Ffuse，l。
作为优选，尺度变换操作T1包含1个{1像素*1像素}的二维卷积操作以及一个上采样操作。其中，卷积操作的卷积核尺寸为{1像素*1像素}，步距为1，边缘填充数为0，卷积操作后进行批量归一化和以ReLU为激活函数的非线性化操作。上采样操作的上采样倍数为2。
定义操作T1所得特征图为F3_3_u，l。作为优选，F3_3_u，l的通道数C3_u＝128；F3_3_u，l的尺寸为：
即128*64*128
作为优选，尺度变换操作T2包含1个{1像素*1像素}的卷积操作，以及一个上采样操作。其中，卷积操作的卷积核尺寸为{1像素*1像素}，步距为1，边缘填充数为0，卷积操作后进行批量归一化和以ReLU为激活函数的非线性化操作。上采样操作的上采样倍数为4。
定义操作T2所得特征图为F4_4_u，l。作为优选，F4_4_u，l的通道数C4_u＝128；F4_4_u，l的尺寸为：
即128*64*128
则经F3_3_u，l，F4_4_u，l和，F2_2，l融合所得的特征图Ffuse，l的尺寸为：
即384*64*128
步骤3.2.10：对Ffuse，l进行维度变换操作T3，得到左影像的特征提取结果Fl。
作为优选，T3包含两个卷积操作：第一个卷积操作的卷积核尺寸为{3像素*3像素}，步距为1，边缘填充数为1；卷积操作后进行批量归一化和以ReLU为激活函数的非线性化操作。该卷积操作的输出通道数为128。第二个卷积操作的卷积核尺寸为{1像素*1像素}，步距为1，边缘填充数为0。该卷积操作的输出通道数为32。定义经由T3操作所得特征图为Fl，则Fl的尺寸为：
即32*64*128
步骤3.2.11：定义右影像大小为C*H*W。对右影像进行如步骤3.2.1至步骤3.2.10的操作，得到右影像的特征提取结果Fr。特征图Fr的尺寸为
即32*64*128
步骤3.3：构建网络的匹配代价体部分。
作为优选，步骤3.3中所述网络匹配代价体部分可定义为：
其中， 表示左、右影像经由网络特征提取部分获取的影像特征；dmax表示所给定的左、右影像之间的视差值范围；/>为经由匹配代价体构建过程计算得到的代价体。
当给定视差大小为d(0≤d<dmax)时，当影像行列数为x和y时，经过校正的左、右影像的对应像素之间具有如下关系：
(xl,y)＝(xr-d,y)
即左影像的第x列(x≥d)像素对应于右影像的第(x-d)列像素。
进一步地，网络代价体的构建过程如下：
步骤3.3.1：左、右卫星影像经由步骤3.2以权重共享方式得到的影像特征图尺寸为即32*64*128。
作为优选，给定待匹配影像间的视差范围dmax＝192，则所需构建的代价体的大小为：即64*48*64*128。
步骤3.3.2：匹配代价体的计算过程如下：
当视差为d时,从左、右影像特征图中各获取尺寸为的区域构建代价图，则单张代价图尺寸为/>即/>在C0维度处叠加左、右影像的代价图构建视差为d时的联合代价图，其尺寸为/>该代价图的[0,C0)通道的代价值根据左影像特征图进行计算，[C0,2C0)通道内的代价值根据右影像特征图进行计算。根据视差对应关系，该代价图的[0,C0)通道的代价值为对应通道特征图的第/>列至第128列；[C0,2C0)通道内的代价值为对应通道第1列至第/>列。
步骤3.3.3：作为优选，设定视差d的取值范围为0≤d＜191，则共可获取48张代价图。作为优选，将在不同视差值下获取的联合代价图在维度d处进行叠加，即可得到尺寸为64*48*64*128的代价体。
步骤3.4：构建网络的代价聚合部分。网络代价聚合部分如图3所示：
作为优选，步骤3.4中所述网络代价聚合部分可定义为：
其中，为经由匹配代价体构建过程计算得到的代价体；3CBR和3CB代表两种三维卷积操作；3DC为三维反卷积操作；CAp为代价聚合模块；N*表示正整数；Costp为利用三维操作和代价聚合模块构建的不同层级的聚合代价。
如不作特别说明，本发明中所使用的三维卷积3CBR，3CB和3DC的卷积核尺寸均为{3像素*3像素*3像素}，边缘填充像素数均为1。三维卷积后，3CBR将进行批量归一化和以ReLU为激活函数的非线性操作；3CB则只进行批量归一化处理。进一步地，网络代价聚合部分的构建过程如下：
步骤3.4.1：首先构建初始聚合代价(第一层级代价)Cost1。
作为优选，Cost1由4个步距为1的3CBR构成；其中，4个3CBR中的后两个以跳跃连接方式进行连接。
作为优选，，Cost1的通道数Cc_1＝32，则Cost1的尺寸为：
即32*48*64*128
步骤3.4.2：利用步骤2.4中定义的CAp聚合第p(p≥2)个模块匹配代价Costagg_p。
作为优选，p的最大值为4。则聚合的各层级代价依次为：
Cosr2＝Cost1+Costagg_2；
Cost3＝Cost2+Costagg_3；
Cost4＝Cost3+Costagg_4；
且Cost2，Cost3，Cost4的尺寸均为：即32*48*64*128。
步骤3.5：构建网络的视差回归部分。
步骤3.5中所述网络视差回归部分可定义为：
D＝∑p∈NλpDp,p∈N*
其中，D表示预测的以左影像为基准的视差图；Dp表示对各层级聚合代价进行一系列变换操作及视差回归后得到的各层级视差，λp表示Dp对应的比例因子。
步骤3.5.1：使用三维卷积操作Clf进行维度变换。
作为优选，Clf包含两个三维卷积操作，两个卷积操作的卷积核尺寸均为{3像素*3像素*3像素}、边缘填充数均为1、步距均为1。其中，第一个三维卷积操作的输出通道数为32。第二个三维卷积操作的输出通道数为1。
步骤3.5.2：对步骤3.4获取的多层级聚合代价Cost1，Cost2，Cost3，Cost4依次进行Clf、倍数为4的上采样操作及以[0,1]为范围的回归分析操作，得到对应预测视差D1，D2，D3，D4。
步骤3.5.3：按照一定的比例因子λ1，λ2，λ3，λ4对预测的视差D1，D2，D3，D4进行元素级相加，得到以左影像为基准的预测视差D。作为优选，比例因子分别为λ1＝0.5；λ2＝0.5；λ3＝0.7；λ4＝1。则预测视差D为：
D＝∑p＝1，2，3，4λpDp＝0.5D1+0.5D2+0.7D3+D4
步骤3.6：以输出结果D和真值D*之间的相似程度计算损失函数，利用后向传播更新全部网络学习参数
步骤3.6所述训练过程中采用的损失函数定义为：
其中，λp为权重控制参数，用以调控Dp之间的比例。
作为优选,选择平滑的L1范数作为函数f以计算损失函数。
其中，的计算过程如下：
/>
进一步地，损失函数的计算过程为：
上述训练过程需要迭代进行，通过不断更新网络参数来降低损失函数，提升网络性能，直到满足迭代停止条件。作为优选，迭代停止条件为所有训练数据经过10轮训练。由此得到最优的密集匹配网络
其中，Θ*， Costp *，D*表示经由网络训练后得到的最优网络参数，Φ*表示最终所得到的最优网络结果，该结果将对能构成立体像对的卫星影像进行密集匹配处理，得到密集匹配结果。
步骤4：固定训练后卷积神经网络模型Φ*，对经过几何精校正和核线纠正的立体像对进行密集匹配，即可得到以左影像为基准的视差图D。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (9)

1.一种融合多尺度多层级特征的卫星影像密集匹配方法，其特征在于，包括以下步骤：
步骤1，将构成立体像对的两景卫星影像通过几何精校正和核线纠正得到处理后的左、右卫星影像，获取以左卫星影像为基准的视差图，通过左、右卫星影像，视差图构建训练集；其中，左、右卫星影像用于预测匹配视差图，训练集给定的视差图将作为真值数据，用于精度验证；
步骤2，定义多尺度特征提取模块、多层级特征融合模块和代价聚合模块，其中，多尺度特征提取模块用以提取不同尺度的影像特征；多层级特征融合模块用于进行不同层级影像特征的融合；代价聚合模块以不同步距的三维卷积进行不同尺度的代价计算、并通过反卷积及代价级联方式实现多尺度代价聚合；
步骤3，利用多尺度特征提取模块、多层级特征融合模块和代价聚合模块构建密集匹配网络，并利用步骤1中构建的训练集训练密集匹配网络；
所述密集匹配网络包括四个部分：特征提取部分，用于利用多尺度特征提取模块、多层级特征融合模块提取输入影像的特征；匹配代价体部分，用于利用提取的影像特征构建匹配代价体；代价聚合部分，用于利用代价聚合模块实现多层级匹配代价聚合；视差回归部分，用于利用多层级匹配代价聚合获取多层级的预测视差图结果，而后对多层级视差图结果进行融合，得到网络的最终输出；
步骤3中所述的密集网络匹配模型为，
其中，I表示输入的立体像对，Θ表示网络参数，表示网络特征提取部分输出的特征图；/>表示构建的匹配代价体；Costp表示第p层级的聚合代价；Dp表示经由第p层级聚合代价预测的视差图；
步骤3中通过多尺度特征提取模块、多层级特征融合模块和代价聚合模块构建密集匹配网络的过程具体为：
训练过程中，Φ经由特征提取部分获取左、右卫星影像的特征图和/>利用/>和/>构建匹配代价体/>对/>进行多层级代价聚合，得到Costp；对Costp进行视差回归，得到对应层级的预测视差Dp；按照一定比例因子对Dp进行元素级相加，得到以左卫星影像为基准的视差图，即视差图D；
进一步地，利用构造的密集匹配网络模型，经由训练集训练密集匹配网络模型的过程包含以下子步骤：
步骤3.1：以训练集作为密集匹配网络的输入，其中，左、右卫星影像数据Il，i，Ir，i作为密集匹配网络的输入，用于学习预测的视差结果D′i；视差真值用于和预测视差结果D′i进行比对，判断预测结果的准确性并通过反向传播机制更新网络；
步骤3.2：构建网络的特征提取部分，步骤3.2中所述网络特征提取部分定义为：
其中，I表示左、右卫星影像，为网络特征提取部分的输入，Conva表示需要进行的二维卷积；SFEb表示使用的多尺度特征提取模块；CSFc表示使用的多层级特征融合模块；Td表示需要进行的维度转换或尺度变换操作，下标a，b，c，d表示这些操作和模块均多次使用，N*表示正整数；分别以左、右影像Il、Ir为输入，经过特征提取部分，即得到影像对应的输出特征图
步骤3.3：构建网络的匹配代价体部分，步骤3.3中所述网络匹配代价体部分定义为：
其中，表示左、右影像经由网络特征提取部分获取的影像特征；dmax表示给定的左、右影像的视差值范围；/>为经由匹配代价体构建过程得到的代价体；
当给定视差大小为d，影像行列数为x和y时，经过校正的左、右影像的对应像素之间具有如下关系：
(xl，y)＝(xr-d，y)
即左影像的第x列像素对应于右影像的第(x-d)列像素；
步骤3.4：构建网络的代价聚合部分，步骤3.4中所述网络代价聚合部分定义为：
其中，为经由匹配代价体构建过程计算得到的代价体；3CBR为需要进行归一化和非线性激活的三维卷积操作；3CB为需要进行归一化的三维卷积操作；3DC为三维反卷积操作；CAp为代价聚合模块；
步骤3.5：构建网络的视差回归部分，步骤3.5中所述网络视差回归部分定义为：
D＝∑p∈NλpDp，p∈N*
其中，Dp表示经由一系列变换操作及进行视差回归得到的各层级视差，λp表示Dp对应的比例因子；D表示预测的以左影像为基准的视差图；
步骤3.6：以输出结果D和真值D*之间的相似程度计算损失函数，利用后向传播更新全部网络学习参数
步骤4，利用训练后的卫星影像密集匹配网络对经过几何精校正和核线纠正的左、右卫星影像进行密集匹配，即可获得匹配结果。
2.根据权利要求1所述的一种融合多尺度多层级特征的卫星影像密集匹配方法，其特征在于：步骤1中，经过几何精校正和核线纠正的第i组左、右卫星影像定义为：{Il，i、Ir，i}；
视差图中u列第v行的像素值D*(u，v)＝d说明第i组左、右卫星影像Il，i和Ir，i在该位置基于左卫星影像的视差大小为d像素；
构成的训练集为：
其中，为经由高精度LiDAR点云或其他辅助高程数据转化生成的、以第i组左、右卫星影像中左卫星影像为基准的视差图真值。
3.根据权利要求1所述的一种融合多尺度多层级特征的卫星影像密集匹配方法，其特征在于：步骤2中多尺度特征提取模块定义如下：
步骤2.1：定义所使用的基础残差模块为Ress；其中，下标s表明残差模块的步距为s，s＝1，2，...N，根据特征图尺寸计算公式，当给定尺寸为{I像素＊I像素}的输入特征图，设定卷积核尺寸大小为{k＊k}像素，边缘填充像素数为p像素，则经过残差模块Ress运算后得到的特征图大小为：
步骤2.2：定义多尺度特征提取模块SFEm，其中，下标m表示第m个多尺度提取模块，m＝1，2，...N，SFEm具备双分支结构，分支1由n1个步距为s1的残差模块Ress1和n2个步距为s2的残差模块Ress2构成，分支2由n3个步距为s3的残差模块Ress3和n4个步距为s4的残差模块Ress4构成；
由此，SFEm的不同分支将获取不同尺度的特征图，由此实现多尺度特征提取。
4.根据权利要求3所述的一种融合多尺度多层级特征的卫星影像密集匹配方法，其特征在于：步骤2中多层级特征融合模块CSFn定义如下，其中，下标n表示第n个多层级特征融合模块，n＝1，2，...m-1；多尺度特征提取模块SFE的个数为m，则多层级特征融合模块CSF的个数为m-1，CSFn具有双分支结构，该模块要求SFEm-1的分支2和SFEm的分支1具有相同尺度，并以级联方式融合SFEm-1分支2获取的特征图和SFEm的分支1获取的特征图；假设待融合特征图的尺寸为{S像素*S像素}，SFEm分支1的通道数为C1，SFEm-1分支2的通道数为C2，则经过CSFm融合操作后，所得特征图的尺寸为：
(C1+C2)*S。
5.根据权利要求1所述的一种融合多尺度多层级特征的卫星影像密集匹配方法，其特征在于：步骤2中代价聚合模块CAp(p＝1，2，...N)定义如下，其中，下标p表示第p个代价聚合模块，p＝1，2，...N；CAp具有双分支结构，定义三维卷积操作1为3CBR，该卷积操作包含三维卷积、批量归一化和非线性化操作；定义三维卷积操作2为3CB，该卷积操作包含三维卷积和批量归一化操作，定义三维反卷积操作为3DC；
进一步地，代价聚合模块CAp的构建过程如下；
步骤2.4.1，定义CAp分支1为Costb1，Costb1由l1个步距为q1的3CBR，l2个步距为q2的3CBR和l3个步距为q3的3CB构成；定义CAp分支2为Costb2，Costb2由l4个步距为q4的3CBR；由此，CAp分支1的尺度将降为初始代价的CAp分支2的尺度将变为初始代价的为进行不同尺度的代价聚合，CAp要求：
步骤2.4.2，为实现不同尺度匹配代价的聚合，CAp分支2利用l5个步距为的反卷积操作3DC进行尺度变换，经由尺度变换后Costb2的尺度降为原尺度的/>
步骤2.4.3，CAp首先对Costb1和Costb2进行元素级相加，即要求：
而后，CAp对叠加后的聚合代价施以l6个步距为的反卷积操作3DC以及l7个步距为q5的3CB，得到和输入代价体具有相同尺寸的聚合代价Costagg-p。
6.根据权利要求1所述的一种融合多尺度多层级特征的卫星影像密集匹配方法，其特征在于：步骤3.2中网络特征提取部分的构建过程如下：
步骤3.2.1：定义左影像大小为C*H*W，其中，C为影像的通道数或波段数，H为影像的高度，W为影像宽度；以左影像数据Il，i为输入，通过二维卷积操作Conv1将影像数据转换到特征空间，定义此时获得的特征图为F0，l，其尺寸为C0*H0*W0；
步骤3.2.2：利用多尺度特征提取模块SFE1对F0，l进行多尺度特征提取，定义SFE1分支1和分支2的输出结果为F0_1，l，F0_2，l；通道数分别为C0_1，C0_2；
SFE1的分支1采用n1个步距为s1的残差模块和n2个步距为s2的残差模块/>进行特征提取，所得特征图F0_1，l的尺寸为：
SFE1的分支2采用n3个步距为s3的残差模块和n4个步距为s4的残差模块/>进行特征提取，所得特征图F0_2，l的尺寸为：
步骤3.2.3：利用多尺度特征提取模块SFE2对F0_1，l进行多尺度特征提取，定义SFE2分支1和分支2的输出结果为F1_2，l，F1_3，l；通道数分别为C1_2，C1_3；
SFE2的分支1采用n5个步距为s5的残差模块和n6个步距为s6的残差模块/>进行特征提取，所得特征图F1_2，l的尺寸为：
SFE2的分支2采用n7个步距为s7的残差模块和n8个步距为s8的残差模块/>进行特征提取，所得特征图F1_3，l的尺寸为：
步骤3.2.4：利用多层级特征融合模块CSF1对F0_2，l和F1_2，l进行特征融合，定义CSF1的输出结果为F2_2，l，该模块要求：
则F2_2，l的尺寸为：
步骤3.2.5：利用多尺度特征提取模块SFE3对F2_2，l进行多尺度特征提取，定义SFE3分支1和分支2的输出结果为F2_3，l，F2_4，l；通道数分别为C2_3，C2_4；
SFE3的分支1采用n9个步距为s9的残差模块和n10个步距为s10的残差模块/>进行特征提取，所得特征图F2_3，l的尺寸为：
SFE3的分支2采用n11个步距为s11的残差模块和n12个步距为s12的残差模块/>进行特征提取，所得特征图F2_4，l的尺寸为：
步骤3.2.6：利用多层级特征融合模块CSF2对F1_3，l和F2_3，l进行特征融合，定义CSF2的输出结果为F3_3，l；该模块要求：
则F3_3，l的尺寸为：
步骤3.2.7：利用卷积操作Conv2对Fs_3，l进行维度压缩得到F3_3_dim，l，压缩后的通道数为C3_3_dim；F3_3_dim，l经过n13个步距为s13的残差模块Ress13和n14个步距为s14的残差模块Ress14得到输出特征图F3_4，F3_4，l的通道数为C3_4，则F3_4，l的尺寸为：
步骤3.2.8：对F2_4，l和F3_4，l进行特征融合，定义CSF3的输出结果为F4_4，l，要求：
则F4_4，l的尺寸为：
步骤3.2.9：利用尺度变换操作T1对特征图F3_3，l进行尺度和维度变换，利用尺度和维度变换操作T2对特征图F4_4，l进行尺度和维度变换，定义变换后的特征图分别为F3_3_u，l，F4_4_u，l，变换后特征图的通道数分别为C3_u，C4_u；
要求F3_3_u，l，F4_4_u，l和F2_2，l具有相同尺寸，并通过级联方式对F3_3_u，l，F4_4_u，l和，F2_2，l进行连接，定义为Ffuse，l，则Ffuse，l的尺寸为：
步骤3.2.10：对Ffuse，l进行卷积操作Conv3和维度变换操作T3，得到左影像的特征提取结果Fl，Fl的通道数与F0，l一致，则特征图Fl的尺寸为：
步骤3.2.11：定义右影像大小为C*H*W，对右影像进行如步骤3.2.1至步骤3.2.10的操作，则得到右影像的特征提取结果Fr；Fr的通道数与F0，r一致，则特征图Fr的尺寸为
7.根据权利要求1所述的一种融合多尺度多层级特征的卫星影像密集匹配方法，其特征在于：步骤3.3中网络代价体的构建过程如下：
步骤3.3.1：左、右卫星影像经由步骤3.2以权重共享方式得到的影像特征图的尺寸为给定待匹配影像的视差范围为dmax，则所需构建的代价体的尺寸为：
步骤3.3.2：匹配代价体的计算过程如下：
当视差为d时，从左、右影像特征图中各获取尺寸为的区域构建代价图，则单张代价图尺寸为/>在C0维度叠加左、右影像的代价图构建视差为d时的联合代价图，其尺寸为/>该代价图[0，C0)通道的代价值根据左影像特征图进行计算，[C0，2C0)通道的代价值根据右影像特征图进行计算；
根据视差对应关系，该代价图的[0，C0)通道的代价值为：特征图对应通道的第列至第/>列；[C0，2C0)通道内的代价值为：特征图对应通道的第1列至第/>列；
步骤3.3.3：设定视差d的取值范围为0≤d＜dmax，则共可获取张代价图，将在不同视差值下获取的联合代价图在维度d处进行叠加，即得到尺寸为/>的代价体。
8.根据权利要求1所述的一种融合多尺度多层级特征的卫星影像密集匹配方法，其特征在于：步骤3.4中网络代价聚合部分的构建过程如下：
步骤3.4.1：首先构建初始聚合代价Cost1，Cost1由m1个步距为1的3CBR构成；其中，m1个3CBR中的后m′1个以跳跃连接方式进行连接，m′1＜m1；
Cost1的通道数为Cc_1，则Cost1的尺寸为：
步骤3.4.2：利用步骤2.3中定义的CAp聚合第p个模块匹配代价Costagg_p；则第p层级的代价Costp的代价聚合结果为：
Costp＝Costp-1+Costagg_p(p≥2)。
9.根据权利要求1所述的一种融合多尺度多层级特征的卫星影像密集匹配方法，其特征在于：步骤3.6中采用的损失函数定义为：
其中，λp为权重控制参数，用以调控Dp之间的比例；
上述训练过程需要迭代进行，通过不断更新网络参数来降低损失函数，提升网络性能，直到满足迭代停止条件。
CN202011094084.1A 2020-10-14 2020-10-14 一种融合多尺度多层级特征的卫星影像密集匹配方法 Active CN112288690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011094084.1A CN112288690B (zh) 2020-10-14 2020-10-14 一种融合多尺度多层级特征的卫星影像密集匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011094084.1A CN112288690B (zh) 2020-10-14 2020-10-14 一种融合多尺度多层级特征的卫星影像密集匹配方法

Publications (2)

Publication Number Publication Date
CN112288690A CN112288690A (zh) 2021-01-29
CN112288690B true CN112288690B (zh) 2023-08-18

Family

ID=74497038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011094084.1A Active CN112288690B (zh) 2020-10-14 2020-10-14 一种融合多尺度多层级特征的卫星影像密集匹配方法

Country Status (1)

Country Link
CN (1) CN112288690B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780390B (zh) * 2021-08-31 2023-06-09 中国人民解放军战略支援部队信息工程大学 基于重构映射一致的无监督密集匹配方法及系统
CN113887568B (zh) * 2021-09-09 2024-02-06 西安理工大学 一种各向异性卷积的双目图像立体匹配方法
CN113793290B (zh) * 2021-09-16 2023-08-29 北京百度网讯科技有限公司 一种视差确定方法、装置、设备、介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325134A (zh) * 2020-02-17 2020-06-23 武汉大学 一种基于跨层连接卷积神经网络的遥感影像变化检测方法
CN111402129A (zh) * 2020-02-21 2020-07-10 西安交通大学 一种基于联合上采样卷积神经网络的双目立体匹配方法
CN111401384A (zh) * 2020-03-12 2020-07-10 安徽南瑞继远电网技术有限公司 一种变电设备缺陷图像匹配方法
CN111696148A (zh) * 2020-06-17 2020-09-22 中国科学技术大学 基于卷积神经网络的端到端立体匹配方法
CN111738344A (zh) * 2020-06-24 2020-10-02 上海应用技术大学 一种基于多尺度融合的快速目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325134A (zh) * 2020-02-17 2020-06-23 武汉大学 一种基于跨层连接卷积神经网络的遥感影像变化检测方法
CN111402129A (zh) * 2020-02-21 2020-07-10 西安交通大学 一种基于联合上采样卷积神经网络的双目立体匹配方法
CN111401384A (zh) * 2020-03-12 2020-07-10 安徽南瑞继远电网技术有限公司 一种变电设备缺陷图像匹配方法
CN111696148A (zh) * 2020-06-17 2020-09-22 中国科学技术大学 基于卷积神经网络的端到端立体匹配方法
CN111738344A (zh) * 2020-06-24 2020-10-02 上海应用技术大学 一种基于多尺度融合的快速目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MLCVNet: Multi-Level Context VoteNet for 3D Object Detection;Qian Xie 等;ReserchGate;全文 *

Also Published As

Publication number Publication date
CN112288690A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN112288690B (zh) 一种融合多尺度多层级特征的卫星影像密集匹配方法
US11870947B2 (en) Generating images using neural networks
CN110533712A (zh) 一种基于卷积神经网络的双目立体匹配方法
Lyu et al. Road segmentation using cnn and distributed lstm
CN111582316B (zh) 一种rgb-d显著性目标检测方法
CN111259945B (zh) 引入注意力图谱的双目视差估计方法
CN108960333B (zh) 基于深度学习的高光谱图像无损压缩方法
CN108629291B (zh) 一种抗网格效应的人脸深度预测方法
EP3370191B1 (en) Apparatus and method implementing an artificial neural network training algorithm using weight tying
CN112561027A (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN114638836B (zh) 基于高度有效驱动与多层级特征融合的城市街景分割方法
WO2017132288A1 (en) Generating images using neural networks
CN115713679A (zh) 基于多源信息融合、热红外和三维深度图的目标检测方法
CN115690321A (zh) 基于可变形自注意Transformer的遥感图像多视图重建方法
CN112509021A (zh) 一种基于注意力机制的视差优化方法
CN111294614B (zh) 用于数字图像、音频或视频数据处理的方法和设备
CN117197008A (zh) 一种基于融合校正的遥感图像融合方法和系统
CN114359293A (zh) 一种基于深度学习的三维mri脑肿瘤分割方法
Weilharter et al. Atlas-mvsnet: Attention layers for feature extraction and cost volume regularization in multi-view stereo
CN116563683A (zh) 一种基于卷积神经网络和多层感知机的遥感影像场景分类方法
CN115731280A (zh) 基于Swin-Transformer和CNN并行网络的自监督单目深度估计方法
CN114758282B (zh) 基于时序校正卷积的视频预测方法
CN112541972A (zh) 一种视点图像处理方法及相关设备
CN111968168B (zh) 多分支可调节瓶颈卷积模块以及端对端的立体匹配网络
CN114332481A (zh) 一种基于非负稀疏自编码器的盲端元提取与光谱解混方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant