CN113065467A - 一种基于深度学习的卫星图像低相干区域识别方法及装置 - Google Patents
一种基于深度学习的卫星图像低相干区域识别方法及装置 Download PDFInfo
- Publication number
- CN113065467A CN113065467A CN202110356666.0A CN202110356666A CN113065467A CN 113065467 A CN113065467 A CN 113065467A CN 202110356666 A CN202110356666 A CN 202110356666A CN 113065467 A CN113065467 A CN 113065467A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- deep learning
- coherence region
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013135 deep learning Methods 0.000 title claims abstract description 39
- 230000011218 segmentation Effects 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012952 Resampling Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 230000008030 elimination Effects 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000001228 spectrum Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005305 interferometry Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Abstract
一种基于深度学习的卫星图像低相干区域识别方法及装置，属于卫星图像处理领域，其特征在于，通过基于对SAR图像处理得到的质量图与语义分割结合成一个流程化学习框架，并引入深度卷积网络进行识别，相较于人工判读和传统机器学习算法，本发明所述的基于深度学习的低相干区识别方法大大减少了对人工特征工程和样本数据的依赖，且基于卷积计算的高效性能够快速处理大范围区域；同时在引入全局注意力的基础上，进一步描述各像素位置与语义类别间的关系表示，缓解SAR影像固有的高噪声区域的识别效果，并在不显著增加计算量的前提下提升识别精度准确提取低相干区域。
Description
技术领域
本发明属于卫星图像处理领域，尤其涉及一种基于深度学习的卫星图像低相干区域识别方法及装置。
背景技术
合成孔径雷达干涉测量(InSAR)是利用相位信息提取地面高程的空间对地观测技术，具有全天时、全天候、高精度、大面积的特点，在海洋、自然灾害、极地、测绘、军事等方面得到广泛的应用，为国民经济的发展和国家的安全作出突出贡献。
天绘-2卫星是我国自主研制的首颗基于编队体制的微波型、地形类测绘卫星，它利用InSAR技术可以高效的获取高精度DEM数据，但是由于InSAR技术的复杂性，仍然有许多问题没有得到本质性解决，比如InSAR单视复影像对(SLC)的回波信号失相干问题，造成一定区域的低相干数据即是其中之一。长期以来，低相干区域的识别与漏洞填补需要人工去进行判断与手动编辑，在天绘-2卫星每天最大接收数据达1300景的需求前提下，靠人工进行低相干区域的标注与漏洞填补，生产效率低下，显然难以满足实际生产的需要，无法保障全球测绘的实际生产任务需求。近年来，随着深层神经网络在多种计算机视觉任务中取得的惊人进展，已有许多研究将其应用于光学遥感影像分析，并在路网提取、植被分类、遥感变化检测等方向取得了超越传统方法的成绩。然而，针对SAR影像本身成像特性造成的雷达阴影、叠掩、光滑平面(水面)等形成的低相干区域，加上因重复轨道以及编队飞行问题造成的时间-距离的失相干，各种复杂因素叠加在一起，给天绘-2卫星的低相干区域识别增加了困难，另外，深度学习与SAR影像识别技术进行结合在如下几个方面还面临挑战：1.SAR低相干区域的类内差异性和类间相似性增加了提取的难度；2.不同季节、不同地区的SAR图像差异显著，模型预测能力在不同时相数据集间波动很大；3.因天绘-2卫星需保障全球测绘任务，数据是海量的，但可用于监督训练的样本十分有限。
发明内容
本发明旨在解决上述问题，提供一种基于深度学习的卫星图像低相干区域识别方法及装置。
第一方面，本发明提供一种基于深度学习的卫星图像低相干区域识别方法，包括如下步骤：
步骤1、亚像元级配准；对SAR图像通过测度函数进行对准，得到匹配点集合；
步骤2、粗差探测与剔除；剔除步骤1所得匹配点集合中存在的误匹配点；
步骤3、辅图像重采样；根据步骤2中所得经剔除处理后的匹配点集，对主图像、辅图像之间的配准偏移量进行多项式拟合，建立多项式配准模型，并对辅图像进行重采样；
步骤4、质量图生成；根据主图像、辅图像生成相关系数矩阵，即质量图；
步骤5、提取质量图特征；使用多层堆叠的卷积神经网络以数据驱动的方式进行图像特征提取，得到图像特征图；
步骤6、对象粗分割；以图像特征图为输入，将图像特征图分为若干个区域，每个区域对应一类，描述图像特征图中各像素属于该类的概率；
步骤7、类别对象表示；在粗分割基础上通过计算得到各个像素的加权量化表示；
步骤8、像素特征增强表示；将类别对象表示与像素特征进行融合获得增强的像素特征，该增强的像素特征被用于像素语义分割；
步骤9、像素语义标签生成；在像素特征增强表示的基础上，通过浅层卷积网络将每个像素映射到一个语义类别，通过真值标签优化网络参数，得到最终的低相干区域识别结果。
进一步，本发明所述基于深度学习的卫星图像低相干区域识别方法，所述亚像元级配准中对SAR图像通过测度函数进行对准或者直接对测度函数的结果进行插值处理，得到匹配点集合。
进一步，本发明所述基于深度学习的卫星图像低相干区域识别方法，所述对测度函数的结果进行插值处理过程为：以参考点为中心在主图像上开辟M×M的目标窗口，辅图像上对应位置开辟N×N的搜索窗口，其中N>M，目标窗口在搜索窗口中滑动，计算所有的配准测度函数值，然后用双三次样条插值法以0.1个像元间隔插值测度函数获取参考点的精确偏移量以及配准位置。
进一步，本发明所述基于深度学习的卫星图像低相干区域识别方法，所述粗差探测与剔除中采用均值方差法，具体包括：
步骤21、计算某一列有效参考点方位向和距离向偏移量的均值和方差；
步骤22、逐点计算每一个参考点和均值的偏移量，如果大于方差的β倍(β取值为1.6)，则将该点剔除；
步骤23、重复执行步骤21和步骤22，直至计算完成。
进一步，本发明所述基于深度学习的卫星图像低相干区域识别方法，所述图像特征提取采用具有残差连接的、同时加入多个通道注意力模块和密集跳层的卷积神经网络，该卷积神经网络的基本组成单元为残差卷积模块，公式为：xl+1＝f(xl,Wl)+xl。
其中xl+1为残差卷积模块输出特征图，xl为输入特征图，Wl为卷积计算参数，f为一系列嵌套的卷积算子。
进一步，本发明所述基于深度学习的卫星图像低相干区域识别方法，所述类别对象表示中通过下式在粗分割的基础上计算对象表示：
fk＝∑i∈I mkixi；
其中，fk为对象k的表示，mki为像素i对对象k的隶属度，由粗分割结果获取，xi为i的像素表示，即位置i处的图像特征。
进一步，本发明所述基于深度学习的卫星图像低相干区域识别方法，所述像素特征增强表示，该特征被用于像素语义分割；通过下式表示：
其中，像素特征xi与类别对象表示yi拼接后通过函数g(·)得到像素特征增强表示zi，g(·)通过带有批归一化和非线性激活函数的1×1卷积实现。
第二方面，本发明提供一种基于深度学习的卫星图像低相干区域识别装置，包括：
图像预处理模块，用于对SAR图像通过测度函数进行对准，得到匹配点集合；剔除匹配点集合中存在的误匹配点；对主图像、辅图像之间的配准偏移量进行多项式拟合，建立多项式配准模型，并对辅图像进行重采样；
质量图处理模块，用于根据主图像、辅图像生成相关系数矩阵，即质量图；然后使用多层堆叠的卷积神经网络以数据驱动的方式进行图像特征提取，得到图像特征图；将图像特征图分为若干个区域，每个区域对应一类，描述图像特征图中各像素属于该类的概率；
识别处理模块，用于在粗分割基础上通过计算得到各个像素的加权量化表示；将类别对象表示与像素特征进行融合获得增强的像素特征，该增强的像素特征被用于像素语义分割；在像素特征增强表示的基础上，通过浅层卷积网络将每个像素映射到一个语义类别，通过真值标签优化网络参数，得到最终的低相干区域识别结果。
第三方面，本发明提供一种基于深度学习的卫星图像低相干区域识别电子装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如第一方面所述的基于深度学习的卫星图像低相干区域识别方法。
第四方面，本发明提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如第一方面所述的基于深度学习的卫星图像低相干区域识别方法。
本发明所述基于深度学习的卫星图像低相干区域识别方法及装置，通过基于对SAR图像处理得到的质量图与语义分割结合成一个流程化学习框架，并引入深度卷积网络进行识别，相较于人工判读和传统机器学习算法，本发明所述的基于深度学习的低相干区识别方法大大减少了对人工特征工程和样本数据的依赖，且基于卷积计算的高效性能够快速处理大范围区域；同时在引入全局注意力的基础上，进一步描述各像素位置与语义类别间的关系表示，缓解SAR影像固有的高噪声区域的识别效果，并在不显著增加计算量的前提下提升识别精度准确提取低相干区域。
附图说明
图1为本发明实施例所述基于深度学习的卫星图像低相干区域识别方法示意图；
图2为本发明实施例所述图形特征提取网络结构示意图；
图3为本发明实施例所述基于深度学习的卫星图像低相干区域识别装置结构示意图。
具体实施方式
下面通过附图及实施例对本发明所述基于深度学习的卫星图像低相干区域识别方法及装置进行详细说明。
实施例一
本实施例所述基于深度学习的卫星图像低相干区域识别方法，如图1所示，包括如下具体步骤：步骤1、亚像元级配准；通过测度函数将两幅InSAR单视复影像对进行对准，得到匹配点集合；
步骤2、粗差探测与剔除；剔除步骤1所得匹配点集合中存在的误匹配点；
步骤3、辅图像重采样；根据步骤2中所得经剔除处理后的匹配点集，对主图像、辅图像之间的配准偏移量进行多项式拟合，建立多项式配准模型，并对辅图像进行重采样；
步骤4、质量图生成；根据主图像、辅图像生成相关系数矩阵，即质量图；
步骤5、提取质量图特征；使用多层堆叠的卷积神经网络以数据驱动的方式进行图像特征提取，得到图像特征图；
步骤6、对象粗分割；以图像特征图为输入，将图像特征图分为若干个区域，每个区域对应一类，描述图像特征图中各像素属于该类的概率；
步骤7、类别对象表示；在粗分割基础上通过计算得到各个像素的加权量化表示；
步骤8、像素特征增强表示；将类别对象表示与像素特征进行融合获得增强的像素特征，该增强的像素特征被用于像素语义分割；
步骤9、像素语义标签生成；在像素特征增强表示的基础上，通过浅层卷积网络将每个像素映射到一个语义类别，通过真值标签优化网络参数，得到最终的低相干区域识别结果。
在本公开实施例中，为了提高算法的效率，采用插值测度函数的方法，以参考点为中心在主图像上开辟M×M的目标窗口，辅图像上对应位置开辟N×N的搜索窗口(N>M)，目标窗口在搜索窗口中滑动，计算所有的配准测度函数值，然后用双三次样条插值法以0.1个像元间隔插值测度函数获取参考点的精确偏移量以及配准位置。
为引入影像中隐含的相位信息，在本公开实施例中采用频谱极大值法作为测度函数，频谱极大值测度以寻求两幅复数图像的频谱极大值作为配准测度，当两幅复图像精确配准时，形成的干涉条纹质量最高；
f＝FFT(R·S*) (1)
公式(1)中R和S为主图像和辅图像，*表示复共轭，FFT表示二维傅里叶变换。由此得到二维干涉条纹频谱，公式(2)中f表示图像的频谱值，fmax为频谱中最大值，代表最亮条纹的空间频率。最亮条纹的相对质量可以由频率信噪比SNR来确定，如果两幅复图像配准得好，则信噪比就高，反之则低。
在进行粗差探测与剔除时，受相干斑噪声和透视收缩、叠掩、阴影等现象的影响，配准结果中某些点会存在误匹配现象，必须将这些误匹配点探测出来，保障影像配准的可靠性。粗差剔除方法采用均值方差法，具体过程为：
步骤21、计算某一列有效参考点方位向和距离向偏移量的均值和方差；
步骤22、逐点计算每一个参考点和均值的偏移量，如果大于方差的β倍(β取值为1.6)，则将该点剔除；
步骤23、重复执行步骤21和步骤23，直至计算完成。
建立配准模型时对主、辅图像之间的配准偏移量进行多项式拟合。利用该模型可以计算出图像重叠区域每一个像元的配准偏移量。从而获得主图像中每一个像元在辅图像中所对应的同名像元，从而建立复图像对的坐标转换关系。这里采用二次多项式配准模型，即：
主图像所有像元坐标通过配准模型可以计算出对应偏移量，由此可以在辅图像中找到主图像对应的配准位置，该位置上的值需要按照双线性插值函数对辅图像进行重采样，具体应用中可选用双线性插值法、三次卷积内插法等。
生成质量图即相关系数图，相关系数的定义为：
公式(4)中，γc是相关系数，M是主影像，S是辅影像，*是复影像共轭相乘；E{.}是数学期望。基于上述公式，得到主辅影像质量图离散表达式为：
进行图像特征提取，本公开实施例将低相干区识别问题视为语义分割问题，输入为生成的质量图，通过神经网络算法获取每个像素位置属于低相干区的概率。针对SAR低相干区域在地物覆盖语义层级上的复杂性，使用多层堆叠的卷积神经网络以数据驱动的方式进行图像特征提取，由浅及深逐步获取图像浅层和抽象特征，其基本组成单元为残差卷积模块，公式为：xl+1＝f(xl,Wl)+xl； (6)。
在本公开实施例中图像特征提取采用具有残差连接的卷积神经网络，通过加入多个通道注意力模块和密集跳层连接改善SAR影像固有的高噪声区域的识别效果，同时，针对输入影像特征，采用分组卷积和深窄的网络结构，该网络根据特征图大小可分为4个阶段，每个阶段下图像尺寸皆为上一阶段的0.5倍，每个特征图对应图像在网络某层级下的某项特征，网络结构如图2所示。
以图像特征图为输入，将其分为K个区域，每个区域对应一类，描述特征图中各像素属于该类的概率。该过程通过一个简单的卷积神经网络实现，网络输出经插值得到与输入图像等尺寸的粗分割图，通过真值标签训练。
通过下式在粗分割的基础上计算对象表示：fk＝∑i∈I mkixi； (7)
其中，fk为对象k的表示，mki为像素i对对对象k的隶属度，由粗分割结果获取，xi为i的像素表示，即位置i处的图像特征。
得到对象表示fk后，计算对象与像素的相关性：
κ(x,f)＝φ(x)Tψ(f) (9)
最后，通过下式计算每个像素位置处类别对象的加权表示：
公式(8)、(9)、(10)中，φ(·)、ψ(·)、δ(·)、ρ(·)为非线性函数，通过带有批归一化和非线性激活函数的1×1卷积实现。
对象关系表示描述了每个像素位置处语义类别的相关关系，将之与像素特征进行融合可获得增强的像素特征，该特征被用于像素语义分割：
公式(11)中，像素特征xi与类别对象表示yi拼接后通过函数g(·)得到像素特征增强表示zi，g(·)通过带有批归一化和非线性激活函数的1×1卷积实现。
在像素增强表示的基础上，通过一个浅层卷积网络将每个像素映射到一个语义类别，网络参数通过真值标签优化。本算法将低相干区识别视为语义分割问题，属于监督学习算法，需要通过反向传播优化神经网络参数，优化完成后即可将参数固化用于推理预测。训练过程中损失函数定义为Cross Entropy Loss与Dice Loss之和。
公式(12)为Cross Entropy Loss公式，其中yi为真值标签，fi(x)为网络预测类别；公式(13)为Dice Loss公式，其中pi和yi分别为某类的网络预测值和真值。
实施例二
在本公开另一实施例所述基于深度学习的卫星图像低相干区域识别装置，如图3所示，包括图像预处理模块、质量图处理模块和识别处理模块。
图像预处理模块，用于对SAR图像通过测度函数进行对准，得到匹配点集合；剔除匹配点集合中存在的误匹配点；对主图像、辅图像之间的配准偏移量进行多项式拟合，建立多项式配准模型，并对辅图像进行重采样。
质量图处理模块，用于根据主图像、辅图像生成相关系数矩阵，即质量图；然后使用多层堆叠的卷积神经网络以数据驱动的方式进行图像特征提取，得到图像特征图；将图像特征图分为若干个区域，每个区域对应一类，描述图像特征图中各像素属于该类的概率。
识别处理模块，用于在粗分割基础上通过计算得到各个像素的加权量化表示；将类别对象表示与像素特征进行融合获得增强的像素特征，该增强的像素特征被用于像素语义分割；在像素特征增强表示的基础上，通过浅层卷积网络将每个像素映射到一个语义类别，通过真值标签优化网络参数，得到最终的低相干区域识别结果。
实施例三
本公开另一具体实施例所述基于深度学习的卫星图像低相干区域识别电子装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，使得计算机执行上述实施例一所述的基于深度学习的卫星图像低相干区域识别方法，具体识别步骤与前述实施例一相同，不再赘述。
实施例五
本公开另一具体实施例所述计算机可读介质，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使计算机执行上述实施例一所述的基于深度学习的卫星图像低相干区域识别方法，具体识别步骤与前述实施例一相同，不再赘述。
所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。所述计算机可读存储介质可以是计算机能够读取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(DVD))或者半导体介质(例如，固态硬盘(SSD))等。计算机存储代码所形成软件可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。
在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于深度学习的卫星图像低相干区域识别方法，其特征在于，包括如下步骤：
步骤1、亚像元级配准；对SAR图像通过测度函数进行对准，得到匹配点集合；
步骤2、粗差探测与剔除；剔除步骤1所得匹配点集合中存在的误匹配点；
步骤3、辅图像重采样；根据步骤2中所得经剔除处理后的匹配点集，对主图像、辅图像之间的配准偏移量进行多项式拟合，建立多项式配准模型，并对辅图像进行重采样；
步骤4、质量图生成；根据主图像、辅图像生成相关系数矩阵，即质量图；
步骤5、提取质量图特征；使用多层堆叠的卷积神经网络以数据驱动的方式进行图像特征提取，得到图像特征图；
步骤6、对象粗分割；以图像特征图为输入，将图像特征图分为若干个区域，每个区域对应一类，描述图像特征图中各像素属于该类的概率；
步骤7、类别对象表示；在粗分割基础上通过计算得到各个像素的加权量化表示；
步骤8、像素特征增强表示；将类别对象表示与像素特征进行融合获得增强的像素特征，该增强的像素特征被用于像素语义分割；
步骤9、像素语义标签生成；在像素特征增强表示的基础上，通过浅层卷积网络将每个像素映射到一个语义类别，通过真值标签优化网络参数，得到最终的低相干区域识别结果。
2.根据权利要求1所述基于深度学习的卫星图像低相干区域识别方法，其特征在于：所述亚像元级配准中对SAR图像通过测度函数进行对准或者直接对测度函数的结果进行插值处理，得到匹配点集合。
3.根据权利要求1或2所述基于深度学习的卫星图像低相干区域识别方法，其特征在于，所述对测度函数的结果进行插值处理过程为：以参考点为中心在主图像上开辟M×M的目标窗口，辅图像上对应位置开辟N×N的搜索窗口，其中N>M，目标窗口在搜索窗口中滑动，计算所有的配准测度函数值，然后用双三次样条插值法以0.1个像元间隔插值测度函数获取参考点的精确偏移量以及配准位置。
4.根据权利要求3所述基于深度学习的卫星图像低相干区域识别方法，其特征在于：所述粗差探测与剔除中采用均值方差法，具体包括：
步骤21、计算某一列有效参考点方位向和距离向偏移量的均值和方差；
步骤22、逐点计算每一个参考点和均值的偏移量，如果大于方差的β倍，则将该点剔除；
步骤23、重复执行步骤21和步骤22，直至计算完成。
5.根据权利要求4所述基于深度学习的卫星图像低相干区域识别方法，其特征在于：所述图像特征提取采用具有残差连接的、同时加入多个通道注意力模块和密集跳层的卷积神经网络，该卷积神经网络的基本组成单元为残差卷积模块，公式为：xl+1＝f(xl,Wl)+xl。
6.根据权利要求5所述基于深度学习的卫星图像低相干区域识别方法，其特征在于：所述类别对象表示中通过下式在粗分割的基础上计算对象表示：
fk＝∑i∈Imkixi；
其中，fk为对象k的表示，mki为像素i对对象k的隶属度，由粗分割结果获取，xi为i的像素表示，即位置i处的图像特征。
7.根据权利要求6所述基于深度学习的卫星图像低相干区域识别方法，其特征在于：所述像素特征增强表示，该特征被用于像素语义分割；通过下式表示：
其中，像素特征xi与类别对象表示yi拼接后通过函数g(·)得到像素特征增强表示zi，g(·)通过带有批归一化和非线性激活函数的1×1卷积实现。
8.一种基于深度学习的卫星图像低相干区域识别装置，其特征在于，包括：
图像预处理模块，用于对SAR图像通过测度函数进行对准，得到匹配点集合；剔除匹配点集合中存在的误匹配点；对主图像、辅图像之间的配准偏移量进行多项式拟合，建立多项式配准模型，并对辅图像进行重采样；
质量图处理模块，用于根据主图像、辅图像生成相关系数矩阵，即质量图；然后使用多层堆叠的卷积神经网络以数据驱动的方式进行图像特征提取，得到图像特征图；将图像特征图分为若干个区域，每个区域对应一类，描述图像特征图中各像素属于该类的概率；
识别处理模块，用于在粗分割基础上通过计算得到各个像素的加权量化表示；将类别对象表示与像素特征进行融合获得增强的像素特征，该增强的像素特征被用于像素语义分割；在像素特征增强表示的基础上，通过浅层卷积网络将每个像素映射到一个语义类别，通过真值标签优化网络参数，得到最终的低相干区域识别结果。
9.一种基于深度学习的卫星图像低相干区域识别电子装置，其特征在于：包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如权利要求1-7任一项所述的基于深度学习的卫星图像低相干区域识别方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1-7任一项所述的基于深度学习的卫星图像低相干区域识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110356666.0A CN113065467A (zh) | 2021-04-01 | 2021-04-01 | 一种基于深度学习的卫星图像低相干区域识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110356666.0A CN113065467A (zh) | 2021-04-01 | 2021-04-01 | 一种基于深度学习的卫星图像低相干区域识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113065467A true CN113065467A (zh) | 2021-07-02 |
Family
ID=76565419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110356666.0A Pending CN113065467A (zh) | 2021-04-01 | 2021-04-01 | 一种基于深度学习的卫星图像低相干区域识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113065467A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022779A (zh) * | 2021-10-25 | 2022-02-08 | 电子科技大学 | 一种基于比例尺网络的sar船只检测方法 |
| CN115019186A (zh) * | 2022-08-08 | 2022-09-06 | 中科星图测控技术(合肥)有限公司 | 一种用于遥感变化检测的算法和系统 |
| WO2023102723A1 (zh) * | 2021-12-07 | 2023-06-15 | 宁德时代新能源科技股份有限公司 | 图像的处理方法和系统 |
| CN116580284A (zh) * | 2023-07-14 | 2023-08-11 | 中国科学院空天信息创新研究院 | 一种基于深度学习的干涉合成孔径雷达偏移量测量方法 |
| US11967125B2 (en) | 2023-04-04 | 2024-04-23 | Contemporary Amperex Technology Co., Limited | Image processing method and system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100329513A1 (en) * | 2006-12-29 | 2010-12-30 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method and computer program for determining a position on the basis of a camera image from a camera |
| CN109212522A (zh) * | 2018-05-28 | 2019-01-15 | 中国科学院电子学研究所 | 一种获取数字地图的方法和装置 |
| CN109696675A (zh) * | 2018-12-27 | 2019-04-30 | 河海大学 | 基于迪杰斯特拉算法的InSAR时序影像集合配准方法 |
| CN110942013A (zh) * | 2019-11-22 | 2020-03-31 | 佛山科学技术学院 | 一种基于深度神经网络的卫星影像特征提取方法及系统 |
| CN111931689A (zh) * | 2020-08-26 | 2020-11-13 | 北京建筑大学 | 一种在线提取视频卫星数据鉴别特征的方法 |
| CN112419380A (zh) * | 2020-11-25 | 2021-02-26 | 湖北工业大学 | 一种基于云掩膜的静止轨道卫星序列影像高精度配准方法 |
-
2021
- 2021-04-01 CN CN202110356666.0A patent/CN113065467A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100329513A1 (en) * | 2006-12-29 | 2010-12-30 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method and computer program for determining a position on the basis of a camera image from a camera |
| CN109212522A (zh) * | 2018-05-28 | 2019-01-15 | 中国科学院电子学研究所 | 一种获取数字地图的方法和装置 |
| CN109696675A (zh) * | 2018-12-27 | 2019-04-30 | 河海大学 | 基于迪杰斯特拉算法的InSAR时序影像集合配准方法 |
| CN110942013A (zh) * | 2019-11-22 | 2020-03-31 | 佛山科学技术学院 | 一种基于深度神经网络的卫星影像特征提取方法及系统 |
| CN111931689A (zh) * | 2020-08-26 | 2020-11-13 | 北京建筑大学 | 一种在线提取视频卫星数据鉴别特征的方法 |
| CN112419380A (zh) * | 2020-11-25 | 2021-02-26 | 湖北工业大学 | 一种基于云掩膜的静止轨道卫星序列影像高精度配准方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022779A (zh) * | 2021-10-25 | 2022-02-08 | 电子科技大学 | 一种基于比例尺网络的sar船只检测方法 |
| CN114022779B (zh) * | 2021-10-25 | 2023-05-26 | 电子科技大学 | 一种基于比例尺网络的sar船只检测方法 |
| WO2023102723A1 (zh) * | 2021-12-07 | 2023-06-15 | 宁德时代新能源科技股份有限公司 | 图像的处理方法和系统 |
| CN115019186A (zh) * | 2022-08-08 | 2022-09-06 | 中科星图测控技术(合肥)有限公司 | 一种用于遥感变化检测的算法和系统 |
| US11967125B2 (en) | 2023-04-04 | 2024-04-23 | Contemporary Amperex Technology Co., Limited | Image processing method and system |
| CN116580284A (zh) * | 2023-07-14 | 2023-08-11 | 中国科学院空天信息创新研究院 | 一种基于深度学习的干涉合成孔径雷达偏移量测量方法 |
| CN116580284B (zh) * | 2023-07-14 | 2023-09-15 | 中国科学院空天信息创新研究院 | 一种基于深度学习的干涉合成孔径雷达偏移量测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113065467A (zh) | 一种基于深度学习的卫星图像低相干区域识别方法及装置 | |
| Yin et al. | Hot region selection based on selective search and modified fuzzy C-means in remote sensing images | |
| CN103345757B (zh) | 多层次多特征约束下的光学和sar影像自动配准方法 | |
| CN102842134B (zh) | 基于sar图像的快速景象匹配方法 | |
| Wang et al. | A new likelihood function for consistent phase series estimation in distributed scatterer interferometry | |
| Jeong et al. | Improved multiple matching method for observing glacier motion with repeat image feature tracking | |
| Shi et al. | A visual circle based image registration algorithm for optical and SAR imagery | |
| US20220091259A1 (en) | System using a priori terrain height data for interferometric synthetic aperture radar (ifsar) phase disambiguation and related methods | |
| Wang et al. | A novel quality-guided two-dimensional InSAR phase unwrapping method via GAUNet | |
| US20220092812A1 (en) | Artificial intelligence (ai) system and methods for generating estimated height maps from electro-optic imagery | |
| CN115471437A (zh) | 一种基于卷积神经网络的影像融合方法以及遥感影像融合方法 | |
| Cui et al. | A method for multibeam seafloor terrain classification based on self-adaptive geographic classification unit | |
| CN113408540B (zh) | 一种合成孔径雷达图像叠掩区提取方法及存储介质 | |
| US11636649B2 (en) | Geospatial modeling system providing 3D geospatial model update based upon predictively registered image and related methods | |
| Kim et al. | Tree and building detection in dense urban environments using automated processing of IKONOS image and LiDAR data | |
| CN117077547B (zh) | 森林地上生物量估计方法及系统 | |
| Dong et al. | RETRACTED ARTICLE: Research on North Gulf distributed big data submarine 3D terrain computing system based on remote sensing and multi-beam | |
| Byun et al. | Relative radiometric normalization of bitemporal very high-resolution satellite images for flood change detection | |
| US11816793B2 (en) | Geospatial modeling system providing 3D geospatial model update based upon iterative predictive image registration and related methods | |
| Kumar et al. | An efficient method for road tracking from satellite images using hybrid multi-kernel partial least square analysis and particle filter | |
| Wang et al. | Interference image registration combined by enhanced scale-invariant feature transform characteristics and correlation coefficient | |
| Varma et al. | HSIS-Net: Hyperspectral Image Segmentation Using Multi-view Active Learning Based FCSN. | |
| Wang et al. | InSAR Phase Unwrapping Algorithm Based on Deep GAN | |
| Ying et al. | Multi-temporal remote sensing image registration based on multi-layer feature fusion of deep residual network | |
| Kang et al. | Improving disparity estimation based on residual cost volume and reconstruction error volume |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |