CN115131677A - 面向地理对象的高分光学与sar影像一体化分割的方法 - Google Patents

面向地理对象的高分光学与sar影像一体化分割的方法 Download PDF

Info

Publication number
CN115131677A
CN115131677A CN202210758717.7A CN202210758717A CN115131677A CN 115131677 A CN115131677 A CN 115131677A CN 202210758717 A CN202210758717 A CN 202210758717A CN 115131677 A CN115131677 A CN 115131677A
Authority
CN
China
Prior art keywords
image
sar
point
optical
sar image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210758717.7A
Other languages
English (en)
Inventor
赵天宇
胡晨浩
徐赛博
潘伟豪
杨佳俊
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210758717.7A priority Critical patent/CN115131677A/zh
Publication of CN115131677A publication Critical patent/CN115131677A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种面向地理对象的高分光学与SAR影像一体化分割的方法，包括步骤如下：通过对光学影像进行分割，获得可靠的地理对象集合；为每个对象自适应提取标记点，并依据粗配准结果将其投影到SAR影像中；最后，在SAR影像中开展基于标记点的区域增长，最终获得与光学影像分割对象相匹配的对象集合。本发明通过对多组光学和SAR影像的实验结果表明，所提出方法提取的光学—SAR匹配对象集合更加接近实际的地理对象，且J‑value可达7.8以上，在目视分析和定量评价中均显著优于对比方法。

Description

面向地理对象的高分光学与SAR影像一体化分割的方法
技术领域
本发明涉及影像一体化分割的方法，尤其涉及一种面向地理对象的高分光学与SAR影像一体化分割的方法。
背景技术
高分辨率光学与合成孔径雷达(syntheticaperture radar，SAR)影像是目前遥感目标监测应用中两种主要的数据源。光学影像具有丰富的光谱、纹理及空间细节信息，有助于实现地表覆盖的精细分类。然而，由于受到被动式成像机理限制，光学影像容易受到天气、云层、光照条件等因素的制约。另一方面，合成孔径雷达具有全天时、全天候工作的优点，其回波特性有助于描述地物的高度、结构等信息，但光谱信息不足及存在斑点噪声等问题又严重影响了SAR影像的数据可靠性。
在异源影像中提取统一的地理对象集合，是联合光学与SAR影像的优势来开展目标识别的前提。目前通常采用的方法主要包括像素级的特征点提取与配准，以及异源影像集成分割与配准一体化方法(YU Xian chuan余先川,LV Zhong hua吕中华,HU Dan胡丹.Review of remote sensing image registration techniques[J].Optics andPrecision Engineering,2013,21(11))。前者主要基于SIFT等方法来提取特征点，在此基础上通过检测同名点对来进行配准。如王蒙蒙等(基于空间约束和结构特征的光学与SAR影像配准[J].武汉大学学报(信息科学版),2022,47(01):141-148.)提出了一种基于空间约束和结构特征的光学与SAR影像配准方法，该方法提出对影像进行局部几何修正，以及构建几何结构特征描述符等策略，显著提高了配准精度。尽管如此，由于光学和SAR影像成像机制存在巨大差异(Fan Jianwei,Wu Yan,Li Ming,et al.SAR and Optical ImageRegistration Using Nonlinear Diffusion and Phase Congruency StructuralDescriptor[J].IEEE Transactions on Geoscience and Remote Sensing,2018,56(9))，给定义可靠的相似性度量方法来开展特征点匹配造成了困难；另一方面，配准结果仅建立像素级间的映射关系，而并未跨越像素与地理对象之间的语义鸿沟。后者主要通过对影像进行分割，来获取显著的区域特征和结构特征，然后在此基础上对光学和SAR影像进行配准。如徐川等(基于多特征多测度的光学与SAR影像自动配准方法研究[D].武汉大学,2013)提出了一种基于多特征多测度的光学与SAR影像自动配准方法研究。该方法使用多次分割与配准，进而构建了一种基于全局优化的三角网配准方法。此类方法本质上属于面向对象的配准方法，因此配准结果对目标识别应用具有更高的参考价值。尽管如此，一体化分割与配准的实现需要精确的分割结果和一定数量的闭合区域，而同样由于光学和SAR通常存在显著的成像差异，导致分割结果中存在目标不完备的情况，即分割结果往往与真实地物不匹配。
发明内容
发明目的：本发明的目的是提供一种能够提取统一光学-SAR的匹配对象集合，而且能够从异源影像自身出发分别确定合适的对象边界的面向地理对象的高分光学与SAR影像一体化分割的方法。
技术方案：本发明的高分光学与SAR影像一体化分割的方法，包括步骤如下：
S1，对采集的两组高分辨率光学影像与SAR影像，采用SIFT算法提取光学影像和SAR影像中的对应特征点，得到从光学到SAR的映射方程，实现光学与SAR影像的粗配准；
S2，将光学影像作为参考影像并进行影像分割，对分割后的每一个对象提取其质心，得到光学影像中自适应标记点；
S3，利用步骤S1中得到的光学到SAR的映射方程，将光学对象中的质心映射到SAR影像中，得到SAR影像标记点；根据SAR影像标记点的区域增长，得到SAR影像中与光学对象相匹配的对象集合。
进一步，所述步骤S1中，实现光学影像与SAR影像的粗配准的具体步骤如下：
S11，以包含居民楼、厂房、街道的城市场景为对象，采集两组数据集，采用软件ENVI对异源影像进行重采样预处理；以光学影像为基准，对SAR影像采用双线性内插法重采样，得到相同分辨率的SAR影像与光学影像；
S12，采用SIFT算法来提取光学影像和SAR影像中的对应特征点Pm，所述特征点Pm计算公式如下：
Figure BDA0003720385430000021
其中，D为关键点的DOG值，
Figure BDA0003720385430000022
为尺度空间函数对P＝(x，y，σ)T的偏导，(x，y)为关键点的坐标，σ为图像尺度参数，从而获得特征点集合F＝{f1，f2，...，fi}，i＝1，2，…，n，其中n为特征点对的总个数；fi由光学和SAR影像对应特征点构成，fi＝{fgi(xi，yi)，fsi(x′i，y′i)}，fgi(xi，yi)为光学特征点，xi、yi分别为光学影像特征点的横、纵坐标，fsi(x′i，y′i)为SAR影像对应特征点，x′i、y′i分别为SAR影像对应特征点的横、纵坐标；则采用Homography变换方法确定映射方程Hom：
Figure BDA0003720385430000031
其中，(x，y，z)和(x′，y′，z′)分别为光学和SAR对应的归一化特征点，令z＝z′＝1，则得到映射方程：
Figure BDA0003720385430000032
其中，h1到h9为映射方程Hom的9个自由度参数。
进一步，所述步骤S2中，首先对光学影像进行分割，再为每个对象提取对应的标记点，具体步骤如下：
S21，采用软件eCognition完成多尺度影像分割，采用目视解译方法确定两组数据集分割参数(Scale，Shape，Compactness)，其中，Scale为尺度参数、Shape为形状因子、Compactness为紧致度因子；
S22，令影像分割所提取的对象集合为R＝{R1，R2，…，Rj}，j＝1，2，…，m，其中m为分割出来的对象总数；对于每个对象Rj，其标记点坐标如下：
Figure BDA0003720385430000033
其中，xd、yd为对象内像素点的横、纵坐标，s为像素点的总数；
求得的标记点坐标记为kj(Xj，Yj)，遍历所有对象，得到光学影像对象标记点集合K＝{k1，k2，…，kj}。
进一步，所述步骤S3中，得到SAR影像匹配对象集合的具体步骤如下：
S31，根据映射方程Hom对光学影像对象标记点集合K进行投影，得到SAR影像中初始种子点集合S＝{s1，s2，…，sj}，其中sj为sj(xj，yj)；
当映射到SAR影像的种子点sj(xj，yj)处于SAR影像边界外时，则计算点si和SAR影像中点的欧式距离，以欧式距离ρ′最小的点tj(x′j，y′j)代替点sj(xj，yj)作为种子点；xj、yj为SAR影像中初始种子点的横、纵坐标，x′j、y′j为自适应后的种子点的横、纵坐标，则有：
Figure BDA0003720385430000041
得到自适应后的SAR影像中的种子点集合T＝{t1，t2，…，tj}，其中tj为tj(x′j，y′j)；
S32，根据种子点集合T，对每个种子点同时进行区域增长；对任意种子点，若八邻域区域中的某点像素值满足下式：
Figure BDA0003720385430000042
则判定该点符合增长条件，加入到区域中；
其中，(X，Y)为种子点八邻域中点坐标，tj(x′j，y′j)为种子点坐标，Img为SAR影像的像素矩阵；
计算种子点tj(x′j，y′j)八邻域的点处的像素值与种子点像素之间的差值，所有差值相加取平均得到数值为阈值qj，表达式如下：
Figure BDA0003720385430000043
其中，u、v、w均为自变量；区域增长全部完成后，得到与光学影像对象集合R相对应的SAR影像对象集合C＝{C1，C2，…，Cj}，最终获得统一的光学-SAR匹配对象集合。
现有技术相比，其显著效果如下：
1、采用光学影像标记点映射及SAR影像中种子点区域增长的技术手段，不仅能够提取统一光学-SAR的匹配对象集合，而且能够从异源影像自身出发分别确定合适的对象边界，从而可为后续的目标识别等提供可靠的分析基元，解决了由于成像性质差异导致的一般分割方法分割后，光学和SAR影像中的对象较难匹配的问题，也解决的使用一般分割方法较难得到合适的对象边界的问题；
2、本发明在光学影像中进行分割，并提取分割对象自适应标记点，再把所有标记点投影到SAR影像后同时进行区域增长，得到的光学-SAR影像匹配对象集合更加符合真实地物，J-value指标达到了7.8以上。
附图说明
图1为本发明的总流程示意图；
图2(a)为实验数据集1-2011年3月高分辨率光学影像示意图；
图2(b)为实验数据集1-2011年3月SAR影像示意图；
图3(a)为实验数据集2-2011年3月高分辨率光学影像示意图；
图3(b)为实验数据集2-2011年3月SAR影像示意图；
图4(a)为实验数据集1-本发明的光学影像分割结果示意图；
图4(b)为实验数据集1-本发明的SAR影像分割结果意图；
图4(c)为实验数据集1-策略1的光学影像分割结果示意图；
图4(d)为实验数据集1-策略1的SAR影像分割结果示意图；
图4(e)为实验数据集1-策略2的光学影像分割结果示意图；
图4(f)为实验数据集1-策略2的SAR影像分割结果意图；
图4(g)为实验数据集1-策略2的光学影像分割结果使用边缘检测后得到具体对象边界的结果示意图；
图4(h)为实验数据集1-策略2的SAR影像分割结果使用边缘检测后得到具体对象边界的结果示意图；
图5(a)为实验数据集2-本发明的光学影像分割结果示意图；
图5(b)为实验数据集2-本发明的SAR影像分割结果意图；
图5(c)为实验数据集2-策略1的光学影像分割结果示意图；
图5(d)为实验数据集2-策略1的SAR影像分割结果示意图；
图5(e)为实验数据集2-策略2的光学影像分割结果示意图；
图5(f)为实验数据集2-策略2的SAR影像分割结果意图；
图5(g)为实验数据集2-策略2的光学影像分割结果使用边缘检测后得到具体对象边界的结果示意图；
图5(h)为实验数据集2-策略2的SAR影像分割结果使用边缘检测后得到具体对象边界的结果示意图。
具体实施方式
下面结合说明书附图和具体实施方式对本发明做进一步详细描述。
本发明的方法主要包括3个步骤：基于SIFT特征点的异源影像粗配准；光学影像对象集合自适应标记点提取；结合映射与区域增长的SAR影像匹配对象集合提取。具体流程如图1所示，详细实现过程如下：
步骤S1，基于SIFT特征点的异源影像粗配准
步骤S11，数据准备与预处理
本发明采用两组日本仙台地区高分辨率光学影像与SAR影像进行实验，如图2(a)、图2(b)和图3(a)、图3(b)所示。两组影像的采集时间均为2011年3月，因此影像地物构成具有高度的一致性。其中，光学影像为IKONOS卫星影像，采集时间为2011年3月，空间分辨率为1m；SAR影像为TerraSAR-X卫星影像，采集时间为2011年3月，空间分辨率为3m。
如图2(a)、图2(b)和图3(a)、图3(b)所示，两组数据集均为常见的城市场景，包含居民楼、厂房、街道等典型地物对象。在此基础上，采用目前流行的遥感影像处理商业软件ENVI对异源影像进行重采样预处理。以光学影像为基准，对SAR影像采用双线性内插法重采样，从而获得相同分辨率的SAR影像与光学影像。
步骤S12，SIFT提取及匹配方程的建立
本发明采用SIFT(Scale-invariant feature transform尺度不变特征转换)算法来提取光学和SAR影像中的对应特征点，并以此进行光学与SAR影像的粗配准。特征点Pm可由公式(1)计算得到：
Figure BDA0003720385430000061
其中，D为关键点的DOG值，
Figure BDA0003720385430000062
为尺度空间函数对P＝(x，y，σ)T的偏导，(x，y)为关键点的坐标，σ为图像尺度参数，即模糊系数，从而获得特征点集合F＝{f1，f2，...，fi}，(i＝1，2，…，n)，其中n为特征点对的总个数，fi由光学和SAR影像对应特征点构成，即fi＝{fgi(xi，yi)，fsi(x′i，y′i)}(i＝1，2，…，n)，fgi(xi，yi)为光学特征点，xi、yi分别为光学影像特征点的横、纵坐标，fsi(x′i，y′i)为SAR影像对应特征点，x′i、y′i分别为SAR影像对应特征点的横、纵坐标，在此基础上，本发明采用Homography变换方法确定映射方程Hom：
Figure BDA0003720385430000063
其中，(x，y，z)和(x′，y′，z′)分别为光学和SAR对应的归一化特征点，z＝z′＝1，利用得到的特征点集合F及矩阵的基本知识，可以获得映射方程：
Figure BDA0003720385430000071
其中，h1到h9为映射方程Hom的9个自由度参数。
步骤S2，多尺度分割与标记点自适应提取
鉴于光学影像具有丰富的光谱、纹理及空间细节信息。为此，将光学影像视为参考影像并进行影像分割，以期获得的对象集合更加接近真实地理对象。在此基础上，再为光学影像对象集合中的每个对象在SAR影像中搜寻匹配对象，从而获得统一的光学与SAR的对象集合。所以，本发明首先对光学影像进行分割，再为每个对象提取对应的标记点，具体步骤如下：
步骤S21，多尺度影像分割
在影像分割阶段，本发明采用面向对象的商业软件eCognition。与传统多尺度分割方法相比，eCognition最显著的特点在于影像分类和多尺度分割时，通过计算影像内部像素之间的同质性进行分割，得到的多尺度分割对象轮廓接近地物边界。在多尺度分割过程中，主要涉及三个关键参数的设定，包括尺度参数(Scale)、形状因子(Shape)、紧致度因子(Compactness)，本发明采用目视解译方法确定。两组数据集分割参数(Scale，Shape，Compactness)分别为(80，0.6，0.6)和(85，0.4，0.6)。
步骤S22，标记点自适应提取
令影像分割所提取的对象集合为R＝{R1，R2，…，Rj}，(j＝1，2，…，m)其中m为分割出来的对象总数。对于每个对象Rj，根据公式(4)自适应确定其标记点坐标：
Figure BDA0003720385430000072
其中，xd、yd为对象内像素点的横、纵坐标，s为像素点的总数；求得的标记点坐标记为kj(Xj，Yj)，遍历所有对象，从而获得光学影像对象标记点集合K＝{k1，k2，…，kj}(j＝1，2，…，m)。
步骤S3，SAR影像匹配地物对象提取
基于映射方程Hom及光学影像标记点集合K，本发明设计了一种SAR影像匹配地物对象提取策略，主要包括SAR影像标记点提取以及基于标记点的区域增长。
步骤S31，SAR影像标记点提取
根据映射方程Hom对K进行投影，得到SAR影像中初始的种子点集合S＝{s1，s2，…，sj}。(j＝1，2，…，m)，其中sj即为sj(xj，yj)；
此时，由于光学和SAR图像之间的显著差异，导致处于光学影像边界上的标记点在映射到SAR影像中时，可能处于SAR影像边界外。所以，本发明设计了一种自适应补偿方法：当映射到SAR影像的种子点sj(xj，yj)处于SAR影像边界外时，则计算点si和SAR影像中点的欧式距离，以欧式距离ρ′最小的点tj(x′j，y′j)代替点sj(xj，yj)作为种子点，公式如下：
Figure BDA0003720385430000081
而得到自适应后的SAR影像中的种子点集合T＝{t1，t2，…，tj}(j＝1，2，…，m)，其中tj即为tj(x′j，y′j)。
步骤S32，基于标记点的区域增长
依据种子点集合T，对每个种子点同时进行区域增长。对任意种子点，若八邻域区域中的某点像素值满足公式(6)，则判定该点符合增长条件，加入到区域中，式(6)中，(X，Y)为种子点八邻域中点坐标，tj(x′j，y′j)为种子点坐标，Img为SAR影像的像素矩阵。
Figure BDA0003720385430000082
其中，阈值qj采用如下策略自适应确定：计算种子点tj(x′j，y′j)八邻域的点处的像素值与种子点像素之间的差值，在此基础上所有差值相加取平均从而确定qj的值，如公式(7)所示：
Figure BDA0003720385430000083
其中，u、v、w均为自变量，区域增长全部完成后，可得到与光学影像对象集合R相对应的SAR影像对象集合C＝{C1，C2，…，Cj}(j＝1，2，…，m)，从而最终获得统一的光学-SAR匹配对象集合。
实验结果与分析
(1)实验设置与对比方法
由于本发明的方法属于集成分割和配准一体化方法，实验中选择了两种先进的同类型方法进行对比，包括：
异源影像融合分割方法(高雨,胡召玲,樊茹.高分辨率影像融合算法对滨海湿地土地利用分类精度的影响[J].测绘通报,2022,(01):116-120.)，表示为“策略1”；
基于结构特征的复杂纹理图像水平集分割方法(邓星涛.基于结构特征的复杂纹理图像水平集分割方法研究[D].合肥工业大学,2021)，表示为“策略2”。
其中，策略1在影像分割阶段采用了面向对象的商业软件eCognition对融合影像进行分割，本发明根据目视解译确定的分割参数(Scale,Shape,Compactness)分别为(80,0.6,0.6)和(85,0.4,0.6)。此外，策略2由于是对光学和SAR影像分别进行分割，因此分割结果中的对象数量不同。为此，本发明仅选取光学和SAR中相互匹配的对象对进行分析。
(2)实验结果与目视分析
基于两组数据集对本发明方法及对比方法进行实验，结果如图4(a)-(d)和图5(a)-(d)所示。此外，为便于目视分析，本发明对影像中的典型区域用不同形状的线框进行了表示,并选择了三个典型地物进行分析。在图4(a)-(d)和图5(a)-(d)中，圆形框中代表的是建筑物，矩形框中代表的是道路，方形框中代表的是其它人造目标。
如图4(c)-(d)和图5(c)-(d)所示，由于策略1要先对异源影像进行融合，然后对融合影像再进行分割，使光学影像丰富的光谱、纹理信息在一定程度上受到了SAR影像的影响，导致分割效果较本发明单一的光学影像分割有所下降。因此，策略1中由于在初始分割中需要综合考虑光学和SAR影像，反而导致了分割效果不佳。策略2中对光学和SAR影像同时进行水平集分割，分割结果如图4(e)-(f)和图5(e)-(f)所示，使用边缘检测方法提取分割后光学和SAR影像中的对象边界，如图4(g)-(h)和图5(g)-(h)所示，对影像分析，可以看出对于光学影像中部分对象的提取效果不明显，对光学和SAR影像之间对象的匹配造成了一定的难度。而且由于光学和SAR影像之间巨大的成像差异，导致了对于同一种分割方法，光学影像和SAR影像的分割效果也有较大差异，对寻找光学和SAR影像中相对应的对象造成了一定的困难。而在本发明方法中，如图4(a)-(b)和图5(a)-(b)所示，由于选择对具有较丰富的光谱、纹理信息的光学影像进行分割，再将每个分割对象的自适应点投影到SAR影像中进行区域增长，从而得到与光学相对应的SAR影像中的对象。由本发明方法得到的光学-SAR对象不仅能够很好的进行一一匹配，而且能够得到清晰的对象边界。此外，尽管本发明方法得到的SAR影像中对象在边缘上没有策略1得到的对象边缘平滑，但却更符合SAR影像中地物对象的真实边界，且对象内部均质程度更高。而从策略1中SAR影像的分割结果来看，尽管形状与光学对象一致，但却明显偏离了真实的地物，降低了其使用价值。从策略2中光学和SAR影像的分割结果来看，由于光学影像中一些对象没有较大的梯度值像素，且与周围区域的像素值差异不明显，从而导致一些对象没有分割出来，并且光学影像和SAR影像分割效果也有一定的差异，为得到统一光学和SAR的对象集合造成了一定的困难。而本发明使用区域增长的方法将与种子点相类似的点加入到区域内形成对象，减弱了SAR影像中斑点噪声可能会对结果造成的影响，因而形成的区域更加接近真实地物。
此外，对于圆形框对应的建筑物，本发明方法得到的对象具有良好的边界，且与光学影像中的对应对象结构十分相似，能够进行较好的匹配。而策略1得到的建筑物对象与真实建筑物有明显偏移。策略2中SAR影像分割得到的建筑物对象边缘不连贯，原因在于SAR影像受到斑点噪声的影响，一个对象内可能有多个像素值较大的点，导致分割时单独形成边界，对与光学对象的匹配造成了困难。
(3)定量评价结果
为了进一步定量分析不同方法的性能，本发明选择标准差、J-value，SSIM三种指标。
其中，标准差代表了一组数据均值分散程度，本发明中，计算每一个对象内像素的标准差，再取平均作为整体效果的度量指标，公式如下：
Figure BDA0003720385430000101
其中，m为对象总数，Nk、μk分别为第k个对象中像素点数目和均值，xi为对象中第i个点的像素值，σk为第k个对象像素值的标准差，σ为所有对象标准差的均值。
J-value则反映一个对象内的均质程度，公式如下：
Figure BDA0003720385430000102
令每一个像素的位置zf(x，y)为像素zf的像素值，f＝(1，2，…，F)，F为影像中的像素总数。确定尺寸为H×H的窗口(H即为尺度参数)，Zf为以像素zf为中心的窗口内所有像素的集合，zf(x，y)∈Zf，则ST为Zf内所有像素的总体方差，Sω为Zf内所有像素以256个灰度值为中心分别计算方差，再对方差求和得到。
以上两种指标均用来衡量单一影像分割结果的均质程度。本发明进一步采用SSIM来衡量两幅影像中匹配对象的相似度。此时，由于同一对象在异源影像中可能包含不同的像素，本发明采用改进的SSIM进行度量，公式如下：
Figure BDA0003720385430000111
其中，σx、σy分别为光学对象和SAR对象的标准差，C2为常数，一般取0.03，σ′xy为协方差。
依据这些指标的定量评价结果如表1和表2：
表1数据集1定量评价结果
Figure BDA0003720385430000112
表2数据集2定量评价结果
Figure BDA0003720385430000113
对SAR单一影像区域增长得到的对象内部进行定量评价，使用标准差和J-value来进行分析。从表1、表2定量评价结果可以看出，本发明方法得到的数据集1、数据集2的SAR影像区域增长结果的标准差仅为6.4和8.8，小于两种策略中SAR影像分割结果的标准差，说明本发明方法得到的SAR影像中的对象，对象内所有点的像素值与像素均值的离散程度低。而一个真实地物内像素值一般不会有很大的变化，因而表明运用本发明方法得到的SAR影像中的对象更接近真实的地物，易于与光学地物相匹配。从J-value指标来看，本发明方法得到的两组数据集中SAR影像对象集合的J-value值分别为7.8和8.6，而策略1得到的SAR影像对象集合的J-value值，分别为3.8和3.3，策略2得到的SAR影像对象集合的J-value值，分别为4.8和4.5。说明本发明方法得到的SAR影像地物对象的均质程度更高，更加接近真实地物对象。而根据原理，一个真实地理对象内像素点一般具有很高的相似性，本发明运用区域增长的方法来对光学标记点投影过后得到的种子点进行生长，由于设立了一定的生长规则，因而更容易将与种子点相似的点纳入区域内，因而得到的对象更容易接近真实地物，均质程度也就越高。基于图4(g)-(h)和图5(g)-(h)也证明实验结果和定量分析结果一致，证明本发明方法得到的SAR影像中对象内部更加平滑，均质程度更高，能够与光学对象较好的匹配。
(4)不同种类地物的投影效果分析
为进一步定量分析不同地物对象的分割效果，本发明选择建筑物、道路及其他人造目标进行统计和评价。对异源影像的分割结果分别进行不同地物的数量占比统计，结果如表3和表4所示。
表3数据集1不同地物分割占比统计
Figure BDA0003720385430000121
表4数据集2不同地物分割占比统计
Figure BDA0003720385430000122
从表3和表4中可以看出，本发明方法对光学和SAR中建筑物对象的提取效果较好，两者差异在6％之内，而策略1的差异在10％之内，策略2的差异达到了14％。从原理上看，由于建筑物对象的均质程度较高，对象内部的特征也较多，所以由本发明区域增长方法更容易得到与真实建筑物相近的对象。在道路提取方面，由于光学影像在进行多尺度分割时一条道路可能被分成数个区域，导致本发明方法的差异达到了7％，在策略1中，光学影像和SAR影像道路占比的差异达到了10％，而在策略2中，虽然在道路提取上差异较小，但是提取出来的道路数量占比却明显小于实际占比，不具有实际意义。对于其它人造目标的提取，本发明方法差异为12％，而策略1和策略2的差异则分别为18％和9％。由此可见，面对光学与SAR影像巨大的成像差异，本发明方法能够较好的保持匹配对象的类别一致性，相较于对比方法更具实际意义。

Claims (4)

1.一种面向地理对象的高分光学与SAR影像一体化分割的方法，其特征在于，包括步骤如下：
S1，对采集的两组高分辨率光学影像与SAR影像，采用SIFT算法提取光学影像和SAR影像中的对应特征点，得到从光学到SAR的映射方程，实现光学与SAR影像的粗配准；
S2，将光学影像作为参考影像并进行影像分割，对分割后的每一个对象提取其质心，得到光学影像中自适应标记点；
S3，利用步骤S1中得到的光学到SAR的映射方程，将光学对象中的质心映射到SAR影像中，得到SAR影像标记点；根据SAR影像标记点的区域增长，得到SAR影像中与光学对象相匹配的对象集合。
2.根据权利要求1所述的面向地理对象的高分光学与SAR影像一体化分割的方法，其特征在于，所述步骤S1中，实现光学影像与SAR影像的粗配准的具体步骤如下：
S11，以包含居民楼、厂房、街道的城市场景为对象，采集两组数据集，采用软件ENVI对异源影像进行重采样预处理；以光学影像为基准，对SAR影像采用双线性内插法重采样，得到相同分辨率的SAR影像与光学影像；
S12，采用SIFT算法来提取光学影像和SAR影像中的对应特征点Pm，所述特征点Pm计算公式如下：
Figure FDA0003720385420000011
其中，D为关键点的DOG值，
Figure FDA0003720385420000012
为尺度空间函数对P＝(x，y，σ)T的偏导，(x，y)为关键点的坐标，σ为图像尺度参数，从而获得特征点集合F＝{f1，f2，...，fi}，i＝1，2，…，n，其中n为特征点对的总个数；fi由光学和SAR影像对应特征点构成，fi＝{fgi(xi，yi)，fsi(x′i，y′i)}，fgi(xi，yi)为光学特征点，xi、yi分别为光学影像特征点的横、纵坐标，fsi(x′i，y′i)为SAR影像对应特征点，x′i、y′i分别为SAR影像对应特征点的横、纵坐标；则采用Homography变换方法确定映射方程Hom：
Figure FDA0003720385420000013
其中，(x，y，，z)和(x′，y′，z′)分别为光学和SAR对应的归一化特征点，令z＝z′＝1，则得到映射方程：
Figure FDA0003720385420000021
其中，h1到h9为映射方程Hom的9个自由度参数。
3.根据权利要求2所述的面向地理对象的高分光学与SAR影像一体化分割的方法，其特征在于，所述步骤S2中，首先对光学影像进行分割，再为每个对象提取对应的标记点，具体步骤如下：
S21，采用软件eCognition完成多尺度影像分割，采用目视解译方法确定两组数据集分割参数(Scale，Shape，Compactness)，其中，Scale为尺度参数、Shape为形状因子、Compactness为紧致度因子；
S22，令影像分割所提取的对象集合为R＝{R1，R2，…，Rj}，j＝1，2，…，m，其中m为分割出来的对象总数；对于每个对象Rj，其标记点坐标如下：
Figure FDA0003720385420000022
其中，xd、yd为对象内像素点的横、纵坐标，s为像素点的总数；
求得的标记点坐标记为kj(Xj，Yj)，遍历所有对象，得到光学影像对象标记点集合K＝{k1，k2，…，kj}。
4.根据权利要求3所述的面向地理对象的高分光学与SAR影像一体化分割的方法，其特征在于，所述步骤S3中，得到SAR影像匹配对象集合的具体步骤如下：
S31，根据映射方程Hom对光学影像对象标记点集合K进行投影，得到SAR影像中初始种子点集合S＝{s1，s2，…，sj}，其中sj为sj(xj，yj)；
当映射到SAR影像的种子点sj(xj，yj)处于SAR影像边界外时，则计算点si和SAR影像中点的欧式距离，以欧式距离ρ′最小的点tj(x′j，y′j)代替点sj(xj，yj)作为种子点；xj、yj为SAR影像中初始种子点的横、纵坐标，x′j、y′j为自适应后的种子点的横、纵坐标，则有：
Figure FDA0003720385420000031
得到自适应后的SAR影像中的种子点集合T＝{t1，t2，…，tj}，其中tj为tj(x′j，y′j)；
S32，根据种子点集合T，对每个种子点同时进行区域增长；对任意种子点，若八邻域区域中的某点像素值满足下式：
Figure FDA0003720385420000032
则判定该点符合增长条件，加入到区域中；
其中，(X，Y)为种子点八邻域中点坐标，tj(x′j，y′j)为种子点坐标，Img为SAR影像的像素矩阵；
计算种子点tj(x′j，y′j)八邻域的点处的像素值与种子点像素之间的差值，所有差值相加取平均得到数值为阈值qj，表达式如下：
Figure FDA0003720385420000033
其中，u、v、w均为自变量；区域增长全部完成后，得到与光学影像对象集合R相对应的SAR影像对象集合C＝{C1，C2，…，Cj}，最终获得统一的光学-SAR匹配对象集合。
CN202210758717.7A 2022-06-29 2022-06-29 面向地理对象的高分光学与sar影像一体化分割的方法 Pending CN115131677A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210758717.7A CN115131677A (zh) 2022-06-29 2022-06-29 面向地理对象的高分光学与sar影像一体化分割的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210758717.7A CN115131677A (zh) 2022-06-29 2022-06-29 面向地理对象的高分光学与sar影像一体化分割的方法

Publications (1)

Publication Number Publication Date
CN115131677A true CN115131677A (zh) 2022-09-30

Family

ID=83382477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210758717.7A Pending CN115131677A (zh) 2022-06-29 2022-06-29 面向地理对象的高分光学与sar影像一体化分割的方法

Country Status (1)

Country Link
CN (1) CN115131677A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117647801A (zh) * 2024-01-30 2024-03-05 中国科学院空天信息创新研究院 一种光学和合成孔径雷达互馈三维成像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117647801A (zh) * 2024-01-30 2024-03-05 中国科学院空天信息创新研究院 一种光学和合成孔径雷达互馈三维成像方法
CN117647801B (zh) * 2024-01-30 2024-04-09 中国科学院空天信息创新研究院 一种光学和合成孔径雷达互馈三维成像方法

Similar Documents

Publication Publication Date Title
Chen et al. Building change detection with RGB-D map generated from UAV images
WO2022141914A1 (zh) 一种基于雷视融合的多目标车辆检测及重识别方法
CN104200521B (zh) 基于模型先验的高分辨率sar图像建筑物目标三维重建方法
CN109598794B (zh) 三维gis动态模型的构建方法
CN111079556A (zh) 一种多时相无人机视频图像变化区域检测及分类方法
CN109461132B (zh) 基于特征点几何拓扑关系的sar图像自动配准方法
Soheilian et al. 3D road marking reconstruction from street-level calibrated stereo pairs
CN102903109B (zh) 一种光学影像和sar影像一体化分割配准方法
CN104361590A (zh) 一种控制点自适应分布的高分辨率遥感影像配准方法
CN109859219B (zh) 结合相位与光谱的高分遥感影像分割方法
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN109829426B (zh) 基于高分遥感影像的铁路建设临时建筑监测方法及系统
US20220414376A1 (en) Automated computer system and method of road network extraction from remote sensing images using vehicle motion detection to seed spectral classification
Truax Comparing spectral and object based approaches for classification and transportation feature extraction from high resolution multispectral imagery
CN114627104A (zh) 一种机场净空保护区建筑变化的遥感影像检测方法
CN111487643B (zh) 一种基于激光雷达点云和近红外影像的建筑物检测方法
Chen et al. Improving image-based characterization of road junctions, widths, and connectivity by leveraging OpenStreetMap vector map
Yao et al. Automated detection of 3D individual trees along urban road corridors by mobile laser scanning systems
CN115131677A (zh) 面向地理对象的高分光学与sar影像一体化分割的方法
Yao et al. Automatic extraction of road markings from mobile laser-point cloud using intensity data
Liu et al. Unsupervised change detection between multi-sensor high resolution satellite images
CN110636248B (zh) 目标跟踪方法与装置
CN114581307A (zh) 用于目标追踪识别的多图像拼接方法、系统、设备及介质
Mayr et al. Mapping eroded areas on mountain grassland with terrestrial photogrammetry and object-based image analysis
Peng et al. Building change detection by combining lidar data and ortho image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination