CN117455970A - 基于特征融合的机载激光测深与多光谱卫星影像配准方法 - Google Patents

基于特征融合的机载激光测深与多光谱卫星影像配准方法 Download PDF

Info

Publication number
CN117455970A
CN117455970A CN202311777404.7A CN202311777404A CN117455970A CN 117455970 A CN117455970 A CN 117455970A CN 202311777404 A CN202311777404 A CN 202311777404A CN 117455970 A CN117455970 A CN 117455970A
Authority
CN
China
Prior art keywords
fitting
multispectral
airborne laser
feature
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311777404.7A
Other languages
English (en)
Other versions
CN117455970B (zh
Inventor
宿殿鹏
黄昱
阳凡林
杨安秀
亓超
贺佳伟
高涵
石鑫龙
来浩杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202311777404.7A priority Critical patent/CN117455970B/zh
Publication of CN117455970A publication Critical patent/CN117455970A/zh
Application granted granted Critical
Publication of CN117455970B publication Critical patent/CN117455970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开基于特征融合的机载激光测深与多光谱卫星影像配准方法，属于影像配准技术领域，用于进行影像配准，包括基于三段式波形分解方法拟合水体回波，提取机载激光测深多元波形特征，采用二次曲面LM拟合算法进行地形特征拟合，提取地形特征，基于灰度共生矩阵和光谱分析方法提取多光谱四个波段的纹理特征和光谱特征，进行机载激光测深强度距离图像与多光谱蓝波段距离图像的精配准。本发明实现多元特征精配准，为海底资源调查、海洋工程应用、海洋环境保护等方面提供基础数据、理论方法和技术支撑。

Description

基于特征融合的机载激光测深与多光谱卫星影像配准方法
技术领域
本发明公开基于特征融合的机载激光测深与多光谱卫星影像配准方法，属于影像配准技术领域。
背景技术
我国海域面积广阔，浅水环境复杂多变。为实现高质量、全覆盖、高精度的海洋资源调查，亟需精细、有效的水下测量手段。对于浅水海域，ALB（机载激光测深）技术具有测量精度高、机动性强、测量连续性等特点，可以获取丰富的原始波形和海底地形信息，特别适合于海岸带、海岛礁等复杂地形浅水区域的水深快速探测，实现海岸线水上水下地形的无缝测量。多光谱遥感技术具有高时空分辨率、机动灵活、技术作业范围广等特点，可以高效获取目标地物的光谱信息和纹理特征。而ALB波形特征中的强度特征和高光谱遥感的光谱信息与海底底质的物理属性有直接性关联，同时ALB地形特征和高光谱遥感纹理特征也可以间接反映海底底质的物理属性。因此，将反映海底底质属性的跨模态多源特征融合在一起是探索浅海海底栖息环境的关键测量技术。
ALB技术可获取丰富的波形信息、地形信息以及高密度三维空间信息，但是缺乏纹理信息，影响分类效果，而遥感影像能准确地描述底质光谱特征和纹理特征，但易出现同物异谱和同谱异物现象，融合两者进行水深探测，即可发挥各自优势。而与此同时，跨模态多源特征的充分挖掘与精确融合成为技术难点。如何找到一种更为准确的精配准方法，来实现配准精度的提高是亟需解决的问题。目前关于图像融合的研究主要有基于像素级融合、基于特征级融合和决策级融合三类。图像融合前进行配准可提升融合结果的准确性。配准的算法研究较多，且主要集中在SIFT-RANSAC算法的研究上，经典RANSAC（随机抽样一致性）方法计算参数时选取最小子集是从效率的角度考虑，往往得到的是非最佳参数，且精配准后除了特征点以外两幅配准图像仍存在像素点的偏移，因此需要找到一种更为准确的粗配准和精配准方法，实现配准精度的提高，从而提高融合数据的准确性。
发明内容
本发明的目的在于提供基于特征融合的机载激光测深与多光谱卫星影像配准方法，以解决现有技术中，影像配准效果差的问题。
基于特征融合的机载激光测深与多光谱卫星影像配准方法，包括：
S1.基于三段式波形分解方法拟合水体回波；
S2.提取机载激光测深多元波形特征，采用二次曲面LM拟合算法进行地形特征拟合，提取地形特征；
S3.基于灰度共生矩阵和光谱分析方法提取多光谱四个波段的纹理特征和光谱特征；
S4.进行机载激光测深强度距离图像与多光谱蓝波段距离图像的精配准。
S1包括使用三种函数拟合水体回波：高斯函数、双指数函数和B样条函数；
高斯函数拟合水体回波为：
；
式中，下标表示水面，/>表示/>时刻，单位为/>，/>为高斯函数，/>、/>和/>分别为水面高斯拟合函数的波峰值、波峰位置和半幅波宽；
双指数函数拟合水体回波为：
；
式中，下标表示水体，/>为双指数函数，/>、/>表示水体第一阶段指数函数的两个系数，/>和/>表示水体第二阶段指数函数的两个系数；
B样条函数拟合水体回波为：
；
式中，下标表示水底，/>为B样条函数，/>表示B样条拟合的节点序号，/>表示B样条函数拟合时间范围的最大值序号，/>为控制系数，/>为/>时刻/>次B样条基函数，采用递推公式表示/>：
；
；
式中，表示节点i表示的时间，/>表示节点/>表示的时间，/>表示节点为/>时表示的时间，/>表示节点/>表示的时间；/>表示/>节点下/>次B样条基函数，表示/>节点下/>次B样条基函数，/>表示/>节点下/>次B样条基函数，/>表示/>节点下/>次B样条基函数。
S2包括：
提取振幅、波宽、半幅波宽、波形面积、偏态、峰度、反向散射截面系数、残差振幅和残差波宽9个波形特征，设置搜索半径r，采用LM算法建立地形点的二次曲面拟合模型，以r为搜索半径遍历整个数据集，根据采样信息进行局部的二次曲面拟合，设二次曲面拟合模型：
；
式中，为地形点在局部坐标系中的地理坐标；/>为二次曲面拟合参数，计算拟合精度和拟合时间，并根据结果确定最佳拟合半径r，根据最佳拟合半径r计算地形拟合模型，获得二次曲面拟合参数，进行地形特征提取，地形特征包括坡度、高斯曲率、粗糙度、水深标准差、高程熵、起伏度、平均偏差、变异系数和凹凸系数。
S4包括：
对机载激光测深数据和多光谱影像数据进行预处理，通过栅格化特征数据分别生成机载激光测深强度距离图像和多光谱蓝波段距离图像，基于SIFT算法找到机载激光测深强度距离图像与多光谱蓝波段距离图像的图像特征点对，完成两幅距离图像的粗配准；
经过SIFT变换得到图像的匹配点，采用渐进一致采样法，利用欧氏距离逐一计算梯度图像之间所有待匹配点的相似度，并按照欧氏距离降序排序，计算对应匹配的特征点对的极限距离平方和，统计内点数量，剔除错误的图像特征点对：
根据设定的采样次数，选择其中的前/>个点对作为假设集合，在假设集合中，从个点对中任取/>个点对和第/>个点对组成样本，之后利用/>点法结合/>计算基础矩阵/>，并计算对应匹配的特征点对的极限距离平方和，统计内点数量，/>和/>是两幅配准图像中的一组匹配点。
完成S4后，通过透视变换方法，实现机载激光测深特征与多光谱特征的跨模态多元特征融合：
计算出机载激光测深特征和多光谱特征的像素坐标与平面坐标，基于透视变换方法计算机载激光测深强度距离图像与多光谱蓝波段距离图像之间度量像素坐标转换关系的透视变换矩阵，实现机载激光测深特征与多光谱特征的融合，其中透视变换的模型如下式表示：
；
式中，、/>是多光谱原始图像中的坐标点；(/>,/>)是其经过透视变换后对应的二维坐标；/>为透视变换参数矩阵，/>分别是控制水平方向上的缩放、旋转和平移的参数；/>分别是控制垂直方向上的缩放、旋转和平移的参数；是透视投影的参数；/>和/>决定/>和/>坐标的非线性缩。
相对比现有技术，本发明具有以下有益效果：本发明实现多元特征精配准，为海底资源调查、海洋工程应用、海洋环境保护等方面提供基础数据、理论方法和技术支撑。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于特征融合的机载激光测深与多光谱卫星影像配准方法，包括：
S1.基于三段式波形分解方法拟合水体回波；
S2.提取机载激光测深多元波形特征，采用二次曲面LM拟合算法进行地形特征拟合，提取地形特征；
S3.基于灰度共生矩阵和光谱分析方法提取多光谱四个波段的纹理特征和光谱特征；
S4.进行机载激光测深强度距离图像与多光谱蓝波段距离图像的精配准。
S1包括使用三种函数拟合水体回波：高斯函数、双指数函数和B样条函数；
高斯函数拟合水体回波为：
；
式中，下标表示水面，/>表示/>时刻，单位为/>，/>为高斯函数，/>、/>和/>分别为水面高斯拟合函数的波峰值、波峰位置和半幅波宽；
双指数函数拟合水体回波为：
；
式中，下标表示水体，/>为双指数函数，/>、/>表示水体第一阶段指数函数的两个系数，/>和/>表示水体第二阶段指数函数的两个系数；
B样条函数拟合水体回波为：
；
式中，下标表示水底，/>为B样条函数，/>表示B样条拟合的节点序号，/>表示B样条函数拟合时间范围的最大值序号，/>为控制系数，/>为/>时刻/>次B样条基函数，采用递推公式表示/>：
；
；
式中，表示节点i表示的时间，/>表示节点/>表示的时间，/>表示节点为/>时表示的时间，/>表示节点/>表示的时间；/>表示/>节点下/>次B样条基函数，表示/>节点下/>次B样条基函数，/>表示/>节点下/>次B样条基函数，/>表示/>节点下/>次B样条基函数。
S2包括：
提取振幅、波宽、半幅波宽、波形面积、偏态、峰度、反向散射截面系数、残差振幅和残差波宽9个波形特征，设置搜索半径r，采用LM算法建立地形点的二次曲面拟合模型，以r为搜索半径遍历整个数据集，根据采样信息进行局部的二次曲面拟合，设二次曲面拟合模型：
；
式中，为地形点在局部坐标系中的地理坐标；/>为二次曲面拟合参数，计算拟合精度和拟合时间，并根据结果确定最佳拟合半径r，根据最佳拟合半径r计算地形拟合模型，获得二次曲面拟合参数，进行地形特征提取，地形特征包括坡度、高斯曲率、粗糙度、水深标准差、高程熵、起伏度、平均偏差、变异系数和凹凸系数。
S4包括：
对机载激光测深数据和多光谱影像数据进行预处理，通过栅格化特征数据分别生成机载激光测深强度距离图像和多光谱蓝波段距离图像，基于SIFT算法找到机载激光测深强度距离图像与多光谱蓝波段距离图像的图像特征点对，完成两幅距离图像的粗配准；
经过SIFT变换得到图像的匹配点，采用渐进一致采样法，利用欧氏距离逐一计算梯度图像之间所有待匹配点的相似度，并按照欧氏距离降序排序，计算对应匹配的特征点对的极限距离平方和，统计内点数量，剔除错误的图像特征点对：
根据设定的采样次数，选择其中的前/>个点对作为假设集合，在假设集合中，从个点对中任取/>个点对和第/>个点对组成样本，之后利用/>点法结合/>计算基础矩阵/>，并计算对应匹配的特征点对的极限距离平方和，统计内点数量，/>和/>是两幅配准图像中的一组匹配点。
完成S4后，通过透视变换方法，实现机载激光测深特征与多光谱特征的跨模态多元特征融合：
计算出机载激光测深特征和多光谱特征的像素坐标与平面坐标，基于透视变换方法计算机载激光测深强度距离图像与多光谱蓝波段距离图像之间度量像素坐标转换关系的透视变换矩阵，实现机载激光测深特征与多光谱特征的融合，其中透视变换的模型如下式表示：
；
式中，、/>是多光谱原始图像中的坐标点；(/>,/>)是其经过透视变换后对应的二维坐标；/>为透视变换参数矩阵，/>分别是控制水平方向上的缩放、旋转和平移的参数；/>分别是控制垂直方向上的缩放、旋转和平移的参数；是透视投影的参数；/>和/>决定/>和/>坐标的非线性缩放。
实施例中，在实现机载激光测深特征与多光谱特征的跨模态多元特征融合后，利用特征相关性分析FCA计算相关性系数矩阵，删除相关性较大的特征，实现首次降维；构建特征优选模型，通过计算各特征在底质分类中的贡献率，设立阈值舍弃贡献率较小的特征，实现多元特征二次降维。利用图注意网络算法构建图结构，并堆叠自注意网络层实现特征提取与更新，通过原型网络结构生成原型中心，根据样本与每个类别原型中心之间的距离度量结果，实现测试样本与其距离最近的原型中心所代表类别标签的匹配。
基于FCA算法根据公计算两两特征之间的相关系数大小并设置相关性阈值()，当两特征之间的相关性阈值/>时，剔除相关性大的特征，实现特征首次降维。
；
；
表示特征/>与特征/>之间的协方差；/>表示样本总数；/>表示特征集中第/>个样本的第/>个特征量；/>表示特征集中第/>个样本的第/>个特征量；式(4)中/>表示第/>个特征和第/>个特征之间的线性相关系数。当/>时，/>，表示特征自相关，此时为自相关系数。/>表示特征/>的标准差；/>表示特征/>的标准差。
基于特征优选模型从训练集M中随机选择样本A，再从和样本A同类的样本集中找到k个近邻样本，同时在每个与A不同类别的样本集中寻找k个近邻样本，根据以下规则更新权重：
；
其中，表示特征/>的权重，其初始值为/>；/>表示迭代次数；/>表示选取的近邻个数；/>；/>表示第/>次迭代随机选择样本；/>表示样本/>同类中的最近邻样本；表示/>与/>在特征/>上的差别；/>表示第/>类的先验概率；/>表示第/>类的先验概率；/>表示样本/>所在的类别；/>表示样本/>和样本/>在特征上的差别。
小样本底质分类的训练与测试策略为：基于图注意力网络GAT生成图结构，通过堆叠自注意网络层，获取每个节点周围邻居节点特征，对邻域中的不同节点可分配不同的权重，再根据函数计算实现当前节点特征更新，注意力权重通过一个可学习的权重向量a计算得到：
；
其中，表示节点/>和节点/>之间的注意力权重；/>为自然常数/>的幂次方；是修正线性单元激活函数；/>为标签节点的数量；/>表示节点/>的邻居节点；/>是自适应的注意力权重向量，通过训练学习得到；/>指的是转置；/>是可学习的权重矩阵；/>、/>和/>分别表示节点/>、节点/>和节点/>的特征向量；||表示向量的拼接操作。
基于原型网络方法首先使用支持集样本输入到卷积神经网络中，使特征被映射到一个特征空间，在特征空间中，将支持集同类样本取均值来得到每个类的原型中心，再将查询及映射到特征空间，针对每一个查询集样本，将其与每个原型点进行距离度量，距离度量方式使用欧几里得距离公式，将负距离度量输入到SoftMax来预测标签：
；
式中，是每个样本到原型中心的距离；/>每类生成的原型点；/>表示输入向量；/>表示向量中的要素索引。
跨模态多元特征优选模型具有较强的鲁棒性，对数据异常值不敏感，不易受到数据质量问题的影响，并且该方法不仅考虑每个特征与目标变量之间的相关性，还考虑特征之间的相互作用，能更全面地评估特征的贡献率，识别出最具区分度的特征，移除冗余特征，避免造成“维数灾难”和“过拟合”问题，从而提升分类精度，本专利特征优选方法对海岛礁等浅水海域海底底质分类的发展具有重要借鉴意义。
顾及GAT算法与原型网络算法的小样本底质分类模型，通过构建GAT自注意力网络可以有效捕捉图结构中节点之间的关系，即每个节点在图结构中的重要性权重，从而对不同节点进行灵活的特征表示。而原型网络则能够学习到数据的整体分布和类别信息，得到具有代表性的原型中心。通过将二者结合，可以综合利用图结构和原型学习的优势，得到更丰富、更准确的特征表示，有助于提高分类精度。体现底质分类模型优越的整体稳定性和鲁棒性。
结合以上内容，本发明跨模态多元特征配准方法对比结果表如下：
表1 跨模态多元特征配准方法对比
；
结合多种现有技术，与本发明的方法进行总体精度和Kappa系数的对比，如表2：
表2 小样本底质分类精度评定结果表
；
以上实施例仅用于说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.基于特征融合的机载激光测深与多光谱卫星影像配准方法，其特征在于，包括：
S1.基于三段式波形分解方法拟合水体回波；
S2.提取机载激光测深多元波形特征，采用二次曲面LM拟合算法进行地形特征拟合，提取地形特征；
S3.基于灰度共生矩阵和光谱分析方法提取多光谱四个波段的纹理特征和光谱特征；
S4.进行机载激光测深强度距离图像与多光谱蓝波段距离图像的精配准。
2.根据权利要求1所述的基于特征融合的机载激光测深与多光谱卫星影像配准方法，其特征在于，S1包括使用三种函数拟合水体回波：高斯函数、双指数函数和B样条函数；
高斯函数拟合水体回波为：
；
式中，下标表示水面，/>表示/>时刻，单位为/>，/>为高斯函数，/>、/>和/>分别为水面高斯拟合函数的波峰值、波峰位置和半幅波宽；
双指数函数拟合水体回波为：
；
式中，下标表示水体，/>为双指数函数，/>、/>表示水体第一阶段指数函数的两个系数，/>和/>表示水体第二阶段指数函数的两个系数；
B样条函数拟合水体回波为：
；
式中，下标表示水底，/>为B样条函数，/>表示B样条拟合的节点序号，/>表示B样条函数拟合时间范围的最大值序号，/>为控制系数，/>为/>时刻/>次B样条基函数，采用递推公式表示/>：
；
；
式中，表示节点i表示的时间，/>表示节点/>表示的时间，/>表示节点为/>时表示的时间，/>表示节点/>表示的时间；/>表示/>节点下/>次B样条基函数，/>表示/>节点下/>次B样条基函数，/>表示/>节点下/>次B样条基函数，/>表示/>节点下/>次B样条基函数。
3.根据权利要求2所述的基于特征融合的机载激光测深与多光谱卫星影像配准方法，其特征在于，S2包括：
提取振幅、波宽、半幅波宽、波形面积、偏态、峰度、反向散射截面系数、残差振幅和残差波宽9个波形特征，设置搜索半径r，采用LM算法建立地形点的二次曲面拟合模型，以r为搜索半径遍历整个数据集，根据采样信息进行局部的二次曲面拟合，设二次曲面拟合模型：
；
式中，为地形点在局部坐标系中的地理坐标；/>为二次曲面拟合参数，计算拟合精度和拟合时间，并根据结果确定最佳拟合半径r，根据最佳拟合半径r计算地形拟合模型，获得二次曲面拟合参数，进行地形特征提取，地形特征包括坡度、高斯曲率、粗糙度、水深标准差、高程熵、起伏度、平均偏差、变异系数和凹凸系数。
4.根据权利要求3所述的基于特征融合的机载激光测深与多光谱卫星影像配准方法，其特征在于，S4包括：
对机载激光测深数据和多光谱影像数据进行预处理，通过栅格化特征数据分别生成机载激光测深强度距离图像和多光谱蓝波段距离图像，基于SIFT算法找到机载激光测深强度距离图像与多光谱蓝波段距离图像的图像特征点对，完成两幅距离图像的粗配准；
经过SIFT变换得到图像的匹配点，采用渐进一致采样法，利用欧氏距离逐一计算梯度图像之间所有待匹配点的相似度，并按照欧氏距离降序排序，计算对应匹配的特征点对的极限距离平方和，统计内点数量，剔除错误的图像特征点对：
根据设定的采样次数，选择其中的前/>个点对作为假设集合，在假设集合中，从/>个点对中任取/>个点对和第/>个点对组成样本，之后利用/>点法结合/>计算基础矩阵，并计算对应匹配的特征点对的极限距离平方和，统计内点数量，/>和/>是两幅配准图像中的一组匹配点。
5.根据权利要求4所述的基于特征融合的机载激光测深与多光谱卫星影像配准方法，其特征在于，完成S4后，通过透视变换方法，实现机载激光测深特征与多光谱特征的跨模态多元特征融合：
计算出机载激光测深特征和多光谱特征的像素坐标与平面坐标，基于透视变换方法计算机载激光测深强度距离图像与多光谱蓝波段距离图像之间度量像素坐标转换关系的透视变换矩阵，实现机载激光测深特征与多光谱特征的融合，其中透视变换的模型如下式表示：
；
式中，、/>是多光谱原始图像中的坐标点；(/>,/>)是其经过透视变换后对应的二维坐标；/>为透视变换参数矩阵，/>分别是控制水平方向上的缩放、旋转和平移的参数；/>分别是控制垂直方向上的缩放、旋转和平移的参数；是透视投影的参数；/>和/>决定/>和/>坐标的非线性缩放。
CN202311777404.7A 2023-12-22 2023-12-22 基于特征融合的机载激光测深与多光谱卫星影像配准方法 Active CN117455970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311777404.7A CN117455970B (zh) 2023-12-22 2023-12-22 基于特征融合的机载激光测深与多光谱卫星影像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311777404.7A CN117455970B (zh) 2023-12-22 2023-12-22 基于特征融合的机载激光测深与多光谱卫星影像配准方法

Publications (2)

Publication Number Publication Date
CN117455970A true CN117455970A (zh) 2024-01-26
CN117455970B CN117455970B (zh) 2024-05-10

Family

ID=89589502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311777404.7A Active CN117455970B (zh) 2023-12-22 2023-12-22 基于特征融合的机载激光测深与多光谱卫星影像配准方法

Country Status (1)

Country Link
CN (1) CN117455970B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726658A (zh) * 2024-02-09 2024-03-19 湖南省第一测绘院 一种基于局部迭代策略的大场景sar影像配准的方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303545A (zh) * 2015-11-25 2016-02-03 中国矿业大学(北京) 一种多光谱影像和全色卫星影像融合方法
CN110458829A (zh) * 2019-08-13 2019-11-15 腾讯医疗健康(深圳)有限公司 基于人工智能的图像质控方法、装置、设备及存储介质
US20200103530A1 (en) * 2017-06-05 2020-04-02 Chinese Academy Of Surveying And Mapping Method for extracting elevation control point with assistance of satellite laser altimetry data
CN111369436A (zh) * 2020-02-27 2020-07-03 山东科技大学 一种顾及多元地形特征的机载LiDAR点云抽稀方法
US20200272817A1 (en) * 2017-12-05 2020-08-27 Jiangsu University Water Stress Detection Method for Tomatoes in Seedling Stage Based on Micro-CT and Polarization-Hyperspectral Imaging Multi-Feature Fusion
CN112686935A (zh) * 2021-01-12 2021-04-20 武汉大学 基于特征融合的机载测深雷达与多光谱卫星影像配准方法
CN114722900A (zh) * 2022-03-08 2022-07-08 山东科技大学 一种机载雷达测深浅海底质分类方法
CN114862755A (zh) * 2022-03-18 2022-08-05 浙大宁波理工学院 一种基于小样本学习的表面缺陷检测方法及系统
WO2023087558A1 (zh) * 2021-11-22 2023-05-25 重庆邮电大学 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法
WO2023125456A1 (zh) * 2021-12-28 2023-07-06 苏州大学 基于多层次变分自动编码器的高光谱图像特征提取方法
CN116563187A (zh) * 2023-05-22 2023-08-08 广东工业大学 一种基于图神经网络的多光谱图像融合
CN116645617A (zh) * 2023-04-28 2023-08-25 西安电子科技大学 基于机载LiDAR与星载多光谱影像融合的复杂地形分析方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303545A (zh) * 2015-11-25 2016-02-03 中国矿业大学(北京) 一种多光谱影像和全色卫星影像融合方法
US20200103530A1 (en) * 2017-06-05 2020-04-02 Chinese Academy Of Surveying And Mapping Method for extracting elevation control point with assistance of satellite laser altimetry data
US20200272817A1 (en) * 2017-12-05 2020-08-27 Jiangsu University Water Stress Detection Method for Tomatoes in Seedling Stage Based on Micro-CT and Polarization-Hyperspectral Imaging Multi-Feature Fusion
CN110458829A (zh) * 2019-08-13 2019-11-15 腾讯医疗健康(深圳)有限公司 基于人工智能的图像质控方法、装置、设备及存储介质
CN111369436A (zh) * 2020-02-27 2020-07-03 山东科技大学 一种顾及多元地形特征的机载LiDAR点云抽稀方法
CN112686935A (zh) * 2021-01-12 2021-04-20 武汉大学 基于特征融合的机载测深雷达与多光谱卫星影像配准方法
WO2023087558A1 (zh) * 2021-11-22 2023-05-25 重庆邮电大学 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法
WO2023125456A1 (zh) * 2021-12-28 2023-07-06 苏州大学 基于多层次变分自动编码器的高光谱图像特征提取方法
CN114722900A (zh) * 2022-03-08 2022-07-08 山东科技大学 一种机载雷达测深浅海底质分类方法
CN114862755A (zh) * 2022-03-18 2022-08-05 浙大宁波理工学院 一种基于小样本学习的表面缺陷检测方法及系统
CN116645617A (zh) * 2023-04-28 2023-08-25 西安电子科技大学 基于机载LiDAR与星载多光谱影像融合的复杂地形分析方法
CN116563187A (zh) * 2023-05-22 2023-08-08 广东工业大学 一种基于图神经网络的多光谱图像融合

Non-Patent Citations (14)

* Cited by examiner, † Cited by third party
Title
WANG, XK; YANG, FL; (...); XU, FZ: "" Registration of Airborne LiDAR Bathymetry and Multibeam Echo Sounder Point Clouds"", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》, vol. 19, 31 December 2022 (2022-12-31) *
YANG, H; LI, XR; (...); CHEN, SH: ""A High Precision Feature Matching Method Based on Geometrical Outlier Removal for Remote Sensing Image Registration"", 《IEEE ACCESS》, vol. 7, 31 December 2019 (2019-12-31), pages 180027 - 180038, XP011761503, DOI: 10.1109/ACCESS.2019.2951796 *
亓超，宿殿鹏等: ""基于分层异构模型的机载激光测深波形拟合算法"", 《红外与激光工程》, vol. 48, no. 2, 28 February 2019 (2019-02-28), pages 1 - 8 *
冉向书, 任金昌: "图像融合中的特征选取及分类与决策", 《计算机应用研究》, no. 09, 28 September 2005 (2005-09-28) *
宋荣杰;宁纪锋;刘秀英;常庆瑞;: "基于纹理特征和SVM的QuickBird影像苹果园提取", 《农业机械学报》, no. 03, 25 March 2017 (2017-03-25) *
宿殿鹏，阳凡林，石波，冯成凯，杨东清: ""船载多传感器综合测量系统点云实时显示技术"", 《海洋测绘》, vol. 35, no. 06, 30 November 2015 (2015-11-30) *
张秀彬，陆冬良著: "《发明解析论》", 30 June 2014, 上海交通大学出版社, pages: 295 - 296 *
张艳超;肖宇钊;庄载椿;许凯雯;何勇;: "基于小波分解的油菜多光谱图像与深度图像数据融合方法", 《农业工程学报》, no. 16, 23 August 2016 (2016-08-23) *
李红月; 王金厢; 李学鹏; 励建荣; 杨青; 位正鹏; 谢晶; 王彦波; 丁玉庭: ""多光谱成像技术在鱼肉新鲜度评价中的应用研究进展"", 《 渤海大学学报(自然科学版)》, vol. 43, no. 02, 30 June 2022 (2022-06-30) *
游炯;裴志远;王飞;吴全;郭琳;: "基于改进多元纹理信息模型和GF-1影像的县域冬小麦面积提取", 《农业工程学报》, no. 13, 8 July 2016 (2016-07-08) *
王贤昆;张汉德;董梁;宿殿鹏;亓超;阳凡林;: "基于高斯与小波的机载测深LiDAR波形分解算法", 《海洋技术学报》, no. 02, 15 April 2018 (2018-04-15) *
线岩团，相艳，余正涛，文永华，王红斌，张亚飞: ""用于文本分类的均值原型网络"", 《中文信息学报》, vol. 34, no. 6, 30 June 2020 (2020-06-30) *
赵立军等著: "《室内移动机器人环境感知技术》", 31 January 2023, 哈尔滨工业大学出版社, pages: 111 - 112 *
马毅;张杰;张靖宇;张震;王锦锦: ""浅海水深光学遥感研究进展"", 《海洋科学进展》, vol. 36, no. 03, 31 July 2018 (2018-07-31) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726658A (zh) * 2024-02-09 2024-03-19 湖南省第一测绘院 一种基于局部迭代策略的大场景sar影像配准的方法及装置
CN117726658B (zh) * 2024-02-09 2024-05-03 湖南省第一测绘院 一种基于局部迭代策略的大场景sar影像配准的方法及装置

Also Published As

Publication number Publication date
CN117455970B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN110555446B (zh) 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法
Sevara et al. Pixel versus object—A comparison of strategies for the semi-automated mapping of archaeological features using airborne laser scanning data
CN117455970B (zh) 基于特征融合的机载激光测深与多光谱卫星影像配准方法
CN108428220A (zh) 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法
CN113065467B (zh) 一种基于深度学习的卫星图像低相干区域识别方法及装置
Wang et al. A side scan sonar image target detection algorithm based on a neutrosophic set and diffusion maps
Ling et al. An image matching algorithm integrating global SRTM and image segmentation for multi-source satellite imagery
Tewari et al. Automated crater detection from co-registered optical images, elevation maps and slope maps using deep learning
CN113610070A (zh) 一种基于多源数据融合的滑坡灾害识别方法
Li et al. A novel unsupervised sample collection method for urban land-cover mapping using landsat imagery
Xie et al. A density-based adaptive ground and canopy detecting method for ICESat-2 photon-counting data
Ma et al. Extracting urban road footprints from airborne LiDAR point clouds with PointNet++ and two-step post-processing
Chénier et al. Bathymetric photogrammetry to update CHS charts: Comparing conventional 3D manual and automatic approaches
Li et al. A novel horizon picking method on sub-bottom profiler sonar images
Wang et al. An overview of shoreline mapping by using airborne LiDAR
Yuan et al. Dense image-matching via optical flow field estimation and fast-guided filter refinement
CN110956601A (zh) 一种基于多传感器样态系数的红外图像融合方法和装置以及计算机可读存储介质
Dahiya et al. Qualitative and quantitative analysis of artificial neural network-based post-classification comparison to detect the earth surface variations using hyperspectral and multispectral datasets
CN114140700A (zh) 基于级联网络的分步异源图像模板匹配方法
Figliomeni et al. A Proposal for Automatic Coastline Extraction from Landsat 8 OLI Images Combining Modified Optimum Index Factor (MOIF) and K-Means
Tao et al. Combined imaging matching method of side scan sonar images with prior position knowledge
CN115271560B (zh) 一种海洋石油钻井溢油风化定量评估系统及评估方法
Xiao et al. Detection and tracking method of maritime moving targets based on geosynchronous orbit satellite optical images
Jijón-Palma et al. Improving stacked-autoencoders with 1D convolutional-nets for hyperspectral image land-cover classification
CN109886988A (zh) 一种微波成像仪定位误差的度量方法、系统、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant