CN112130169A - 一种激光雷达数据和高光谱图像的点云级融合方法 - Google Patents

一种激光雷达数据和高光谱图像的点云级融合方法 Download PDF

Info

Publication number
CN112130169A
CN112130169A CN202011010352.7A CN202011010352A CN112130169A CN 112130169 A CN112130169 A CN 112130169A CN 202011010352 A CN202011010352 A CN 202011010352A CN 112130169 A CN112130169 A CN 112130169A
Authority
CN
China
Prior art keywords
matrix
data
hyperspectral image
abundance
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011010352.7A
Other languages
English (en)
Other versions
CN112130169B (zh
Inventor
赵艮平
陈立宜
王卓薇
吴衡
程良伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202011010352.7A priority Critical patent/CN112130169B/zh
Publication of CN112130169A publication Critical patent/CN112130169A/zh
Application granted granted Critical
Publication of CN112130169B publication Critical patent/CN112130169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请公开了一种激光雷达数据和高光谱图像的点云级融合方法,主要针对异构遥感数据,即激光雷达数据以及高光谱图像数据,基于加入正则项的非负矩阵分解框架首先对高光谱数据解混,获取高光谱图像数据丰度矩阵以及端元矩阵;并根据高光谱图像数据的最终丰度矩阵的丰度信息,采用双线性内插法获得激光雷达数据的丰度矩阵;将最终利用激光雷达数据的丰度矩阵与最终高光谱端元矩阵进行融合,得到高光谱点云。本申请将高光谱高分辨光谱信息与小光斑激光雷达高程信息在点云级的融合,具有同时进行光谱分类和3D结构分割的能力。

Description

一种激光雷达数据和高光谱图像的点云级融合方法
技术领域
本申请涉及多源遥感数据融合技术领域,尤其涉及一种激光雷达数据和高光谱图像的点云级融合方法。
背景技术
遥感对地观测的智能化及多方位立体检测需求,使得多源遥感数据融合呈现前所未有的急迫需求。特别近年来,激光雷达扫描的高程信息与高光谱图像数据的融合已经为此类应用需求提供了潜在的解决方案。
多源数据融合,通常分为像素级融合、特征级融合以及决策级融合。像素级融合常用于具有不同光谱特性的影像数据,如多光谱和全色图像、高光谱与多光谱图像的融合。然而激光雷达数据和高光谱图像为异构数据,其点云及像素点表征的信息类型差异较大,二者空间分辨率的不同,使得这两类数据融合大多转换到图像数据形式并统一到其中较低的空间分辨尺度进行特征级融合识别。因此,关于高光谱图像与激光雷达数据融合很少进行像素级及决策级融合方面的研究。实际上,海量的点云数据包含丰富的空间几何结构信息,特征级融合的相关研究未能充分挖掘点云中信息。另外,基于低空间分辨率的图像融合会带来有效信息的丢失。当前,随着无人机及商用激光雷达扫描仪的快速发展,机载小光斑激光雷达扫描数据通常具有分米级的空间分辨率。因此相对大多具有米级别的高光谱遥感数据,密集的点云具备更精密的细节信息表达,同一区域对应的点云对高光谱图像像元来说可提供超分细节补充。在此条件下,探索将像元光谱信息与相应点云信息相融合具有潜在应用价值。
发明内容
本申请提供了一种激光雷达数据和高光谱图像的点云级融合方法,使得能够充分保留小光斑激光雷达点云数据的高空间分辨率及高光谱图像数据的高光谱分辨率优势。
有鉴于此,本申请提供了一种激光雷达数据和高光谱图像的点云级融合方法,所述方法包括:
获取激光雷达数据以及高光谱图像数据;
对所述激光雷达数据以及所述高光谱图像数据进行预处理;
将预处理过的所述激光雷达数据以及所述高光谱图像数据进行分割,分割成同质区域以及异质区域;
将同质区域中距离凸面单形体中心点最远的端元作为同质区域的代表端元,将代表端元结合异质区域的端元组合成初始的端元矩阵;
对混合光谱进行非负矩阵分解得到初始的丰度矩阵;
构建非负矩阵解混目标函数,迭代更新所述丰度矩阵以及所述端元矩阵;
对更新后的所述端元矩阵中大于预置的丰度阈值的数据向量作为最终端元,得到最终端元矩阵;
在固定所述最终端元矩阵的前提下,对更新后的所述丰度矩阵进行优化,得到最终丰度矩阵;
根据高光谱图像数据的所述最终丰度矩阵的丰度信息,采用双线性内插法获得对应的激光雷达数据的丰度矩阵;
利用所述激光雷达数据的丰度矩阵与所述最终端元矩阵进行融合,得到高光谱点云。
可选的,在所述获取激光雷达数据以及高光谱图像数据之前,还包括:
将激光雷达传感器、高光谱图像传感器及定位系统传感器的坐标原点安装固定在同一点。
可选的,所述对所述激光雷达数据以及所述高光谱图像数据进行预处理,包括:
对所述激光雷达数据进行几何校准,对所述高光谱图像数据进行辐射校准。
可选的,在所述对所述激光雷达数据进行几何校准,对所述高光谱图像数据进行辐射校准之后,还包括:
采用光线追踪将高光谱图像数据与对应的激光雷达数据进行空间对齐。
可选的,在所述采用光线追踪将高光谱图像数据与对应的激光雷达数据进行空间对齐之后,还包括:
对激光雷达传感器以及高光谱图像传感器进行光谱适应,使得激光雷达传感器以及高光谱图像传感器在光谱上对齐。
可选的,所述对混合光谱进行非负矩阵分解得到初始的丰度矩阵,具体为:
线性混合模型将混合光谱表示为:
Yi=WHi+Ni
其中Yi∈RL*1表示第i个像素中测得的混合光谱,W∈RL*M是M个端元矩阵,即为所述初始端元矩阵,Hi∈RM*1表示各端元在混合光谱中所占丰度分数,Ni∈RL*1是与建模误差和噪声;
对混合光谱进行非负矩阵分解得到初始的丰度矩阵。
可选的,所述构建非负矩阵解混目标函数,迭代更新所述丰度矩阵以及所述端元矩阵,具体为:
Figure BDA0002697378150000031
其中,
Figure BDA0002697378150000032
Figure BDA0002697378150000033
式中,φ(.)是全变差正则化函数以约束丰度图的空间相干性;YH为混合光谱;WI,HI分别是所述端元矩阵和丰度矩阵;ωij是描述丰度矢量hi和hj之间的空间相似性的权重;ei和ej是与由数字表面模型提供的第i个和第j个像素相关联的高度,Qi是归一化常数,确保∑j∈N(i)ωij=1,并且
Figure BDA0002697378150000034
是控制权重范围的参数。
可选的,在所述根据高光谱图像数据的所述最终丰度矩阵的丰度信息,采用双线性内插法获得对应的激光雷达数据的丰度矩阵之后,还包括:
根据高光谱图像的所述最终端元矩阵获得对应的激光雷达数据的端元矩阵。
从以上技术方案可以看出,本申请具有以下优点:
本申请中,提供了一种激光雷达数据和高光谱图像的点云级融合方法,包括:获取激光雷达数据以及高光谱图像数据;对激光雷达数据以及高光谱图像数据进行预处理;将预处理过的激光雷达数据以及高光谱图像数据进行分割,分割成同质区域以及异质区域;将同质区域中距离凸面单形体中心点最远的端元作为同质区域的代表端元,将代表端元结合异质区域的端元组合成初始的端元矩阵;对混合光谱进行非负矩阵分解得到初始的丰度矩阵;构建非负矩阵解混目标函数,迭代更新丰度矩阵以及端元矩阵;对更新后的端元矩阵中大于预置的丰度阈值的数据向量作为最终端元,得到最终端元矩阵;在固定最终端元矩阵的前提下,对更新后的丰度矩阵进行优化,得到最终丰度矩阵;根据高光谱图像数据的最终丰度矩阵的丰度信息,采用双线性内插法获得对应的激光雷达数据的丰度矩阵;利用激光雷达数据的丰度矩阵与最终端元矩阵进行融合,得到高光谱点云。
本申请通过对激光雷达数据和高光谱图像光谱数据进行预处理,实现对激光雷达数据以及高光谱图像数据在空间上以及光谱上的对齐;通过基于非负矩阵分解的解混技术,最终生成高光谱点云,由此可使后续地物分类识别等任务可以获得点云尺度的三维高分辨精度。
附图说明
图1为本申请一种激光雷达数据和高光谱图像的点云级融合方法的一个实施例的方法流程图;
图2为本申请实施例中初始化阶段的流程示意图;
图3为本申请实施例中高光谱点云生成原理流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请一种激光雷达数据和高光谱图像的点云级融合方法的一个实施例的方法流程图,如图1所示,图1中包括:
101、获取激光雷达数据和高光谱图像光谱数据。
需要说明的是,本申请中需要尽可能的将激光雷达传感器、高光谱图像传感器及定位系统传感器的坐标原点安装在一起,建立三个传感器的静态连接以避免传感器之间的震动和空间变形,通过激光雷达传感器以及高光谱图像传感器扫描场景获取激光雷达3D点云数据及高光谱图像光谱数据。
102、对激光雷达数据和高光谱图像光谱数据进行预处理。
需要说明的是,利用基于高光谱图像和激光雷达数据各自的返回强度信息,对激光雷达数据(3D点云数据)进行几何校准,对高光谱图像数据进行辐射校准。具体的,由于高光谱图像和激光雷达数据的空间分辨率不同,且激光雷达只具有一个波段的反射信息。可以根据高光谱图像和激光雷达数据各自的返回强度信息,使激光雷达的激光波段上的强度信息与高光谱图像中对应的光谱波段反射强度信息,在同样的空间范围内互相对应,即将激光雷达强度数据从不规则点信息重新采样到地理编码的高光谱数据的预期网格分辨率。对于每个经过地理编码的高光谱飞行条纹,生成重叠激光雷达点云的强度图像后根据两个重叠的强度网格自动生成联系点,从而完成激光雷达数据与高光谱图像数据的对齐。
利用摄影图像处理器将高光谱图像的图像坐标转换为地物坐标,基于共线方程计算每个高光谱图像元素在最小高程投影平面上的对象坐标。其中,共线方程是基于成像瞬间像点、地面点以及传感器投影中心三点共线,将图像地物点(X,Y)转换为对应地面点(X,Y,Z)的构像方程。这里采用推扫式传感器的构像方程,在垂直成像的情况下,每一条线的成像属于中心投影,t时刻每条扫描线投影中心点跟地物点之间关系的共线方程为:
Figure BDA0002697378150000051
Figure BDA0002697378150000052
式中,f为摄影机主距,a为成像瞬间像点,P为地物点,S为投影中心点。
利用光线追踪定义每个高光谱图像元素指向激光雷达3D点云数据的交点坐标实现空间对齐即共同几何校准。具体的,高光谱图像跟激光雷达点云的几何交点由圆锥体表示,光线跟踪模块可以计算投影圆锥体内的激光雷达点及其到圆锥中心的距离,代表高光谱图像像素的指向。具体地,采用最小和最大仰角投影平面定义了表示高光谱图像像素指向的3-D线向量,迭代地缩短这些3-D线向量,以最小化潜在的相邻激光雷达点,计算此3-D向量线和从3D激光雷达点云生成的三角不规则网络(TIN)之间的交点,从而确定高程信息。
此外,由于激光雷达和高光谱成像方式不同,前者为主动成像,后者为被动式成像;二者具有不用的空间和光谱响应,前者只利用一种波长的激光,而后者具有很宽一个范围的光谱波段成像,因此对激光雷达数据和高光谱图像数据进行空间适应后,需使二者在同一空间范围内同一波段上的光谱反射强度统一适应,使其配准对齐。因此,可以对两个传感器的进行光谱适应。具体的,光谱适应包括3个预处理步骤:首先对激光雷达3D点云数据过滤,提取第一个返回脉冲(由于激光雷达发射激光脉冲具有穿透性,可以穿越植被等,形成多次回波信息表达到达目标物不同高度。其中,首次回波是激光束首次打到地面目标物返回的信息,表征地表信息,其他次回波表征地表物下层信息。而高光谱光谱波段为被动式成像,利用太阳光进行成像,各光谱照射地表目标物后只能形成唯一反应目标物吸收强度的反射信息,不再具有穿透能力。因此高光谱成像只能获得地表反射信息,与激光雷达首次回波信息一致),这些返回脉冲表示高光谱图像测量的表面,因此,可以与高光谱图像数据相对应;进而对激光雷达3D点云强度数据进行辐射校准,得到激光雷达3D点云数据大气底部反射率;最后实施高光谱图像数据到大气底部反射率的大气校正。
在预处理期间,解决了两个传感器不同空间和光谱响应,实现两个传感器空间上和光谱上对齐,并准备高光谱图像数据指向激光雷达点云数据交点的查找表(查找表是在预处理过程中准备形成的,通过光线追踪分配每个HSI点与ALS点云的交点。因此查找表存放的信息,是通过用相应传感器像素的跨轨迹和沿轨迹定义圆锥,计算圆锥内的激光雷达点,其代表每个高光谱图像像素视线的每个视锥内的激光雷达点被索引),为激光雷达3D点云数据和高光谱图像的融合做准备,具体的,可参照图2,图2为本申请初始化阶段的流程示意图。
103、将预处理过的激光雷达数据以及高光谱图像数据进行分割,分割成同质区域以及异质区域。
需要说明的是,基于分割思想分别将高光谱图像和激光雷达点云数据初步分割成区域,对其进行特征提取。分割方式具体为:
分割使用基于k-means聚类方法分割,将高光谱像素分组为具有相似光谱特性的簇,簇的数量取决于场景的异质性。具体方法分为确定初始化质心点及执行k-means算法两步。假设输入是样本集D={x1,x2...xm},聚类的簇树k,最大迭代次数N,输出是簇划分C={C1,C2...Cm},质心向量μ={μ12...μk}。
初始化质心点具体操作为:
1)从输入的数据点集合中随机选择一个点作为第一个聚类中心μ1
2)对于数据集中的每一个点x1,计算它与已选择的聚类中心中最近聚类中心的距离
Figure BDA0002697378150000071
3)选择一个新的数据点作为新的聚类中心,选择的原则是:D(x)较大的点,被选取作为聚类中心的概率较大;
4)重复2)和3)直到选择出k个聚类质心:μ={μ12...μk}。
K-Means算法具体操作为:
1)从数据集D中选择k个样本作为初始的k个质心向量:μ={μ12...μk};
2)对于n=1,2...N;
a)将簇划分C初始化为
Figure BDA0002697378150000072
b)对于i=1,2...m,计算样本xi和各个质心向量μj(1,2,...,k)的距离:
Figure BDA0002697378150000073
将xi标记最小的为dij所对应的类别λi。此时更新
Figure BDA0002697378150000074
c)对于j=1,2,...k,对Cj中所有的样本点重新计算新的质心
Figure BDA0002697378150000075
d)如果所有的k个质心向量都没有发生变化,则转到步骤3);
3)输出簇划分C={C1,C2...Ck}。
具体通过主成分分析法(PCA)对高光谱图像上计算的特征变化选取前五个主要成分,与从激光雷达点云数据提取的三个特征(反射率、高程信息和法向量)组成八维特征空间在高光谱图像上进行融合,将数据划分为同质区域和异质区域。其中,同质区域是指地物相同的区域,异质区域是指区域内包含地物不止一种类别。这里通过对高光谱图像分割,划分为光谱相似的同类地物区域即同质区域和包含不同类别地物的异质区域。
104、将同质区域中距离凸面单形体中心点最远的端元作为同质区域的代表端元,将代表端元结合异质区域的端元组合成初始的端元矩阵。
该环节对应图3中的⑤过程,对高光谱图像每个区域进行非负矩阵解混。(高光谱图像数据与激光雷达点云数据是分开进行非负矩阵分解的,在各自分解完成后再提取高光谱图像端元矩阵及激光雷达丰度矩阵进行结合生成高光谱点云)首先进行初始端元矩阵的选取。凸面几何学认为高光谱图像的每个端元在光谱特征空间中都对应一个样本点,这些样本点在特征空间中都分布在一个凸面单形体内部,其中最纯的端元是距离凸面单形体中心最远的端元。本申请根据凸面几何学的原理,计算整幅图像所有端元的均值光谱作为凸面单形体的中心点,分别在每个同质区域中选取距离凸面单形体中心点最远的端元作为该区域的代表性端元,剔除剩余端元。同时,将代表端元结合异质区域的端元作为初始端元矩阵(WI)。
105、对混合光谱进行非负矩阵分解得到初始的丰度矩阵。
需要说明的是,将初始丰度矩阵(HI)进行随机初始化。其初始化过程具体为:线性混合模型将混合光谱表示为:
Yi=WHi+Ni
其中,Yi∈RL*1表示高光谱图像的第i个像素中测得的混合光谱,L表示高光谱数据的光谱通道(或者说混合光谱的波段数);W∈RL*M是高光谱图像的M个端元矩阵,Hi∈RM*1表示各端元在混合光谱中所占丰度分数,Ni∈RL*1是建模误差和噪声。即初始化端元矩阵后,通过非负矩阵分解后更新得到丰度矩阵。
106、构建非负矩阵解混目标函数,迭代更新丰度矩阵以及端元矩阵。
需要说明的是,激光雷达3D点云数据所生成的DSM栅格图像,可提供地表高程信息地物高度分布与地物类别端元的空间分布高度相关,因此可用于对领域丰度信息的约束。本申请由激光雷达点云数据生成对应高光谱图像空间分辨率大小的DSM栅格图像,并将其引入高光谱图像非负矩阵分解过程作为补充数据。基于DSM,通过计算相邻像素之间各自高度的相似度,用于领域丰度的加权函数形成解混中丰度正则化约束项的构建,通过建立并优化式(1)对应的非负矩阵解混目标函数,交替迭代更新丰度和端元矩阵。
Figure BDA0002697378150000091
其中φ(·)是全变差正则化函数以约束丰度图的空间相干性,λ是控制数据拟合项和空间正则化之间平衡的正则化参数,表达式如下:
Figure BDA0002697378150000092
式(2)中,ωij是描述hi和hj之间的空间相似性的权重,以缓解每个相邻像素对空间正则项影响相等的问题。当第i个和第j个像素对应于图像中的两个不同的对象时,它们各自的丰度矢量hi和hj可能是不相似的,并且权重ωij可以被调整为零,hi和hj分别表示高光谱图像第i个像素的丰度矢量和第j个像素的丰度矢量。权重的定义为如下式(3):
Figure BDA0002697378150000093
其中,ei和ej是与由数字表面模型提供的第i个和第j个像素相关联的高度,Qi是归一化常数,确保∑j∈N(i)ωij=1,并且
Figure BDA0002697378150000094
是控制权重范围的参数。
107、对更新后的端元矩阵中大于预置的丰度阈值的数据向量作为最终端元,得到最终端元矩阵。
需要说明的是,该环节对应图3中步骤⑥,通过设定丰度阈值,对高光谱图像数据中的高光谱纯端元进行筛选,仅使用端元矩阵中丰度分数(HI)大于0.2%对应的数据向量作为最终纯端元(WH)。
108、在固定最终端元矩阵的前提下,对更新后的丰度矩阵进行优化,得到最终丰度矩阵。
需要说明的是,在固定高光谱纯端元矩阵的前提下,使用步骤106中DSM信息约束的非负矩阵分解框架对高光谱图像丰度矩阵(HH)进行优化。
109、根据高光谱图像数据的最终丰度矩阵的丰度信息,采用双线性内插法获得对应的激光雷达数据的丰度矩阵。
需要说明的是,具体对应图3中步骤⑧,具体根据高光谱图像像元的丰度信息,采用双线性内插获得各像元对应区域的激光雷达首次回波点云初始化丰度信息(HL),结合高光谱纯端元中对应激光波段的端元数据作为激光雷达首次回波点云数据的固定端元矩阵(WL),结合点云的反射数据YL,利用无DSM信息约束的非负矩阵分解优化点云的丰度矩阵(HL)。双线性内插法为:
双线性内插法是使用内插点周围的4个观测点的像元值,对所求的像元值进行线性内插。具体计算方法为:
首先计算目标像素在源图像中的位置:
srcX=dstX*(srcWidth/dstWidth)
srcY=dstY*(srcHeight/dstHeight)
其中srcX指的是源像素的X轴坐标,dstX指的是目标像素的X轴坐标,srcWidth指的是源像素的行宽,dstWidth指的是目标像素的行宽,srcY指的是源像素的Y轴坐标,dstY指的是目标像素的Y轴坐标,srcHeight指的是源像素的列宽,dstHeight指的是目标像素的列宽。这里计算的srcX和srcY一般都是浮点数,先找到与它临近的四个实际存在的像素点写成f(i+u,j+v)的形式,(其中i、j均为浮点坐标的整数部分,u、v为浮点坐标的小数部分)。进一步整理计算得目标点的像元值:
f(i+u,j+v)=(1-u)(1-v)f(i,j)+(1-u)vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)
将优化后的激光雷达丰度矩阵(HL)及高光谱纯端元矩阵(WH)重构生成高光谱点云矩阵。WL代表的是激光雷达的端元矩阵,WH代表的是高光谱端元矩阵,两者是不一样的矩阵,二者对应向量都表达相同地物类别光谱,只不过WL只含激光雷达波段,是激光雷达反射强度值;而WH包含多个波段的反射值,其中含有激光雷达波段,它们之间的关系表示为:
Figure BDA0002697378150000101
本申请通过对激光雷达数据和高光谱图像光谱数据进行预处理,实现对激光雷达数据以及高光谱图像数据在空间上以及光谱上的对齐;通过基于非负矩阵分解的解混技术,最终生成高光谱点云,由此可使后续地物分类识别等任务可以获得点云尺度的三维高分辨精度。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请中术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种激光雷达数据和高光谱图像的点云级融合方法,其特征在于,包括:
获取激光雷达数据以及高光谱图像数据;
对所述激光雷达数据以及所述高光谱图像数据进行预处理;
将预处理过的所述激光雷达数据以及所述高光谱图像数据进行分割,分割成同质区域以及异质区域;
将所述同质区域中距离凸面单形体中心点最远的端元作为所述同质区域的代表端元,将所述代表端元结合所述异质区域的端元组合成初始的端元矩阵;
对混合光谱进行非负矩阵分解得到初始的丰度矩阵;
构建非负矩阵解混目标函数,迭代更新所述丰度矩阵以及所述端元矩阵;
对更新后的所述端元矩阵中大于预置的丰度阈值的数据向量作为最终端元,得到最终端元矩阵;
在固定所述最终端元矩阵的前提下,对更新后的所述丰度矩阵进行优化,得到最终丰度矩阵;
根据高光谱图像数据的所述最终丰度矩阵的丰度信息,采用双线性内插法获得对应的激光雷达数据的丰度矩阵;
利用所述激光雷达数据的丰度矩阵与所述最终端元矩阵进行融合,得到高光谱点云。
2.根据权利要求1所述的激光雷达数据和高光谱图像的点云级融合方法,其特征在于,在所述获取激光雷达数据以及高光谱图像数据之前,还包括:
将激光雷达传感器、高光谱图像传感器及定位系统传感器的坐标原点安装固定在同一点。
3.根据权利要求1所述的激光雷达数据和高光谱图像的点云级融合方法,其特征在于,所述对所述激光雷达数据以及所述高光谱图像数据进行预处理,包括:
对所述激光雷达数据进行几何校准,对所述高光谱图像数据进行辐射校准。
4.根据权利要求3所述的激光雷达数据和高光谱图像的点云级融合方法,其特征在于,在所述对所述激光雷达数据进行几何校准,对所述高光谱图像数据进行辐射校准之后,还包括:
采用光线追踪将高光谱图像数据与对应的激光雷达数据进行空间对齐。
5.根据权利要求4所述的激光雷达数据和高光谱图像的点云级融合方法,其特征在于,在所述采用光线追踪将高光谱图像数据与对应的激光雷达数据进行空间对齐之后,还包括:
对激光雷达传感器以及高光谱图像传感器进行光谱适应,使得激光雷达传感器以及高光谱图像传感器在光谱上对齐。
6.根据权利要求1所述的激光雷达数据和高光谱图像的点云级融合方法,其特征在于,所述对混合光谱进行非负矩阵分解得到初始的丰度矩阵,具体为:
线性混合模型将混合光谱表示为:
Yi=WHi+Ni
其中Yi∈RL*1表示第i个像素中测得的混合光谱,W∈RL*M是M个端元矩阵,即为所述初始端元矩阵,Hi∈RM*1表示各端元在混合光谱中所占丰度分数,Ni∈RL*1是与建模误差和噪声;
对混合光谱进行非负矩阵分解得到初始的丰度矩阵。
7.根据权利要求1所述的激光雷达数据和高光谱图像的点云级融合方法,其特征在于,所述构建非负矩阵解混目标函数,迭代更新所述丰度矩阵以及所述端元矩阵,具体为:
Figure FDA0002697378140000021
s.t.WI≥0,HI≥0
其中,
Figure FDA0002697378140000022
Figure FDA0002697378140000023
式中,φ(.)是全变差正则化函数以约束丰度图的空间相干性;YH为混合光谱;WI,HI分别是所述端元矩阵和丰度矩阵;ωij是描述丰度矢量hi和hj之间的空间相似性的权重;ei和ej是与由数字表面模型提供的第i个和第j个像素相关联的高度,Qi是归一化常数,确保∑j∈N(i)ωij=1,并且
Figure FDA0002697378140000031
是控制权重范围的参数。
8.根据权利要求1所述的激光雷达数据和高光谱图像的点云级融合方法,其特征在于,在所述根据高光谱图像数据的所述最终丰度矩阵的丰度信息,采用双线性内插法获得对应的激光雷达数据的丰度矩阵之后,还包括:
根据高光谱图像的所述最终端元矩阵获得对应的激光雷达数据的端元矩阵。
CN202011010352.7A 2020-09-23 2020-09-23 一种激光雷达数据和高光谱图像的点云级融合方法 Active CN112130169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011010352.7A CN112130169B (zh) 2020-09-23 2020-09-23 一种激光雷达数据和高光谱图像的点云级融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011010352.7A CN112130169B (zh) 2020-09-23 2020-09-23 一种激光雷达数据和高光谱图像的点云级融合方法

Publications (2)

Publication Number Publication Date
CN112130169A true CN112130169A (zh) 2020-12-25
CN112130169B CN112130169B (zh) 2022-09-16

Family

ID=73841261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011010352.7A Active CN112130169B (zh) 2020-09-23 2020-09-23 一种激光雷达数据和高光谱图像的点云级融合方法

Country Status (1)

Country Link
CN (1) CN112130169B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785693A (zh) * 2021-02-04 2021-05-11 哈尔滨工业大学 本征高光谱点云生成方法、系统及装置
CN112819868A (zh) * 2021-02-05 2021-05-18 哈尔滨工业大学 一种多/高光谱图像与LiDAR点云空间配准及性能评估方法
CN112833815A (zh) * 2020-12-30 2021-05-25 广东工业大学 一种基于激光的房屋测量和墙面平整度检测方法
CN112883823A (zh) * 2021-01-21 2021-06-01 南京航空航天大学 一种基于多源遥感数据融合的土地覆盖类别亚像素定位方法
CN112907495A (zh) * 2021-02-18 2021-06-04 北京印刷学院 高光谱图像的空间分辨率增强方法、装置及电子设备
CN115375902A (zh) * 2022-10-26 2022-11-22 昆明理工大学 一种基于多光谱激光雷达点云数据的超点分割方法
CN117872390A (zh) * 2024-03-11 2024-04-12 北京市农林科学院信息技术研究中心 图像融合方法、高光谱激光雷达传感器及系统
CN117872390B (zh) * 2024-03-11 2024-05-31 北京市农林科学院信息技术研究中心 图像融合方法、高光谱激光雷达传感器及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140085622A1 (en) * 2012-09-27 2014-03-27 Northrop Grumman Systems Corporation Three-dimensional hyperspectral imaging systems and methods using a light detection and ranging (lidar) focal plane array
CN104952050A (zh) * 2015-07-07 2015-09-30 西安电子科技大学 基于区域分割的高光谱图像自适应解混方法
CN106056591A (zh) * 2016-05-25 2016-10-26 哈尔滨工业大学 一种融合光谱图像和激光雷达数据进行城市密度估计方法
US20170076438A1 (en) * 2015-08-31 2017-03-16 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
CN106529484A (zh) * 2016-11-16 2017-03-22 哈尔滨工业大学 基于类指定多核学习的光谱和激光雷达数据联合分类方法
CN109031344A (zh) * 2018-08-01 2018-12-18 南京林业大学 一种全波形激光雷达和高光谱数据联合反演森林结构参数的方法
CN110288050A (zh) * 2019-07-02 2019-09-27 广东工业大学 一种基于聚类及光流法的高光谱和LiDar图像自动化配准方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140085622A1 (en) * 2012-09-27 2014-03-27 Northrop Grumman Systems Corporation Three-dimensional hyperspectral imaging systems and methods using a light detection and ranging (lidar) focal plane array
CN104952050A (zh) * 2015-07-07 2015-09-30 西安电子科技大学 基于区域分割的高光谱图像自适应解混方法
US20170076438A1 (en) * 2015-08-31 2017-03-16 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
CN106056591A (zh) * 2016-05-25 2016-10-26 哈尔滨工业大学 一种融合光谱图像和激光雷达数据进行城市密度估计方法
CN106529484A (zh) * 2016-11-16 2017-03-22 哈尔滨工业大学 基于类指定多核学习的光谱和激光雷达数据联合分类方法
CN109031344A (zh) * 2018-08-01 2018-12-18 南京林业大学 一种全波形激光雷达和高光谱数据联合反演森林结构参数的方法
CN110288050A (zh) * 2019-07-02 2019-09-27 广东工业大学 一种基于聚类及光流法的高光谱和LiDar图像自动化配准方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ADRIEN LAGRANGE ET AL.: "Matrix cofactorization for joint unmixing and classification of hyperspectral images", 《2019 27TH EUROPEAN SIGNAL PROCESSING CONFERENCE(EUSIPCO)》 *
RAFAŁ ZDUNEK: "Hyperspectral Image Unmixing with Nonnegative Matrix Factorization", 《ICSES 2012 – INTERNATIONAL CONFERENCE ON SIGNALS AND ELECTRONIC SYSTEMS》 *
张爱武 等: "基于XGBoost的机载激光雷达与高光谱影像结合的特征选择算法", 《中国激光》 *
赵春晖 等: "改进的多端元高光谱解混算法", 《哈尔滨工程大学学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112833815A (zh) * 2020-12-30 2021-05-25 广东工业大学 一种基于激光的房屋测量和墙面平整度检测方法
CN112883823A (zh) * 2021-01-21 2021-06-01 南京航空航天大学 一种基于多源遥感数据融合的土地覆盖类别亚像素定位方法
CN112785693A (zh) * 2021-02-04 2021-05-11 哈尔滨工业大学 本征高光谱点云生成方法、系统及装置
CN112785693B (zh) * 2021-02-04 2022-03-18 哈尔滨工业大学 本征高光谱点云生成方法、系统及装置
CN112819868A (zh) * 2021-02-05 2021-05-18 哈尔滨工业大学 一种多/高光谱图像与LiDAR点云空间配准及性能评估方法
CN112819868B (zh) * 2021-02-05 2022-03-04 哈尔滨工业大学 一种多/高光谱图像与LiDAR点云空间配准及性能评估方法
CN112907495A (zh) * 2021-02-18 2021-06-04 北京印刷学院 高光谱图像的空间分辨率增强方法、装置及电子设备
CN112907495B (zh) * 2021-02-18 2023-08-29 北京印刷学院 高光谱图像的空间分辨率增强方法、装置及电子设备
CN115375902A (zh) * 2022-10-26 2022-11-22 昆明理工大学 一种基于多光谱激光雷达点云数据的超点分割方法
CN117872390A (zh) * 2024-03-11 2024-04-12 北京市农林科学院信息技术研究中心 图像融合方法、高光谱激光雷达传感器及系统
CN117872390B (zh) * 2024-03-11 2024-05-31 北京市农林科学院信息技术研究中心 图像融合方法、高光谱激光雷达传感器及系统

Also Published As

Publication number Publication date
CN112130169B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN112130169B (zh) 一种激光雷达数据和高光谱图像的点云级融合方法
Gruszczyński et al. Comparison of low-altitude UAV photogrammetry with terrestrial laser scanning as data-source methods for terrain covered in low vegetation
AU2018212700B2 (en) Apparatus, method, and system for alignment of 3D datasets
Rusnák et al. Template for high-resolution river landscape mapping using UAV technology
Enomoto et al. Filmy cloud removal on satellite imagery with multispectral conditional generative adversarial nets
Lohani et al. Airborne LiDAR technology: A review of data collection and processing systems
Brell et al. 3D hyperspectral point cloud generation: Fusing airborne laser scanning and hyperspectral imaging sensors for improved object-based information extraction
Brell et al. Improving sensor fusion: A parametric method for the geometric coalignment of airborne hyperspectral and LiDAR data
Brook et al. Modelling and monitoring urban built environment via multi-source integrated and fused remote sensing data
Li et al. Ultrahigh-resolution boreal forest canopy mapping: Combining UAV imagery and photogrammetric point clouds in a deep-learning-based approach
Karsli et al. Automatic building extraction from very high-resolution image and LiDAR data with SVM algorithm
US20230186561A1 (en) Method for 3d reconstruction from satellite imagery
Salah et al. Evaluation of the self‐organizing map classifier for building detection from lidar data and multispectral aerial images
Demir Using UAVs for detection of trees from digital surface models
Wierzbicki et al. Method of radiometric quality assessment of NIR images acquired with a custom sensor mounted on an unmanned aerial vehicle
Ali-Sisto et al. A method for vertical adjustment of digital aerial photogrammetry data by using a high-quality digital terrain model
CN116994029A (zh) 一种用于多源数据的融合分类方法及系统
Belfiore et al. Orthorectification and pan-sharpening of worldview-2 satellite imagery to produce high resolution coloured ortho-photos
CN117115683A (zh) 一种植被覆盖下危岩落石遥感提取方法及系统
Loghin et al. Accuracy Analysis of Digital Elevation Models from very High Resolution Satellite Imagery
Liew et al. Integration of tree database derived from satellite imagery and lidar point cloud data
Sefercik et al. Optimizing the Achievable Information Content Extraction from WorldView-4 Stereo Imagery
Dos Santos et al. Building detection from lidar data using entropy and the k-means concept
Gonçalves Using structure-from-motion workflows for 3D mapping and remote sensing
Ye et al. Gaussian Mixture Model of Ground Filtering Based on Hierarchical Curvature Constraints for Airborne Lidar Point Clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant