CN111638185B - 基于无人机平台的遥感探测方法 - Google Patents

基于无人机平台的遥感探测方法 Download PDF

Info

Publication number
CN111638185B
CN111638185B CN202010384747.7A CN202010384747A CN111638185B CN 111638185 B CN111638185 B CN 111638185B CN 202010384747 A CN202010384747 A CN 202010384747A CN 111638185 B CN111638185 B CN 111638185B
Authority
CN
China
Prior art keywords
image
data
point cloud
spectral
lidar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010384747.7A
Other languages
English (en)
Other versions
CN111638185A (zh
Inventor
谷延锋
向润梓
杨圣雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202010384747.7A priority Critical patent/CN111638185B/zh
Publication of CN111638185A publication Critical patent/CN111638185A/zh
Application granted granted Critical
Publication of CN111638185B publication Critical patent/CN111638185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)

Abstract

一种基于无人机平台的遥感探测方法，属于遥感以及测绘领域。本发明针对现有光谱图像数据与激光雷达点云数据由于存在多源异构性而无法有效融合的问题。包括：将光谱探测器与LiDAR探测器作为整体框架挂载于无人机下方；采用无人机地面站控制无人机飞控发送数据采集命令至微控制器，再对光谱探测器、LiDAR探测器和IMU/GPS组合导航单元进行同步采集控制；进行数据配准，获得两种数据的空间对应关系；对采集数据进行上采样，实现数据的空间一致性采样；再根据空间对应关系，将光谱图像数据和LiDAR点云数据进行融合，得到多/高光谱点云数据。本发明在实现图像‑光谱‑空间多维度数据的一体化探测的基础上，融合光谱与空间信息，最终生成光谱点云。

Description

基于无人机平台的遥感探测方法
技术领域
本发明涉及基于无人机平台的遥感探测方法，属于遥感以及测绘领域。
背景技术
遥感(RemoteSensing)定义为一种不需要通过直接接触便可获取和测量环境(目标、材料、现象)属性信息的手段。在空间技术方面，遥感通常指的是一种记录地球的陆地表面，海洋，大气中的区域或对象发出或反射的电磁能量的方法；由于不同物体发出或反射的电磁能量存在差别，因此通过处理遥感所采集得到的数据就可实现不同种类物体的区分。遥感数据一般由安装在飞机或地球轨道航天器上的遥感仪器收集得到，这使得科学家有机会对较大场景的地理区域进行观察和分析；因此在火灾监控、冰川监测、海岸监测、农业、城市规划、环保等诸多领域中，遥感都得到了广泛的应用。
在遥感及测绘领域中，常用到多/高光谱(Multispectral/HyperspectralImages)来进行数据的处理和分析。所谓的多/高光谱图像，就是在光谱维度上进行了较细致的分割。多/高光谱图像不仅包含图像信息，而且其在光谱域上进行展开。因而多/高光谱图像不仅可得到图像上每个点的光谱数据，而且还包含任意一个谱段的影像信息。
激光雷达又称LiDAR(Light Detection And Ranging)，是一种集激光、全球定位系统(GPS，Global Position System)和惯性测量单元(IMU，Inertial Measurement Unit)三种技术于一身的系统，其主要是发射单波段激光束，根据回波信息，生成精确的点云(Point Cloud)数据以及数字高程模型(DEM，Digital Elevation Model)等衍生数据。相较于其他遥感手段，LiDAR技术是遥感技术领域的一场革命。其不仅拥有高空间分辨率，可精确到厘米级，而且还具有快速获取信息的能力。由于其角分辨率高，抗干扰能力强等特点，已广泛应用于遥感数据探测、基础测绘、三维建模、林业、电力等研究领域中，具有巨大的应用前景。
然而，多/高光谱图像虽然能够提供地物对象丰富的光谱和纹理信息，但是光谱遥感成像探测过程造成了空间三维信息到二维图像的退化；而LiDAR点云虽然能够提供观测对象精确的空间三维信息，但是由于其数据表现形式为单波段离散点集，无法提供观测对象的光谱及纹理信息。因此融合这两种数据，生成三维光谱影像，就能够结合这两种数据源的优点，提高地物目标识别解译的可靠性和测量精度，也为更进一步的地物分类和地物提取提供更为精确的原始数据。但是遥感数据融合的前提应是仪器级别的融合，目前有关遥感探测中图像-光谱-空间多维度数据一体化探测技术的研究和技术较少，且由于设备工作原理不同，点云与光谱图像存在多源异构性；另外，设备采集精度会导致两者空间分辨率有较大差异；仪器安装位置的差别也会导致两种数据空间位置无法对准，存在一定偏斜。以上问题严重制约着多维度遥感探测信息处理科学研究的发展。
因此，针对以上不足，需要提供一种探测方法，来实现图像—光谱—空间多维度数据的一体化探测。
发明内容
针对现有光谱图像数据与激光雷达点云数据由于存在多源异构性而无法有效融合的问题，本发明提供一种基于无人机平台的遥感探测方法。
本发明的一种基于无人机平台的遥感探测方法，基于光谱探测器与LiDAR探测器实现，所述光谱探测器为多/高光谱探测器；包括：
步骤一：将光谱探测器与LiDAR探测器作为整体框架挂载于无人机下方，并通过无人机飞控预留的电压输出接口提供工作电压；
步骤二：采用无人机地面站控制无人机飞控发送数据采集命令至微控制器，且微控制器对光谱探测器、LiDAR探测器和IMU/GPS组合导航单元进行同步采集控制；并对采集获得的光谱图像数据和LiDAR点云数据进行数据配准，获得两种数据的空间对应关系；同时对光谱图像数据或LiDAR点云数据根据其分辨率进行上采样，实现光谱图像数据和LiDAR点云数据的空间一致性采样；
步骤三：根据所述空间对应关系，将采集获得的光谱图像数据和LiDAR点云数据进行融合，得到多/高光谱点云数据，实现遥感探测。
根据本发明的基于无人机平台的遥感探测方法，
所述步骤一中，无人机飞控预留的电压输出接口输出的电压通过直流调压电路调整后，为光谱探测器与LiDAR探测器提供工作电压。
根据本发明的基于无人机平台的遥感探测方法，
所述步骤二中，通过无人机地面站控制无人机飞控发送触发脉冲至微控制器，微控制器根据接收的触发脉冲控制光谱探测器和LiDAR探测器进行同步数据采集；
同时，微控制器将IMU/GPS组合导航单元的POS数据同步传输至光谱探测器和LiDAR探测器，使光谱探测器和LiDAR探测器具有相同的地理位置和时间信息；所述POS数据包括无人机地理位置数据与姿态数据。
根据本发明的基于无人机平台的遥感探测方法，
所述步骤二中，实现光谱图像数据和LiDAR点云数据的空间一致性采样包括：
分别确定光谱图像数据的图像分辨率，以及LiDAR点云数据的空间分辨率；
若光谱图像数据的图像分辨率高于LiDAR点云数据的空间分辨率，则根据所述空间分辨率以及目标空间分辨率，对所述LiDAR点云数据通过上采样密度提升进行重采样，获得重采样后点云图像；
若光谱图像数据的图像分辨率低于LiDAR点云数据的空间分辨率，则根据所述图像分辨率以及目标图像分辨率，对所述光谱图像数据采用插值法进行重采样，获得重采样后光谱图像；
再进行数据配准：对于光谱图像数据的图像分辨率高于LiDAR点云数据的空间分辨率的情况，对LiDAR点云数据进行重采样获得重采样后点云图像后，将三维重采样后点云图像转换为二维图像，得到点云栅格；所述点云栅格中各像素的强度值对应为重采样后点云图像各脚点的强度平均值，并且点云栅格的分辨率与所述光谱图像数据的图像分辨率相同；
将所述点云栅格作为光谱图像数据配准的参考图像；选择与LiDAR探测器波段相匹配的光谱图像数据作为模板图像；进行图像数据配准，使模板图像经变换后最大程度地接近参考图像，并使模板图像与参考图像的空间位置对齐，由此获得图像数据配准过程中光谱图像数据和LiDAR点云数据的空间对应关系。
根据本发明的基于无人机平台的遥感探测方法，
对所述光谱图像数据采用插值法进行重采样包括：
设(x,y)为重采样后光谱图像中插值点像素坐标，距其最近的原光谱图像数据的像素点坐标为(i,j)；设定在(i,j)坐标平面上，(x,y)的灰度值为f(x,y)；
所述灰度值f(x,y)的获得方法包括：
定义三次插值函数S(k)为：
Figure BDA0002483408760000031
式中k为插值点(x,y)和周围邻域点(i,j)之间的距离；
Figure BDA0002483408760000032
式中xd与yd分别为插值点(x,y)和周围邻域点(i,j)之间的横坐标和纵坐标间的差值；；
其中：
Figure BDA0002483408760000041
Figure BDA0002483408760000042
Figure BDA0002483408760000043
根据本发明的基于无人机平台的遥感探测方法，
对所述LiDAR点云数据通过上采样密度提升进行重采样包括：
建立邻域拟合平面：对于所述LiDAR点云数据的脚点a，设定其邻域搜索球半径为Ra，邻域点个数为Na；根据脚点a及其邻域点，利用最小二乘法建立脚点a的拟合平面；
密度提升：计算脚点a的邻域点密度ρa：
Figure BDA0002483408760000044
设定点云密度阈值为ρ0；
对于ρa<ρ0的脚点，将点云数据的脚点a随机均匀地投影至a的拟合平面；直到脚点a的邻域点密度满足ρa≥ρ0；得到重采样后点云图像；
所述拟合平面中投影点的强度值根据其最近邻点的强度值确定。
根据本发明的基于无人机平台的遥感探测方法，
进行图像数据配准的过程包括：
利用SIFT算法寻找与LiDAR探测器波段最接近的光谱图像T，作为模板图像；参考图像为R；
建立仿射变换空间配准的目标函数，对模板图像T与参考图像R进行基于仿射变换空间配准的图像配准过程，建立目标函数
Figure BDA0002483408760000045
Figure BDA0002483408760000051
式中b为模板图像T与参考图像R中相对应的匹配特征点对，T(b)为b在模板图像T上对应的像素，R(b)为b在参考图像R上对应的像素，
Figure BDA0002483408760000052
为作用在模板图像T上的仿射变换，
Figure BDA0002483408760000053
为模板图像T与参考图像R间的相似性度量，Ω为模板图像T与参考图像R的匹配特征点集；
仿射变换
Figure BDA0002483408760000054
将模板图像T上像素点的坐标
Figure BDA0002483408760000055
变换为
Figure BDA0002483408760000056
Figure BDA0002483408760000057
式中，
Figure BDA0002483408760000058
为旋转矩阵，
Figure BDA0002483408760000059
为平移矩阵，初始化旋转矩阵为
Figure BDA00024834087600000510
初始化平移矩阵为
Figure BDA00024834087600000511
为经过仿射变换
Figure BDA00024834087600000512
后模板图像T上对应像素点坐标；
利用优化算法对目标函数
Figure BDA00024834087600000513
进行优化，获得使目标函数
Figure BDA00024834087600000514
达到全局极小值的变换关系式
Figure BDA00024834087600000515
得到最佳旋转矩阵
Figure BDA00024834087600000516
以及最佳平移矩阵
Figure BDA00024834087600000517
将最佳旋转矩阵
Figure BDA00024834087600000518
以及最佳平移矩阵
Figure BDA00024834087600000519
作用于所有采集的光谱图像数据中，完成所有光谱图像数据与LiDAR点云数据的图像数据配准。
根据本发明的基于无人机平台的遥感探测方法，
将配准后的模板图像T与参考图像R的重叠区域作差，获得差值图像Diff(u,v)：
Diff(u,v)＝T(u,v)-R(u,v)。
根据本发明的基于无人机平台的遥感探测方法，
根据差值图像Diff(u,v)判断图像配准是否成功，包括以下两种方法：
一、计算差值图像Diff(u,v)的灰度均值meanDiff：
Figure BDA0002483408760000061
式中M与N为模板图像T与参考图像R重叠区域像素的行数与列数；
若灰度均值meanDiff小于设定灰度阈值，则判断图像配准成功；
二、对差值图像Diff(u,v)取反获得取反后差值图像DiffRE(u,v)：
DiffRE(u,v)＝2bd-1-Diff(u,v)，
bd为差值图像的位深；
若取反后差值图像DiffRE(u,v)中浅色区域所占比例超过预设比例阈值，则判断图像配准成功。
根据本发明的基于无人机平台的遥感探测方法，
步骤三中得到多/高光谱点云数据的过程包括：
根据所述光谱图像数据和LiDAR点云数据的空间对应关系，将LiDAR点云数据中各脚点与光谱图像数据各像素对应，使每个点云数据脚点均有对应的图像像素；
将光谱图像数据各像素在各波段上的光谱强度值赋给对应的点云脚点，使每个点云数据脚点均有光谱值，从而生成三维光谱点云，进而完成光谱图像数据与LiDAR点云数据的融合，得到多/高光谱点云数据。
本发明的有益效果：本发明方法突破了多/高光谱遥感立体数据获取的关键技术，为多维度遥感探测成像、信息获取与处理提供了重要的采集手段。它在实现图像-光谱-空间多维度数据的一体化探测的基础上，融合光谱与空间信息，最终生成光谱点云：
(1)实现了多/高光谱探测器与LiDAR探测器协同信息获取。通过传感器间同步协同工作，解决了传统探测手段对多源同时相数据的获取难题，实现了多维数据的一体化探测。
(2)多/高光谱图像与LiDAR点云数据空间一致性采样。利用空间配准及重采样方法消除了多源探测器间由于采集精度、仪器安放位置和仪器特性等带来的误差，解决了多/高光谱图像数据与点云空间位置和尺度的差别，实现了多维数据的空间一致性采样。
(3)多/高光谱点云数据生成。通过融合采集得到的同时相且具有空间一致性的LiDAR点云数据与多/高光谱数据，解决了传统方法中观测场景空间三维信息与光谱及纹理信息各自分离的问题，实现了多/高光谱点云数据的生成。
附图说明
图1是本发明所述基于无人机平台的遥感探测方法的流程框图；
图2是采用本发明方法实测获得的多光谱图像数据(3波段合成显示)；
图3是采用本发明方法实测获得的LiDAR点云数据；
图4是采用本发明方法融合后获得的多光谱点云数据(3波段合成显示)。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
具体实施方式一、结合图1所示，本发明提供了一种基于无人机平台的遥感探测方法，基于光谱探测器与LiDAR探测器实现，所述光谱探测器为多/高光谱探测器；包括：
步骤一：将光谱探测器与LiDAR探测器作为整体框架挂载于无人机下方，并通过无人机飞控预留的电压输出接口提供工作电压；
步骤二：采用无人机地面站控制无人机飞控发送数据采集命令至微控制器，且微控制器对光谱探测器、LiDAR探测器和IMU/GPS组合导航单元进行同步采集控制；并对采集获得的光谱图像数据和LiDAR点云数据进行数据配准，获得两种数据的空间对应关系；同时对光谱图像数据或LiDAR点云数据根据其分辨率进行上采样，实现光谱图像数据和LiDAR点云数据的空间一致性采样；
步骤三：根据所述空间对应关系，将采集获得的光谱图像数据和LiDAR点云数据进行融合，得到多/高光谱点云数据，实现遥感探测。
本实施方式中，将光谱探测器与LiDAR探测器固连为一个整体框架，并可利用挂钩与卡扣将该框架挂载于无人机下方。
选择微控制器作为主控控制仪器设备数据的采集，，微控制器与飞控、多/高光谱探测器、LiDAR探测器及IMU/GPS通过线缆相互连接。
进一步，所述步骤一中，无人机飞控预留的电压输出接口输出的电压通过直流调压电路调整后，为光谱探测器与LiDAR探测器提供工作电压。
再进一步，所述步骤二中，通过无人机地面站控制无人机飞控发送触发脉冲至微控制器，微控制器根据接收的触发脉冲控制光谱探测器和LiDAR探测器进行同步数据采集；
同时，微控制器将IMU/GPS组合导航单元的POS数据同步传输至光谱探测器和LiDAR探测器，使光谱探测器和LiDAR探测器具有相同的地理位置和时间信息；所述POS数据包括无人机地理位置数据与姿态数据。
结合图1所示，图1中，同步触发脉冲由无人机飞控发送至微控制器，微控制器再进一步发送至光谱探测器、LiDAR探测器和IMU/GPS组合导航单元；
调压电路经供电线路为光谱探测器、LiDAR探测器及IMU/GPS组合导航单元提供工作电压；
IMU/GPS组合导航单元的定位定姿数据经微控制器传送至光谱探测器和LiDAR探测器。
设置无人机地面站以及无人机飞控，使地面站可控制飞控发送不同脉宽的触发脉冲至微控制器，微控制器根据飞控发送脉冲的脉宽控制数据采集仪器开始或停止图像采集；同时，微控制器可将IMU/GPS的POS(Positionand Orientation System)数据同步传输给多/高光谱探测器以及LiDAR探测器，保证两种仪器具有相同的地理位置和时间信息。
再进一步，所述步骤二中，实现光谱图像数据和LiDAR点云数据的空间一致性采样包括：
分别确定光谱图像数据的图像分辨率，以及LiDAR点云数据的空间分辨率；
若光谱图像数据的图像分辨率高于LiDAR点云数据的空间分辨率，则根据所述空间分辨率以及目标空间分辨率，对所述LiDAR点云数据通过上采样密度提升进行重采样，获得重采样后点云图像；
若光谱图像数据的图像分辨率低于LiDAR点云数据的空间分辨率，则根据所述图像分辨率以及目标图像分辨率，对所述光谱图像数据采用插值法进行重采样，获得重采样后光谱图像；
再进行数据配准：对于光谱图像数据的图像分辨率高于LiDAR点云数据的空间分辨率的情况，对LiDAR点云数据进行重采样获得重采样后点云图像后，将三维重采样后点云图像转换为二维图像，得到点云栅格；所述点云栅格中各像素的强度值对应为重采样后点云图像各脚点的强度平均值，并且点云栅格的分辨率与所述光谱图像数据的图像分辨率相同；
将所述点云栅格作为光谱图像数据配准的参考图像；选择与LiDAR探测器波段相匹配的光谱图像数据作为模板图像；进行图像数据配准，使模板图像经变换后最大程度地接近参考图像，并使模板图像与参考图像的空间位置对齐，由此获得图像数据配准过程中光谱图像数据和LiDAR点云数据的空间对应关系。数据配准消除了由于各仪器的空间安置位置不同，导致的各数据无法在相同的坐标系下有完全对应的空间位置关系的缺陷。
所述光谱图像数据的图像分辨率定义为可识别的最小地物尺寸，可根据图像的EXIF(Exchangeable Image File Format)或者多/高光谱探测器的视场角与飞行高度计算得到；LiDAR点云数据的空间分辨率定义为点密度，可由点云处理软件查找得到。
对于数据重采样。可根据各种数据的空间分辨率，确定需进行重采样的数据。如对多/高光谱图像进行重采样，需对图像进行插值；如对LiDAR点云进行重采样，需对点云数据进行上采样密度提升。
本实施方式中，对光谱图像数据和LiDAR点云数据的空间一致性采样过程进行详细说明如下：
(1)图像由很多像素块组成，例如大小为1024*768的图像，表示由1024行768列图像像素块组成。多光谱图像的分辨率指的是1个像素能分辨多少cm的目标，如果是5cm，那么多光谱图像中一个像素块就代表5cm*5cm的空间范围；且每个像素块具有强度值(定义同点云脚点的强度值)。
(2)点云数据的空间分辨率为点数/m2；例如10点/m2，代表在1m2中有10个点云点，每个点云点都有自己的空间坐标(x,y,z)，而且还有强度值(可以理解为目标的反射强度)；对点云数据栅格化的时候需要考虑能最大生成分辨率有多高的图像数据，例如1m2＝10000cm2，相当于1点/1000cm2，每个图像的像素块必须要有一个强度值，那么最大可以生成
Figure BDA0002483408760000091
分辨率的图像像素；
(3)光谱图像的重采样和点云数据的上采样可根据实际情况选择其中一个进行。例如：光谱图像当前的图像分辨率高于点云数据的空间分辨率(就是大于点云最大可生成的栅格图像的分辨率，比如图像分辨率5cm，高于点云可生成的光谱图像分辨率31.6cm)，则对点云数据进行上采样至其可生成与光谱图像空间分辨率相同的栅格，比如将10点/m2上采样至400点/m2才可生成5cm空间分辨率的点云栅格；反之则只对光谱图像数据上采样。进行上采样的目的是为了保证数据在配准过程中具有相同的空间维度，满足进行配准的前提条件。
在数据配准过程中，模板图像将会根据变换关系式变化，参考图像保持不变；配准的目的是求解出一个最佳变换关系式，使模板图像经过该变换关系式后与参考图像尽可能地接近；所述变换关系式即用于描述原始模板图像与参考图像间的空间对应关系。
再进一步，对所述光谱图像数据采用插值法进行重采样包括：
设(x,y)为重采样后光谱图像中插值点像素坐标，距其最近的原光谱图像数据的像素点坐标为(i,j)；设定在(i,j)坐标平面上，(x,y)的灰度值为f(x,y)；
所述灰度值f(x,y)的获得方法包括：
定义三次插值函数S(k)为：
Figure BDA0002483408760000101
式中k为插值点(x,y)和周围邻域点(i,j)之间的距离；
Figure BDA0002483408760000102
式中xd与yd分别为插值点(x,y)和周围邻域点(i,j)之间的横坐标和纵坐标间的差值；；
其中：
Figure BDA0002483408760000103
Figure BDA0002483408760000104
Figure BDA0002483408760000105
再进一步，对所述LiDAR点云数据通过上采样密度提升进行重采样包括：
建立邻域拟合平面：对于所述LiDAR点云数据的脚点a，设定其邻域搜索球半径为Ra，邻域点个数为Na；根据脚点a及其邻域点，利用移动最小二乘法(MLS，Moving LeastSquare)建立脚点a的拟合平面；
密度提升：计算脚点a的邻域点密度ρa：
Figure BDA0002483408760000111
设定点云密度阈值为ρ0；
对于ρa<ρ0的脚点，将点云数据的脚点a随机均匀地投影至a的拟合平面；直到脚点a的邻域点密度满足ρa≥ρ0；得到重采样后点云图像；
所述拟合平面中投影点的强度值根据其最近邻点的强度值确定。
重复搜索LiDAR点云脚点并进行上述操作，完成LiDAR点云的重采样。
再进一步，进行图像数据配准的过程包括：
利用SIFT算法寻找与LiDAR探测器波段最接近的光谱图像T，作为模板图像，即为待进行配准的图像；参考图像为R，为配准过程中作为参考保持不变的图像；
建立仿射变换空间配准的目标函数，对模板图像T与参考图像R进行基于仿射变换空间配准的图像配准过程，建立目标函数
Figure BDA0002483408760000112
Figure BDA0002483408760000113
式中b为模板图像T与参考图像R中相对应的匹配特征点对，T(b)为b在模板图像T上对应的像素，R(b)为b在参考图像R上对应的像素，
Figure BDA0002483408760000114
为作用在模板图像T上的仿射变换，
Figure BDA0002483408760000115
为模板图像T与参考图像R间的相似性度量，Ω为模板图像T与参考图像R的匹配特征点集；
仿射变换
Figure BDA0002483408760000116
将模板图像T上像素点的坐标
Figure BDA0002483408760000117
变换为
Figure BDA0002483408760000118
Figure BDA0002483408760000119
式中，
Figure BDA00024834087600001110
为旋转矩阵，
Figure BDA00024834087600001111
为平移矩阵，初始化旋转矩阵为
Figure BDA00024834087600001112
初始化平移矩阵为
Figure BDA00024834087600001113
为经过仿射变换
Figure BDA00024834087600001114
后模板图像T上对应像素点坐标；
利用优化算法对目标函数
Figure BDA00024834087600001115
进行优化，获得使目标函数
Figure BDA00024834087600001116
达到全局极小值的变换关系式
Figure BDA0002483408760000121
得到最佳旋转矩阵
Figure BDA0002483408760000122
以及最佳平移矩阵
Figure BDA0002483408760000123
将最佳旋转矩阵
Figure BDA0002483408760000124
以及最佳平移矩阵
Figure BDA0002483408760000125
作用于所有采集的光谱图像数据中，完成所有光谱图像数据与LiDAR点云数据的图像数据配准。
为评价点云的配准效果，选择将配准前后的光谱图像T与点云栅格图像R的重叠区域作差以观察两者之间的差别。
再进一步进行说明，将配准后的模板图像T与参考图像R的重叠区域作差，获得差值图像Diff(u,v)：
Diff(u,v)＝T(u,v)-R(u,v)。
再进一步，根据差值图像Diff(u,v)判断图像配准是否成功，包括以下两种方法：
一、计算差值图像Diff(u,v)的灰度均值meanDiff：
Figure BDA0002483408760000126
式中M与N为模板图像T与参考图像R重叠区域像素的行数与列数；
若灰度均值meanDiff小于设定灰度阈值，则判断图像配准成功；说明meanDiff越小，模板图像T与参考图像R之间的差别越小；
二、为更直观地看到差值图像的效果，对差值图像Diff(u,v)取反获得取反后差值图像DiffRE(u,v)：
DiffRE(u,v)＝2bd-1-Diff(u,v)，
bd为差值图像的位深，一般bd＝8或者bd＝16；
若取反后差值图像DiffRE(u,v)中浅色区域所占比例超过预设比例阈值，则判断图像配准成功；说明取反后差值图像DiffRE(u,v)中浅色区域所占比例越大，模板图像T与参考图像R之间的差别越小。
再进一步，结合图2至图4所示，步骤三中得到多/高光谱点云数据的过程包括：
根据所述光谱图像数据和LiDAR点云数据的空间对应关系，将LiDAR点云数据中各脚点与光谱图像数据各像素对应，使每个点云数据脚点均有对应的图像像素；
将光谱图像数据各像素在各波段上的光谱强度值赋给对应的点云脚点，使每个点云数据脚点均有光谱值，从而生成三维光谱点云，进而完成光谱图像数据与LiDAR点云数据的融合，得到多/高光谱点云数据。
本发明方法融合光谱图像数据和LiDAR点云数据生成三维光谱影像，结合了两种数据源的优点。同时，为验证本发明的有效性及可靠性，进行了多次实地数据采集实验，成功采集得到质量良好的多/高光谱图像以及LiDAR点云数据，并最终实现多/高光谱点云数据生成。
结合图2至图4所示，通过外场实验验证了本发明方法可同时采集多光谱图像数据以及LiDAR点云，实现图像-光谱-空间多维度数据一体化探测；并可融合光谱数据与点云空间数据生成多光谱点云，体现了本发明的实用性及优越性。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (7)

1.一种基于无人机平台的遥感探测方法，基于光谱探测器与LiDAR探测器实现，所述光谱探测器为多/高光谱探测器；其特征在于包括：
步骤一：将光谱探测器与LiDAR探测器作为整体框架挂载于无人机下方，并通过无人机飞控预留的电压输出接口提供工作电压；
步骤二：采用无人机地面站控制无人机飞控发送数据采集命令至微控制器，且微控制器对光谱探测器、LiDAR探测器和IMU/GPS组合导航单元进行同步采集控制；
分别确定光谱图像数据的图像分辨率，以及LiDAR点云数据的空间分辨率；
若光谱图像数据的图像分辨率高于LiDAR点云数据的空间分辨率，则根据所述空间分辨率以及目标空间分辨率，对所述LiDAR点云数据通过上采样密度提升进行重采样，获得重采样后点云图像；对所述LiDAR点云数据通过上采样密度提升进行重采样包括：
建立邻域拟合平面：对于所述LiDAR点云数据的脚点a，设定其邻域搜索球半径为Ra，邻域点个数为Na；根据脚点a及其邻域点，利用最小二乘法建立脚点a的拟合平面；
密度提升：计算脚点a的邻域点密度ρa：
Figure FDA0003552090280000011
设定点云密度阈值为ρ0；
对于ρa<ρ0的脚点，将点云数据的脚点a随机均匀地投影至a的拟合平面；直到脚点a的邻域点密度满足ρa≥ρ0；得到重采样后点云图像；
所述拟合平面中投影点的强度值根据其最近邻点的强度值确定；
若光谱图像数据的图像分辨率低于LiDAR点云数据的空间分辨率，则根据所述图像分辨率以及目标图像分辨率，对所述光谱图像数据采用三次插值法进行重采样，获得重采样后光谱图像；对所述光谱图像数据采用三次插值法进行重采样包括：
设(x,y)为重采样后光谱图像中插值点像素坐标，距其最近的原光谱图像数据的像素点坐标为(i,j)；设定在(i,j)坐标平面上，(x,y)的灰度值为f(x,y)；
所述灰度值f(x,y)的获得方法包括：
定义三次插值函数S(k)为：
Figure FDA0003552090280000021
式中k为插值点(x,y)和周围邻域点(i,j)之间的距离；
Figure FDA0003552090280000022
式中xd与yd分别为插值点(x,y)和周围邻域点(i,j)之间的横坐标和纵坐标间的差值；
其中：
Figure FDA0003552090280000023
Figure FDA0003552090280000024
Figure FDA0003552090280000025
再进行数据配准：对于光谱图像数据的图像分辨率高于LiDAR点云数据的空间分辨率的情况，对LiDAR点云数据进行重采样获得重采样后点云图像后，将三维重采样后点云图像转换为二维图像，得到点云栅格；所述点云栅格中各像素的强度值对应为重采样后点云图像各脚点的强度平均值，并且点云栅格的分辨率与所述光谱图像数据的图像分辨率相同；
将所述点云栅格作为光谱图像数据配准的参考图像；选择与LiDAR探测器波段相匹配的光谱图像数据作为模板图像；进行图像数据配准，使模板图像经变换后最大程度地接近参考图像，并使模板图像与参考图像的空间位置对齐，由此获得图像数据配准过程中光谱图像数据和LiDAR点云数据的空间对应关系；
步骤三：根据所述空间对应关系，将采集获得的光谱图像数据和LiDAR点云数据进行融合，得到多/高光谱点云数据，实现遥感探测。
2.根据权利要求1所述的基于无人机平台的遥感探测方法，其特征在于，
所述步骤一中，无人机飞控预留的电压输出接口输出的电压通过直流调压电路调整后，为光谱探测器与LiDAR探测器提供工作电压。
3.根据权利要求2所述的基于无人机平台的遥感探测方法，其特征在于，
所述步骤二中，通过无人机地面站控制无人机飞控发送触发脉冲至微控制器，微控制器根据接收的触发脉冲控制光谱探测器和LiDAR探测器进行同步数据采集；
同时，微控制器将IMU/GPS组合导航单元的POS数据同步传输至光谱探测器和LiDAR探测器，使光谱探测器和LiDAR探测器具有相同的地理位置和时间信息；所述POS数据包括无人机地理位置数据与姿态数据。
4.根据权利要求1所述的基于无人机平台的遥感探测方法，其特征在于，
进行图像数据配准的过程包括：
利用SIFT算法寻找与LiDAR探测器波段最接近的光谱图像T，作为模板图像；参考图像为R；
建立仿射变换空间配准的目标函数，对模板图像T与参考图像R进行基于仿射变换空间配准的图像配准过程，建立目标函数
Figure FDA0003552090280000031
Figure FDA0003552090280000032
式中b为模板图像T与参考图像R中相对应的匹配特征点对，T(b)为b在模板图像T上对应的像素，R(b)为b在参考图像R上对应的像素，
Figure FDA0003552090280000033
为作用在模板图像T上的仿射变换，
Figure FDA0003552090280000034
为模板图像T与参考图像R间的相似性度量，Ω为模板图像T与参考图像R的匹配特征点集；
仿射变换
Figure FDA0003552090280000035
将模板图像T上像素点的坐标
Figure FDA0003552090280000036
变换为
Figure FDA0003552090280000037
Figure FDA0003552090280000038
式中，
Figure FDA0003552090280000039
为旋转矩阵，
Figure FDA00035520902800000310
为平移矩阵，初始化旋转矩阵为
Figure FDA00035520902800000311
初始化平移矩阵为
Figure FDA00035520902800000312
Figure FDA00035520902800000313
为经过仿射变换
Figure FDA00035520902800000314
后模板图像T上对应像素点坐标；
利用优化算法对目标函数
Figure FDA00035520902800000315
进行优化，获得使目标函数
Figure FDA00035520902800000316
达到全局极小值的变换关系式
Figure FDA0003552090280000041
得到最佳旋转矩阵
Figure FDA0003552090280000042
以及最佳平移矩阵
Figure FDA0003552090280000043
将最佳旋转矩阵
Figure FDA0003552090280000044
以及最佳平移矩阵
Figure FDA0003552090280000045
作用于所有采集的光谱图像数据中，完成所有光谱图像数据与LiDAR点云数据的图像数据配准。
5.根据权利要求4所述的基于无人机平台的遥感探测方法，其特征在于，
将配准后的模板图像T与参考图像R的重叠区域作差，获得差值图像Diff(u,v)：
Diff(u,v)＝T(u,v)-R(u,v)。
6.根据权利要求5所述的基于无人机平台的遥感探测方法，其特征在于，
根据差值图像Diff(u,v)判断图像配准是否成功，包括以下两种方法：
一、计算差值图像Diff(u,v)的灰度均值meanDiff：
Figure FDA0003552090280000046
式中M与N为模板图像T与参考图像R重叠区域像素的行数与列数；
若灰度均值meanDiff小于设定灰度阈值，则判断图像配准成功；
二、对差值图像Diff(u,v)取反获得取反后差值图像DiffRE(u,v)：
DiffRE(u,v)＝2bd-1-Diff(u,v)，
bd为差值图像的位深；
若取反后差值图像DiffRE(u,v)中浅色区域所占比例超过预设比例阈值，则判断图像配准成功。
7.根据权利要求6所述的基于无人机平台的遥感探测方法，其特征在于，
步骤三中得到多/高光谱点云数据的过程包括：
根据所述光谱图像数据和LiDAR点云数据的空间对应关系，将LiDAR点云数据中各脚点与光谱图像数据各像素对应，使每个点云数据脚点均有对应的图像像素；
将光谱图像数据各像素在各波段上的光谱强度值赋给对应的点云脚点，使每个点云数据脚点均有光谱值，从而生成三维光谱点云，进而完成光谱图像数据与LiDAR点云数据的融合，得到多/高光谱点云数据。
CN202010384747.7A 2020-05-09 2020-05-09 基于无人机平台的遥感探测方法 Active CN111638185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010384747.7A CN111638185B (zh) 2020-05-09 2020-05-09 基于无人机平台的遥感探测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010384747.7A CN111638185B (zh) 2020-05-09 2020-05-09 基于无人机平台的遥感探测方法

Publications (2)

Publication Number Publication Date
CN111638185A CN111638185A (zh) 2020-09-08
CN111638185B true CN111638185B (zh) 2022-05-17

Family

ID=72330849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010384747.7A Active CN111638185B (zh) 2020-05-09 2020-05-09 基于无人机平台的遥感探测方法

Country Status (1)

Country Link
CN (1) CN111638185B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819868B (zh) * 2021-02-05 2022-03-04 哈尔滨工业大学 一种多/高光谱图像与LiDAR点云空间配准及性能评估方法
CN113359141B (zh) * 2021-07-28 2021-12-17 东北林业大学 一种基于无人机多传感器数据融合的林火定位方法及系统
CN113674402B (zh) * 2021-08-23 2023-10-31 浙江大学 植物三维高光谱点云模型生成方法、校正方法及其装置
CN114782274B (zh) * 2022-04-28 2023-05-26 哈尔滨工业大学 基于光照估计的无人机多光谱图像辐射校正方法
CN115588127B (zh) * 2022-10-18 2024-05-10 武汉际上导航科技有限公司 机载激光点云与多光谱影像融合的方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140325A (zh) * 2007-10-16 2008-03-12 哈尔滨工业大学 高光谱图像的空间-光谱信息协同提高分辨率的方法
CN101493893A (zh) * 2008-12-11 2009-07-29 中山大学 一种图像数据融合方法
CN102194221A (zh) * 2011-04-14 2011-09-21 西北工业大学 一种用于WorldView-2遥感影像的图像融合方法
CN102998294A (zh) * 2012-12-20 2013-03-27 中国环境科学研究院 一种三维光谱数据校正方法
CN104198424A (zh) * 2014-08-29 2014-12-10 清华大学 一种提高傅里叶红外光谱仪偏低信噪比频段信噪比的方法
CN106056591A (zh) * 2016-05-25 2016-10-26 哈尔滨工业大学 一种融合光谱图像和激光雷达数据进行城市密度估计方法
CN107085710A (zh) * 2017-04-26 2017-08-22 长江空间信息技术工程有限公司(武汉) 一种基于多光谱LiDAR数据的单木自动提取方法
CN107092020A (zh) * 2017-04-19 2017-08-25 北京大学 融合无人机LiDAR和高分影像的路面平整度监测方法
CN109166089A (zh) * 2018-07-24 2019-01-08 重庆三峡学院 一种对多光谱图像和全色图像进行融合的方法
CN110673159A (zh) * 2019-09-30 2020-01-10 中国海洋大学 一种海洋环境监测用无人机主动雷达高光谱探测系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9448110B2 (en) * 2012-09-27 2016-09-20 Northrop Grumman Systems Corporation Three-dimensional hyperspectral imaging systems and methods using a light detection and ranging (LIDAR) focal plane array
CN103308892B (zh) * 2013-06-21 2015-01-14 武汉大学 一种多扫频雷达信号的产生及压缩方法
US10739189B2 (en) * 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140325A (zh) * 2007-10-16 2008-03-12 哈尔滨工业大学 高光谱图像的空间-光谱信息协同提高分辨率的方法
CN101493893A (zh) * 2008-12-11 2009-07-29 中山大学 一种图像数据融合方法
CN102194221A (zh) * 2011-04-14 2011-09-21 西北工业大学 一种用于WorldView-2遥感影像的图像融合方法
CN102998294A (zh) * 2012-12-20 2013-03-27 中国环境科学研究院 一种三维光谱数据校正方法
CN104198424A (zh) * 2014-08-29 2014-12-10 清华大学 一种提高傅里叶红外光谱仪偏低信噪比频段信噪比的方法
CN106056591A (zh) * 2016-05-25 2016-10-26 哈尔滨工业大学 一种融合光谱图像和激光雷达数据进行城市密度估计方法
CN107092020A (zh) * 2017-04-19 2017-08-25 北京大学 融合无人机LiDAR和高分影像的路面平整度监测方法
CN107085710A (zh) * 2017-04-26 2017-08-22 长江空间信息技术工程有限公司(武汉) 一种基于多光谱LiDAR数据的单木自动提取方法
CN109166089A (zh) * 2018-07-24 2019-01-08 重庆三峡学院 一种对多光谱图像和全色图像进行融合的方法
CN110673159A (zh) * 2019-09-30 2020-01-10 中国海洋大学 一种海洋环境监测用无人机主动雷达高光谱探测系统及方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
A Discriminative Tensor Representation Model for Feature Extraction and Classification of Multispectral LiDAR Data;Q. Wang,et al.;《IEEE Transactions on Geoscience and Remote Sensing》;20200531;第58卷(第3期);1568-1586 *
AV-based integrated multispectral-LiDAR imaging system and data processing;Gu Yanfeng,et al.;《SCIENCE CHINA-TECHNOLOGICAL SCIENCES》;20200511;第63卷(第7期);1293-1301 *
LIDAR点云数据与光学影像数据配准方法研究;赵吉庆;《信息技术与信息化》;20190731(第7期);146-147 *
Relative Pose Estimation and Fusion of 2D Spectral and 3D Lidar Images;Kato Zoltan,et al.;《Lecture Notes in Computer Science》;20150603;第9016卷;33-42 *
基于多光谱图像超分辨率处理的遥感图像融合;杨超等;《激光与光电子学进展》;20160210;第53卷(第02期);94-101 *
基于多源数据协同作业的森林信息提取研究进展;刘浩然等;《世界林业研究》;20191021;第33卷(第01期);33-37 *
多光谱探测与激光多光谱探测技术的进展;张宇等;《激光技术》;20070425(第02期);188-191 *
融合无人机LiDAR和高分辨率光学影像的点云分类方法;高仁强等;《南京信息工程大学学报(自然科学版)》;20180128;第10卷(第01期);106-116 *
高速窄带多光谱成像系统光谱重建技术研究;杨萍等;《影像技术》;20071215(第06期);14-18 *

Also Published As

Publication number Publication date
CN111638185A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN111638185B (zh) 基于无人机平台的遥感探测方法
CN110570466B (zh) 三维实景点云模型的生成方法和装置
US11056012B2 (en) Systems and methods for generating improved environmental displays for vehicles
Liu et al. LiDAR-derived high quality ground control information and DEM for image orthorectification
Rönnholm et al. Integration of laser scanning and photogrammetry
Yu et al. Modeling of landslide topography based on micro-unmanned aerial vehicle photography and structure-from-motion
CN112729130A (zh) 卫星遥感测量树木冠层高度的方法
Auer et al. Simulation-based interpretation and alignment of high-resolution optical and SAR images
Park et al. Conceptual design of the CZMIL data processing system (DPS): algorithms and software for fusing lidar, hyperspectral data, and digital images
Widyaningrum et al. Comprehensive comparison of two image-based point clouds from aerial photos with airborne LiDAR for large-scale mapping
CN117115683A (zh) 一种植被覆盖下危岩落石遥感提取方法及系统
Razali et al. A hybrid point cloud reality capture from terrestrial laser scanning and UAV-photogrammetry
Chellappa et al. On the positioning of multisensor imagery for exploitation and target recognition
Alba et al. Filtering vegetation from terrestrial point clouds with low-cost near infrared cameras
Javadnejad Small unmanned aircraft systems (UAS) for engineering inspections and geospatial mapping
Bolkas et al. A case study on the accuracy assessment of a small UAS photogrammetric survey using terrestrial laser scanning
Ivanovski et al. Comparison between traditional and contemporary methods for data recording in structural geology
Okojie et al. Relative canopy height modelling precision from UAV and ALS datasets for forest tree height estimation
Ajayi et al. Modelling 3D Topography by comparing airborne LiDAR data with Unmanned Aerial System (UAS) photogrammetry under multiple imaging conditions
Bouziani et al. Comparison assessment of digital 3D models obtained by drone-based lidar and drone imagery
Loghin et al. Accuracy Analysis of Digital Elevation Models from very High Resolution Satellite Imagery
Leat et al. Analysis of uncertainty in laser-scanned bathymetric maps
Sohn et al. Shadow-effect correction in aerial color imagery
Günay et al. True Orthophoto production using Lidar data
Gonçalves Using structure-from-motion workflows for 3D mapping and remote sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant