CN112819868A - 一种多/高光谱图像与LiDAR点云空间配准及性能评估方法 - Google Patents

一种多/高光谱图像与LiDAR点云空间配准及性能评估方法 Download PDF

Info

Publication number
CN112819868A
CN112819868A CN202110168223.9A CN202110168223A CN112819868A CN 112819868 A CN112819868 A CN 112819868A CN 202110168223 A CN202110168223 A CN 202110168223A CN 112819868 A CN112819868 A CN 112819868A
Authority
CN
China
Prior art keywords
image
registration
hyperspectral
point cloud
grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110168223.9A
Other languages
English (en)
Other versions
CN112819868B (zh
Inventor
谷延锋
王晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202110168223.9A priority Critical patent/CN112819868B/zh
Publication of CN112819868A publication Critical patent/CN112819868A/zh
Application granted granted Critical
Publication of CN112819868B publication Critical patent/CN112819868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种多/高光谱图像与LiDAR点云空间配准及性能评估方法，本发明用于数字图像处理领域。本发明的目的是为了解决现有多/高光谱图像与LiDAR点云配准方法配准精度低的问题。过程为：步骤一：分别对多/高光谱图像和激光雷达数据进行预处理；步骤二：采用基于多波段联合优化的非参数图像配准方法对所有波段多/高光谱图像与点云栅格图像同时进行配准；步骤三、对步骤二获得的配准结果进行性能评估。本发明实现了利用多/高光谱图像不同波段影像之间相互关联的特性，建立了多波段多/高光谱图像与LiDAR点云的多波段联合配准框架，提升了多/高光谱图像与LiDAR点云的配准精度。

Description

一种多/高光谱图像与LiDAR点云空间配准及性能评估方法
技术领域
本发明属于数字图像处理领域，涉及多/高光谱图像与LiDAR点云空间配准，具体的说是一种优化多/高光谱图像与LiDAR点云配准效果的方法。
背景技术
图像配准(Image Registration)是指在不同时段，对同一场景从不同视角使用相同或不同的传感器拍摄的有重叠区域的图像进行几何或者空间对准的过程。图像配准技术近年来迅猛发展，广泛用于医学、遥感、计算机视觉等领域。其同时也是图像融合、拼接和镶嵌必不可少的步骤。
在遥感勘测领域中，常用到多光谱图像(Multispectral Images)或者高光谱图像(Hyperspectral Images)来进行数据的处理和分析。所谓的多/高光谱图像，就是在光谱维度上进行了较细致的分割。多/高光谱图像不仅包含图像信息，而且其在光谱域上进行展开。因而多/高光谱图像不仅可得到图像上每个点的光谱数据，而且还包含任意一个谱段的影像信息。
激光雷达(LiDAR，Light Detection And Ranging)是一种集激光、全球定位系统(GPS，Global Position System)和惯性测量单元(IMU，Inertial Measurement Unit)三种技术于一身的系统，其主要是发射单波段激光束，根据回波信息，生成精确的点云(PointCloud)数据以及数字高程模型(DEM，Digital Elevation Model)等衍生数据。相较于其他遥感手段，LiDAR技术是遥感技术领域的一场革命。其不仅拥有高空间分辨率，可精确到厘米级，而且还具有快速获取信息的能力。目前LiDAR主要应用于基础测绘、城市三维建模和林业应用、铁路、电力等。
由上述可知，多/高光谱图像能够提供地物对象丰富的光谱和纹理信息，而LiDAR点云则能够提供观测对象精确的空间三维信息。因此融合这两种数据，生成三维光谱影像，就能够结合这两种数据源的优点，提高地物目标识别解译的可靠性和测量精度，也为更进一步的地物分类和地物提取提供更为精确的原始数据。而在融合这两种数据之前，首先要对这两种数据进行精确的空间配准。但两种数据由于数据的特性，采集方式、时间、环境条件等不同，导致多/高光谱图像与LiDAR点云间存在很大差别，为两种数据的空间配准提出一定挑战。
现有的多/高光谱图像与LiDAR点云配准方法主要为选取多/高光谱图像中某一波段的影像与LiDAR点云进行配准，但该种方法忽略了多/高光谱图像间相关互补的特性，造成了光谱数据的浪费；如果将该特性利用到多/高光谱图像与LiDAR点云的配准之中，理论上可提升配准效果。
本发明旨在实现一种利用多/高光谱图像中各波段间互补特性将多/高光谱图像与LiDAR点云精确空间配准的新方法，即一种基于多波段联合优化的多/高光谱图像与LiDAR点云空间配准方法。
发明内容
本发明的目的是为了解决现有多/高光谱图像与LiDAR点云配准方法配准精度低的问题，而提出一种多/高光谱图像与LiDAR点云空间配准及性能评估方法。
一种多/高光谱图像与LiDAR点云空间配准及性能评估方法具体过程为：
步骤一：分别对多/高光谱图像和激光雷达数据进行预处理；
步骤二：采用基于多波段联合优化的非参数图像配准方法对所有波段多/高光谱图像与点云栅格图像同时进行配准；
步骤三、对步骤二获得的配准结果进行性能评估。
本发明的有益效果为：
本发明旨在实现不同采集条件下获得的多/高光谱图像与LiDAR点云的精确空间配准；
本发明实现了利用多/高光谱图像不同波段影像之间相互关联的特性，建立了多波段多/高光谱图像与LiDAR点云的多波段联合配准框架，提升了多/高光谱图像与LiDAR点云的配准精度。
附图说明：
图1为本发明的实现流程示意图；
图2a为本发明验证实验所截取区域多光谱图像T1图；图2b为本发明验证实验所截取区域多光谱图像T2图；图2c为本发明验证实验所截取区域多光谱图像T3图；图2d为本发明验证实验所截取区域多光谱图像T4图；图2e为本发明验证实验所截取区域多光谱图像T5图；图2f为本发明验证实验所截取区域多光谱图像T6图；图2g为本发明验证实验所截取区域多光谱图像T7图；图2h为本发明验证实验所截取区域多光谱图像T8图；
图3a为本发明验证实验截取区域点云数据图；图3b为本发明验证实验截取区域点云栅格图像数据R图；
图4a为对T8采用配准方法PIR进行配准后得到的结果图(在PIR中采用T1作为基准模板图像)；图4b为对T8采用配准方法NPIR进行配准后得到的结果图(在NPIR中采用T1作为基准模板图像)；图4c为对T8采用配准方法JPIR进行配准后得到的结果图；图4d为对T8分别四种配准方法JNPIR进行配准后得到的结果图；由目视分析可知，JNPIR的配准结果与LiDAR点云栅格图像最为接近，有最好的配准效果；
图5a为T8与R初始差值图；图5b为对T8采用配准方法PIR得到的配准后差值图(在PIR中采用T1作为基准模板图像)；图5c为对T8采用配准方法NPIR得到的配准后差值图(在NPIR中采用T1作为基准模板图像)；图5d为对T8采用配准方法JPIR得到的配准后差值图；图5e为对T8采用配准方法JNPIR得到的配准后差值图；由目视分析可知，JNPIR的配准结果与LiDAR点云栅格图像的差别最小，有最好的配准效果；
图6a1为采用NPIR对所有波段的多光谱图像T1与点云栅格图像进行配准得到的结果图；图6a2为采用NPIR对所有波段的多光谱图像T2与点云栅格图像进行配准得到的结果图；图6a3为采用NPIR对所有波段的多光谱图像T3与点云栅格图像进行配准得到的结果图；图6a4为采用NPIR对所有波段的多光谱图像T4与点云栅格图像进行配准得到的结果图；图6a5为采用NPIR对所有波段的多光谱图像T5与点云栅格图像进行配准得到的结果图；图6a6为采用NPIR对所有波段的多光谱图像T6与点云栅格图像进行配准得到的结果图；图6a7为采用NPIR对所有波段的多光谱图像T7与点云栅格图像进行配准得到的结果图；图6a8为采用NPIR对所有波段的多光谱图像T8与点云栅格图像进行配准得到的结果图；在NPIR中采用T4作为基准模板图像；
图6b1为采用JNPIR对所有波段的多光谱图像T1与点云栅格图像进行配准得到的结果图；图6b2为采用JNPIR对所有波段的多光谱图像T2与点云栅格图像进行配准得到的结果图；图6b3为采用JNPIR对所有波段的多光谱图像T3与点云栅格图像进行配准得到的结果图；图6b4为采用JNPIR对所有波段的多光谱图像T4与点云栅格图像进行配准得到的结果图；图6b5为采用JNPIR对所有波段的多光谱图像T5与点云栅格图像进行配准得到的结果图；图6b6为采用JNPIR对所有波段的多光谱图像T6与点云栅格图像进行配准得到的结果图；图6b7为采用JNPIR对所有波段的多光谱图像T7与点云栅格图像进行配准得到的结果图；图6b8为采用JNPIR对所有波段的多光谱图像T8与点云栅格图像进行配准得到的结果图；
比较两种方法得到的结果可以看出JNPIR的配准结果更接近于点云栅格图像。
图7a1为采用NPIR对所有波段的多光谱图像T1与点云栅格图像进行配准得到的差值图；图7a2为采用NPIR对所有波段的多光谱图像T2与点云栅格图像进行配准得到的差值图；图7a3为采用NPIR对所有波段的多光谱图像T3与点云栅格图像进行配准得到的差值图；图7a4为采用NPIR对所有波段的多光谱图像T4与点云栅格图像进行配准得到的差值图；图7a5为采用NPIR对所有波段的多光谱图像T5与点云栅格图像进行配准得到的差值图；图7a6为采用NPIR对所有波段的多光谱图像T6与点云栅格图像进行配准得到的差值图；图7a7为采用NPIR对所有波段的多光谱图像T7与点云栅格图像进行配准得到的差值图；图7a8为采用NPIR对所有波段的多光谱图像T8与点云栅格图像进行配准得到的差值图；在NPIR中采用T4作为基准模板图像
图7b1为采用JNPIR对所有波段的多光谱图像T1与点云栅格图像进行配准得到的差值图；图7b2为采用JNPIR对所有波段的多光谱图像T2与点云栅格图像进行配准得到的差值图；图7b3为采用JNPIR对所有波段的多光谱图像T3与点云栅格图像进行配准得到的差值图；图7b4为采用JNPIR对所有波段的多光谱图像T4与点云栅格图像进行配准得到的差值图；图7b5为采用JNPIR对所有波段的多光谱图像T5与点云栅格图像进行配准得到的差值图；图7b6为采用JNPIR对所有波段的多光谱图像T6与点云栅格图像进行配准得到的差值图；图7b7为采用JNPIR对所有波段的多光谱图像T7与点云栅格图像进行配准得到的差值图；图7b8为采用JNPIR对所有波段的多光谱图像T8与点云栅格图像进行配准得到的差值图；
可以很明显地看出，在大多数波段的多光谱图像上，JNPIR对应的差值图像较NPIR得到的差值图像颜色较淡，说明JNPIR配准后得到的结果从整体上看更接近于点云栅格图像，故JNPIR配准效果优于NPIR。
具体实施方式：
具体实施方式一：结合图1说明本实施方式，本实施方式一种多/高光谱图像与LiDAR点云空间配准及性能评估方法具体过程为：
步骤一：分别对多/高光谱图像和激光雷达数据(LiDAR点云)进行预处理；
步骤二：采用基于多波段联合优化的非参数图像配准方法对所有波段多/高光谱图像与点云栅格图像同时进行配准；
步骤三、对步骤二获得的配准结果进行性能评估；并比较性能评估结果，可证明JNPIR方法，即基于多波段联合优化的非参数图像配准方法，有最好的配准效果；
具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中分别对多/高光谱图像和激光雷达数据(LiDAR点云)进行预处理；具体过程为：
对多/高光谱图像主要进行辐射校正、正射校正，得到校正后的多/高光谱图像；
对激光雷达数据(LiDAR点云)主要进行滤波处理，以及栅格化得到点云强度栅格图像；
在校正后的多/高光谱图像以及点云强度栅格图像的基础上，将校正后的多/高光谱图像和点云强度栅格图像的强度值映射至0-255；
记校正后的多/高光谱图像分辨率为res1，点云强度栅格图像分辨率为res2，且有res1＜res2；
对校正后的多/高光谱图像进行插值处理使校正后的多/高光谱图像分辨率res1与点云强度栅格图像分辨率res2相等；
设置2-D网格Ω，网格长为a，宽为b，网格大小为a×b，网格中每一格代表一个像素，网格中每一格的分辨率为res2；
以网格Ω对校正后的多/高光谱图像进行采样，并将采样结果记为模板图像Tn(n＝1,2,...,N)；
其中，N为校正后的多/高光谱图像总的波段数，n代表第n个波段；
以网格Ω对点云强度栅格图像进行采样，并将采样结果记为参考图像R；
因均以Ω进行采样，故R与Tn尺寸相同；
将R与Tn上某一点x赋值为灰度值R(x)以及Tn(x)；
以上R与Tn包含相同场景。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述插值处理采用两点样条插值，设(x,y)为待求像素坐标，离(x,y)最近的一点为(i,j)；设在此坐标平面上，点(x,y)的灰度值为f(x,y)；
插值处理结果f(x,y)的求解过程为：
定义插值函数S(a)如下：
Figure BDA0002936265220000051
式中，a为插值函数的距离变量；
设点(x,y)的灰度值f(x,y)由下式求得：
f(x,y)＝f(i+u,j+v)＝ABC
Figure BDA0002936265220000061
式中，(i,j)是待插值图像中离(x,y)最近的一点的坐标，u为x-i，即为x方向距离差，v为y-j，即为y方向距离差；A为y方向插值系数矩阵，B为待插值图像中点(i,j)附近的像素值矩阵；C为x方向插值系数矩阵。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述
Figure BDA0002936265220000062
Figure BDA0002936265220000063
Figure BDA0002936265220000064
式中，S(v)是将y方向距离v带入插值函数S(a)得到的插值权重；S(u)是将x方向距离u带入插值函数S(a)得到的插值权重；f(i,j)是待插值图像中点(i,j)的像素值。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤二中采用基于多波段联合优化的非参数图像配准方法对所有波段多/高光谱图像与点云栅格图像同时进行配准；具体过程为：
一、采用基于相似性度量的参数化图像配准(PIR，Parametric ImageRegistration)方法对选取的单波段多/高光谱模板图像与点云强度栅格图像进行配准，并将配准结果作用于所有波段的多/高光谱图像上；
具体实施过程如下：
一一、建立参数化配准的目标函数，对选取的单波段多/高光谱模板图像T与点云强度栅格图像R进行基于相似性度量的参数化图像配准的过程可建模为优化如下参数化配准的目标函数：
Figure BDA0002936265220000071
式中，
Figure BDA0002936265220000072
为某一波段光谱模板图像Tn与点云强度栅格图像R参数化配准的目标函数；T为模板图像(templateimage)，即为待配准图像；R为点云强度栅格图像，即为参考图像(referenceimage)(配准操作中作为参考保持不变的图像)；
Figure BDA0002936265220000073
为作用在T上一点x的变换，
Figure BDA0002936265220000074
即为作用在T上的变换的集合，参数化配准中变换
Figure BDA0002936265220000075
可描述为一组参数ρi(i＝1,2,...,L)与基函数Φj(j＝1,2,...,K)的组合，
Figure BDA0002936265220000076
为T与R的相似性度量；
一二、采用优化算法(如高斯-牛顿法)对目标函数
Figure BDA0002936265220000077
进行迭代优化，得到目标函数
Figure BDA0002936265220000078
的全局极小值，此时的变换
Figure BDA0002936265220000079
为最佳变换即最佳位移场，记作
Figure BDA00029362652200000710
将
Figure BDA00029362652200000711
作用在所有波段的多/高光谱模板图像与点云强度栅格图像上，实现多/高光谱图像与点云强度栅格图像(LiDAR点云)的参数图像配准。
位移场是利用单波段信息计算出来的，变换是作用在全部波段的，因为多\高光谱图像的波段与波段间是空间一致的，不需要波段间配准；
二、采用基于相似性度量的非参数图像配准方法对选取的单波段多/高光谱模板图像与点云强度栅格图像进行配准；具体实施过程如下：
二一、建立非参数配准的目标函数，对选取的单波段多/高光谱模板图像T与点云强度栅格图像R进行基于相似性度量和位移场正则化的非参数图像配准，非参数图像配准建模为优化如下非参数配准的目标函数：
Figure BDA00029362652200000712
s.t.α＞0
式中，
Figure BDA00029362652200000713
为某一波段光谱模板图像T与点云强度栅格图像R非参数配准的目标函数，其符号定义同参数化配准；非参数配准中的变换
Figure BDA00029362652200000714
对每一个像素x都有唯一的微小位移u(x)，各个像素的u(x)的集合即为位移场u，在非参数配准中，变换
Figure BDA00029362652200000715
即为位移场u；
Figure BDA00029362652200000716
为正则项，用以减少非参数配准过程中的不适定性，防止得到过拟合的配准结果；α为惩罚参数，用以控制正则项
Figure BDA00029362652200000717
正则效果的强度。
二二、采用优化算法(如高斯-牛顿法)对目标函数
Figure BDA00029362652200000718
进行迭代优化，得到目标函数
Figure BDA00029362652200000719
的全局极小值，此时的变换
Figure BDA00029362652200000720
为最佳变换即最佳位移场，记作
Figure BDA00029362652200000721
将
Figure BDA0002936265220000081
作用在所有波段的多/高光谱模板图像与点云强度栅格图像上，实现多/高光谱模板图像与点云强度栅格图像(LiDAR点云)的非参数图像配准。
位移场是利用单波段信息计算出来的，变换是作用在全部波段的，因为多\高光谱图像的波段与波段间是空间一致的，不需要波段间配准；
三、采用基于多波段联合优化的参数化图像配准方法对所有波段多/高光谱图像与点云强度栅格图像同时进行配准；具体实施过程如下：
三一、建立多波段联合优化的参数化图像配准的目标函数，对所有波段多/高光谱模板图像与点云强度栅格图像R进行基于多波段联合优化的参数化图像配准，配准的过程建模为优化如下目标函数：
Figure BDA0002936265220000082
Figure BDA0002936265220000083
式中，
Figure BDA0002936265220000084
为基于多波段联合优化的参数化图像配准的目标函数；M为波段总数，Tm为第m个波段的多/高光谱模板图像；βm为第m个波段目标函数的加权系数；Dm为第m个波段多/高光谱模板图像Tm与点云强度栅格图像R的相似性度量。
三二、采用优化算法(如高斯-牛顿法)对目标函数
Figure BDA0002936265220000085
进行优化得到全局极小值，此时的变换
Figure BDA0002936265220000086
为最佳变换，记作
Figure BDA0002936265220000087
将
Figure BDA0002936265220000088
作用到所有波段的多/高光谱图像上，实现多/高光谱模板图像与点云强度栅格图像(LiDAR点云)的参数图像配准。
步骤二：采用基于多波段联合优化的非参数图像配准方法对所有波段多/高光谱图像与点云栅格图像同时进行配准；具体实施步骤如下：
步骤二一、建立多波段联合优化的非参数图像配准的目标函数，对所有波段多/高光谱图像与点云栅格图像R进行基于多波段联合优化的非参数图像配准，配准过程建模为优化如下目标函数：
Figure BDA0002936265220000089
Figure BDA00029362652200000810
α＞0
式中，
Figure BDA00029362652200000811
为基于多波段联合优化的非参数图像配准目标函数；M为总波段数，Tm为第m波段的多/高光谱模板图像；βm为第m个波段目标函数的加权系数；Dm为第m个波段多/高光谱模板图像Tm与点云强度栅格图像R的相似性度量；
Figure BDA0002936265220000091
为正则项，用以减少非参数配准过程中的不适定性，防止得到过拟合的配准结果；α为惩罚参数，可控制正则项
Figure BDA0002936265220000092
的正则效果；
步骤二二、采用优化算法(如高斯-牛顿法)对目标函数
Figure BDA0002936265220000093
进行优化得到全局极小值，此时的变换
Figure BDA0002936265220000094
为最佳变换，记作
Figure BDA0002936265220000095
将
Figure BDA0002936265220000096
作用到所有波段的多/高光谱图像上，实现多/高光谱模板图像与点云强度栅格图像(LiDAR点云)的非参数图像配准。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤三中对步骤二获得的配准结果进行性能评估；并比较性能评估结果，可证明JNPIR方法，即基于多波段联合优化的非参数图像配准方法，有最好的配准效果；具体实施步骤如下：
步骤三一、计算配准结果的差值图像以及差值图像均值；
差值图像为两幅图像作差所获得的图像，设差值图像为P(a,b)，其定义如下：
P(a,b)＝T(a,b)-R(a,b)
其中，(a,b)为图像上一点的坐标，T为配准完成后的模板图像(前面Tn、Tm，这里配准完成后变T)，R为点云强度栅格图像，即参考图像；由于差值图像中灰度较低，对差值图像取反可使其更清晰，取反操作定义如下：
V(a,b)＝255-P(a,b)
通过目视判断取反的差值图像V(a,b)可定性评价T与R的配准效果：如果V(a,b)图像中浅白色区域所占范围越大，表示配准完成后R与T差别就越小，配准效果就越好；反之则配准效果越差。
为定量评价图像配准的效果，对于单波段的参数化与非参数配准方法，配准结果所得差值图像均值定义为：
Figure BDA0002936265220000097
其中，A×B表示图像大小；method表示所使用的单波段配准方法，为基于相似性度量的参数化图像配准(PIR)或者基于相似性度量的非参数化图像配准(NPIR)；m代表第m波段多/高光谱图像，w代表作为基准模板图像与点云栅格图像R进行配准的第w波段的多/高光谱图像Tw，其余波段多/高光谱图像将采用Tw与点云栅格图像R配准得到的变换关系式或位移场
Figure BDA0002936265220000098
得到的μ越小，则代表配准后多光谱图像与点云栅格图像差别越小，即该方法配准效果越好；
多波段联合优化配准方法的差值图像均值μmethod,m定义如下：
Figure BDA0002936265220000101
其中，method表示所使用的多波段配准方法，为基于多波段联合优化的参数化图像配准方法(JPIR)或者基于多波段联合优化的非参数化图像配准方法(JNPIR)；m代表第m波段多/高光谱图像；同样，得到的μ越小，则代表配准后多光谱图像与点云栅格图像差别越小，即该方法配准效果越好；
为比较单波段与多波段配准方法总体效果，对以多/高光谱图像Tw为基准模板图像的单波段配准方法，定义差值图像灰度均值的总体评估如下：
Figure BDA0002936265220000102
其中，method表示所使用的单波段配准方法，为基于相似性度量的参数化图像配准(PIR)或者基于相似性度量的非参数化图像配准(NPIR)；
定义多波段联合优化方法的灰度均值总体评估如下：
Figure BDA0002936265220000103
步骤三二、计算配准结果与原始图像的差异度；
采用目标函数J来评价多/高光谱图像T(前面Tn、Tm，这里配准完成后变T)与点云强度栅格图像R间相似程度；但是在配准前各波段多光谱图像Tm与点云栅格图像R间的目标函数J值差别较大，因此配准后各波段J值不具有可比性。
定义单波段参数化与非参数配准方法的差异度diffmethod,m,w如下：
Figure BDA0002936265220000104
其中，method表示所使用的单波段配准方法，为基于相似性度量的参数化图像配准(PIR)或者基于相似性度量的非参数化图像配准(NPIR)；m代表第m波段多/高光谱图像，w代表作为基准模板图像与点云栅格图像R进行配准的第w波段的多/高光谱图像Tw；J0,m代表配准前多/高光谱图像Tm与点云栅格图像所对应的目标函数值；Jend,method,m,w代表采用method表示所使用的单波段配准方法对多/高光谱图像Tw与点云栅格图像R进行配准得到变换关系式
Figure BDA0002936265220000105
并将
Figure BDA0002936265220000106
作用于多/高光谱图像Tm后所得到的目标函数值；
定义多波段联合优化方法的差异度diffmethod,m如下：
Figure BDA0002936265220000111
其中，method表示所使用的多波段配准方法，为基于多波段联合优化的参数化图像配准方法(JPIR)或者基于多波段联合优化的非参数化图像配准方法(JNPIR)；Jend,method,m代表采用基于多波段联合优化的非参数化图像配准方法对多/高光谱图像与点云栅格图像R进行配准得到变换关系式
Figure BDA0002936265220000112
并将
Figure BDA0002936265220000113
作用于多/高光谱图像Tm后所得到的目标函数值；
为比较单波段与多波段配准方法总体效果，对以多/高光谱图像Tw为基准模板图像的单波段配准方法，定义单波段参数化与非参数配准方法的差异度总体评估diffmethod,all,w如下：
Figure BDA0002936265220000114
其中，method表示所使用的单波段配准方法，为基于相似性度量的参数化图像配准(PIR)或者基于相似性度量的非参数化图像配准(NPIR)；
定义多波段联合优化方法的差异度总体评估diffmethod,all如下：
Figure BDA0002936265220000115
其中，method表示所使用的多波段配准方法，为基于多波段联合优化的参数化图像配准方法(JPIR)或者基于多波段联合优化的非参数化图像配准方法(JNPIR)。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：所述相似性度量可采用如下几种：
1)距离平方和SSD(Sumof Squared Distance)：
Figure BDA0002936265220000116
其中，T(x)为模板图像；R(x)为参考图像；x为图像；
SSD是最简单的距离度量，其运算过程简单快捷；
2)互信息MI(Mutual Information)：
Figure BDA0002936265220000121
其中，ρT和ρR分别代表T和R的边缘灰度概率密度函数，而ρT,R(x,y)则代表模板图像T和参考图像R的联合灰度概率密度函数，各项定义如下：
Figure BDA0002936265220000122
Figure BDA0002936265220000123
Figure BDA0002936265220000124
其中，h(a,b)为两者的联合灰度直方图，定义为如下矩阵：
Figure BDA0002936265220000125
其中，图像T的灰度范围为0到M-1，图像R的灰度范围为0到N-1；
3)归一化梯度场NGF(Normalized GradientField)：
DNGF[T,R]＝1-((NGF(T,λ))′NGF(R,λ))2
Figure BDA0002936265220000126
其中，η为灰度阈值；NGF(T,λ)为对于图像I的NGF函数值；NGF(R,λ)为对于图像I的NGF函数值；NGF(I,λ)为对于图像I的NGF函数值；▽I表示图像I的梯度；λ为灰度阈值，λ＞0，其用于抑制图像I中的噪声，即当图像I中某一像素灰度值小于λ时，该像素被判定为噪声，忽略其灰度值；vec(I)为图像I的像素矩阵从第一列开始每列首尾串接形成的向量；(NGF(T,λ))′为NGF(T,λ)的转置；图像I为图像T或图像R；
4)归一化互相关NCC(NormalizedCross Correlation)：
Figure BDA0002936265220000127
其中，vec(T)为图像T的像素矩阵从第一列开始每列首尾串接形成的向量；vec(R)为图像R的像素矩阵从第一列开始每列首尾串接形成的向量；vec(T)'为vec(T)的转置；vec(R)'为vec(R)的转置。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是：所述正则项可采用曲率正则项(Curvature Regularization)：
Figure BDA0002936265220000131
式中，u(x)为位移场作用在点x上的位移，Δu(x)表示点x上位移u(x)的变化量，x表示图像中的像素。
其它步骤及参数与具体实施方式一至七之一相同。
所述参数化图像配准方法可采用仿射变换(Affine Transformation)：
仿射变换的矩阵表达式如下：
Figure BDA0002936265220000132
式中，
Figure BDA0002936265220000133
为变化前图像上一点的坐标，
Figure BDA0002936265220000134
为变换矩阵，通过设置变换矩阵的参数可以实现平移、缩放、旋转、翻转以及错切这五种变化，初始变换矩阵为
Figure BDA0002936265220000135
Figure BDA0002936265220000136
为变化后图像上一点的坐标。
采用以下实施例验证本发明的有益效果：
本发明的效果可通过以下实验来进一步说明：
为了验证本发明所提出的方法的优越性，针对一组多光谱数据与点云数据进行了验证。数据来源为IEEE 2012Data Fusion Contest所使用的San Francisco Bay的点云数据以及WorldView-2 8波段多光谱图像(Coastal Blue：427.3nm，Blue：477.9nm，Green：546.2nm，Yellow：607.8nm，Red：658.8nm，Red Edge：723.7nm，NIR1：832.5nm，NIR2：908.0nm)，分别由USGS以及Digital Globe提供，采集时间分别为2010年6月以及2011年10月9日。点云平均点密度为2.4447point/m2，波长为1064nm；多光谱图像分辨率为2m，两种数据源之间未配准。数据集所使用的投影坐标系为UTM(Universal Transverse Mercatorprojection)坐标系，地理坐标系为WGS84(World Geodetic System-1984 CoordinateSystem)。由于数据原始场景较大，进行处理速度较慢，故截取部分场景进行验证，多光谱图像与点云截取部分场景大小为312m*360m，场景左上角点坐标为(552414,4180188)。图2a、图2b、图2c、图2d、图2e、图2f、图2g、图2h为插值后八波段的多光谱图像，根据波长由小到大将各波段多光谱图像设置为T1至T8；图3a为截取区域点云，图3b为经预处理的截取区域点云栅格图像R，分辨率设置为1m；多光谱图像大部分场景与点云栅格图像R相同但未与其配准，存在角度以及地理位置的差别。两种数据均已经过预处理。
首先以多光谱图像T8为例，对其分别进行以T1为基准模板图像的PIR，以T1为基准模板图像的NPIR，JPIR以及JNPIR，得到的配准结果见图4a、4b、4c、4d，配准结果所对应的差值图像见图5a、5b、5c、5d、5e。比较图4a、4b、4c、4d中所有配准结果与点云栅格图像图3b，以及比较图5a、5b、5c、5d、5e中由配准结果所得差值图像图5b—图5d和配准前的T8与R差值图像图5a，可以看出这四种方法均有明显的配准效果；对比图4a与图4c，以及图5b与图5d，可看出在进行PIR与JPIR后，两者所获得的结果差别并不明显；对比图4a与图4b以及图4c与图4d，可看出基于非参数的图像配准效果要大大优于基于参数的图像配准效果，基于非参数的图像配准结果更接近于如图3b的点云栅格图像R；同时比较图5b与图5c，可看到NPIR得到的差值图像中浅白色区域较PIR差值反转图像更大，即NPIR配准完成后的结果与R的差别较PIR更小；对比图4b与图4d以及图5c与图5e，两者所获得结果都与点云栅格图像R差别较小，但是通过仔细观察图像细节可以发现，JNPIR配准后的图像比NPIR配准后的图像更接近于R，且JNPIR得到的差值反转图像中浅白色区域较NPIR的差值反转图像更大。由上分析可知，对于作用在T8上的四种配准方法，配准效果排序为JNPIR>NPIR>JPIR≈PIR。
采用四种方法对实验数据进行处理得到的差异度diff与差值图像均值μ分别见表1与表2；以T4作为基准模板图像，对所有波段进行NPIR与JNPIR得到配准结果见图6a1、6a2、6a3、6a4、6a5、6a6、6a7、6a8、6b1、6b2、6b3、6b4、6b5、6b6、6b7、6b8与图7a1、7a2、7a3、7a4、7a5、7a6、7a7、7a8、7b1、7b2、7b3、7b4、7b5、7b6、7b7、7b8。分析表1与表2中的数据可知，当采用同一基准模板图像时，对于各配准图像采用NPIR方法得到的结果要明显优于PIR的结果；同样，JNPIR得到的结果相较于JPIR结果有更好的技术指标；比较两表中PIR与JPIR的结果，以及对比两者的总体评价指标可知，两者结果间没有显著差别；比较某一基准模板图像下NPIR结果指标与JNPIR结果指标可以看出，虽然在少数波段上JNPIR的配准结果指标与NPIR的结果相比较差，但是在大多数波段上JNPIR配准结果指标较NPIR的配准结果指标有明显的改善：例如将图6a1、6a2、6a3、6a4、6a5、6a6、6a7、6a8、6b1、6b2、6b3、6b4、6b5、6b6、6b7、6b8与图7a1、7a2、7a3、7a4、7a5、7a6、7a7、7a8、7b1、7b2、7b3、7b4、7b5、7b6、7b7、7b8中以T4为基准模板图像进行NPIR所得到的配准结果和差值图像与JNPIR得到的配准结果和差值图像相比较，同时结合表1与表2相对应的技术指标，可以看出相较于NPIR，JNPIR在T1、T2、T5、T7与T8上配准效果均有所提升，并且在T2、T7与T8下的配准结果提升显著，这点也能从图7a2、7a7、7a8与图7b2、7b7、7b8的比较中直观地感受出来；比较JNPIR与其他配准方法的总体评估指标，可以看出JNPIR具有更好的效果。
综上所述，本发明所提出的一种基于多波段联合优化的多/高光谱图像与LiDAR点云空间配准方法较一般的配准方法有较好的性能提升效果。
表1采用四种方法对图像进行配准后得到的差异度diff结果(％)
Figure BDA0002936265220000151
表2采用四种方法对图像进行配准后得到的差值图像灰度均值结果
Figure BDA0002936265220000161
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种多/高光谱图像与LiDAR点云空间配准及性能评估方法，其特征在于：所述方法具体过程为：
步骤一：分别对多/高光谱图像和激光雷达数据进行预处理；
步骤二：采用基于多波段联合优化的非参数图像配准方法对所有波段多/高光谱图像与点云栅格图像同时进行配准；
步骤三、对步骤二获得的配准结果进行性能评估。
2.根据权利要求1所述一种多/高光谱图像与LiDAR点云空间配准及性能评估方法，其特征在于：所述步骤一中分别对多/高光谱图像和激光雷达数据进行预处理；具体过程为：
对多/高光谱图像进行辐射校正、正射校正，得到校正后的多/高光谱图像；
对激光雷达数据进行滤波处理，以及栅格化得到点云强度栅格图像；
将校正后的多/高光谱图像和点云强度栅格图像的强度值映射至0-255；
记校正后的多/高光谱图像分辨率为res1，点云强度栅格图像分辨率为res2，且有res1＜res2；
对校正后的多/高光谱图像进行插值处理使校正后的多/高光谱图像分辨率res1与点云强度栅格图像分辨率res2相等；
设置2-D网格Ω，网格长为a，宽为b，网格大小为a×b，网格中每一格代表一个像素，网格中每一格的分辨率为res2；
以网格Ω对校正后的多/高光谱图像进行采样，并将采样结果记为模板图像Tn(n＝1,2,...,N)；
其中，N为校正后的多/高光谱图像总的波段数，n代表第n个波段；
以网格Ω对点云强度栅格图像进行采样，并将采样结果记为参考图像R；
因均以Ω进行采样，故R与Tn尺寸相同；
将R与Tn上某一点x赋值为灰度值R(x)以及Tn(x)。
3.根据权利要求2所述一种多/高光谱图像与LiDAR点云空间配准及性能评估方法，其特征在于：所述插值处理采用两点样条插值，设(x,y)为待求像素坐标，离(x,y)最近的一点为(i,j)；设在此坐标平面上，点(x,y)的灰度值为f(x,y)；
插值处理结果f(x,y)的求解过程为：
定义插值函数S(a)如下：
Figure FDA0002936265210000021
式中，a为插值函数的距离变量；
设点(x,y)的灰度值f(x,y)由下式求得：
Figure FDA0002936265210000022
式中，(i,j)是待插值图像中离(x,y)最近的一点的坐标，u为x-i，即为x方向距离差，v为y-j，即为y方向距离差；A为y方向插值系数矩阵，B为待插值图像中点(i,j)附近的像素值矩阵；C为x方向插值系数矩阵。
4.根据权利要求3所述一种多/高光谱图像与LiDAR点云空间配准及性能评估方法，其特征在于：所述
Figure FDA0002936265210000023
Figure FDA0002936265210000024
Figure FDA0002936265210000025
式中，S(v)是将y方向距离v带入插值函数S(a)得到的插值权重；S(u)是将x方向距离u带入插值函数S(a)得到的插值权重；f(i,j)是待插值图像中点(i,j)的像素值。
5.根据权利要求4所述一种多/高光谱图像与LiDAR点云空间配准及性能评估方法，其特征在于：所述步骤二中采用基于多波段联合优化的非参数图像配准方法对所有波段多/高光谱图像与点云栅格图像同时进行配准；具体过程为：
步骤二一、建立多波段联合优化的非参数图像配准的目标函数，对所有波段多/高光谱图像与点云栅格图像R进行基于多波段联合优化的非参数图像配准，配准过程建模为优化如下目标函数：
Figure FDA0002936265210000031
Figure FDA0002936265210000032
α＞0
式中，
Figure FDA0002936265210000033
为基于多波段联合优化的非参数图像配准目标函数；M为总波段数，Tm为第m波段的多/高光谱模板图像；βm为第m个波段目标函数的加权系数；Dm为第m个波段多/高光谱模板图像Tm与点云强度栅格图像R的相似性度量；
Figure FDA0002936265210000034
为正则项；α为惩罚参数；
步骤二二、采用优化算法对目标函数
Figure FDA0002936265210000035
进行优化得到全局极小值，记作
Figure FDA0002936265210000036
将
Figure FDA0002936265210000037
作用到所有波段的多/高光谱图像上，实现多/高光谱模板图像与点云强度栅格图像的非参数图像配准。
6.根据权利要求5所述一种多/高光谱图像与LiDAR点云空间配准及性能评估方法，其特征在于：所述步骤三中对步骤二获得的配准结果进行性能评估；具体实施步骤如下：
步骤三一、计算配准结果的差值图像以及差值图像均值；
差值图像为两幅图像作差所获得的图像，设差值图像为P(a,b)，其定义如下：
P(a,b)＝T(a,b)-R(a,b)
其中，(a,b)为图像上一点的坐标，T为配准完成后的模板图像，R为点云强度栅格图像，即参考图像；对差值图像取反，取反操作定义如下：
V(a,b)＝255-P(a,b)
多波段联合优化配准方法的差值图像均值μmethod,m定义如下：
Figure FDA0002936265210000038
其中，A×B表示图像大小；method表示所使用的多波段配准方法，为基于多波段联合优化的非参数化图像配准方法；m代表第m波段多/高光谱图像；
定义多波段联合优化方法的灰度均值总体评估如下：
Figure FDA0002936265210000039
步骤三二、计算配准结果与原始图像的差异度；
采用目标函数J来评价多/高光谱图像T与点云强度栅格图像R间相似程度；
定义多波段联合优化方法的差异度diffmethod,m如下：
Figure FDA0002936265210000041
其中，method表示所使用的多波段配准方法，为基于多波段联合优化的非参数化图像配准方法；Jend,method,m代表采用基于多波段联合优化的非参数化图像配准方法对多/高光谱图像与点云栅格图像R进行配准得到变换关系式
Figure FDA0002936265210000042
并将
Figure FDA0002936265210000043
作用于多/高光谱图像Tm后所得到的目标函数值；J0,m代表配准前多/高光谱图像Tm与点云栅格图像所对应的目标函数值；
定义多波段联合优化方法的差异度总体评估diffmethod,all如下：
Figure FDA0002936265210000044
其中，method表示所使用的多波段配准方法，为基于多波段联合优化的非参数化图像配准方法。
7.根据权利要求6所述一种多/高光谱图像与LiDAR点云空间配准及性能评估方法，其特征在于：所述相似性度量采用如下几种：
1)距离平方和SSD
2)互信息MI：
Figure FDA0002936265210000045
其中，ρT和ρR分别代表T和R的边缘灰度概率密度函数，而ρT,R(x,y)则代表模板图像T和参考图像R的联合灰度概率密度函数，各项定义如下：
Figure FDA0002936265210000046
Figure FDA0002936265210000047
Figure FDA0002936265210000048
其中，h(a,b)为两者的联合灰度直方图，定义为如下矩阵：
Figure FDA0002936265210000051
其中，图像T的灰度范围为0到M-1，图像R的灰度范围为0到N-1；
3)归一化梯度场NGF：
DNGF[T,R]＝1-((NGF(T,λ))′NGF(R,λ))2
Figure FDA0002936265210000052
其中，η为灰度阈值；NGF(T,λ)为对于图像I的NGF函数值；NGF(R,λ)为对于图像I的NGF函数值；NGF(I,λ)为对于图像I的NGF函数值；
Figure FDA0002936265210000053
表示图像I的梯度；λ为灰度阈值，λ＞0；vec(I)为图像I的像素矩阵从第一列开始每列首尾串接形成的向量；
(NGF(T,λ))′为NGF(T,λ)的转置；图像I为图像T或图像R；
4)归一化互相关NCC：
Figure FDA0002936265210000054
其中，vec(T)为图像T的像素矩阵从第一列开始每列首尾串接形成的向量；vec(R)为图像R的像素矩阵从第一列开始每列首尾串接形成的向量；vec(T)'为vec(T)的转置；vec(R)'为vec(R)的转置。
8.根据权利要求7所述一种多/高光谱图像与LiDAR点云空间配准及性能评估方法，其特征在于：所述正则项采用曲率正则项：
Figure FDA0002936265210000055
式中，u(x)为位移场作用在点x上的位移，Δu(x)表示点x上位移u(x)的变化量，x表示图像中的像素。
CN202110168223.9A 2021-02-05 2021-02-05 一种多/高光谱图像与LiDAR点云空间配准及性能评估方法 Active CN112819868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110168223.9A CN112819868B (zh) 2021-02-05 2021-02-05 一种多/高光谱图像与LiDAR点云空间配准及性能评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110168223.9A CN112819868B (zh) 2021-02-05 2021-02-05 一种多/高光谱图像与LiDAR点云空间配准及性能评估方法

Publications (2)

Publication Number Publication Date
CN112819868A true CN112819868A (zh) 2021-05-18
CN112819868B CN112819868B (zh) 2022-03-04

Family

ID=75862243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110168223.9A Active CN112819868B (zh) 2021-02-05 2021-02-05 一种多/高光谱图像与LiDAR点云空间配准及性能评估方法

Country Status (1)

Country Link
CN (1) CN112819868B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114813587A (zh) * 2022-05-23 2022-07-29 西南大学 一种花椒树冠层氮浓度无损诊断方法
CN115082527A (zh) * 2022-06-16 2022-09-20 哈尔滨工业大学 参考点云配准方法及装置、高精度点云配准评估方法及装置
CN115222787A (zh) * 2022-09-20 2022-10-21 天津中科智能技术研究院有限公司 基于混合检索的实时点云配准方法
CN115755978A (zh) * 2022-12-08 2023-03-07 贵州省山地资源研究所 一种基于多旋翼无人机的矿区排水沟渠快速智能巡查方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188878A1 (en) * 2010-07-20 2013-07-25 Lockheed Martin Corporation Image analysis systems having image sharpening capabilities and methods using same
CN103297776A (zh) * 2013-05-17 2013-09-11 西安电子科技大学 星上未配准多光谱图像无损/有损编码系统与方法
CN108629835A (zh) * 2017-03-20 2018-10-09 哈尔滨工业大学 基于高光谱、真彩图与点云互补的室内重建方法及系统
CN108961325A (zh) * 2018-06-13 2018-12-07 中国科学院光电研究院 多/高光谱遥感图像波段间配准方法
CN109118429A (zh) * 2018-08-02 2019-01-01 武汉大学 一种中波红外-可见光多光谱影像快速生成方法
CN109300148A (zh) * 2018-09-19 2019-02-01 西北工业大学 基于方法协同的多源图像配准方法
CN109492563A (zh) * 2018-10-30 2019-03-19 深圳大学 一种基于无人机高光谱影像和LiDAR点云的树种分类方法
CN110427857A (zh) * 2019-07-26 2019-11-08 国网湖北省电力有限公司检修公司 一种基于遥感数据融合的输电线路地质灾害分析方法
CN111638185A (zh) * 2020-05-09 2020-09-08 哈尔滨工业大学 基于无人机平台的遥感探测方法
CN111932592A (zh) * 2020-03-26 2020-11-13 中国科学院空天信息创新研究院 一种分视场滤光片型多光谱影像数据的处理方法
CN112130169A (zh) * 2020-09-23 2020-12-25 广东工业大学 一种激光雷达数据和高光谱图像的点云级融合方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188878A1 (en) * 2010-07-20 2013-07-25 Lockheed Martin Corporation Image analysis systems having image sharpening capabilities and methods using same
CN103297776A (zh) * 2013-05-17 2013-09-11 西安电子科技大学 星上未配准多光谱图像无损/有损编码系统与方法
CN108629835A (zh) * 2017-03-20 2018-10-09 哈尔滨工业大学 基于高光谱、真彩图与点云互补的室内重建方法及系统
CN108961325A (zh) * 2018-06-13 2018-12-07 中国科学院光电研究院 多/高光谱遥感图像波段间配准方法
CN109118429A (zh) * 2018-08-02 2019-01-01 武汉大学 一种中波红外-可见光多光谱影像快速生成方法
CN109300148A (zh) * 2018-09-19 2019-02-01 西北工业大学 基于方法协同的多源图像配准方法
CN109492563A (zh) * 2018-10-30 2019-03-19 深圳大学 一种基于无人机高光谱影像和LiDAR点云的树种分类方法
CN110427857A (zh) * 2019-07-26 2019-11-08 国网湖北省电力有限公司检修公司 一种基于遥感数据融合的输电线路地质灾害分析方法
CN111932592A (zh) * 2020-03-26 2020-11-13 中国科学院空天信息创新研究院 一种分视场滤光片型多光谱影像数据的处理方法
CN111638185A (zh) * 2020-05-09 2020-09-08 哈尔滨工业大学 基于无人机平台的遥感探测方法
CN112130169A (zh) * 2020-09-23 2020-12-25 广东工业大学 一种激光雷达数据和高光谱图像的点云级融合方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GU YANFENG ET AL: "" UAV-based integrated multispectral-LiDAR imaging system and data processing"", 《SCIENCE CHINA TECHNOLOGICAL SCIENCES》 *
向润梓: ""无人机激光雷达数据预处理技术研究"", 《中国优秀博硕士学位论文全文数据库(硕士)基础科学辑》 *
向润梓等: ""基于多波段联合优化的多光谱图像和 LiDAR 点云非参数配准方法研究"", 《第五届全国激光雷达大会》 *
王青旺: ""多_高光谱图像和LiDAR数据联合分类方法研究"", 《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅱ辑》 *
蒲体信等: "《遥感技术在土地利用调查与检测中的应用》", 30 June 2005 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114813587A (zh) * 2022-05-23 2022-07-29 西南大学 一种花椒树冠层氮浓度无损诊断方法
CN115082527A (zh) * 2022-06-16 2022-09-20 哈尔滨工业大学 参考点云配准方法及装置、高精度点云配准评估方法及装置
CN115222787A (zh) * 2022-09-20 2022-10-21 天津中科智能技术研究院有限公司 基于混合检索的实时点云配准方法
CN115222787B (zh) * 2022-09-20 2023-01-10 宜科(天津)电子有限公司 基于混合检索的实时点云配准方法
CN115755978A (zh) * 2022-12-08 2023-03-07 贵州省山地资源研究所 一种基于多旋翼无人机的矿区排水沟渠快速智能巡查方法

Also Published As

Publication number Publication date
CN112819868B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN112819868B (zh) 一种多/高光谱图像与LiDAR点云空间配准及性能评估方法
Feng et al. Robust registration for remote sensing images by combining and localizing feature-and area-based methods
CN111788602B (zh) 点云去噪系统和方法
Qiu et al. Deeplidar: Deep surface normal guided depth prediction for outdoor scene from sparse lidar data and single color image
CN113111974B (zh) 基于深度典型相关分析的视觉-激光雷达融合方法及系统
CN114708585B (zh) 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
JP6586430B2 (ja) 車両位置の推定
CN110378931A (zh) 一种基于多摄像头的行人目标移动轨迹获取方法及系统
AU2013213659B2 (en) Method and system for using fingerprints to track moving objects in video
US10373339B2 (en) Hyperspectral scene analysis via structure from motion
CN105976310A (zh) 一种基于分块的vca端元提取方法
CN105976377B (zh) 车载鱼眼摄像头自标定的方法
Ma et al. An operational superresolution approach for multi-temporal and multi-angle remotely sensed imagery
Eismann et al. Airborne hyperspectral detection of small changes
Zhou et al. Adapting semantic segmentation models for changes in illumination and camera perspective
CN114299405A (zh) 一种无人机图像实时目标检测方法
CN115019043A (zh) 基于交叉注意力机制的图像点云融合三维目标检测方法
Yilmaz et al. Fusion of very high-resolution UAV images with criteria-based image fusion algorithm
Nguyen et al. Hyperspectral image unmixing using manifold learning methods derivations and comparative tests
Jhan et al. A generalized tool for accurate and efficient image registration of UAV multi-lens multispectral cameras by N-SURF matching
CN115170810A (zh) 一种可见光红外图像融合目标检测实例分割方法
Zhang et al. Guided hyperspectral image denoising with realistic data
Meng et al. Improving the spatial resolution of hyperspectral image using panchromatic and multispectral images: An integrated method
US7433540B1 (en) Decomposing natural image sequences
Jindal et al. An ensemble mosaicing and ridgelet based fusion technique for underwater panoramic image reconstruction and its refinement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant