CN117872390A - 图像融合方法、高光谱激光雷达传感器及系统 - Google Patents

Abstract

本申请涉及高光谱激光雷达技术领域，提供一种图像融合方法、高光谱激光雷达传感器及系统。所述方法包括：利用GPS的原子钟时间校准激光扫描仪、光谱仪和惯性测量单元IMU的时间；控制激光扫描仪对探测区域进行扫描成像，得到三维点云图像，并控制激光扫描仪触发光谱仪对探测区域进行光谱成像，得到高光谱图像；控制GPS和IMU采集信号，得到GPS信号和IMU信号；将三维点云图像、高光谱图像、GPS信号和IMU信号发送至图像处理设备，以供图像处理设备基于GPS信号和IMU信号对三维点云图像和高光谱图像进行融合。本申请图像融合方法可以最大限度地消除高光谱图像和三维点云图像之间的几何误差，从而提高两图像的融合精度。

Description

图像融合方法、高光谱激光雷达传感器及系统

技术领域

本申请涉及高光谱激光雷达技术领域，具体涉及一种图像融合方法、高光谱激光雷达传感器及系统。

背景技术

高光谱激光雷达设备由于能够获取目标物的高光谱图像和三维点云图像等多种数据信息，因此在地质领域、海洋领域、农业领域等许多领域都有广泛的应用。

在高光谱激光雷达设备获取到目标物的高光谱图像和三维点云图像之后，还需要通过外部设备对高光谱图像和三维点云图像进行融合，以对目标物的多种数据信息进行综合分析，实现对目标物的精准探测和解析。

由于高光谱图像和三维点云图像是由高光谱激光雷达设备中的光谱仪和激光扫描仪分别进行数据采集形成，而一方面，光谱仪和激光扫描仪成像时刻不同步，导致两者成像位置姿态不同，从而使得得到的高光谱图像和三维点云图像之间存在较大的几何误差；另一方面，现有的高光谱激光雷达设备中，光谱仪和激光扫描仪分别采用各自的POS确定各自的位置姿态，但两个POS之间也存在数据误差，在利用这两个POS的数据分别对高光谱图像和三维点云图像进行处理时，会进一步增加高光谱图像和三维点云图像之间的几何误差，传统的图像融合方法主要是对高光谱图像和三维点云图像进行几何配准等后处理，但现有的几何配准技术无法消除以上几何误差，从而导致高光谱图像和三维点云图像的融合精度较差。

发明内容

本申请实施例提供一种图像融合方法、高光谱激光雷达传感器及系统，用以解决传统的图像融合方法无法消除高光谱图像和三维点云图像之间的几何误差，从而导致高光谱图像和三维点云图像的融合精度较差的技术问题。

第一方面，本申请实施例提供一种图像融合方法，应用于高光谱激光雷达传感器的微控制器，包括：

利用GPS的原子钟时间校准激光扫描仪、光谱仪和惯性测量单元IMU的时间；

控制所述激光扫描仪对探测区域进行扫描成像，得到三维点云图像，并控制所述激光扫描仪触发所述光谱仪对所述探测区域进行光谱成像，得到高光谱图像；所述光谱仪的成像时刻是根据所述激光扫描仪的触发时刻确定得到的；

控制所述GPS和所述IMU采集信号，得到GPS信号和IMU信号；

将所述三维点云图像、所述高光谱图像、所述GPS信号和所述IMU信号发送至所述高光谱激光雷达传感器之外的图像处理设备，以供所述图像处理设备基于所述GPS信号和所述IMU信号对所述三维点云图像和所述高光谱图像进行融合；

所述高光谱激光雷达传感器包括所述激光扫描仪、所述光谱仪、所述GPS和所述IMU。

在一个实施例中，所述光谱仪的成像时刻，是根据光谱波段的曝光时长和所述激光扫描仪的触发时刻确定得到的。

在一个实施例中，所述利用GPS的原子钟时间校准激光扫描仪、光谱仪和惯性测量单元IMU的时间之前，包括：

对所述激光扫描仪和所述光谱仪的内部结构进行调整；

对所述激光扫描仪和所述光谱仪的内参进行定标和校验；

对所述激光扫描仪、所述光谱仪、所述GPS和所述IMU的外参进行定标和校验。

在一个实施例中，所述对所述激光扫描仪、所述光谱仪、所述GPS和所述IMU的外参进行定标和校验，包括：

室内静态测量所述激光扫描仪的中心位置、所述光谱仪的中心位置、所述GPS的中心位置和所述IMU的中心位置中，两两中心位置之间的旋转参数和平移参数，得到第一旋转参数和第一平移参数；

所述高光谱激光雷达传感器在室外飞行定标校验场移动时，动态测量所述激光扫描仪的中心位置、所述光谱仪的中心位置、所述GPS的中心位置和所述IMU的中心位置中，两两中心位置之间的旋转参数和平移参数，得到第二旋转参数和第二平移参数；

根据所述第一旋转参数、所述第一平移参数、所述第二旋转参数、所述第二平移参数和所述室外飞行定标校验场的控制点坐标，对所述激光扫描仪的中心位置、所述光谱仪的中心位置、所述GPS的中心位置和所述IMU的中心位置进行解算和修正。

第二方面，本申请实施例提供一种图像融合方法，应用于高光谱激光雷达传感器之外的图像处理设备，包括：

接收微控制器发送的三维点云图像、高光谱图像、GPS信号和IMU信号；

基于所述GPS信号和所述IMU信号对所述三维点云图像和所述高光谱图像进行融合；

所述三维点云图像是所述微控制器控制激光扫描仪对探测区域进行扫描成像得到的，所述高光谱图像是所述微控制器控制所述激光扫描仪触发光谱仪对所述探测区域进行光谱成像得到的，所述GPS信号是所述微控制器控制GPS采集得到的，所述IMU信号是所述微控制器控制IMU采集得到的，所述光谱仪的成像时刻是根据所述激光扫描仪的触发时刻确定得到的；

所述高光谱激光雷达传感器包括所述激光扫描仪、所述光谱仪、所述GPS和所述IMU。

在一个实施例中，所述基于所述GPS信号和所述IMU信号对所述三维点云图像和所述高光谱图像进行融合，包括：

利用所述激光扫描仪在成像时刻的第一POS轨迹对所述三维点云图像进行解算，得到解算后图像；

利用所述光谱仪在成像时刻的第二POS轨迹对所述高光谱图像进行几何处理，得到处理后图像；所述第一POS轨迹和所述第二POS轨迹来自同一定位定姿系统POS数据源，所述POS数据源是基于所述GPS信号和所述IMU信号确定得到的；

将所述解算后图像和所述处理后图像进行融合。

在一个实施例中，所述POS数据源，是基于以下方式确定得到：

基于所述GPS信号和所述IMU信号，确定所述高光谱激光雷达传感器在所述探测区域移动的POS轨迹；

将所述高光谱激光雷达传感器在所述探测区域移动的POS轨迹确定为POS数据源。

第三方面，本申请实施例提供一种高光谱激光雷达传感器，包括：微控制器、激光扫描仪、光谱仪、GPS和IMU；

所述微控制器用于：

利用所述GPS的原子钟时间校准所述激光扫描仪、所述光谱仪和所述IMU的时间；

控制所述激光扫描仪对探测区域进行扫描成像，得到三维点云图像，并控制所述激光扫描仪触发所述光谱仪对所述探测区域进行光谱成像，得到高光谱图像；所述光谱仪的成像时刻是根据所述激光扫描仪的触发时刻确定得到的；

控制所述GPS和所述IMU采集信号，得到GPS信号和IMU信号；

将所述三维点云图像、所述高光谱图像、所述GPS信号和所述IMU信号发送至高光谱激光雷达传感器之外的图像处理设备，以供所述图像处理设备基于所述GPS信号和所述IMU信号对所述三维点云图像和所述高光谱图像进行融合。

在一个实施例中，所述激光扫描仪是测绘级激光扫描仪；

所述光谱仪是凝视面阵型成像高光谱仪；

所述光谱仪的光谱分辨率低于8纳米；

所述光谱仪的光谱成像波段包括531纳米附近的波段、570纳米附近的波段、540纳米至570纳米之间分布的波段、670纳米至780纳米之间分布的波段、620纳米至670纳米之间分布的波段、780纳米至860纳米之间分布的波段和865纳米附近波段。

第四方面，本申请实施例提供一种高光谱激光雷达系统，包括：图像处理设备和第三方面所述的高光谱激光雷达传感器；

所述图像处理设备用于：

接收微控制器发送的三维点云图像、高光谱图像、GPS信号和IMU信号；

基于所述GPS信号和所述IMU信号对所述三维点云图像和所述高光谱图像进行融合。

本申请提供的图像融合方法，利用GPS的原子钟时间校准激光扫描仪、光谱仪和惯性测量单元IMU的时间，控制激光扫描仪对探测区域进行扫描成像，得到三维点云图像，并控制激光扫描仪触发光谱仪对探测区域进行光谱成像，得到高光谱图像，控制GPS和IMU采集信号，得到GPS信号和IMU信号，将三维点云图像、高光谱图像、GPS信号和IMU信号发送至高光谱激光雷达传感器之外的图像处理设备，以供图像处理设备基于GPS信号和IMU信号对三维点云图像和高光谱图像进行融合，高光谱激光雷达传感器包括激光扫描仪、光谱仪、GPS和IMU。本申请先利用GPS的原子钟时间校准高光谱激光雷达传感器其他器件的时间，使整个传感器的时间与纳秒级的GPS时间同步，确保传感器的时间准确度，再通过激光扫描仪触发光谱仪成像，且根据激光扫描仪的触发时刻确定得到光谱仪的成像时刻，提高激光扫描仪的成像时刻与光谱仪的成像时刻的同步性，避免激光扫描仪和光谱仪成像位置姿态不同导致高光谱图像和三维点云图像之间产生几何误差，同时，激光扫描仪和光谱仪共用同一个GPS信号和IMU信号，即共用同一POS数据源，在后续利用外部图像处理设备进行图像融合时，避免采用不同的POS数据源对高光谱图像和三维点云图像进行处理导致两者之间产生几何误差，以上步骤层层递进，最大限度地消除高光谱图像和三维点云图像之间的几何误差，从而提高高光谱图像和三维点云图像的融合精度。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像融合方法的流程示意图之一；

图2是本申请实施例提供的图像融合方法的控制逻辑图；

图3是本申请实施例提供的图像融合方法中光谱仪成像时刻示意图；

图4是本申请实施例提供的图像融合方法的流程示意图之二；

图5是本申请实施例提供的图像融合方法的流程示意图之三；

图6是本申请实施例提供的图像融合方法的流程示意图之四；

图7是本申请实施例提供的图像融合方法的流程示意图之五；

图8是本申请实施例提供的图像融合方法的POS数据源共用机制图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，在本申请实施例的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

图1是本申请实施例提供的图像融合方法的流程示意图之一；

图2是本申请实施例提供的图像融合方法的控制逻辑图；

参照图1至图2，本申请实施例提供一种图像融合方法，应用于高光谱激光雷达传感器的微控制器，可以包括：

101、利用GPS的原子钟时间校准激光扫描仪、光谱仪和惯性测量单元IMU的时间；

102、控制激光扫描仪对探测区域进行扫描成像，得到三维点云图像，并控制激光扫描仪触发光谱仪对探测区域进行光谱成像，得到高光谱图像；

光谱仪的成像时刻是根据激光扫描仪的触发时刻确定得到的；

103、控制GPS和IMU采集信号，得到GPS信号和IMU信号；

104、将三维点云图像、高光谱图像、GPS信号和IMU信号发送至高光谱激光雷达传感器之外的图像处理设备，以供图像处理设备基于GPS信号和IMU信号对三维点云图像和高光谱图像进行融合。

高光谱激光雷达传感器包括激光扫描仪、光谱仪、GPS和IMU。

步骤101中，以GPS发出的PPS（Pulse Per Second，每秒脉冲）为触发信号，每隔一秒用GPS天线收到的GPS时间信息数据，例如NMEA（National Marine ElectronicsAssociation，国家海洋电子协会）数据，来不断校准其他器件的时间系统，让传感器整体与纳秒级的GPS时间同步，确保整个传感器的时间准确度始终保持在纳秒级。

步骤102中，在控制激光扫描仪对探测区域进行扫描成像的同时，控制激光扫描仪触发光谱仪对探测区域进行光谱成像，并根据激光扫描仪的触发时刻确定得到光谱仪的成像时刻，以提高激光扫描仪与光谱仪之间的成像时刻同步性。与传统的采用GPS的PPS信号触发光谱仪的方式不同，本实施例采用激光扫描仪来触发光谱仪，即控制激光扫描仪发出硬件脉冲，光谱仪检测并识别脉冲下降沿信号，开始进行光谱成像。

需要说明的是，由于激光扫描仪的扫描频率通常较高，因此激光扫描仪扫描成像的频率通常远大于光谱仪的光谱成像频率，即在相同时间段内，激光扫描仪的成像时刻的数量要远多于光谱仪光谱的成像时刻的数量，本实施例中，激光扫描仪与光谱仪之间成像时刻的同步，并非是激光扫描仪的成像时刻与光谱仪的成像时刻完全一一对应，而是在相同时间段内的每一个相同的成像时刻，激光扫描仪和光谱仪均同时进行了成像。例如，激光扫描仪在时间段T内进行了5次扫描成像，则分别对应5个成像时刻，假设为T1时刻、T2时刻、T3时刻、T4时刻和T5时刻，光谱仪在同样的时间段T内进行了3次光谱成像，则分别对应3个成像时刻，若这3个成像时刻是T1时刻、T2时刻、T3时刻、T4时刻和T5时刻中任意3个成像时刻，例如T2时刻、T3时刻和T5时刻，则可以确定激光扫描仪与光谱仪之间的成像时刻是同步的。

在实际应用中，步骤102和步骤103之间没有严格的时序关系；即，可同时执行，或任一步骤先执行，具体根据实际需求而定，此处不做限定。

作物表型信息的高通量感知和高精度融合是服务智慧育种的核心技术之一，其对于提高育种效率、加速新品种选育、应对气候变化等具有重要意义。

作物表型信息通常包括结构信息和光谱信息，传统方法中，结构信息是通过激光扫描仪获取，光谱信息是通过光谱仪获取，则在结构信息（即三维点云图像信息）与光谱信息（即高光谱图像信息）的融合时，会由于激光扫描仪和光谱仪成像时刻不同步、POS数据源不同等导致三维点云图像和高光谱图像之间的几何误差，从而影响融合精度，难以对作物生长情况进行综合分析。本实施例方法则可以运用于作物表型信息的高精度融合。

本实施例提供的图像融合方法，利用GPS的原子钟时间校准激光扫描仪、光谱仪和惯性测量单元IMU的时间，控制激光扫描仪对探测区域进行扫描成像，得到三维点云图像，并控制激光扫描仪触发光谱仪对探测区域进行光谱成像，得到高光谱图像，控制GPS和IMU采集信号，得到GPS信号和IMU信号，将三维点云图像、高光谱图像、GPS信号和IMU信号发送至高光谱激光雷达传感器之外的图像处理设备，以供图像处理设备基于GPS信号和IMU信号对三维点云图像和高光谱图像进行融合，高光谱激光雷达传感器包括激光扫描仪、光谱仪、GPS和IMU。本实施例先利用GPS的原子钟时间校准高光谱激光雷达传感器其他器件的时间，使整个传感器的时间与纳秒级的GPS时间同步，确保传感器的时间准确度，再通过激光扫描仪触发光谱仪成像，且根据激光扫描仪的触发时刻确定得到光谱仪的成像时刻，提高激光扫描仪的成像时刻与光谱仪的成像时刻的同步性，避免激光扫描仪和光谱仪成像位置姿态不同导致高光谱图像和三维点云图像之间产生几何误差，同时，激光扫描仪和光谱仪共用同一个GPS信号和IMU信号，即共用同一POS数据源，在后续利用外部图像处理设备进行图像融合时，避免采用不同的POS数据源对高光谱图像和三维点云图像进行处理导致两者之间产生几何误差，以上步骤层层递进，最大限度地消除高光谱图像和三维点云图像之间的几何误差，从而提高高光谱图像和三维点云图像的融合精度。

进一步地，在作物表型信息的融合方面，由于田间作物同名特征少，传统的几何配准难度更大，且过程复杂，本实施例方法从激光扫描仪和光谱仪成像的源头消除几何误差，大大简化后续融合过程，降低融合匹配的难度，有助于后续大范围推广应用。

进一步地，针对激光扫描仪和光谱仪成像时刻不同步的问题，目前的解决方法是单独加装复杂的FPGA（Field Programmable Gate Array，现场可编程逻辑门阵列）芯片等处理单元来实现时间同步，这种方法需要额外增加FPGA芯片，成本较高；或是通过GPS授时模块发出硬件脉冲触发光谱仪成像，来实现与激光扫描仪的时间同步，这种方法对光谱仪要求高，需要其均具备精密时钟或信号回馈功能；或是采用软同步方法，该方法需要依靠激光扫描仪和光谱仪的相对时间关系，虽然成本较低，但精度较差，无法满足移动过程中作物表型信息高速高精度采集需求。本实施例方法不需增加额外的处理芯片或处理单元，也不需要光谱仪具备精密时钟和信号回馈功能，且在GPS的纳秒级原子钟基础上考虑电流等影响后，成像同步精度能够达到微秒级，实现激光扫描仪和光谱仪成像时刻的低成本、低要求、高精度同步，从而提高后续图像融合的精度。

图3是本申请实施例提供的图像融合方法中光谱仪成像时刻示意图；参照图3，在一个实施例中，光谱仪的成像时刻，可以根据光谱波段的曝光时长和激光扫描仪的触发时刻确定得到。

由于光谱仪从收到触发信号，还需经历曝光、成像、存储和传输等过程，也即触发时刻不等于成像时刻，不同光谱仪、不同波段的实际曝光时间不同。假设触发时刻为t0，可见光波段曝光时长为t1，近红外波段的曝光时长为t2，则可见光波段的成像时刻为T_ⅥS= t0+t1/2，近红外波段的成像时刻为T_NIR= t0+t2/2；其中，还需控制IMU对这些时刻进行高频记录。

本实施例能够在纳秒级准确度的GPS时间内，根据光谱波段的曝光时长和激光扫描仪的触发时刻得到光谱仪在不同光谱波段下的不同成像时刻，提高不同光谱波段下成像时刻的准确度。

图4是本申请实施例提供的图像融合方法的流程示意图之二；参照图4，在一个实施例中，利用GPS的原子钟时间校准激光扫描仪、光谱仪和惯性测量单元IMU的时间之前，可以包括：

401、对激光扫描仪和光谱仪的内部结构进行调整；

402、对激光扫描仪和光谱仪的内参进行定标和校验；

403、对激光扫描仪、光谱仪、GPS和IMU的外参进行定标和校验。

步骤401中，可以辅以均匀光源、平行光管、准直光学系统等工具对激光扫描仪和光谱仪的内部结构进行调整。

在激光扫描仪方面，包括对激光扫描仪的光机系统进行装调和成像质量检测、对激光扫描仪的高频电机的旋转中心轴角度进行精调、对激光扫描仪的扫描镜的中心光轴角度进行精调等；

在光谱仪方面，包括对光谱仪的探测器焦平面组件进行装调、对光谱仪的光机系统进行装调和成像质量检测等。

步骤402中，激光扫描仪的内参包括激光光线与实际转轴线的偏离角度和扫描镜轴线与实际转轴线的偏离角度，该实际转轴线是高频电机的实际旋转中心轴线；

光谱仪的内参包括光谱仪的探测器焦平面上水平相邻像素之间的距离、垂直相邻像素之间的距离、光谱仪镜头的径向畸变量级、探测器焦平面上高光谱图像的坐标系原点在像素坐标系中的位置以及光谱仪的焦距；其中，径向畸变量级为负值时，畸变为桶型畸变，径向畸变量级为正值时，畸变为枕型畸变，另外，光谱仪的内参还包括光谱仪镜头的径向畸变参数和切向畸变参数。

步骤403中，激光扫描仪、光谱仪、GPS和IMU的外参分别为各自中心位置与其他三个器件中心位置的相对位置，例如激光扫描仪的外参为激光扫描仪的中心位置与光谱仪中心位置的相对参数、激光扫描仪的中心位置与GPS中心位置的相对参数、激光扫描仪的中心位置与IMU中心位置的相对参数。

高光谱激光雷达传感器各器件在装配过程中，由于器件工艺、安置角度等不能完全满足理想状态，会造成来源于多个器件的数据之间的误差，导致激光扫描仪和光谱仪的成像之间产生几何误差，最终图像融合的误差。

本实施例针对高光谱激光雷达传感器装配过程导致的成像几何误差，采取了一体化整机精密装调、内定标校验、外定标校验等步骤，以保证单一器件和高光谱激光雷达传感器整体的装配绝对精度，进一步提升高光谱图像和三维点云图像的融合精度，使得两个图像之间的几何偏差控制在1个像素左右，无需进行复杂的配准等后处理。

图5是本申请实施例提供的图像融合方法的流程示意图之三；参照图5，在一个实施例中，对激光扫描仪、光谱仪、GPS和IMU的外参进行定标和校验，可以包括：

501、室内静态测量激光扫描仪的中心位置、光谱仪的中心位置、GPS的中心位置和IMU的中心位置中，两两中心位置之间的旋转参数和平移参数，得到第一旋转参数和第一平移参数；

502、高光谱激光雷达传感器在室外飞行定标校验场移动时，动态测量激光扫描仪的中心位置、光谱仪的中心位置、GPS的中心位置和IMU的中心位置中，两两中心位置之间的旋转参数和平移参数，得到第二旋转参数和第二平移参数；

503、根据第一旋转参数、第一平移参数、第二旋转参数、第二平移参数和室外飞行定标校验场的控制点坐标，对激光扫描仪的中心位置、光谱仪的中心位置、GPS的中心位置和IMU的中心位置进行解算和修正。

旋转参数即为两两中心位置相对于Y轴的旋转角度偏差，即俯仰角偏差、两两中心位置相对于X轴的旋转角度偏差，即滚动角偏差以及两两中心位置相对于Z轴的旋转角度偏差，即偏航角偏差；平移参数即为两两中心位置在X轴上的位置偏差、两两中心位置在Y轴上的位置偏差以及两两中心位置在Z轴上的位置偏差。

本实施例结合室内静态参数、室外动态参数和室外控制点参数对高光谱激光雷达传感器的各器件中心位置进行反复解算和修正，使得各器件位置得以准确标定。

图6是本申请实施例提供的图像融合方法的流程示意图之四；参照图6，本申请实施例提供一种图像融合方法，应用于高光谱激光雷达传感器之外的图像处理设备，可以包括：

601、接收微控制器发送的三维点云图像、高光谱图像、GPS信号和IMU信号；

602、基于GPS信号和IMU信号对三维点云图像和高光谱图像进行融合。

三维点云图像是微控制器控制激光扫描仪对探测区域进行扫描成像得到的，高光谱图像是微控制器控制激光扫描仪触发光谱仪对探测区域进行光谱成像得到的，GPS信号是微控制器控制GPS采集得到的，IMU信号是微控制器控制IMU采集得到的，光谱仪的成像时刻是根据激光扫描仪的触发时刻确定得到的；

高光谱激光雷达传感器包括激光扫描仪、光谱仪、GPS和IMU。

本实施例提供的图像融合方法，由于高光谱图像是通过激光扫描仪触发光谱仪成像得到的，且光谱仪的成像时刻是根据激光扫描仪的触发时刻确定得到的，能够提高激光扫描仪的成像时刻与光谱仪的成像时刻的同步性，避免激光扫描仪和光谱仪成像位置姿态不同导致高光谱图像和三维点云图像之间产生几何误差，同时，激光扫描仪和光谱仪共用同一个GPS信号和IMU信号，即共用同一POS数据源，在进行图像融合时，能够避免采用不同的POS数据源对高光谱图像和三维点云图像进行处理导致两者之间产生几何误差，最大限度地消除高光谱图像和三维点云图像之间的几何误差，从而提高高光谱图像和三维点云图像的融合精度。

图7是本申请实施例提供的图像融合方法的流程示意图之五；

图8是本申请实施例提供的图像融合方法的POS数据源共用机制图。

参照图7至图8，在一个实施例中，基于GPS信号和IMU信号对三维点云图像和高光谱图像进行融合，可以包括：

701、利用激光扫描仪在成像时刻的第一POS轨迹对三维点云图像进行解算，得到解算后图像；

702、利用光谱仪在成像时刻的第二POS轨迹对高光谱图像进行几何处理，得到处理后图像；

第一POS轨迹和第二POS轨迹来自同一POS数据源，POS数据源是基于GPS信号和IMU信号确定得到的；

703、将解算后图像和处理后图像进行融合。

步骤701和步骤702中，激光扫描仪和光谱仪共用同一POS数据源，从中获取各自成像时刻的位置姿态，得到各自的POS轨迹，例如激光扫描仪从POS数据源中获取T1时刻、T2时刻、T3时刻、T4时刻和T5时刻自身的位置姿态，得到第一POS轨迹；光谱仪从POS数据源中获取T2时刻、T3时刻和T5时刻自身的位置姿态，得到第二POS轨迹。

在实际应用中，步骤701和步骤702之间没有严格的时序关系；即，可同时执行，或任一步骤先执行，具体根据实际需求而定，此处不做限定。

本实施例中，激光扫描仪与光谱仪从同一POS数据源获取各自成像时刻的POS轨迹，对各自的图像进行处理后融合，能够在成像时刻同步的基础上实现POS数据源统一，提高图像融合精度。

参照图8，在一个实施例中，POS数据源，可以基于以下方式确定得到：

基于GPS信号和IMU信号，确定高光谱激光雷达传感器在探测区域移动的POS轨迹，并将高光谱激光雷达传感器在探测区域移动的POS轨迹确定为POS数据源。

其中，可以对GPS信号和IMU信号进行包括集合卡尔曼滤波、反馈误差控制迭代运算和多向滤波平滑融合在内的算法处理，从而获得高光谱激光雷达传感器更加准确的POS轨迹，其中，各类算法的执行顺序不做限定，GPS信号基于GPS基站得到。

该POS轨迹是高精度POS轨迹，其频率与IMU相同，典型值可以是200赫兹。

本实施例通过对GPS信号和IMU信号进行各种算法处理，能够提高POS轨迹的精度，为后续三维点云图像解算以及高光谱图像几何处理提供高精度的POS数据源。

参照图2，本申请实施例提供一种高光谱激光雷达传感器，可以包括：微控制器、激光扫描仪、光谱仪、GPS和IMU；

微控制器用于：

利用GPS的原子钟时间校准激光扫描仪、光谱仪和IMU的时间；

控制激光扫描仪对探测区域进行扫描成像，得到三维点云图像，并控制激光扫描仪触发光谱仪对探测区域进行光谱成像，得到高光谱图像；光谱仪的成像时刻是根据激光扫描仪的触发时刻确定得到的；

控制GPS和IMU采集信号，得到GPS信号和IMU信号；

将三维点云图像、高光谱图像、GPS信号和IMU信号发送至高光谱激光雷达传感器之外的图像处理设备，以供图像处理设备基于GPS信号和IMU信号对三维点云图像和高光谱图像进行融合。

本实施例的高光谱激光雷达传感器，先利用GPS的原子钟时间校准高光谱激光雷达传感器其他器件的时间，使整个传感器的时间与纳秒级的GPS时间同步，确保传感器的时间准确度，再通过激光扫描仪触发光谱仪成像，且根据激光扫描仪的触发时刻确定得到光谱仪的成像时刻，提高激光扫描仪的成像时刻与光谱仪的成像时刻的同步性，避免激光扫描仪和光谱仪成像位置姿态不同导致高光谱图像和三维点云图像之间产生几何误差，同时，激光扫描仪和光谱仪共用同一个GPS信号和IMU信号，即共用同一POS数据源，在后续利用外部图像处理设备进行图像融合时，避免采用不同的POS数据源对高光谱图像和三维点云图像进行处理导致两者之间产生几何误差，以上步骤层层递进，最大限度地消除高光谱图像和三维点云图像之间的几何误差，从而提高高光谱图像和三维点云图像的融合精度。

在一个实施例中，激光扫描仪是测绘级激光扫描仪，光谱仪是凝视面阵型成像高光谱仪。

此外，还可以在高光谱激光雷达传感器上挂接数码RGB、多光谱、热红外、深度相机等传感器。

其中，微控制器中安装有激光扫描仪控制软件和光谱仪控制软件，激光扫描仪控制软件用于配置激光扫描仪触发光谱仪的脉冲间隔，光谱仪控制软件用于配置光谱仪的成像功能并进行成像数据记录。

现有的激光扫描仪包括车载激光扫描仪和机载激光扫描仪，车载激光扫描仪虽然操作方便、价格便宜，但是其精度较差，一般为厘米级，不适用于作物精细结构的获取；机载激光扫描仪质量小、点云密度高、精度高，但价格昂贵，难以大面积推广使用。本实施例采用的测绘级激光扫描仪，优选性能高的激光收发器、扫描镜等核心部件，确保100米航高测距重复精度优于5毫米，100米航高单航带点云密度不低于200点/平方米，确保能进行田间作物的茎叶分布、植株高度等精细三维表型解析；

现有的高光谱仪分为两种类型，一种是传统的线推扫型，另一种是视频型，线推扫型高光谱仪由于其原理的限制，应用在机载及车载等移动平台时，其高光谱图像会由于振动产生畸变，给后期的图像拼接校正等几何处理造成较大的困难，同时也限制了其获取作物表型通量的大小；而视频型高光谱仪能够在移动平台使用，但却价格昂贵。本实施例采用的凝视面阵型成像高光谱仪，不是线阵推扫的成像高光谱仪，能够高速同步成像，图像几何畸变小，简化了后续的几何处理过程，且无人机无需增加单独的云台进行增稳，成本更低、适用场景更大、实用性更强。

现有的高光谱激光雷达传感器有的不能满足田间作物表型信息高通量高精度获取的需求，有的过于庞大笨重，只适用于室内或大型有人机平台，无法搭载于轻小型无人机和无人车等敏捷型平台。

本实施例的高光谱激光雷达传感器体积较小，且第一方面选用了测绘级激光扫描仪，点云密度是传统激光扫描仪密度的4至6倍，点云精度由传统车规级的高于8厘米中误差提升到测绘级的低于3厘米中误差，为进行作物三维结构表型精细获取和解析提供了可能；第二方面选用了凝视面阵型成像高光谱仪，对无人机等移动平台的振动不敏感，无论是否加装增稳云台都能保证图像拼接等几何处理的精度，大大提高了应用范围和实用性，也简化了线阵图像的后期拼接处理；因此，集成了测绘级激光扫描仪和凝视面阵型成像高光谱仪的高光谱激光雷达传感器能够搭载在无人机或无人车等敏捷型平台，并满足田间作物表型信息高通量高精度获取的需求。

进一步地，光谱仪的光谱分辨率低于8纳米；

光谱仪的光谱成像波段包括531纳米附近的波段、570纳米附近的波段、540纳米至570纳米之间分布的波段、670纳米至780纳米之间分布的波段、620纳米至670纳米之间分布的波段、780纳米至860纳米之间分布的波段和865纳米附近波段。

可以在450纳米至900纳米光谱波段范围内优选符合植被探测的41个波段，其中，选取531纳米附近的波段和570纳米附近的波段用于植被胁迫探测与光合作用探测，选取540纳米至570纳米之间分布的至少3个波段用于刻画绿光反射峰，选取670纳米至780纳米之间分布的至少12个波段，用于精准刻画红边曲线，表征养分胁迫，选取620纳米至670纳米之间分布的至少4个波段用于刻画红光波谷，选取780纳米至860纳米之间分布的至少6个波段用于刻画近红外光的曲线形态，选取865纳米附近波段用于水分胁迫探测。

具体来说，这41个波段的中心波长可以为531纳米、539纳米、547纳米、556纳米、563纳米、570纳米、583纳米、593纳米、604纳米、614纳米、623纳米、633纳米、643纳米、651纳米、659纳米、669纳米、697纳米、701纳米、709纳米、713纳米、721纳米、728纳米、732纳米、740纳米、747纳米、755纳米、764纳米、769纳米、778纳米、785纳米、793纳米、801纳米、806纳米、815纳米、821纳米、830纳米、838纳米、843纳米、852纳米、859纳米、865纳米。

本实施例通过优选的41个典型植被敏感光谱波段，能够确保作物生理生化表型信息的高精度获取，同时，仅用41个波段就能完整刻画植被光谱曲线关键特征，避免传统方式花费高昂代价去产生几百个波段，实现成本和性能的平衡。

本申请实施例提供一种高光谱激光雷达系统，可以包括：图像处理设备和前述的高光谱激光雷达传感器；

图像处理设备用于：

接收微控制器发送的三维点云图像、高光谱图像、GPS信号和IMU信号；

基于GPS信号和IMU信号对三维点云图像和高光谱图像进行融合。

参照图2，图像处理设备对GPS信号和IMU信号的算法处理可以通过该设备上安装的POS后处理软件进行，该软件可以是诺瓦泰惯性探测器NovAtel Inertial Explorer软件。

本实施例的高光谱激光雷达系统，能够利用GPS的原子钟时间校准激光扫描仪、光谱仪和惯性测量单元IMU的时间，使整个传感器的时间与纳秒级的GPS时间同步，确保传感器的时间准确度；通过激光扫描仪触发光谱仪成像，且根据激光扫描仪的触发时刻确定得到光谱仪的成像时刻，提高激光扫描仪的成像时刻与光谱仪的成像时刻的同步性，避免激光扫描仪和光谱仪成像位置姿态不同导致高光谱图像和三维点云图像之间产生几何误差；通过在同一POS数据中获取第一POS轨迹对三维点云图像进行解算，获取第二POS轨迹对高光谱图像进行几何处理，避免采用不同的POS数据源对高光谱图像和三维点云图像进行处理导致两者之间产生几何误差，以上步骤层层递进，最大限度地消除高光谱图像和三维点云图像之间的几何误差，从而提高高光谱图像和三维点云图像的融合精度。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种图像融合方法，其特征在于，应用于高光谱激光雷达传感器的微控制器，包括：

利用GPS的原子钟时间校准激光扫描仪、光谱仪和惯性测量单元IMU的时间；

控制所述激光扫描仪对探测区域进行扫描成像，得到三维点云图像，并控制所述激光扫描仪触发所述光谱仪对所述探测区域进行光谱成像，得到高光谱图像；所述光谱仪的成像时刻是根据所述激光扫描仪的触发时刻确定得到的；

控制所述GPS和所述IMU采集信号，得到GPS信号和IMU信号；

将所述三维点云图像、所述高光谱图像、所述GPS信号和所述IMU信号发送至所述高光谱激光雷达传感器之外的图像处理设备，以供所述图像处理设备基于所述GPS信号和所述IMU信号对所述三维点云图像和所述高光谱图像进行融合；

所述高光谱激光雷达传感器包括所述激光扫描仪、所述光谱仪、所述GPS和所述IMU。

2.根据权利要求1所述的图像融合方法，其特征在于，

所述光谱仪的成像时刻，是根据光谱波段的曝光时长和所述激光扫描仪的触发时刻确定得到的。

3.根据权利要求1所述的图像融合方法，其特征在于，所述利用GPS的原子钟时间校准激光扫描仪、光谱仪和惯性测量单元IMU的时间之前，包括：

对所述激光扫描仪和所述光谱仪的内部结构进行调整；

对所述激光扫描仪和所述光谱仪的内参进行定标和校验；

对所述激光扫描仪、所述光谱仪、所述GPS和所述IMU的外参进行定标和校验。

4.根据权利要求3所述的图像融合方法，其特征在于，所述对所述激光扫描仪、所述光谱仪、所述GPS和所述IMU的外参进行定标和校验，包括：

室内静态测量所述激光扫描仪的中心位置、所述光谱仪的中心位置、所述GPS的中心位置和所述IMU的中心位置中，两两中心位置之间的旋转参数和平移参数，得到第一旋转参数和第一平移参数；

所述高光谱激光雷达传感器在室外飞行定标校验场移动时，动态测量所述激光扫描仪的中心位置、所述光谱仪的中心位置、所述GPS的中心位置和所述IMU的中心位置中，两两中心位置之间的旋转参数和平移参数，得到第二旋转参数和第二平移参数；

根据所述第一旋转参数、所述第一平移参数、所述第二旋转参数、所述第二平移参数和所述室外飞行定标校验场的控制点坐标，对所述激光扫描仪的中心位置、所述光谱仪的中心位置、所述GPS的中心位置和所述IMU的中心位置进行解算和修正。

5.一种图像融合方法，其特征在于，应用于高光谱激光雷达传感器之外的图像处理设备，包括：

接收微控制器发送的三维点云图像、高光谱图像、GPS信号和IMU信号；

基于所述GPS信号和所述IMU信号对所述三维点云图像和所述高光谱图像进行融合；

所述三维点云图像是所述微控制器控制激光扫描仪对探测区域进行扫描成像得到的，所述高光谱图像是所述微控制器控制所述激光扫描仪触发光谱仪对所述探测区域进行光谱成像得到的，所述GPS信号是所述微控制器控制GPS采集得到的，所述IMU信号是所述微控制器控制IMU采集得到的，所述光谱仪的成像时刻是根据所述激光扫描仪的触发时刻确定得到的；

所述高光谱激光雷达传感器包括所述激光扫描仪、所述光谱仪、所述GPS和所述IMU。

6.根据权利要求5所述的图像融合方法，其特征在于，所述基于所述GPS信号和所述IMU信号对所述三维点云图像和所述高光谱图像进行融合，包括：

利用所述激光扫描仪在成像时刻的第一POS轨迹对所述三维点云图像进行解算，得到解算后图像；

利用所述光谱仪在成像时刻的第二POS轨迹对所述高光谱图像进行几何处理，得到处理后图像；所述第一POS轨迹和所述第二POS轨迹来自同一定位定姿系统POS数据源，所述POS数据源是基于所述GPS信号和所述IMU信号确定得到的；

将所述解算后图像和所述处理后图像进行融合。

7.根据权利要求6所述的图像融合方法，其特征在于，所述POS数据源，是基于以下方式确定得到：

基于所述GPS信号和所述IMU信号，确定所述高光谱激光雷达传感器在所述探测区域移动的POS轨迹；

将所述高光谱激光雷达传感器在所述探测区域移动的POS轨迹确定为POS数据源。

8.一种高光谱激光雷达传感器，其特征在于，包括：微控制器、激光扫描仪、光谱仪、GPS和IMU；

所述微控制器用于：

利用所述GPS的原子钟时间校准所述激光扫描仪、所述光谱仪和所述IMU的时间；

控制所述激光扫描仪对探测区域进行扫描成像，得到三维点云图像，并控制所述激光扫描仪触发所述光谱仪对所述探测区域进行光谱成像，得到高光谱图像；所述光谱仪的成像时刻是根据所述激光扫描仪的触发时刻确定得到的；

控制所述GPS和所述IMU采集信号，得到GPS信号和IMU信号；

将所述三维点云图像、所述高光谱图像、所述GPS信号和所述IMU信号发送至高光谱激光雷达传感器之外的图像处理设备，以供所述图像处理设备基于所述GPS信号和所述IMU信号对所述三维点云图像和所述高光谱图像进行融合。

9.根据权利要求8所述的高光谱激光雷达传感器，其特征在于，

所述激光扫描仪是测绘级激光扫描仪；

所述光谱仪是凝视面阵型成像高光谱仪；

所述光谱仪的光谱分辨率低于8纳米；

所述光谱仪的光谱成像波段包括531纳米附近的波段、570纳米附近的波段、540纳米至570纳米之间分布的波段、670纳米至780纳米之间分布的波段、620纳米至670纳米之间分布的波段、780纳米至860纳米之间分布的波段和865纳米附近波段。

10.一种高光谱激光雷达系统，其特征在于，包括：图像处理设备和权利要求8至9任一项所述的高光谱激光雷达传感器；

所述图像处理设备用于：

接收微控制器发送的三维点云图像、高光谱图像、GPS信号和IMU信号；

基于所述GPS信号和所述IMU信号对所述三维点云图像和所述高光谱图像进行融合。