CN117437290A - 一种多传感器融合的自然保护区无人机三维空间定位方法 - Google Patents

一种多传感器融合的自然保护区无人机三维空间定位方法 Download PDF

Info

Publication number
CN117437290A
CN117437290A CN202311756971.4A CN202311756971A CN117437290A CN 117437290 A CN117437290 A CN 117437290A CN 202311756971 A CN202311756971 A CN 202311756971A CN 117437290 A CN117437290 A CN 117437290A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
imu
data
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311756971.4A
Other languages
English (en)
Other versions
CN117437290B (zh
Inventor
周皓然
叶绍泽
陈康
陆国锋
张举冠
袁杰遵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Senge Data Technology Co ltd
Original Assignee
Shenzhen Senge Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Senge Data Technology Co ltd filed Critical Shenzhen Senge Data Technology Co ltd
Priority to CN202311756971.4A priority Critical patent/CN117437290B/zh
Publication of CN117437290A publication Critical patent/CN117437290A/zh
Application granted granted Critical
Publication of CN117437290B publication Critical patent/CN117437290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种多传感器融合的自然保护区无人机三维空间定位方法，包括训练一高分辨率的深度图获取模型；在无人机上搭载相机、激光雷达、IMU，分别用于采集自然保护区的彩色图像、点云数据、IMU数据；初始化；无人机起飞，在每个更新时刻更新一次点云数据，与上一时刻的点云数据配准得到无人机位姿。本发明用图像数据、点云数据和高分辨率的深度图获取模型提升点云数据的分辨率，并结合无人机飞控对无人机的预估位姿、IMU对无人机的预估位姿得到一预估位姿，用于点云配准。不仅能提升无人机在三维空间中定位精度、还能提升算法效率，减少计算资源占用，尤其适用于彩色图像颜色分布接近，局部特征不明显、区分度不高、纹理分布均匀的场景。

Description

一种多传感器融合的自然保护区无人机三维空间定位方法
技术领域
本发明涉及一种无人机定位方法，尤其涉及一种多传感器融合的自然保护区无人机三维空间定位方法。
背景技术
对自然保护区进行监测往往需要使用无人机采集数据。为了知晓监测区域的精确位置或对监测区域进行三维建模，需要得到无人机在三维空间中的位姿。一般的无人机三维空间定位方法中，在辅以其他传感器的同时，主要利用图像匹配或者点云配准方法计算无人机在三维空间中的相对位姿。但是用于自然保护区的无人机采集的图像数据往往具有类似的特征和颜色分布，这使得图像间的匹配难以有效进行。同时激光雷达采集的三维点云分辨率太低，会严重影响无人机定位的精度。
IMU英文为 inertial measurement unit，中文为惯性传感器，是测量物体三轴姿态角（或角速率）及加速度的装置。陀螺仪和加速度计是惯性导航系统的核心装置。借助内置的加速度传感器和陀螺仪，IMU可测量来自三个方向的线性加速度和旋转角速率，通过解算可获得载体的姿态、速度和位移等信息。
发明内容
本发明的目的就在于提供一种解决上述问题，因图像数据有类似的特征和颜色分布，导致图像间的匹配难以有效进行，从而无法准确得到无人机在三维空间中的精确位姿的，一种多传感器融合的自然保护区无人机三维空间定位方法。
为了实现上述目的，本发明采用的技术方案是这样的：一种多传感器融合的自然保护区无人机三维空间定位方法，包括以下步骤：
S1，训练一高分辨率的深度图获取模型，包括以下步骤S11~S12：
S11构造训练数据集：
选取一RGB-D数据集，包括多个RGB-D数据，每个RGB-D数据包括一彩色图像I和第一深度图像；
获取RGB-D数据集对应区域的点云数据，投影到图像平面生成与RGB-D数据一一对应的第二深度图像D，其中分辨率大于D；
将对应的I、、D构成一个训练样本，所有训练样本构成训练数据集；
S12，用训练样本训练得到一高分辨率的深度图获取模型，用于输入I、D，并以为期望输出；
S2，在无人机上搭载相机、激光雷达、IMU，分别用于采集自然保护区的彩色图像、点云数据、IMU数据，所述IMU数据包括三维加速度数据和三维角速度数据/>，且对于采样频率，相机等于激光、远远小于IMU；
S3，初始化；无人机起飞前先静置，根据静置期间的IMU数据，得到无人机的初始旋转矩阵R 0、IMU的加速计偏置b a 、陀螺仪偏置b ω ；并预设此时无人机速度v=0，初始位姿为P 0，，其中，T为转置操作；
S4，无人机起飞，相机、激光雷达、IMU工作，将相机和激光雷达采集到一次彩色图像和一个点云数据的时刻作为一次更新时刻；
S5，在每个更新时刻更新一次点云数据，与上一时刻的点云数据配准得到无人机位姿，其中第i个更新时刻t i 得到无人机位姿P i 的方法包括S51~S53；
S51，得到无人机在t i 时当前预估位姿，包括a1~a2；
a1，获取t i 时刻无人机飞控对无人机的预估位姿P C 、IMU对无人机的预估位姿P I ，其中，P C 为无人机飞控对无人机位姿进行预测得到，P I 为IMU采用预积分方式估计得到；
a2，对、/>，分别转换为对偶四元数进行加权平均，再将加权平均后得到的对偶四元数归一化并转换为位姿矩阵，获得当前预估位姿/>；
S52，提升点云数据分辨率，生成当前高密度点云数据，包括b1~b2；
b1，t i 时刻相机采集到彩色图像I i 、激光雷达采集到点云数据Q i ；
b2，将Q i 投影到图像平面生成当前深度图D i ，将I i 、D i 一起送入高分辨率的深度图获取模型，输出一高分辨率深度图，再反投影到三维空间得到一点云数据，作为当前高密度点云数据/>；
S53，配准；
将作为初始位姿，用迭代最近点算法将/>与/>配准，输出一位姿数据，作为第i个更新时刻的无人机位姿P i ，所述/>为第i-1个更新时刻的当前高密度点云数据；
S6，重复S5直到完成飞行，得到每个更新时刻的无人机位姿。
作为优选，S12具体为：
S12-1，构造一生成网络：
包括第一自编码器、第二自编码器和扩散模型；
所述第一自编码器用于对I、D编码，得到编码彩色图像I’和编码第二深度图像D’；
所述第二自编码器用于对编码，得到编码第二深度图像/>并能对/>解码；
S12-2，训练生成网络；
将S11中训练样本送入生成网络，对每个训练样本，将I、D送入第一自编码器，得到I’、D’，将I’、D’送入扩散模型中，以为期望输出，训练扩散模型，最后将扩散模型的输出送入第二自编码器中解码，输出一图像作为高分辨率深度图，得到高分辨率的深度图获取模型。
作为优选，步骤S3中，得到初始旋转矩阵、IMU的加速计偏置/>、陀螺仪偏置/>具体为：
S31，在静置期间采集IMU数据，并计算静置期间的三维加速度平均值、三维角速度平均值/>；
S32，将的方向设为z轴方向，用施密特正交化构建初始的三维空间坐标系，得到无人机的初始旋转矩阵R 0、并根据下式计算加速计偏置b a 和陀螺仪偏置b ω ；
（1），
（2），
式（1）中，为自然保护区的重力加速度。
作为优选，步骤b1中，P I 为IMU采用预积分方式估计得到，IMU采样频率大于相机和激光雷达，则在t i-1到t i 间，IMU按采样间隔∆t进行了多次采样，其迭代方式根据下式计算：
（3），
（4），
（5），
（6），
式（3）中，t为t i-1到t i间IMU的采样时刻，∆t为IMU的采样间隔，Exp(.)为exp函数，为IMU数据中的三维角速度数据，b ω 为陀螺仪偏置，R(t)、R(t+∆t)分别为t时刻、t+∆t时刻旋转矩阵；
式（4）中，为IMU数据中的三维加速度数据，v(t)、v(t+∆t)分别为t时刻、t+∆t时刻的无人机速度，/>为自然保护区的重力加速度，b a 为加速计偏置；
式（5）中，p(t)、p(t+∆t)分别为t时刻、t+∆t时刻的无人机三维坐标。
本发明思路为：
一、先训练一高分辨率的深度图获取模型：用高分辨率的RGB-D数据与激光雷达的点云数据训练网络。其中RGB-D数据中的深度图像分辨率高于三维点云转换成的深度图像的分辨率。训练时，输入有两个，一个是RGB-D数据中的彩色图像I，一个是点云数据投影生成的分辨率较低的第二深度图像D，模型的期望输出为RGB-D数据中的第一深度图像。这是因为分辨率/>高于D，通过训练，输入彩色图像I和对应的低分辨率的深度图像，就能输出接近于RGB-D数据集中高分辨率的深度图像。在构造高分辨率的深度图获取模型中，会用到扩散模型，扩散模型生成的潜空间模拟深度图像的数据分布。训练时，将I和D组成低分辨率的RGB-D图像数据，利用vision transformer编码，再用神经网络学习该编码与/>在潜空间中的采样点之间的匹配关系。最后利用迁移学习对模型进行微调，使之适合该应用的需要。
二、获取更精确的位姿数据：本发明结合无人机飞控对无人机的预估位姿P C 和IMU对无人机的预估位姿P I 生成一预估位姿，用于后续点云配准中。P C 可采用PID控制算法等方法，对无人机位姿变化的实时预测进行积分，P I 采用预积分方式，由于IMU采样频率更高，所以在第i-1次更新时刻和第i次更新时刻之间，无人机飞控对无人机的预估位姿、IMU对无人机的预估位姿一直在实时预测，精度也更精确。
三、提升点云数据分辨率：所述点云数据为三维点云数据。无人机飞行时无需搭载深度相机，仅采用普通相机采集彩色图像、激光雷达获取低密度的点云数据即可。由于对设备要求不高，可以提高数据采集的速度。将彩色图像、低密度的点云数据，用高分辨率的深度图获取模型提升分辨率，得到高密度的点云数据。
四、精确点云配准：用上述第二点得到的预估位姿作为迭代最近点算法的初始位置，对第三点得到的高密度的点云数据进行配准，配准结果为一更精准的位姿数据，从而提升了无人机在三维空间中定位的精度。
与现有技术相比，本发明的优点在于：
1、提出了一种新的多传感器融合的自然保护区无人机三维空间定位方法。该方法利用图像数据、点云数据和高分辨率的深度图获取模型提升点云数据的分辨率，并结合无人机飞控对无人机的预估位姿、IMU对无人机的预估位姿得到一预估位姿，用于点云配准。本发明能提升三维点云分辨率、以及点云配准的精度，最终使得无人机在三维空间中定位的精度提升。
2、本发明利用深度图像提升点云空间密度，能提升算法效率，减少计算资源占用，保证无人机位姿能快速甚至实时更新。
3、本发明尤其适用于彩色图像颜色分布接近，局部特征不明显、区分度不高、纹理分布均匀的场景，如自然保护区，这些地区使用彩色图像进行匹配或配准效果较差，但采用本发明的点云数据进行配准可以提升无人机位姿计算精度。
附图说明
图1为本发明流程图；
图2为生成网络结构示意图；
图3为步骤S5的流程图。
具体实施方式
下面将结合附图对本发明作进一步说明。
实施例1：参见图1到图3，一种多传感器融合的自然保护区无人机三维空间定位方法，包括以下步骤：
S1，训练一高分辨率的深度图获取模型，包括以下步骤S11~S12：
S11构造训练数据集：
选取一RGB-D数据集，包括多个RGB-D数据，每个RGB-D数据包括一彩色图像I和第一深度图像；
获取RGB-D数据集对应区域的点云数据，投影到图像平面生成与RGB-D数据一一对应的第二深度图像D，其中分辨率大于D；
将对应的I、、D构成一个训练样本，所有训练样本构成训练数据集；
S12，用训练样本训练得到一高分辨率的深度图获取模型，用于输入I、D，并以为期望输出；
S2，在无人机上搭载相机、激光雷达、IMU，分别用于采集自然保护区的彩色图像、点云数据、IMU数据，所述IMU数据包括三维加速度数据和三维角速度数据/>，且对于采样频率，相机等于激光、远远小于IMU；
S3，初始化；无人机起飞前先静置，根据静置期间的IMU数据，得到无人机的初始旋转矩阵R 0、IMU的加速计偏置b a 、陀螺仪偏置b ω ；并预设此时无人机速度v=0，初始位姿为P 0，，其中，T为转置操作；
S4，无人机起飞，相机、激光雷达、IMU工作，将相机和激光雷达采集到一次彩色图像和一个点云数据的时刻作为一次更新时刻；
S5，在每个更新时刻更新一次点云数据，与上一时刻的点云数据配准得到无人机位姿，其中第i个更新时刻t i 得到无人机位姿P i 的方法包括S51~S53；
S51，得到无人机在t i 时当前预估位姿，包括a1~a2；
a1，获取t i 时刻无人机飞控对无人机的预估位姿P C 、IMU对无人机的预估位姿P I ，其中，P C 为无人机飞控对无人机位姿进行预测得到，P I 为IMU采用预积分方式估计得到；
a2，对、/>，分别转换为对偶四元数进行加权平均，再将加权平均后得到的对偶四元数归一化并转换为位姿矩阵，获得当前预估位姿/>；
S52，提升点云数据分辨率，生成当前高密度点云数据，包括b1~b2；
b1，t i 时刻相机采集到彩色图像I i 、激光雷达采集到点云数据Q i ；
b2，将Q i 投影到图像平面生成当前深度图D i ，将I i 、D i 一起送入高分辨率的深度图获取模型，输出一高分辨率深度图，再反投影到三维空间得到一点云数据，作为当前高密度点云数据/>；
S53，配准；
将作为初始位姿，用迭代最近点算法将/>与/>配准，输出一位姿数据，作为第i个更新时刻的无人机位姿P i ，所述/>为第i-1个更新时刻的当前高密度点云数据；
S6，重复S5直到完成飞行，得到每个更新时刻的无人机位姿。
本实施例中，S12具体为：
S12-1，构造一生成网络：
包括第一自编码器、第二自编码器和扩散模型；
所述第一自编码器用于对I、D编码，得到编码彩色图像I’和编码第二深度图像D’；
所述第二自编码器用于对编码，得到编码第二深度图像/>并能对/>解码；
S12-2，训练生成网络；
将S11中训练样本送入生成网络，对每个训练样本，将I、D送入第一自编码器，得到I’、D’，将I’、D’送入扩散模型中，以为期望输出，训练扩散模型，最后将扩散模型的输出送入第二自编码器中解码，输出一图像作为高分辨率深度图，得到高分辨率的深度图获取模型。本实施例仅给出一种训练高分辨率的深度图获取模型的方法，但不仅限于该方法。
步骤S3中，得到初始旋转矩阵、IMU的加速计偏置/>、陀螺仪偏置/>具体为：
S31，在静置期间采集IMU数据，并计算静置期间的三维加速度平均值、三维角速度平均值/>；
S32，将的方向设为z轴方向，用施密特正交化构建初始的三维空间坐标系，得到无人机的初始旋转矩阵R 0、并根据下式计算加速计偏置b a 和陀螺仪偏置b ω ；
（1），
（2），
式（1）中，为自然保护区的重力加速度。
步骤b1中，P I 为IMU采用预积分方式估计得到，IMU采样频率大于相机和激光雷达，则在t i-1到t i 间，IMU按采样间隔∆t进行了多次采样，其迭代方式根据下式计算：
（3），
（4），
（5），
（6），
式（3）中，t为t i-1到t i间IMU的采样时刻，∆t为IMU的采样间隔，Exp(.)为exp函数，为IMU数据中的三维角速度数据，b ω 为陀螺仪偏置，R(t)、R(t+∆t)分别为t时刻、t+∆t时刻旋转矩阵；
式（4）中，为IMU数据中的三维加速度数据，v(t)、v(t+∆t)分别为t时刻、t+∆t时刻的无人机速度，/>为自然保护区的重力加速度，b a 为加速计偏置；
式（5）中，p(t)、p(t+∆t)分别为t时刻、t+∆t时刻的无人机三维坐标。
基于本发明方法，当激光雷达在帧率与图像一致时，目前角分辨率可以达到0.16度，一般的深度相机角分辨率在0.1度左右，考虑算法生成的数据部分像素可能无效或者接近直接插值等，本发明最终得到的点云密度提升为50%左右。而最终精度提升与点云密度的提升密切相关，但硬配准算法本身的鲁棒性并非严格正相关，故最终无人机位姿的精度提升30%左右。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种多传感器融合的自然保护区无人机三维空间定位方法，其特征在于，包括以下步骤：
S1，训练一高分辨率的深度图获取模型，包括以下步骤S11~S12：
S11构造训练数据集：
选取一RGB-D数据集，包括多个RGB-D数据，每个RGB-D数据包括一彩色图像I和第一深度图像；
获取RGB-D数据集对应区域的点云数据，投影到图像平面生成与RGB-D数据一一对应的第二深度图像D，其中分辨率大于D；
将对应的I、、D构成一个训练样本，所有训练样本构成训练数据集；
S12，用训练样本训练得到一高分辨率的深度图获取模型，用于输入I、D，并以为期望输出；
S2，在无人机上搭载相机、激光雷达、IMU，分别用于采集自然保护区的彩色图像、点云数据、IMU数据，所述IMU数据包括三维加速度数据和三维角速度数据/>，且对于采样频率，相机等于激光、远远小于IMU；
S3，初始化；无人机起飞前先静置，根据静置期间的IMU数据，得到无人机的初始旋转矩阵R 0、IMU的加速计偏置b a 、陀螺仪偏置b ω ；并预设此时无人机速度v=0，初始位姿为P 0，，其中，T为转置操作；
S4，无人机起飞，相机、激光雷达、IMU工作，将相机和激光雷达采集到一次彩色图像和一个点云数据的时刻作为一次更新时刻；
S5，在每个更新时刻更新一次点云数据，与上一时刻的点云数据配准得到无人机位姿，其中第i个更新时刻t i 得到无人机位姿P i 的方法包括S51~S53；
S51，得到无人机在t i 时当前预估位姿，包括a1~a2；
a1，获取t i 时刻无人机飞控对无人机的预估位姿P C 、IMU对无人机的预估位姿P I ，其中，P C 为无人机飞控对无人机位姿进行预测得到，P I 为IMU采用预积分方式估计得到；
a2，对、/>，分别转换为对偶四元数进行加权平均，再将加权平均后得到的对偶四元数归一化并转换为位姿矩阵，获得当前预估位姿/>；
S52，提升点云数据分辨率，生成当前高密度点云数据，包括b1~b2；
b1，t i 时刻相机采集到彩色图像I i 、激光雷达采集到点云数据Q i ；
b2，将Q i 投影到图像平面生成当前深度图D i ，将I i 、D i 一起送入高分辨率的深度图获取模型，输出一高分辨率深度图，再反投影到三维空间得到一点云数据，作为当前高密度点云数据/>；
S53，配准；
将作为初始位姿，用迭代最近点算法将/>与/>配准，输出一位姿数据，作为第i个更新时刻的无人机位姿P i ，所述/>为第i-1个更新时刻的当前高密度点云数据；
S6，重复S5直到完成飞行，得到每个更新时刻的无人机位姿。
2.根据权利要求1所述的一种多传感器融合的自然保护区无人机三维空间定位方法，其特征在于，S12具体为：
S12-1，构造一生成网络：
包括第一自编码器、第二自编码器和扩散模型；
所述第一自编码器用于对I、D编码，得到编码彩色图像I’和编码第二深度图像D’；
所述第二自编码器用于对编码，得到编码第二深度图像/>并能对/>解码；
S12-2，训练生成网络；
将S11中训练样本送入生成网络，对每个训练样本，将I、D送入第一自编码器，得到I’、D’，将I’、D’送入扩散模型中，以为期望输出，训练扩散模型，最后将扩散模型的输出送入第二自编码器中解码，输出一图像作为高分辨率深度图，得到高分辨率的深度图获取模型。
3.根据权利要求1所述的一种多传感器融合的自然保护区无人机三维空间定位方法，其特征在于，步骤S3中，得到初始旋转矩阵、IMU的加速计偏置/>、陀螺仪偏置/>具体为：
S31，在静置期间采集IMU数据，并计算静置期间的三维加速度平均值、三维角速度平均值/>；
S32，将的方向设为z轴方向，用施密特正交化构建初始的三维空间坐标系，得到无人机的初始旋转矩阵R 0、并根据下式计算加速计偏置b a 和陀螺仪偏置b ω ；
（1），
（2），
式（1）中，为自然保护区的重力加速度。
4.根据权利要求1所述的一种多传感器融合的自然保护区无人机三维空间定位方法，其特征在于，步骤b1中，P I 为IMU采用预积分方式估计得到，IMU采样频率大于相机和激光雷达，则在t i-1到t i 间，IMU按采样间隔∆t进行了多次采样，其迭代方式根据下式计算：
（3），
（4），
（5），
（6），
式（3）中，t为t i-1到t i间IMU的采样时刻，∆t为IMU的采样间隔，Exp(.)为exp函数，为IMU数据中的三维角速度数据，b ω 为陀螺仪偏置，R(t)、R(t+∆t)分别为t时刻、t+∆t时刻旋转矩阵；
式（4）中，为IMU数据中的三维加速度数据，v(t)、v (t+∆t)分别为t时刻、t+∆t时刻的无人机速度，/>为自然保护区的重力加速度，b a 为加速计偏置；
式（5）中，p(t)、p(t+∆t)分别为t时刻、t+∆t时刻的无人机三维坐标。
CN202311756971.4A 2023-12-20 2023-12-20 一种多传感器融合的自然保护区无人机三维空间定位方法 Active CN117437290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311756971.4A CN117437290B (zh) 2023-12-20 2023-12-20 一种多传感器融合的自然保护区无人机三维空间定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311756971.4A CN117437290B (zh) 2023-12-20 2023-12-20 一种多传感器融合的自然保护区无人机三维空间定位方法

Publications (2)

Publication Number Publication Date
CN117437290A true CN117437290A (zh) 2024-01-23
CN117437290B CN117437290B (zh) 2024-02-23

Family

ID=89553890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311756971.4A Active CN117437290B (zh) 2023-12-20 2023-12-20 一种多传感器融合的自然保护区无人机三维空间定位方法

Country Status (1)

Country Link
CN (1) CN117437290B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160189358A1 (en) * 2014-12-29 2016-06-30 Dassault Systemes Method for calibrating a depth camera
WO2018119889A1 (zh) * 2016-12-29 2018-07-05 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
CN111678534A (zh) * 2019-03-11 2020-09-18 武汉小狮科技有限公司 一种结合rgbd双目深度相机、imu和多线激光雷达的联合标定平台和方法
CN113674412A (zh) * 2021-08-12 2021-11-19 浙江工商大学 基于位姿融合优化的室内地图构建方法、系统及存储介质
CN115272460A (zh) * 2022-07-11 2022-11-01 西安电子科技大学广州研究院 一种基于rgbd相机的自适应里程计与优化关键帧选择方法
CN116182837A (zh) * 2023-03-16 2023-05-30 天津大学 基于视觉激光雷达惯性紧耦合的定位建图方法
CN116619358A (zh) * 2023-05-11 2023-08-22 煤炭科学研究总院有限公司 一种矿山自主探测机器人自适应定位优化与建图方法
CN117152249A (zh) * 2023-08-25 2023-12-01 杭州电子科技大学 基于语义一致性的多无人机协同建图与感知方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160189358A1 (en) * 2014-12-29 2016-06-30 Dassault Systemes Method for calibrating a depth camera
WO2018119889A1 (zh) * 2016-12-29 2018-07-05 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
CN111678534A (zh) * 2019-03-11 2020-09-18 武汉小狮科技有限公司 一种结合rgbd双目深度相机、imu和多线激光雷达的联合标定平台和方法
CN113674412A (zh) * 2021-08-12 2021-11-19 浙江工商大学 基于位姿融合优化的室内地图构建方法、系统及存储介质
CN115272460A (zh) * 2022-07-11 2022-11-01 西安电子科技大学广州研究院 一种基于rgbd相机的自适应里程计与优化关键帧选择方法
CN116182837A (zh) * 2023-03-16 2023-05-30 天津大学 基于视觉激光雷达惯性紧耦合的定位建图方法
CN116619358A (zh) * 2023-05-11 2023-08-22 煤炭科学研究总院有限公司 一种矿山自主探测机器人自适应定位优化与建图方法
CN117152249A (zh) * 2023-08-25 2023-12-01 杭州电子科技大学 基于语义一致性的多无人机协同建图与感知方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张杰 等: "一种改进ICP算法的移动机器人激光与视觉建图方法研究", 机电工程, vol. 34, no. 12, 31 December 2017 (2017-12-31), pages 1480 - 1484 *

Also Published As

Publication number Publication date
CN117437290B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN111595333B (zh) 视觉惯性激光数据融合的模块化无人车定位方法及系统
CN110243358B (zh) 多源融合的无人车室内外定位方法及系统
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
CN110675450B (zh) 基于slam技术的正射影像实时生成方法及系统
CN106767785B (zh) 一种双回路无人机的导航方法及装置
CN105953796A (zh) 智能手机单目和imu融合的稳定运动跟踪方法和装置
CN107014371A (zh) 基于扩展自适应区间卡尔曼的无人机组合导航方法与装置
CN113406682B (zh) 一种定位方法、装置、电子设备及存储介质
CN109631911B (zh) 一种基于深度学习目标识别算法的卫星姿态转动信息确定方法
CN112965063B (zh) 一种机器人建图定位方法
CN110617821A (zh) 定位方法、装置及存储介质
CN110412596A (zh) 一种基于图像信息和激光点云的机器人定位方法
CN110751123B (zh) 一种单目视觉惯性里程计系统及方法
CN113447949B (zh) 一种基于激光雷达和先验地图的实时定位系统及方法
CN108613675B (zh) 低成本无人飞行器移动测量方法及系统
CN115479598A (zh) 基于多传感器融合的定位与建图方法及紧耦合系统
Karam et al. Integrating a low-cost mems imu into a laser-based slam for indoor mobile mapping
CN112197765B (zh) 一种实现水下机器人精细导航的方法
CN117437290B (zh) 一种多传感器融合的自然保护区无人机三维空间定位方法
CN117234203A (zh) 一种多源里程融合slam井下导航方法
CN103017773A (zh) 一种基于天体表面特征和天然卫星路标的环绕段导航方法
KR102506411B1 (ko) 차량의 위치 및 자세 추정 방법, 장치 및 이를 위한 기록매체
Liu et al. Integrated velocity measurement algorithm based on optical flow and scale-invariant feature transform
CN115144867A (zh) 一种基于无人机搭载三轴云台相机的目标检测定位方法
Purnawarman et al. The methodology for obtaining nonlinear and continuous three-dimensional topographic data using inertial and optical measuring instruments of unmanned ground systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant