CN108613675B - 低成本无人飞行器移动测量方法及系统 - Google Patents

低成本无人飞行器移动测量方法及系统 Download PDF

Info

Publication number
CN108613675B
CN108613675B CN201810600860.7A CN201810600860A CN108613675B CN 108613675 B CN108613675 B CN 108613675B CN 201810600860 A CN201810600860 A CN 201810600860A CN 108613675 B CN108613675 B CN 108613675B
Authority
CN
China
Prior art keywords
imu
data
laser scanner
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810600860.7A
Other languages
English (en)
Other versions
CN108613675A (zh
Inventor
杨必胜
李健平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201810600860.7A priority Critical patent/CN108613675B/zh
Publication of CN108613675A publication Critical patent/CN108613675A/zh
Application granted granted Critical
Publication of CN108613675B publication Critical patent/CN108613675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)

Abstract

本发明提供一种低成本无人飞行器移动测量方法，根据硬件时间戳，将所有传感器数据进行整合，包括IMU、相机和激光扫描仪三类传感器的数据；在影像数据中提取SIFT特征点，并按照照片采集顺序进行匹配，之后进行增量式运动结构恢复；将IMU与相机位置进行在线标定，并进行IMU数据辅助的光束法平差；将IMU与激光扫描仪位置进行在线标定，并解算出最终的激光点云。本发明的优点在于，降低了现有机载激光扫描系统的价格，自带标定相机‑IMU‑激光扫描仪安置角功能。无需在标定场事先标定，节约了大量人工。

Description

低成本无人飞行器移动测量方法及系统
技术领域
本发明涉及对低成本低空无人机移动测量技术方案，属于计算机视觉领域及激光点云测量数据处理自动化研究领域。
背景技术
无人机(Unmannedaerialvehicle，UAV)搭载的移动测量系统(mobile mappingsystem，MMS)结合激光扫描仪、相机、高精度定位定姿系统(position and orientationsystem，POS)等多种优异的传感器，是近年来快速发展的一种新型集成高效的测量系统。利用该系统可以融合激光点云的几何属性及全景影像的光谱属性，生产具有可量测性的全景影像，用于城市规划、道路检测、市政部件资产普查等。而现有的无人机激光扫描系统大多成本高昂(>70万人民币)，因此限制了无人机移动测量系统的使用，因此设计一款低成本无人机低空移动测量系统是本发明的重点。
目前，国内外一些学者已经对上述问题做了一些研究，但数量较少。(Jaakkola etal.,2010)and(Yang and Chen,2015)研究了无人机载移动测量系统，搭载了激光扫描仪，相机，IMU以及GPS。上述二者均搭载了一款NovAtel SPAN-CPT紧耦合GPS/INS接收机，该款接收机价格在50万人民币左右，加大了成本，不适合非专业用户。与(Jaakkola et al.,2010)相似，(Wallace et al.,2012)研发了一款低成本低空无人机，并用于森林普查。该系统使用了一块基于MEMS的IMU(Microstrain-3DM-GX3-35)以及一个双频GPS接收机(Novatel OEMV1-df)，而未使用高端的惯性导航系统。为了提高精度，(Wallace et al.,2012)将视屏信息通过sigma point卡尔曼滤波融入了导航数据中。但是该融合算法属于松耦合，仅仅将影像信息作为黑箱。
相关文献：
Dong-Si,T.-C.,Mourikis,A.I.,2012.Estimator initialization in vision-aided inertial navigation with unknown camera-IMU calibration,IntelligentRobots and Systems(IROS),2012IEEE/RSJ International Conference on.IEEE,pp.1064-1071.
Jaakkola,A.,
Figure GDA0002973341890000011
J.,Kukko,A.,Yu,X.,Kaartinen,H.,
Figure GDA0002973341890000012
M.,Lin,Y.,2010.A low-cost multi-sensoral mobile mapping system and its feasibilityfor tree measurements.ISPRS journal of Photogrammetry and Remote Sensing 65,514-522.
Martinec,D.,Pajdla,T.,2007.Robust Rotation and Translation Estimationin Multiview Reconstruction,2007IEEE Conference on Computer Vision andPattern Recognition,pp.1-8.
Shin,E.-H.,El-Sheimy,N.,2004.An unscented Kalman filter for in-motionalignment of low-cost IMUs,Position Location and Navigation Symposium,2004.PLANS 2004.IEEE,pp.273-279.Wallace,L.,Lucieer,A.,Watson,C.,Turner,D.,2012.Development of a UAV-LiDAR system with application to forestinventory.Remote Sensing 4,1519-1543.
Wu,C.,2011.SiftGPU:A GPU implementation of scale invariant featuretransform(SIFT)(2007).URL http://cs.unc.edu/～ccwu/siftgpu.
Yang,B.,Chen,C.,2015.Automatic registration of UAV-borne sequentimages and LiDAR data.ISPRS Journal of Photogrammetry and Remote Sensing 101,262-27
发明内容
本发明在以上研究的基础上，设计了一种新颖的低成本低空无人机移动测量技术方案。
本发明技术方案提供一种低成本无人飞行器移动测量方法，设置低成本无人飞行器，低成本无人飞行器的传感器部分由IMU、相机和激光扫描仪组成，移动测量包括以下步骤，
步骤1，根据硬件时间戳，将所有传感器数据进行整合，包括IMU、相机和激光扫描仪三类传感器的数据；
步骤2，在影像数据中提取SIFT特征点，并按照照片采集顺序进行匹配，之后进行增量式运动结构恢复；
步骤3，将IMU与相机位置进行在线标定，并进行IMU数据辅助的光束法平差，得到更加准确的影像外方位元素及任意时间点的系统状态；
步骤4，将IMU与激光扫描仪位置进行在线标定，并解算出最终的激光点云。
而且，硬件时间同步方式为，无人飞行器的机载控制单元接收IMU输出的信号，并根据预设的数目，在接收到IMU输出的若干信号时，向相机发送曝光指令；并且，机载控制单元依据系统时间向激光扫描仪发送NMEA信号与秒脉冲信号，将激光扫描仪时间与系统时间同步；在采集数据时，机载控制单元采集各传感器数据的同时，记录时间戳，为后续处理做准备。
而且，设第k张影像的姿态组成的集合为
Figure GDA0002973341890000021
N为状态数量，k为状态序号，第k张影像特征点的三维坐标组成的集合为
Figure GDA0002973341890000022
Figure GDA0002973341890000023
为第k张影像特征点的特征点数量，j为特征点序号，
为进行IMU数据辅助的光束法平差，定义IMU辅助光束法代价函数如下，
Figure GDA0002973341890000024
其中，
Figure GDA0002973341890000025
是重投影误差，
Figure GDA0002973341890000026
是IMU测量误差，
Figure GDA0002973341890000027
是重投影误差的权，
Figure GDA0002973341890000028
是IMU测量误差的权，J(x)是代价函数，inertial代表IMU误差部分，visual代表视觉测量部分，基于IMU辅助光束法代价函数，同时考虑IMU数据与影像数据，将二者融入姿态估计中。
而且，步骤4的实现方式为，首先利用多视立体像对计算出单张影像的深度图像，同时将激光测量值投影到相机平面，比较二者差异，将差异作为代价函数，从而解除IMU与激光扫描仪的相对姿态。
本发明还提供一种低成本无人飞行器移动测量系统，设置低成本无人飞行器，低成本无人飞行器的传感器部分由IMU、相机和激光扫描仪组成，移动测量包括以下步骤，
步骤1，根据硬件时间戳，将所有传感器数据进行整合，包括IMU、相机和激光扫描仪三类传感器的数据；
步骤2，在影像数据中提取SIFT特征点，并按照照片采集顺序进行匹配，之后进行增量式运动结构恢复；
步骤3，将IMU与相机位置进行在线标定，并进行IMU数据辅助的光束法平差，得到更加准确的影像外方位元素及任意时间点的系统状态；
步骤4，将IMU与激光扫描仪位置进行在线标定，并解算出最终的激光点云。
而且，硬件时间同步方式为，无人飞行器的机载控制单元接收IMU输出的信号，并根据预设的数目，在接收到IMU输出的若干信号时，向相机发送曝光指令；并且，机载控制单元依据系统时间向激光扫描仪发送NMEA信号与秒脉冲信号，将激光扫描仪时间与系统时间同步；在采集数据时，机载控制单元采集各传感器数据的同时，记录时间戳，为后续处理做准备。
而且，设第k张影像的姿态组成的集合为
Figure GDA0002973341890000031
N为状态数量，k为状态序号，第k张影像特征点的三维坐标组成的集合为
Figure GDA0002973341890000032
Figure GDA0002973341890000033
为第k张影像特征点的特征点数量，j为特征点序号，
为进行IMU数据辅助的光束法平差，定义IMU辅助光束法代价函数如下，
Figure GDA0002973341890000034
其中，
Figure GDA0002973341890000035
是重投影误差，
Figure GDA0002973341890000036
是IMU测量误差，
Figure GDA0002973341890000037
是重投影误差的权，
Figure GDA0002973341890000038
是IMU测量误差的权，J(x)是代价函数，inertial代表IMU误差部分，visual代表视觉测量部分，基于IMU辅助光束法代价函数，同时考虑IMU数据与影像数据，将二者融入姿态估计中。
而且，步骤4的实现方式为，首先利用多视立体像对计算出单张影像的深度图像，同时将激光测量值投影到相机平面，比较二者差异，将差异作为代价函数，从而解除IMU与激光扫描仪的相对姿态。
本发明设计并集成了一个低成本的机载移动测量系统，并实现了相机，IMU，激光扫描仪的硬件同步；之后实现了一种IMU信息辅助的光束法平差，并实现了IMU与相机，IMU与激光扫描仪的相对位置标定；最后解算出可用于测量的激光点云。本发明的优点在于：(1)降低了现有机载激光扫描系统的价格。本系统硬件成本为8万人民币，而一般商用机载扫描系统价格在90万人民币左右。主要由于本系统只用了基于MEMES的IMU，且不依赖于GNSS接收机，利用影像信息辅助定位。(2)本系统自带标定相机-IMU-激光扫描仪安置角功能。无需在标定场事先标定，节约了大量人工。
附图说明：
图1是本发明实施例的方法流程图；
图2是本发明实施例的硬件同步示意图。
具体实施方式
本发明在以上研究的基础上，设计了一种新颖的低成本低空无人机移动测量系统，实现低成本无人飞行器高精度数据获取。该方案将相机，IMU，激光扫描仪进行硬件时间同步，在采集数据的同时采集时间戳。在采集数据进行的处理为：第一步，根据硬件时间戳，将所有传感器数据进行整合。第二步，在影像数据中提取SIFT特征点，并按照照片采集顺序进行匹配，之后进行增量式运动结构恢复。第三步，将IMU与相机位置进行在线标定，并进行IMU数据辅助的光束法平差。第四步，将IMU与激光扫描仪位置进行在线标定，并解算出最终的激光点云。
参见图1，本发明实施例提供一种利用激光点云辅助的可量测全景影像生成方法，包括以下步骤：
步骤1：根据硬件时间戳，将所有传感器数据进行整合。
本发明首先设计并集成了一个低成本的机载移动测量系统，并实现了相机，IMU，激光扫描仪的硬件同步。本发明实施例中硬件集成原理图如图2所示，系统中包含IMU，相机，激光扫描仪三类传感器，IMU、相机和激光扫描仪分别接入机载控制单元，具体实施时可利用机载控制单元的通用信号输入输出接口接入。与现有技术不同，该硬件设计中传感器部分只由IMU、相机和激光扫描仪组成，不包含GNSS接收机，因此该设备在无GNSS环境中仍然可以使用。实施例的传感器选择类型如表1，系统使用11.1v锂电池供电，供电方式见图2，电源VCC分别接入。
硬件时间同步方式如下：
机载控制单元接收IMU200Hz的信号，并在接收到20个信号(根据IMU输出频率预设的数目)时，向相机发送曝光指令，以保证相机以10Hz频率工作。机载控制单元依据系统时间向激光扫描仪发送NMEA信号与秒脉冲信号，将激光扫描仪时间与系统时间同步。NMEA(National Marine Electronics Association)是当前所有的GPS接收机和最通用的数据输出格式，同时它也被用于与GPS接收机接口的大多数的软件包里，它用来给每一个秒脉冲赋予绝对时间基准。GPS秒脉冲信号pps是一秒钟一个，它的作用是用来指示整秒的时刻，而该时刻通常是用PPS秒脉冲的上升沿来标示。
在采集数据时，机载控制单元采集各传感器数据的同时，记录时间戳，为后续处理做准备。其中数据存储方式如图2中数据箭头所示。
表1.传感器描述
Figure GDA0002973341890000051
步骤2：在影像数据中提取SIFT(Wu,2011)特征点，并按照照片采集顺序进行匹配，之后进行增量式运动结构恢复(Martinec and Pajdla,2007)，从而获取影像的外方位元素。
步骤3：将IMU与相机位置进行在线标定(Dong-Si and Mourikis,2012)，并进行IMU数据辅助的光束法平差，从而得到更加准确的影像外方位元素及任意时间点的系统状态。
实施例中，IMU辅助影像进行光束法平差，具体步骤如下：
系统中需要被估计的状态量有：第k张影像(在tk时刻曝光)的姿态组成的集合：
Figure GDA0002973341890000052
(N为状态数量，k为状态序号，即第k张影像的姿态)，第k张影像特征点的三维坐标组成的集合：
Figure GDA0002973341890000053
(
Figure GDA0002973341890000054
为第k张影像特征点的特征点数量，j为特征点序号)，相机与IMU相对旋转四元数qSC以及激光扫描仪与IMU相对旋转四元数qSL。相机姿态状态
Figure GDA0002973341890000055
写作：
Figure GDA0002973341890000061
其中，SO3是特殊正交群，
Figure GDA0002973341890000062
是六维度实数组成的向量集合，
Figure GDA0002973341890000063
和
Figure GDA0002973341890000064
是第k个系统状态的位置与朝向(定义在世界坐标系W中，
Figure GDA0002973341890000065
是第k个系统状态Sk到世界坐标系W的旋转四元数，而
Figure GDA0002973341890000066
是世界坐标系W到Sk的旋转四元数，其他符号定义以此类推)。
Figure GDA0002973341890000067
是第k个系统速度(定义在世界坐标系W中，而
Figure GDA0002973341890000068
是第k+1个系统速度，其他符号定义以此类推)，
Figure GDA0002973341890000069
和
Figure GDA00029733418900000610
是第k个系统IMU角速度计和加速度计的偏执量(而
Figure GDA00029733418900000611
和
Figure GDA00029733418900000612
是第k+1个，其他以此类推)。
本发明采用(Shin and El-Sheimy,2004)提出的简化版MEMS IMU运动模型，并参考其中的符号运算系统：
Figure GDA00029733418900000613
Figure GDA00029733418900000614
Figure GDA00029733418900000615
Figure GDA00029733418900000616
Figure GDA00029733418900000617
其中，
Figure GDA00029733418900000618
表示速度，即位置的变化；
Figure GDA00029733418900000619
表示加速度，即速度的变化；
Figure GDA00029733418900000620
表示第k个系统状态Sk到世界坐标系W的旋转矩阵，bg、ba分别表示陀螺和加速度计的偏置，
Figure GDA00029733418900000621
表示这两个偏置的变化，
Figure GDA00029733418900000622
表示角速度，am和ωm分别是加速度和角速度测量值，an和ωn分别是对应的测量噪声，可以被模型化为带有高斯噪声
Figure GDA00029733418900000623
and
Figure GDA00029733418900000624
的随机游走，gW是重力加速度。假设时刻tk是
Figure GDA00029733418900000625
对应的时间，时刻tk+1是
Figure GDA00029733418900000626
对应的时间，Δtk是
Figure GDA00029733418900000627
与
Figure GDA00029733418900000628
两个状态的时间间隔，
Figure GDA00029733418900000629
为四元数乘法。
为求取时刻tk到时刻tk+1之间任意时刻t的系统状态，本发明进一步重新推导IMU动力学模型如下：
Figure GDA00029733418900000630
其中，
Figure GDA00029733418900000631
表示当前时间加速度的测量值，
Figure GDA00029733418900000632
表示当前时间加速度计的偏置，
Figure GDA00029733418900000633
是第k+1个系统状态的位置，
Figure GDA0002973341890000071
表示时刻t的系统状态St到世界坐标系W的旋转矩阵。
Figure GDA0002973341890000072
Figure GDA0002973341890000073
其中，
Figure GDA0002973341890000074
是第k+1个系统速度，
Figure GDA0002973341890000075
是第k+1个系统状态的朝向四元数，
Figure GDA0002973341890000076
是时刻t的系统状态St到参考坐标系(第k个系统状态Sk)的转换四元数。
Figure GDA0002973341890000077
表示t时刻测量得到的角速度，
Figure GDA0002973341890000078
表示陀螺t时刻的零偏。
Figure GDA0002973341890000079
Figure GDA00029733418900000710
Figure GDA00029733418900000711
Figure GDA00029733418900000712
Figure GDA00029733418900000713
其中，
Figure GDA00029733418900000714
表示世界坐标系W到参考坐标系(第k个系统状态Sk)的旋转矩阵，
Figure GDA00029733418900000715
和
Figure GDA00029733418900000716
是第k个系统IMU角速度计和加速度计的偏执量，而
Figure GDA00029733418900000717
和
Figure GDA00029733418900000718
是第k+1个系统IMU角速度计和加速度计的偏执量。
定义
Figure GDA00029733418900000719
为系统状态Sk到Sk+1的相对位移：
Figure GDA00029733418900000720
其中，
Figure GDA00029733418900000721
表示时刻t的系统状态St到参考坐标系(第k个系统状态Sk)的旋转矩阵。
定义
Figure GDA00029733418900000722
为系统状态Sk到Sk+1的相对速度变化：
Figure GDA00029733418900000723
定义
Figure GDA00029733418900000724
为系统状态Sk到Sk+1的相对旋转四元数：
Figure GDA00029733418900000725
其中，
Figure GDA0002973341890000081
表示当前坐标系St到Sk旋转的四元数。
定义IMU辅助光束法代价函数如下：
Figure GDA0002973341890000082
其中
Figure GDA0002973341890000083
是重投影误差，
Figure GDA0002973341890000084
是IMU测量误差，
Figure GDA0002973341890000085
是重投影误差的权，
Figure GDA0002973341890000086
是IMU测量误差的权，J(x)是代价函数，inertial代表IMU误差部分，visual代表视觉测量部分,
Figure GDA0002973341890000087
是表示参考坐标系(第k个系统状态Sk)对应的影像中可观测到的特征点组成的集合。这样可以同时考虑IMU数据与影像数据，将二者融入姿态估计中。
步骤4：将IMU与激光扫描仪位置进行在线标定，并解算出最终的激光点云。首先利用多视立体像对计算出单张影像的深度图像，同时将激光测量值投影到相机平面，比较二者差异，将差异作为代价函数，从而解除IMU与激光扫描仪的相对姿态。代价函数如下：
Figure GDA0002973341890000088
其中，
Figure GDA0002973341890000089
是代价函数，
Figure GDA00029733418900000810
为待结算安置角度，height，width是影像的高度与宽度，
Figure GDA00029733418900000811
是第k张影像的深度图中像素(u,v)对应的MVS深度值，
Figure GDA00029733418900000812
是根据
Figure GDA00029733418900000813
计算出的激光投影深度图中像素(u,v)对应的深度值。
具体实施时，本发明流程可采用软件技术实现自动运行流程。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或超越所附权利要求书所定义的范围。

Claims (6)

1.一种低成本无人飞行器移动测量方法，其特征在于：设置低成本无人飞行器，低成本无人飞行器的传感器部分由IMU、相机和激光扫描仪组成，移动测量包括以下步骤：
步骤1，根据硬件时间戳，将所有传感器数据进行整合，包括IMU、相机和激光扫描仪三类传感器的数据；
步骤2，在影像数据中提取SIFT特征点，并按照照片采集顺序进行匹配，之后进行增量式运动结构恢复；
步骤3，将IMU与相机位置进行在线标定，并进行IMU数据辅助的光束法平差，得到更加准确的影像外方位元素及任意时间点的系统状态；
设第k张影像的姿态组成的集合为
Figure FDA0002973341880000011
N为状态数量，k为状态序号，第k张影像特征点的三维坐标组成的集合为
Figure FDA0002973341880000012
Figure FDA0002973341880000013
为第k张影像特征点的特征点数量，j为特征点序号，
为进行IMU数据辅助的光束法平差，定义IMU辅助光束法代价函数如下，
Figure FDA0002973341880000014
其中，
Figure FDA0002973341880000015
是重投影误差，
Figure FDA0002973341880000016
是IMU测量误差，
Figure FDA0002973341880000017
是重投影误差的权，
Figure FDA0002973341880000018
是IMU测量误差的权，J(x)是代价函数，inertial代表IMU误差部分，visual代表视觉测量部分，
基于IMU辅助光束法代价函数，同时考虑IMU数据与影像数据，将二者融入姿态估计中；
步骤4，将IMU与激光扫描仪位置进行在线标定，并解算出最终的激光点云。
2.根据权利要求1所述低成本无人飞行器移动测量方法，其特征在于：硬件时间同步方式为：无人飞行器的机载控制单元接收IMU输出的信号，并根据预设的数目，在接收到IMU输出的若干信号时，向相机发送曝光指令；并且，机载控制单元依据系统时间向激光扫描仪发送NMEA信号与秒脉冲信号，将激光扫描仪时间与系统时间同步；在采集数据时，机载控制单元采集各传感器数据的同时，记录时间戳，为后续处理做准备。
3.根据权利要求1或2所述低成本无人飞行器移动测量方法，其特征在于：步骤4的实现方式为：首先利用多视立体像对计算出单张影像的深度图像，同时将激光测量值投影到相机平面，比较二者差异，将差异作为代价函数，从而解除IMU与激光扫描仪的相对姿态。
4.一种低成本无人飞行器移动测量系统，其特征在于：设置低成本无人飞行器，低成本无人飞行器的传感器部分由IMU、相机和激光扫描仪组成，该移动测量系统实现的移动测量包括以下步骤：
步骤1，根据硬件时间戳，将所有传感器数据进行整合，包括IMU、相机和激光扫描仪三类传感器的数据；
步骤2，在影像数据中提取SIFT特征点，并按照照片采集顺序进行匹配，之后进行增量式运动结构恢复；
步骤3，将IMU与相机位置进行在线标定，并进行IMU数据辅助的光束法平差，得到更加准确的影像外方位元素及任意时间点的系统状态；
设第k张影像的姿态组成的集合为
Figure FDA0002973341880000021
N为状态数量，k为状态序号，第k张影像特征点的三维坐标组成的集合为
Figure FDA0002973341880000022
Figure FDA0002973341880000023
为第k张影像特征点的特征点数量，j为特征点序号，
为进行IMU数据辅助的光束法平差，定义IMU辅助光束法代价函数如下，
Figure FDA0002973341880000024
其中，
Figure FDA0002973341880000025
是重投影误差，
Figure FDA0002973341880000026
是IMU测量误差，
Figure FDA0002973341880000027
是重投影误差的权，
Figure FDA0002973341880000028
是IMU测量误差的权，J(x)是代价函数，inertial代表IMU误差部分，visual代表视觉测量部分，
基于IMU辅助光束法代价函数，同时考虑IMU数据与影像数据，将二者融入姿态估计中；
步骤4，将IMU与激光扫描仪位置进行在线标定，并解算出最终的激光点云。
5.根据权利要求4所述低成本无人飞行器移动测量系统，其特征在于：硬件时间同步方式为：无人飞行器的机载控制单元接收IMU输出的信号，并根据预设的数目，在接收到IMU输出的若干信号时，向相机发送曝光指令；并且，机载控制单元依据系统时间向激光扫描仪发送NMEA信号与秒脉冲信号，将激光扫描仪时间与系统时间同步；在采集数据时，机载控制单元采集各传感器数据的同时，记录时间戳，为后续处理做准备。
6.根据权利要求4或5所述低成本无人飞行器移动测量系统，其特征在于：步骤4的实现方式为：首先利用多视立体像对计算出单张影像的深度图像，同时将激光测量值投影到相机平面，比较二者差异，将差异作为代价函数，从而解除IMU与激光扫描仪的相对姿态。
CN201810600860.7A 2018-06-12 2018-06-12 低成本无人飞行器移动测量方法及系统 Active CN108613675B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810600860.7A CN108613675B (zh) 2018-06-12 2018-06-12 低成本无人飞行器移动测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810600860.7A CN108613675B (zh) 2018-06-12 2018-06-12 低成本无人飞行器移动测量方法及系统

Publications (2)

Publication Number Publication Date
CN108613675A CN108613675A (zh) 2018-10-02
CN108613675B true CN108613675B (zh) 2021-07-20

Family

ID=63665010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810600860.7A Active CN108613675B (zh) 2018-06-12 2018-06-12 低成本无人飞行器移动测量方法及系统

Country Status (1)

Country Link
CN (1) CN108613675B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109341724B (zh) * 2018-12-04 2023-05-05 中国航空工业集团公司西安航空计算技术研究所 一种机载相机-惯性测量单元相对位姿在线标定方法
CN110084832B (zh) * 2019-04-25 2021-03-23 亮风台（上海）信息科技有限公司 相机位姿的纠正方法、装置、系统、设备和存储介质
CN110888142B (zh) * 2019-11-15 2023-05-30 山西大学 基于mems激光雷达测量技术的航天器隐藏目标点测量方法
CN111207742B (zh) * 2020-01-17 2020-12-15 西安科技大学 一种附加外方位元素约束的采煤机定位定姿方法
CN114623818B (zh) * 2022-02-28 2024-09-13 武汉大学 高精度穿戴式头盔数据获取装备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103196431A (zh) * 2013-04-03 2013-07-10 武汉大学 机载激光扫描点云与光学影像的整体空三方法
CN104200086A (zh) * 2014-08-25 2014-12-10 西北工业大学 宽基线可见光相机位姿估计方法
CN106780601A (zh) * 2016-12-01 2017-05-31 北京未动科技有限公司 一种空间位置追踪方法、装置及智能设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103196431A (zh) * 2013-04-03 2013-07-10 武汉大学 机载激光扫描点云与光学影像的整体空三方法
CN104200086A (zh) * 2014-08-25 2014-12-10 西北工业大学 宽基线可见光相机位姿估计方法
CN106780601A (zh) * 2016-12-01 2017-05-31 北京未动科技有限公司 一种空间位置追踪方法、装置及智能设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
低空UAV激光点云和序列影像的自动配准方法;陈驰等;《测绘学报》;20150531;第44卷(第5期);第1-2节 *
国产机载LiDAR技术及其电力巡线中的应用;李志杰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140715(第7期);第2.4.3-2.4.4节 *

Also Published As

Publication number Publication date
CN108613675A (zh) 2018-10-02

Similar Documents

Publication Publication Date Title
CN108613675B (zh) 低成本无人飞行器移动测量方法及系统
CN109059906B (zh) 车辆定位方法、装置、电子设备、存储介质
CN109443348B (zh) 一种基于环视视觉和惯导融合的地下车库库位跟踪方法
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
CN110411457B (zh) 基于行程感知与视觉融合的定位方法、系统、终端和存储介质
JP6656886B2 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
CN112577493B (zh) 一种基于遥感地图辅助的无人机自主定位方法及系统
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2017008454A1 (zh) 一种机器人的定位方法
KR102130687B1 (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템
CN110458885B (zh) 基于行程感知与视觉融合的定位系统和移动终端
KR102239562B1 (ko) 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템
Kinnari et al. GNSS-denied geolocalization of UAVs by visual matching of onboard camera images with orthophotos
KR20200056613A (ko) 정사영상에 기반한 센서 탑재 이동형 플랫폼의 기하 보정 시스템
CN115574816A (zh) 仿生视觉多源信息智能感知无人平台
CN116907469A (zh) 多模态数据联合优化的同步定位及建图方法及系统
Andert et al. Optical-aided aircraft navigation using decoupled visual SLAM with range sensor augmentation
CN116380079A (zh) 一种融合前视声呐与orb-slam3的水下slam方法
Gupta et al. Terrain‐based vehicle orientation estimation combining vision and inertial measurements
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
KR20220062709A (ko) 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법
CN117330052A (zh) 基于红外视觉、毫米波雷达和imu融合的定位与建图方法及系统
CN116625359A (zh) 一种自适应融合单频rtk的视觉惯性定位方法和设备
CN115344033B (zh) 一种基于单目相机/imu/dvl紧耦合的无人船导航与定位方法
CN114842224A (zh) 一种基于地理底图的单目无人机绝对视觉匹配定位方案

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant