CN104807460A - 无人机室内定位方法及系统 - Google Patents

无人机室内定位方法及系统 Download PDF

Info

Publication number
CN104807460A
CN104807460A CN201510221288.XA CN201510221288A CN104807460A CN 104807460 A CN104807460 A CN 104807460A CN 201510221288 A CN201510221288 A CN 201510221288A CN 104807460 A CN104807460 A CN 104807460A
Authority
CN
China
Prior art keywords
point cloud
cloud chart
plane
gravity
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510221288.XA
Other languages
English (en)
Other versions
CN104807460B (zh
Inventor
蒙山
贾康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201510221288.XA priority Critical patent/CN104807460B/zh
Publication of CN104807460A publication Critical patent/CN104807460A/zh
Application granted granted Critical
Publication of CN104807460B publication Critical patent/CN104807460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation

Abstract

本发明涉及室内定位技术领域,尤其涉及一种无人机室内定位方法及系统。本发明通过安装在无人机上的深度传感器实时采集室内3D点云图像并检测其中的平面,并利用平面的法向量和重心作为定位的依赖特征,相比依赖点的三维特征进行定位稳定性更高,可准确判断出无人机的位置信息。同时,本发明通过帧间各配准参考平面的法向量及重心实时计算帧间深度传感器的位置变化信息,可实时准确追踪无人机的位置变化情况,实现对无人机的精确飞行控制。

Description

无人机室内定位方法及系统
技术领域
本发明涉及室内定位技术领域,尤其涉及一种无人机室内定位方法及系统。
背景技术
近十多年来,为解决定位“最后一公里”的问题,各科研机构以及创业型公司等在室内定位方面开展了大量研究,旨在找到一套良好的室内定位解决方案。
目前,存在的定位系统主要有四种:
第一种:基于GPS或北斗等的卫星定位系统。但其主要应用的室外定位,不适用于室内定位,且其定位误差较大。
第二种:基于WIFI的定位。其便利性强,但由于信号在传播中会收到折射、反射、非视距因素、信号死角及2.4GHz等高频段干扰,定位误差较大。
第三种:基于蓝牙的定位。其基于三角定位法,定位精准,但需要蓝牙模块及部署蓝牙基站,导致室内定位成本较高。
第四种:超宽带室内定位系统。其采用超宽带脉冲信号,通过预设的传感器对信号标签进行追踪分析,多径分辨能力强,精度高,但该类定位系统需要在室内布置用于定位的传感器,成本高,定位范围有限,可移植性差。
综上所述,现有的室内定位技术在定位精度、成本、稳定性、可移植等方面还无法兼顾,造成室内定位技术发展缓慢。
近些年,随着无人机技术的快速发展,无人机的应用领域也得到极大拓展。目前,无人机定点定位飞行控制方面主要依赖传统的GPS或第三方定位传感器。基于前文对室内定位技术现状的分析可知,无人机在室内等实时定位飞行控制要求较高的地方仍然受到很大技术局限性,其面临的主要技术问题包括以下几个方面:
1、缺乏可用于准确判断位置信息的可依赖特征。
2、缺乏可用于准确估计位置信息和追踪位置变化的方法。
3、不能准确估计无人机空间六自由度定位信息。
发明内容
本发明所要解决的技术问题是,提供一种无人机室内定位方法及系统,实现对无人机进行室内实时定位。本发明是这样实现的:
一种无人机室内定位方法,所述无人机上安装有深度传感器;所述定位方法包括如下步骤:
步骤A:利用所述深度传感器按设定采集频率实时采集室内3D点云图像,并检测其中的平面;
步骤B:实时计算各帧3D点云图像中的从各平面中预选出的预设数量的配准参考平面的法向量和重心;各配准参考平面中的一个为定位基准平面;
步骤C:实时根据当前帧与上一帧3D点云图像中各配准参考平面的法向量和重心计算所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵和平移向量;
步骤D:实时根据所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵计算所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的姿态角度变化量;
步骤E:实时根据上一帧3D点云图像中的所述定位基准平面的法向量和重心及所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的姿态角度变化量和平移向量计算在当前帧3D点云图像中要将所述深度传感器定位到所述定位基准平面的重心所需要的姿态角度变化量和平移向量;
步骤F:根据实时计算得出的在当前帧3D点云图像中要将所述深度传感器定位到所述定位基准平面的重心所需要的姿态角度变化量和平移向量控制所述无人机向所述定位基准平面的重心飞行;
步骤G:当计算得出在当前帧3D点云图像中要将所述深度传感器定位到所述定位基准平面的重心所需要的平移向量小于预设的第一阈值时,停止控制所述无人机向所述定位基准平面的重心飞行,定位结束。
进一步地,所述检测其中的平面的步骤包括:
将所述3D点云图像划分为若干点云单元;
计算各点云单元的最小均方误差,同时,剔除符合预设剔除条件的点云单元;
建立基于剩余各点云单元的最小均方误差的二叉堆排序,并选择其中最小均方误差最小的点云单元作为膨胀起始节点;
从所述膨胀起始节点开始进行膨胀生长以产生所述3D点云图像中的各平面。
进一步地,所述符合预设剔除条件的点云单元包括如下至少一种:
最小均方误差大于预设的第二阈值的点云单元;
数据有丢失的点云单元;
深度数据不连续的点云单元。
进一步地,所述配准参考平面的法向量和重心的计算方法如下:
提取各配准参考平面中的各点云单元进行主成分分析,并根据分析结果计算各配准参考平面的法向量和重心。
进一步地,所述步骤C包括:
根据每一配准参考平面在当前帧与上一帧3D点云图像中的法向量和重心分别计算所述旋转矩阵和平移向量;
根据各配准参考平面的大小为根据每一配准参考平面在当前帧与上一帧3D点云图像中的法向量和重心计算出的所述旋转矩阵和平移向量设定相应的权重;配准参考平面越大,根据其在当前帧与上一帧3D点云图像中的法向量和重心计算出的旋转矩阵和平移向量的权重越高;
根据计算出的各旋转矩阵和平移向量的权重对计算出的各旋转矩阵和平移向量进行加权求和,并将得到的最终的旋转矩阵和平移向量作为所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵和平移向量。
一种无人机室内定位系统,所述无人机上安装有深度传感器;所述定位系统包括:
平面检测模块,用于检测利用所述深度传感器按设定采集频率实时采集的室内3D点云图像中的平面;
3D特征检测模块,用于实时计算各帧3D点云图像中的从各平面中预选出的预设数量的配准参考平面的法向量和重心;各配准参考平面中的一个为定位基准平面;
帧间移动变量计算模块,用于实时根据当前帧与上一帧3D点云图像中各配准参考平面的法向量和重心计算所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵和平移向量;
帧间姿态角度变化量计算模块,用于实时根据所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵计算所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的姿态角度变化量;
飞行控制参数计算模块,用于实时根据上一帧3D点云图像中的所述定位基准平面的法向量和重心及所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的姿态角度变化量和平移向量计算在当前帧3D点云图像中要将所述深度传感器定位到所述定位基准平面的重心所需要的姿态角度变化量和平移向量;
飞行控制模块,用于根据实时计算得出的在当前帧3D点云图像中要将所述深度传感器定位到所述定位基准平面的重心所需要的姿态角度变化量和平移向量控制所述无人机向所述定位基准平面的重心飞行;
所述飞行控制模块还用于在当计算得出在当前帧3D点云图像中要将所述深度传感器定位到所述定位基准平面的重心所需要的平移向量小于预设的第一阈值时,停止控制所述无人机向所述定位基准平面的重心飞行,定位结束。
进一步地,所述平面检测模块具体用于:
将所述3D点云图像划分为若干点云单元;
计算各点云单元的最小均方误差,同时,剔除符合预设剔除条件的点云单元;
建立基于剩余各点云单元的最小均方误差的二叉堆排序,并选择其中最小均方误差最小的点云单元作为膨胀起始节点;
从所述膨胀起始节点开始进行膨胀生长以产生所述3D点云图像中的各平面。
进一步地,所述符合预设剔除条件的点云单元包括如下至少一种:
最小均方误差大于预设的第二阈值的点云单元;
数据有丢失的点云单元;
深度数据不连续的点云单元。
进一步地,所述3D特征检测模块具体用于:
提取各配准参考平面中的各点云单元进行主成分分析,并根据分析结果计算各配准参考平面的法向量和重心。
进一步地,所述帧间移动变量计算模块具体用于:
根据每一配准参考平面在当前帧与上一帧3D点云图像中的法向量和重心分别计算所述旋转矩阵和平移向量;
根据各配准参考平面的大小为根据每一配准参考平面在当前帧与上一帧3D点云图像中的法向量和重心计算出的所述旋转矩阵和平移向量设定相应的权重;配准参考平面越大,根据其在当前帧与上一帧3D点云图像中的法向量和重心计算出的旋转矩阵和平移向量的权重越高;
根据计算出的各旋转矩阵和平移向量的权重对计算出的各旋转矩阵和平移向量进行加权求和,并将得到的最终的旋转矩阵和平移向量作为所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵和平移向量。
与现有技术相比,本发明通过安装在无人机上的深度传感器实时采集室内3D点云图像并检测其中的平面,并利用平面的法向量和重心作为定位的依赖特征,相比依赖点的三维特征进行定位稳定性更高,可准确判断出无人机的位置信息。同时,本发明通过帧间各配准参考平面的法向量及重心实时计算帧间深度传感器的位置变化信息,可实时准确追踪无人机的位置变化情况,实现对无人机的精确飞行控制。
附图说明
图1:本发明无人机室内定位方法流程示意图;
图2:聚类生长算法示意图;
图3:本发明无人机室内定位系统流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。本发明的基本思想是,通过安装在无人机上的深度传感器实时采集室内3D点云图像,并根据3D点云图像中的平面的3D特征对无人机进行定位,在定位的过程中,通过相邻帧3D点云图像中的对应平面的3D特征相邻帧之间无人机的位置变化量,并根据该位置变化量来实时追踪无人机的位置变化情况,从而控制无人机飞行,实现定位。结合图1,本发明提供的无人机室内定位方法包括如下步骤:
步骤A:利用深度传感器按设定采集频率实时采集室内3D点云图像,并检测其中的平面。本发明利用Xtion深度传感器按不低于设定值的频率实时采集室内3D点云图像,该3D点云图像为有序3D点云数据。针对Xtion深度传感器实时采集到的各帧3D点云图像,再检测其中的平面。检测3D点云图像中的平面主要包括以下⑴、⑵、⑶、⑷四个步骤:
⑴、将3D点云图像划分为若干点云单元。将3D点云图像划分为若干点云单元可提升后续聚类生长阶段的处理速度。例如,一帧640*480的有序3D点云数据,其有307200个深度坐标数据,可划分为3072个点云单元,每个点云单元为10*10分辨率,包含100个深度坐标数据。通过这样的方式将3D点云图像进行分块处理比对其进行整体数据处理的效率要高。
⑵、计算各点云单元的最小均方误差,同时,剔除符合预设剔除条件的点云单元。点云单元的最小均方误差的计算方法如下:
①首先确定该点云单元的最佳拟合平面,步骤如下:
⒈对点云单元求解其质心,其质心定义为其中,m为点云单元的重心,n为点云单元中所包含的三维点的数量,i为点云单元中三维点的序号,pi为点云单元中第i个三维点的三维坐标。
⒉拟合该点云单元的特征矩阵: C = Γ n ( x , x ) Γ n ( x , y ) Γ n ( x , z ) Γ n ( y , x ) Γ n ( y , y ) Γ n ( y , z ) Γ n ( z , x ) Γ n ( z , y ) Γ n ( z , z ) , 其中,n为点云单元中所包含的三维点的数量,φi为节点单元中第i个φ坐标,mφ为φ坐标的重心。
⒊计算上述特征矩阵的特征值和特征向量。该点云单元的最佳拟合平面的法向量就等于该上述特征矩阵的最小特征值所对应的特征向量。特征向量经过归一化处理后,可求偏移值bias:
bias=-(nx·mx+ny·my+nz·mz),其中,mx,my,mz为重心三维坐标,nx,ny,nz平面法线坐标。
⒋拟合出的该点云单元的最佳拟合平面方程为:nx·x+ny·y+nz·z+bias=0,其中,。点m为最佳平面的质心,其通过法向量和偏移值bias共同确定最佳拟合平面的方程。
②根据最佳拟合平面方程求解最小均方误差:
MSE = Σ i = 1 n ( | n x · x i + n y · y i + n z · z i + bias | n x 2 + n y 2 + n z 2 ) 2 .
注意在上述求解点云单元的最小均方误差的过程中,需要剔除不符合要求的点云单元,包括以下几类:
第一类:有较大最小均方误差的点云单元。这类点云单元含有不在同一个平面的点的干扰,可设定一阈值TMSE,将最小均方误差大于该阈值的点云单元剔除。TMSE=(σz2+ε)2,其中σ=1.6×10-6,3≤ε≤8,ε可以根据需要选择,z为深度距离。
第二类:数据有丢失的点云单元。一般是指这类点云单元中有没有采集到深度坐标数据的点。这类点云单元深度数据有丢失,影响对平面的检测。
第三类:深度数据不连续的点云单元。当该点云单元中的各深度数据之间满足|Za-Zb|>2α(|Za|+0.5)时,表示该点云单元中含有不在同一平面的三维点。其中,Za、Zb表示深度距离值。这类点云单元一般位于平面之间的边缘处,用于区分不同平面的分界线,也会干扰对平面的检测。
通过上述步骤⑴、⑵对3D点云图像完成了粗分割处理,并初步建立起了各点云单元之间的关联,将各类不符合条件的点云单元剔除后,将属于同一个平面的点云单元之间事先建立了连接关系,不属于同一个平面的点云单元之间则没有连接关系。步骤⑶、⑷是对各点云单元进行聚类生长算法处理以从剩下的各点云单元中生长出各平面的过程:
⑶、建立基于剩余各点云单元的最小均方误差的二叉堆排序,并选择其中最小均方误差最小的点云单元作为膨胀起始节点。
⑷、从膨胀起始节点开始进行膨胀生长以产生3D点云图像中的各平面。膨胀过程如图2所示,图2中,a表示一点云单元,b、c、d、e分别表示点云单元a的上、左、下、右邻居点云单元。根据事先已经建立起的连接关系进行膨胀生长,如果一个点云单元存在上、左、下、右邻居点云单元,则将该点云单元的上、左、下、右邻居点云单元与该点云单元合并为一个集合,然后检测新合并到该集合的点云单元是否存在上、左、下、右邻居点云单元,如果有,也将其上、左、下、右点云单元合并到该集合,通过不断的合并,将所有符合要求的点云单元都合并到该集合后,该集合就是该3D点云图像中的一个平面。然后按照前述同样的方法确定下一个平面,直到检测完3D点云图像中的所有平面。
步骤B:实时计算各帧3D点云图像中的从各平面中预选出的预设数量的配准参考平面的法向量和重心,各配准参考平面中的一个为定位基准平面。配准参考平面是指用于根据其在相邻两帧3D点云图像中的3D特征的变化量来确定深度传感器在拍摄该相邻两帧3D点云图像之间的位置变化量的平面。而通过多个这样的配准参考平面综合计算可进一步提高计算出的上述位置变化量的准确性。由于平面越大,其3D特征越稳定,利用其计算上述位置变化量的准确性越高,因此,可根据步骤A检测到的各平面的大小来预选一定数量的配准参考平面。可将步骤A检测到的各平面按大小进行排序,选择最大的若干个平面作为配准参考平面。可根据需要确定配准参考平面的数量。在从选择的各配准参考平面中选择一个作为定位基准平面。本发明定位的目的就是要将无人机定位到该定位基准平面的重心的一定范围内。
配准参考平面的法向量和重心的计算方法如下:
提取配准参考平面中的各点云单元并对其进行主成分分析(PrincipalComponent Analysis,PCA),并根据分析结果计算配准参考平面的法向量和重心。例如,如果某一配准参考平面中包含三个点云单元,对该三个点云单元进行PCA分析得到该三个点云单元的法线分别为:N1(X1,Y1,Z1)、N2(X2,Y2,Z2)、N3(X3,Y3,Z3),则该配准参考平面的法线为:
( ( X 1 S 1 + S 2 + S 3 + X 2 S 1 + S 2 + S 3 + X 3 S 1 + S 2 + S 3 ) / 3 , ( Y 1 S 1 + S 2 + S 3 + Y 2 S 1 + S 2 + S 3 + Y 3 S 1 + S 2 + S 3 ) / 3 , , 其中,S1=X1 2+Y1 2+Z1 2 ( Z 1 S 1 + S 2 + S 3 + Z 2 S 1 + S 2 + S 3 + Z 3 S 1 + S 2 + S 3 ) / 3 ) S2=X2 2+Y2 2+Z2 2,S3=X3 2+Y3 2+Z3 2。其他情况同理。
步骤C:实时根据当前帧与上一帧3D点云图像中各配准参考平面的法向量和重心计算深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵和平移向量。步骤C是将两个坐标系中的数据配准到同一坐标系的过程。该旋转矩阵和平移向量实质表示了深度传感器在拍摄上一帧3D点云图像与拍摄当前帧3D点云图像之间的位置变化量。配准参考平面的法向量和重心的数据是以拍摄该配准参考平面时深度传感器的坐标系为基础的。如前述,由于无人机在连续飞行,因此,深度传感器在拍摄上一帧3D点云图像时与拍摄当前帧3D点云图像时的视角是不同的,即上一帧与当前帧3D点云图像中的配准参考平面的法向量和重心是以不同的坐标系为基础的,因此,需要将上一帧与当前帧3D点云图像中的配准参考平面的坐标数据统一到同一坐标系下,以实现对深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵和平移向量的计算。配准时,最简单且常用的几何特征是点,但是,由于点的不稳定性会带来很大的误差。前述已通过聚类生长算法提取的平面稳定且准确,而且平面的对应关系较好,具有很好的鲁棒性,上下帧3D点云图像中的平面的变化极其微小。因此选择基于平面特征实现配准。步骤C具体包括如下⑴、⑵、⑶三步骤:
⑴、根据每一配准参考平面在当前帧与上一帧3D点云图像中的法向量和重心分别计算旋转矩阵和平移向量。
⑵、根据各配准参考平面的大小为根据每一配准参考平面在当前帧与上一帧3D点云图像中的法向量和重心计算出的旋转矩阵和平移向量设定相应的权重,配准参考平面越大,根据其在当前帧与上一帧3D点云图像中的法向量和重心计算出的旋转矩阵和平移向量的权重越高。
⑶、根据计算出的各旋转矩阵和平移向量的权重对计算出的各旋转矩阵和平移向量进行加权求和,并将得到的最终的旋转矩阵和平移向量作为深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵和平移向量。以下为计算该旋转矩阵和平移向量需要用到的公式。
其中,wi为权重,ni和n'i为上下帧对应平面的法线,R即为要解出的旋转矩阵。可利用四元数法求出R。
其中,wi为权重,ni和n'i为上下帧对应平面的法线,R即为要解出的旋转矩阵,mi和m'i上下帧中对应平面的重心,,将求出的旋转矩阵设为R,通过对该公式进行最小化运算获得t,并对t求导即可求得平移向量在计算过程中,至少需要3对配准参考平面(即配准参考平面的数量为3个,上一帧与当前帧3D点云图像中的3个配准参考平面组成3对配准参考平面)才能得到唯一的旋转矩阵和平移向量,本发明选择5对配准参考平面会出现冗余的平面特征对,可利用最小二乘法进行优化。
步骤D:实时根据深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵计算深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的姿态角度变化量。根据深度传感器的旋转矩阵可以求出深度传感器的姿态角度变化量。姿态角度变化量包括翻滚角度变化量α、俯仰角度变化量β以及航向角度变化量γ,它们与旋转矩阵R的坐标关系如下:
R = R x ( α ) R y ( β ) R z ( γ ) = R 11 R 12 R 13 R 21 R 22 R 23 R 31 R 32 R 33 , 其中,,,
R 11 = cos β cos γ R 12 = cos β sin γ R 13 = - sin β R 21 = sin α sin β cos γ - cos α sin γ R 22 = sin α sin β sin γ + cos α cos γ R 23 = sin α cos β R 31 = cos α sin β cos γ + sin α sin γ R 32 = cos α sin β sin γ - sin α cos γ R 33 = cos α cos β , 由此,可计算姿态角度表达式:
步骤E:实时根据上一帧3D点云图像中的定位基准平面的法向量和重心及深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的姿态角度变化量和平移向量计算在当前帧3D点云图像中要将深度传感器定位到定位基准平面的重心所需要的姿态角度变化量和平移向量。根据上一帧3D点云图像中的定位基准平面的法向量和重心可以求出在上一帧3D点云图像中要将深度传感器定位到上述定位基准平面的重心所需要的姿态角度变化量和平移向量,再根据深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的姿态角度变化量就可计算出在当前帧3D点云图像中要将深度传感器定位到定位基准平面的重心所需要的姿态角度变化量。
步骤F:根据实时计算得出的在当前帧3D点云图像中要将深度传感器定位到定位基准平面的重心所需要的姿态角度变化量和平移向量控制无人机向定位基准平面的重心飞行。
步骤G:当计算得出在当前帧3D点云图像中要将深度传感器定位到定位基准平面的重心所需要的平移向量小于预设的第一阈值时,停止控制无人机向定位基准平面的重心飞行,定位结束。由于重心位于定位基准平面上,因此,为避免无人机与定位基准平面相撞,不能真正将最终的目标位置设为重心,当上述所需要的平移向量小于预设的第一阈值时,就可认为已经达到目标位置,使无人机停止继续朝定位基准平面的重心飞行。
基于上述无人机室内定位方法,本发明还提出了一种无人机室内定位系统,无人机上安装有深度传感器。该定位系统包括:
平面检测模块1,用于检测利用深度传感器按设定采集频率实时采集的室内3D点云图像中的平面;
3D特征检测模块2,用于实时计算各帧3D点云图像中的从各平面中预选出的预设数量的配准参考平面的法向量和重心,各配准参考平面中的一个为定位基准平面;
帧间移动变量计算模块3,用于实时根据当前帧与上一帧3D点云图像中各配准参考平面的法向量和重心计算深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵和平移向量;
帧间姿态角度变化量计算模块4,用于实时根据深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵计算深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的姿态角度变化量;
飞行控制参数计算模块5,用于实时根据上一帧3D点云图像中的定位基准平面的法向量和重心及深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的姿态角度变化量和平移向量计算在当前帧3D点云图像中要将深度传感器定位到定位基准平面的重心所需要的姿态角度变化量和平移向量;
飞行控制模块6,用于根据实时计算得出的在当前帧3D点云图像中要将深度传感器定位到定位基准平面的重心所需要的姿态角度变化量和平移向量控制无人机向定位基准平面的重心飞行;
飞行控制模块6还用于在当计算得出在当前帧3D点云图像中要将深度传感器定位到定位基准平面的重心所需要的平移向量小于预设的第一阈值时,停止控制无人机向定位基准平面的重心飞行,定位结束。
平面检测模块1具体用于:
将3D点云图像划分为若干点云单元;
计算各点云单元的最小均方误差,同时,剔除符合预设剔除条件的点云单元;
建立基于剩余各点云单元的最小均方误差的二叉堆排序,并选择其中最小均方误差最小的点云单元作为膨胀起始节点;
从膨胀起始节点开始进行膨胀生长以产生3D点云图像中的各平面。
符合预设剔除条件的点云单元包括如下至少一种:
最小均方误差大于预设的第二阈值的点云单元;
数据有丢失的点云单元;
深度数据不连续的点云单元。
3D特征检测模块2具体用于:
提取各配准参考平面中的各点云单元进行主成分分析,并根据分析结果计算各配准参考平面的法向量和重心。
帧间移动变量计算模块3具体用于:
根据每一配准参考平面在当前帧与上一帧3D点云图像中的法向量和重心分别计算旋转矩阵和平移向量;
根据各配准参考平面的大小为根据每一配准参考平面在当前帧与上一帧3D点云图像中的法向量和重心计算出的旋转矩阵和平移向量设定相应的权重,配准参考平面越大,根据其在当前帧与上一帧3D点云图像中的法向量和重心计算出的旋转矩阵和平移向量的权重越高;
根据计算出的各旋转矩阵和平移向量的权重对计算出的各旋转矩阵和平移向量进行加权求和,并将得到的最终的旋转矩阵和平移向量作为深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵和平移向量。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种无人机室内定位方法,所述无人机上安装有深度传感器;其特征在于,包括如下步骤:
步骤A:利用所述深度传感器按设定采集频率实时采集室内3D点云图像,并检测其中的平面;
步骤B:实时计算各帧3D点云图像中的从各平面中预选出的预设数量的配准参考平面的法向量和重心;各配准参考平面中的一个为定位基准平面;
步骤C:实时根据当前帧与上一帧3D点云图像中各配准参考平面的法向量和重心计算所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵和平移向量;
步骤D:实时根据所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵计算所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的姿态角度变化量;
步骤E:实时根据上一帧3D点云图像中的所述定位基准平面的法向量和重心及所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的姿态角度变化量和平移向量计算在当前帧3D点云图像中要将所述深度传感器定位到所述定位基准平面的重心所需要的姿态角度变化量和平移向量;
步骤F:根据实时计算得出的在当前帧3D点云图像中要将所述深度传感器定位到所述定位基准平面的重心所需要的姿态角度变化量和平移向量控制所述无人机向所述定位基准平面的重心飞行;
步骤G:当计算得出在当前帧3D点云图像中要将所述深度传感器定位到所述定位基准平面的重心所需要的平移向量小于预设的第一阈值时,停止控制所述无人机向所述定位基准平面的重心飞行,定位结束。
2.如权利要求1所述的无人机室内定位方法,其特征在于,所述检测其中的平面的步骤包括:
将所述3D点云图像划分为若干点云单元;
计算各点云单元的最小均方误差,同时,剔除符合预设剔除条件的点云单元;
建立基于剩余各点云单元的最小均方误差的二叉堆排序,并选择其中最小均方误差最小的点云单元作为膨胀起始节点;
从所述膨胀起始节点开始进行膨胀生长以产生所述3D点云图像中的各平面。
3.如权利要求2所述的无人机室内定位方法,其特征在于,所述符合预设剔除条件的点云单元包括如下至少一种:
最小均方误差大于预设的第二阈值的点云单元;
数据有丢失的点云单元;
深度数据不连续的点云单元。
4.如权利要求1所述的无人机室内定位方法,其特征在于,所述配准参考平面的法向量和重心的计算方法如下:
提取各配准参考平面中的各点云单元进行主成分分析,并根据分析结果计算各配准参考平面的法向量和重心。
5.如权利要求1所述的无人机室内定位方法,其特征在于,所述步骤C包括:
根据每一配准参考平面在当前帧与上一帧3D点云图像中的法向量和重心分别计算所述旋转矩阵和平移向量;
根据各配准参考平面的大小为根据每一配准参考平面在当前帧与上一帧3D点云图像中的法向量和重心计算出的所述旋转矩阵和平移向量设定相应的权重;配准参考平面越大,根据其在当前帧与上一帧3D点云图像中的法向量和重心计算出的旋转矩阵和平移向量的权重越高;
根据计算出的各旋转矩阵和平移向量的权重对计算出的各旋转矩阵和平移向量进行加权求和,并将得到的最终的旋转矩阵和平移向量作为所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵和平移向量。
6.一种无人机室内定位系统,所述无人机上安装有深度传感器;其特征在于,包括:
平面检测模块,用于检测利用所述深度传感器按设定采集频率实时采集的室内3D点云图像中的平面;
3D特征检测模块,用于实时计算各帧3D点云图像中的从各平面中预选出的预设数量的配准参考平面的法向量和重心;各配准参考平面中的一个为定位基准平面;
帧间移动变量计算模块,用于实时根据当前帧与上一帧3D点云图像中各配准参考平面的法向量和重心计算所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵和平移向量;
帧间姿态角度变化量计算模块,用于实时根据所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵计算所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的姿态角度变化量;
飞行控制参数计算模块,用于实时根据上一帧3D点云图像中的所述定位基准平面的法向量和重心及所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的姿态角度变化量和平移向量计算在当前帧3D点云图像中要将所述深度传感器定位到所述定位基准平面的重心所需要的姿态角度变化量和平移向量;
飞行控制模块,用于根据实时计算得出的在当前帧3D点云图像中要将所述深度传感器定位到所述定位基准平面的重心所需要的姿态角度变化量和平移向量控制所述无人机向所述定位基准平面的重心飞行;
所述飞行控制模块还用于在当计算得出在当前帧3D点云图像中要将所述深度传感器定位到所述定位基准平面的重心所需要的平移向量小于预设的第一阈值时,停止控制所述无人机向所述定位基准平面的重心飞行,定位结束。
7.如权利要求6所述的无人机室内定位系统,其特征在于,所述平面检测模块具体用于:
将所述3D点云图像划分为若干点云单元;
计算各点云单元的最小均方误差,同时,剔除符合预设剔除条件的点云单元;
建立基于剩余各点云单元的最小均方误差的二叉堆排序,并选择其中最小均方误差最小的点云单元作为膨胀起始节点;
从所述膨胀起始节点开始进行膨胀生长以产生所述3D点云图像中的各平面。
8.如权利要求7所述的无人机室内定位系统,其特征在于,所述符合预设剔除条件的点云单元包括如下至少一种:
最小均方误差大于预设的第二阈值的点云单元;
数据有丢失的点云单元;
深度数据不连续的点云单元。
9.如权利要求6所述的无人机室内定位系统,其特征在于,所述3D特征检测模块具体用于:
提取各配准参考平面中的各点云单元进行主成分分析,并根据分析结果计算各配准参考平面的法向量和重心。
10.如权利要求6所述的无人机室内定位系统,其特征在于,所述帧间移动变量计算模块具体用于:
根据每一配准参考平面在当前帧与上一帧3D点云图像中的法向量和重心分别计算所述旋转矩阵和平移向量;
根据各配准参考平面的大小为根据每一配准参考平面在当前帧与上一帧3D点云图像中的法向量和重心计算出的所述旋转矩阵和平移向量设定相应的权重;配准参考平面越大,根据其在当前帧与上一帧3D点云图像中的法向量和重心计算出的旋转矩阵和平移向量的权重越高;
根据计算出的各旋转矩阵和平移向量的权重对计算出的各旋转矩阵和平移向量进行加权求和,并将得到的最终的旋转矩阵和平移向量作为所述深度传感器从拍摄上一帧3D点云图像时到拍摄当前帧3D点云图像时的旋转矩阵和平移向量。
CN201510221288.XA 2015-05-04 2015-05-04 无人机室内定位方法及系统 Active CN104807460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510221288.XA CN104807460B (zh) 2015-05-04 2015-05-04 无人机室内定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510221288.XA CN104807460B (zh) 2015-05-04 2015-05-04 无人机室内定位方法及系统

Publications (2)

Publication Number Publication Date
CN104807460A true CN104807460A (zh) 2015-07-29
CN104807460B CN104807460B (zh) 2017-10-27

Family

ID=53692501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510221288.XA Active CN104807460B (zh) 2015-05-04 2015-05-04 无人机室内定位方法及系统

Country Status (1)

Country Link
CN (1) CN104807460B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105466430A (zh) * 2015-12-31 2016-04-06 零度智控(北京)智能科技有限公司 一种无人机的定位方法和装置
CN105628045A (zh) * 2015-12-31 2016-06-01 武汉顶翔智控科技有限公司 一种无人机跟拍路径规划与跟踪方法
CN105844631A (zh) * 2016-03-21 2016-08-10 湖南拓视觉信息技术有限公司 一种目标定位方法及装置
CN106323271A (zh) * 2016-08-01 2017-01-11 北京理工大学 基于特征奇异值的航天器相对姿态测量矢量选取方法
CN107340782A (zh) * 2017-07-03 2017-11-10 深圳市中微信息技术有限公司 一种智能跟随无人飞行器及其控制方法
CN108230247A (zh) * 2017-12-29 2018-06-29 达闼科技(北京)有限公司 基于云端的三维地图的生成方法、装置、设备及应用程序
CN108510547A (zh) * 2018-03-13 2018-09-07 深圳大学 一种远心移轴相机标定方法和系统
CN108919297A (zh) * 2018-05-18 2018-11-30 国网山东省电力公司青岛供电公司 一种无人机室内定位系统及方法
CN108919825A (zh) * 2018-05-18 2018-11-30 国网山东省电力公司青岛供电公司 具备避障功能的无人机室内定位系统及方法
CN109597488A (zh) * 2018-12-12 2019-04-09 海南大学 空间展示平台角度距离主动适应算法
CN110243357A (zh) * 2018-03-07 2019-09-17 杭州海康机器人技术有限公司 一种无人机定位方法、装置、无人机及存储介质
CN110530376A (zh) * 2019-10-10 2019-12-03 上海钛米机器人科技有限公司 机器人定位方法、装置、机器人及存储介质
CN110542421A (zh) * 2019-10-10 2019-12-06 上海钛米机器人科技有限公司 机器人定位方法、定位装置、机器人及存储介质
CN111220993A (zh) * 2020-01-14 2020-06-02 长沙智能驾驶研究院有限公司 目标场景定位方法、装置、计算机设备和存储介质
CN113409485A (zh) * 2021-08-03 2021-09-17 广东电网有限责任公司佛山供电局 巡检数据获取方法、装置、计算机设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
CN103123727A (zh) * 2011-11-21 2013-05-29 联想(北京)有限公司 即时定位与地图构建方法和设备
CN103236064A (zh) * 2013-05-06 2013-08-07 东南大学 一种基于法向量的点云自动配准方法
CN103247225A (zh) * 2012-02-13 2013-08-14 联想(北京)有限公司 即时定位与地图构建方法和设备
US20130253733A1 (en) * 2012-03-26 2013-09-26 Hon Hai Precision Industry Co., Ltd. Computing device and method for controlling unmanned aerial vehicle in flight space
WO2014020547A1 (en) * 2012-07-31 2014-02-06 Indoorgo Navigation Systems Ltd. Navigation method and device
CN103778429A (zh) * 2014-01-24 2014-05-07 青岛秀山移动测量有限公司 一种车载激光扫描点云中道路信息自动提取方法
CN104154910A (zh) * 2014-07-22 2014-11-19 清华大学 一种微型无人机室内定位方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103123727A (zh) * 2011-11-21 2013-05-29 联想(北京)有限公司 即时定位与地图构建方法和设备
CN103247225A (zh) * 2012-02-13 2013-08-14 联想(北京)有限公司 即时定位与地图构建方法和设备
US20130253733A1 (en) * 2012-03-26 2013-09-26 Hon Hai Precision Industry Co., Ltd. Computing device and method for controlling unmanned aerial vehicle in flight space
WO2014020547A1 (en) * 2012-07-31 2014-02-06 Indoorgo Navigation Systems Ltd. Navigation method and device
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
CN103236064A (zh) * 2013-05-06 2013-08-07 东南大学 一种基于法向量的点云自动配准方法
CN103778429A (zh) * 2014-01-24 2014-05-07 青岛秀山移动测量有限公司 一种车载激光扫描点云中道路信息自动提取方法
CN104154910A (zh) * 2014-07-22 2014-11-19 清华大学 一种微型无人机室内定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DANIEL MAIER 等: "Real-Time Navigation in 3D Environments Based on Depth Camera Data", 《2012 12TH IEEE-RAS INTERNATIONAL CONFERENCE ON HUMANOID ROBOTS》 *
JOYDEEP BISWAS 等: "Depth Camera Based Indoor Mobile Robot Localization and Navigation", 《2012 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 *
SVEN LANGE 等: "Autonomous Corridor Flight of a UAV Using a Low-Cost and Light-Weight RGB-D Camera", 《ADVANCE IN AUTONOMOUS MINI ROBOTS》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105466430A (zh) * 2015-12-31 2016-04-06 零度智控(北京)智能科技有限公司 一种无人机的定位方法和装置
CN105628045A (zh) * 2015-12-31 2016-06-01 武汉顶翔智控科技有限公司 一种无人机跟拍路径规划与跟踪方法
CN105466430B (zh) * 2015-12-31 2018-11-06 天津远翥科技有限公司 一种无人机的定位方法和装置
CN105844631A (zh) * 2016-03-21 2016-08-10 湖南拓视觉信息技术有限公司 一种目标定位方法及装置
CN105844631B (zh) * 2016-03-21 2018-11-20 湖南拓视觉信息技术有限公司 一种目标定位方法及装置
CN106323271A (zh) * 2016-08-01 2017-01-11 北京理工大学 基于特征奇异值的航天器相对姿态测量矢量选取方法
CN106323271B (zh) * 2016-08-01 2019-03-22 北京理工大学 基于特征奇异值的航天器相对姿态测量矢量选取方法
CN107340782A (zh) * 2017-07-03 2017-11-10 深圳市中微信息技术有限公司 一种智能跟随无人飞行器及其控制方法
CN108230247A (zh) * 2017-12-29 2018-06-29 达闼科技(北京)有限公司 基于云端的三维地图的生成方法、装置、设备及应用程序
CN108230247B (zh) * 2017-12-29 2019-03-15 达闼科技(北京)有限公司 基于云端的三维地图的生成方法、装置、设备及计算机可读的存储介质
CN110243357B (zh) * 2018-03-07 2021-09-10 杭州海康机器人技术有限公司 一种无人机定位方法、装置、无人机及存储介质
CN110243357A (zh) * 2018-03-07 2019-09-17 杭州海康机器人技术有限公司 一种无人机定位方法、装置、无人机及存储介质
CN108510547A (zh) * 2018-03-13 2018-09-07 深圳大学 一种远心移轴相机标定方法和系统
CN108919825A (zh) * 2018-05-18 2018-11-30 国网山东省电力公司青岛供电公司 具备避障功能的无人机室内定位系统及方法
CN108919297A (zh) * 2018-05-18 2018-11-30 国网山东省电力公司青岛供电公司 一种无人机室内定位系统及方法
CN109597488A (zh) * 2018-12-12 2019-04-09 海南大学 空间展示平台角度距离主动适应算法
CN109597488B (zh) * 2018-12-12 2019-12-10 海南大学 空间展示平台角度距离主动适应方法
CN110530376A (zh) * 2019-10-10 2019-12-03 上海钛米机器人科技有限公司 机器人定位方法、装置、机器人及存储介质
CN110542421A (zh) * 2019-10-10 2019-12-06 上海钛米机器人科技有限公司 机器人定位方法、定位装置、机器人及存储介质
CN111220993A (zh) * 2020-01-14 2020-06-02 长沙智能驾驶研究院有限公司 目标场景定位方法、装置、计算机设备和存储介质
CN111220993B (zh) * 2020-01-14 2020-07-28 长沙智能驾驶研究院有限公司 目标场景定位方法、装置、计算机设备和存储介质
CN113409485A (zh) * 2021-08-03 2021-09-17 广东电网有限责任公司佛山供电局 巡检数据获取方法、装置、计算机设备和存储介质
CN113409485B (zh) * 2021-08-03 2023-12-12 广东电网有限责任公司佛山供电局 巡检数据获取方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN104807460B (zh) 2017-10-27

Similar Documents

Publication Publication Date Title
CN104807460A (zh) 无人机室内定位方法及系统
CN110084272B (zh) 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法
CN105424030B (zh) 基于无线指纹和mems传感器的融合导航装置和方法
CN103379619B (zh) 一种定位方法和系统
CN106912105B (zh) 基于pso_bp神经网络的三维定位方法
CN102426019B (zh) 一种无人机景象匹配辅助导航方法及系统
CN105704652B (zh) 一种wlan/蓝牙定位中的指纹库采集和优化方法
CN103995250B (zh) 射频标签轨迹追踪方法
CN103247041B (zh) 一种基于局部采样的多几何特征点云数据的分割方法
CN103791902B (zh) 适用于高机动载体的星敏感器自主导航方法
CN106597363A (zh) 一种室内wlan环境下的行人定位方法
CN110081888A (zh) 一种基于可信度的惯导和地磁融合的室内定位算法
CN104180799A (zh) 一种基于自适应蒙特卡罗定位的机器人定位方法
CN109807911A (zh) 基于gnss、uwb、imu、激光雷达、码盘的室外巡逻机器人多环境联合定位方法
CN112525197B (zh) 基于图优化算法超宽带惯性导航融合位姿估计方法
CN102288938B (zh) 一种有效的无线传感器网络节点的三维定位方法
CN104457755B (zh) 一种位置获取方法
CN107843928A (zh) 一种基于网格搜索算法的炮点纠偏方法
CN109141427A (zh) 在非视距环境下基于距离和角度概率模型的ekf定位方法
CN100390023C (zh) 一种快速星图识别方法
CN108508404A (zh) 一种基于天线阵列的定位方法及系统
CN111862200B (zh) 一种煤棚内无人机定位方法
CN115952691A (zh) 多站无源时差交叉联合定位系统的优化布站方法及装置
CN112580479A (zh) 一种基于空洞卷积神经网络的地磁式室内定位系统
CN112365592A (zh) 一种基于双向高程模型的局部环境特征描述方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant