一种无人机倾斜摄影测量系统及测量方法
技术领域
本发明属于无人机技术领域,具体涉及一种无人机倾斜摄影测量系统及测量方法。
背景技术
倾斜摄影测量是近年来兴起的一种无人机摄影测量方式。无人机摄影测量技术通过在无人机上搭载相机,拍摄连续多张影像,在数据处理阶段提取每一张影像的特征信息,并将每一张影像的特征与其他影像的特征计算匹配关系,利用影像间的匹配关系同时计算出拍摄时相机的位置与姿态以及所拍摄地形的三维信息。传统的无人机摄影测量相机放置的方向与地面垂直,目的是为了便于生成正射影像图以及数字高程模型,这与传统测绘的最终数字成果多为二维的地图有关。倾斜摄影测量的概念开始提出,无人机上放置相机不再与地面垂直,而是成一大约为45度的角度,这样的好处是可以获取地面景物多个角度的信息,最终生成接近实景的三维数字模型。典型的倾斜摄影测量软件有ContextCaputre3D。
摄影测量的一般流程如下:
1)特征检测,对于需要处理的每张影像,提取若干在影像变换过程中(如缩放变换、仿射变换、光照变换等)保持不变性的特征点,特征点还包括以下信息:亚像素级的二维影像座标、高维特征描述向量(至少64维,一般128维)。
2)特征匹配,对于任意一对影像i与j,对于影响i中的特征点Pm及其相应的特征描述向量Dm,寻找j影像中与其最为匹配的特征点Pn,其相应的特征描述向量Dn与Dm之差的范数最小。
3)几何计算,先选定一对影像i与j,根据特征匹配得到的匹配点,利用其射影几何的关系计算本征矩阵E,并进而得到j相对于i的旋转R与平移t,再利用前方交汇算法计算影像对的匹配点相对应的三维点座标。此时选择影像k,该影像与影像i或j具有匹配点,利用后方交汇算法计算影像k的旋转Rk与tk,此时再次利用前方交汇算法计算影像k包含的特征点的三维座标。利用如上所述的方法不断的加入照片并计算特征点的三维座标,直至所有影像都加入计算。
在摄影测量中,占用计算量很大的一个步骤是特征匹配,如果没有额外的信息,那么每一张影像的特征需要与其他所有影像进行匹配计算以确定是否具备相关性,此时计算复杂度为。在传统的正射摄影测量中,多利用POS信息来减少匹配量。所谓POS信息就是通过在无人机上搭载全球导航卫星系统(Global Navigation Satellite System,GNSS)接收机以及惯性测量单元(Inertial Measurement Unit,IMU)来获取拍照时刻近似的相机位置与姿态。
ci或cj表示相机位置,相机拍摄到的影像中心点等于相机位置沿相机拍摄方向的射线与地平面的交点di或dj,因此对于每张影像i或j,只需检查那些dj点距离di点一定范围之内的影像j是否与影像i具有相关性,计算复杂度即缩减为O(n)。在正射摄影测量中,由于相机拍摄方向垂直于地面,对于每一张影像,di与dj点的距离与ci与cj点的距离大致相同,因此只需搜索POS数据中位置座标ci与cj相距一定范围内的影像。在倾斜摄影测量的情况下,由于相机朝向与地面具有一定角度,ci与cj的距离不等同于di与dj的距离,此时倾斜摄影测量软件会让用户输入地面的高度,以计算出较为准确的dj,以上述同样的方式减少匹配计算量。但是当地形的起伏较大,无法用一个地面高度h来表示地面时,di与dj的计算就会变得较为不准确从而使得错误的匹配以及漏掉的匹配数量较多,进而影响最终结果的精度。
发明内容
本发明的目的在于针对现有技术的不足,提供一种能及时获取拍摄的地面大致的地形分布情况,并提升倾斜摄影测量的精度以及缩减计算时间无人机倾斜摄影测量系统及测量方法。
为了实现上述目的,本发明采用了以下技术方案:
一种无人机倾斜摄影测量方法,包括以下步骤:
步骤一:低分辨率影像传感器和高分辨率影像传感器拍摄影像数据,并反馈到计算单元;
步骤二:计算单元将低分辨率影像传感器和高分辨率影像传感器采集的影像数据进行处理、解算,并存储至存储单元并记录下:该时刻的时间信息、计算单元通过GNSS接收机接收到的信号计算出的位置座标、计算单元通过惯性测量单元测量的信号计算出的姿态;
步骤三:利用低分辨率影像传感器所拍摄的影像数据通过同时定位与构图技术(ORB-SLAM与LSD-SLAM),利用前后若干帧影像间的关联信息,计算出各帧影像的位置与姿态以及所拍摄场景的三维信息,构成三维数字模型;
步骤四:对影像数据进行特征检测、特征匹配;在处理高分辨率影像传感器获取的影像数据时,利用低分辨率影像传感器获取到的三维信息减少影像数据特征匹配计算时间,降低时间复杂度。
所述步骤四中,减少匹配计算时间以及降低时间复杂度的计算方法为:
1)首先量测各个低分辨率影像传感器和高分辨率影像传感器之间的相对位置tij,以及每个低分辨率影像传感器和高分辨率影像传感器的内参数矩阵ki;
2)利用算法结合GNSS接收机的位置座标以及惯性测量单元的姿态计算低分辨率影像传感器在t时刻的位置tit与rit,并保存所有低分辨率影像传感器在t时刻拍摄到的三维点座标xitk;
3)计算高分辨率影像传感器在t时刻拍摄到的三维点集{xitk},该点集由以下方式产生:将t时刻下所有低分辨率影像传感器拍摄到的三维点座标{xitk}加入到点集{xitk}中;使用RANSAC算法拟合一个点集{xitk}的平面P=(nT d)T;并根据高分辨率传感器的内参数矩阵Kh,GNSS接收机的位置座标th,惯性测量单元姿态矩阵Rh计算单应矩阵Hh,计算公式为:Hh=Kh(Rh-thnT/d);
4)计算高分辨率影像的中心点在拍摄场景中的座标y=Hhx,对于每一张高分辨率影像传感器拍摄的影像Ii,只需搜索其他高分辨率影像Ij进行匹配,其相对应的yj与yi的距离小于r,其中r为用户输入的参数,此时即可使匹配的计算时间复杂度由O(n2)降低至O(n)。
所述低分辨率影像传感器和高分辨率影像传感器之间相对位置的量测方法是使用内参数矩阵,其中f是镜头焦距,w是以像素为单位的影像宽度,h是以像素为单位的影像高度,将各个影像传感器安放于同一水平面上,并量测各个影像传感器间的距离,从而得到Ki与tij。
所述低分辨率影像传感器和高分辨率影像传感器之间相对位置的量测方法是使用棋盘格标定的方式计算影像传感器间的Ki与tij。
一种无人机倾斜摄影测量系统,包括无人机以及设在无人机上的计算单元;还包括分别与计算单元连接的GNSS接收机、惯性测量单元、存储单元以及影像传感器;所述影像传感器设在无人机机身上;所述影像传感器包括低分辨率影像传感器和高分辨率影像传感器;所述低分辨率影像传感器和高分辨率影像传感器均至少一个;所述低分辨率影像传感器和高分辨率影像传感器均安装于同一个轴上;计算单元负责将采集到的数据进行处理、计算、优化,并存储至存储单元上;当影像传感器获取一帧影像时,计算单元通知存储单元记录该时刻的时间信息、计算单元通过GNSS接收机接收到的信号计算出的位置座标、计算单元通过惯性测量单元测量的信号计算出的姿态。
所述低分辨率影像传感器和高分辨率影像传感器均至少一个,使拍摄到地形分布情况更加清晰和全面,使系统更精确的估计高分辨率传感器拍摄范围的地形。
所述低分辨率影像传感器和高分辨率影像传感器均安装在无人机机身的纵轴或横轴上并且均与飞行前进方向呈45度的角度,其中高分辨率影像传感器趋向于轴的中间位置安装。
本发明的有益效果:本系统结构简单,设计合理;采用本系统拍摄到地形分布情况更加清晰和全面;本系统及其测量方法的倾斜摄影精度更加精确,系统数据处理更加快速,使其减少影像匹配的计算时间,提升精细的数字三维模型的精度。
附图说明
图1是本发明的连接示意图;
图2是本发明实施例1的结构示意图;
图3是本发明实施例2的结构示意图;
图4是本发明实施例3的结构示意图;
图5是本发明实施例4的结构示意图;
图6是本发明实施例5的结构示意图;
图中:1-低分辨率影像传感器;2-高分辨率影像传感器。
具体实施方式
下面结合附图和实施例对本发明进一步说明,但是本发明的保护范围不仅仅局限于以下具体实施例。
实施例1
一种无人机倾斜摄影测量方法,包括以下步骤:
步骤一:低分辨率影像传感器和高分辨率影像传感器拍摄影像数据,并反馈到计算单元;
步骤二:计算单元将低分辨率影像传感器和高分辨率影像传感器采集的影像数据进行处理、解算,并存储至存储单元并记录下:该时刻的时间信息、计算单元通过GNSS接收机接收到的信号计算出的位置座标、计算单元通过惯性测量单元测量的信号计算出的姿态;
步骤三:利用低分辨率影像传感器所拍摄的影像数据通过同时定位与构图技术(ORB-SLAM与LSD-SLAM),利用前后若干帧影像间的关联信息,计算出各帧影像的位置与姿态以及所拍摄场景的三维信息,构成三维数字模型;
步骤四:对影像数据进行特征检测、特征匹配;在处理高分辨率影像传感器获取的影像数据时,利用低分辨率影像传感器获取到的三维信息减少影像数据特征匹配计算时间,降低时间复杂度。
所述步骤四中,减少匹配计算时间以及降低时间复杂度的计算方法为:
1)首先量测各个低分辨率影像传感器和高分辨率影像传感器之间的相对位置tij,以及每个低分辨率影像传感器和高分辨率影像传感器的内参数矩阵ki;
2)利用算法结合GNSS接收机的位置座标以及惯性测量单元的姿态计算低分辨率影像传感器在t时刻的位置tit与rit,并保存所有低分辨率影像传感器在t时刻拍摄到的三维点座标xitk;
3)计算高分辨率影像传感器在t时刻拍摄到的三维点集{xitk},该点集由以下方式产生:将t时刻下所有低分辨率影像传感器拍摄到的三维点座标{xitk}加入到点集{xitk}中;使用RANSAC算法拟合一个点集{xitk}的平面P=(nT d)T;并根据高分辨率传感器的内参数矩阵Kh,GNSS接收机的位置座标th,惯性测量单元姿态矩阵Rh计算单应矩阵Hh,计算公式为:Hh=Kh(Rh-thnT/d);
4)计算高分辨率影像的中心点在拍摄场景中的座标y=Hhx,对于每一张高分辨率影像传感器拍摄的影像Ii,只需搜索其他高分辨率影像Ij进行匹配,其相对应的yj与yi的距离小于r,其中r为用户输入的参数,此时即可使匹配的计算时间复杂度由O(n2)降低至O(n)。
所述低分辨率影像传感器和高分辨率影像传感器之间相对位置的量测方法是使用内参数矩阵,其中f是镜头焦距,w是以像素为单位的影像宽度,h是以像素为单位的影像高度,将各个影像传感器安放于同一水平面上,并量测各个影像传感器间的距离,从而得到Ki与tij。
所述低分辨率影像传感器和高分辨率影像传感器之间相对位置的量测方法是使用棋盘格标定的方式计算影像传感器间的Ki与tij。
一种无人机倾斜摄影测量系统,包括无人机以及设在无人机上的计算单元;还包括分别与计算单元连接的GNSS接收机、惯性测量单元、存储单元以及影像传感器;所述影像传感器设在无人机机身上;所述影像传感器包括低分辨率影像传感器和高分辨率影像传感器;所述影像传感器包括两个低分辨率影像传感器和两个高分辨率影像传感器;所述低分辨率影像传感器和高分辨率影像传感器均安装于横轴上;计算单元负责将采集到的数据进行处理、计算、优化,并存储至存储单元上;当影像传感器获取一帧影像时,计算单元通知存储单元记录该时刻的时间信息、计算单元通过GNSS接收机接收到的信号计算出的位置座标、计算单元通过惯性测量单元测量的信号计算出的姿态。
实施例2
本实施例与实施例1的不同之处在于:如图3所示,所述影像传感器包括一个低分辨率影像传感器和一个高分辨率影像传感器;所述低分辨率影像传感器和高分辨率影像传感器均安装于横轴上;所述高分辨率影像传感器趋向于轴的中间位置安装,低分辨率影像传感器设于高分辨率影像传感器的一边。
实施例3
本实施例与实施例1的不同之处在于:如图4所示,所述影像传感器包括两个低分辨率影像传感器和一个高分辨率影像传感器;所述低分辨率影像传感器和高分辨率影像传感器均安装于横轴上;所述高分辨率影像传感器趋向于轴的中间位置安装,低分辨率影像传感器设于高分辨率影像传感器的两边。
实施例4
本实施例与实施例1的不同之处在于:如图5所示,所述影像传感器包括两个低分辨率影像传感器和两个高分辨率影像传感器;所述低分辨率影像传感器和高分辨率影像传感器均安装于纵轴上;所述高分辨率影像传感器趋向于轴的中间位置安装,低分辨率影像传感器设于高分辨率影像传感器的两边。
实施例5
本实施例与实施例1的不同之处在于:如图6所示,所述影像传感器包括一个低分辨率影像传感器和两个高分辨率影像传感器;所述低分辨率影像传感器和高分辨率影像传感器均安装于横轴上;所述高分辨率影像传感器趋向于轴的中间位置安装,低分辨率影像传感器设于高分辨率影像传感器的两边。