发明内容
本发明提供一种空中三角测量成图方法,旨在利用高精度POS和IMU的数据辅助空三计算,改善现有的空中三角测量成图方法低效率的问题。
本发明实施例提供了一种空中三角测量成图方法,应用于设置有相机和慣性測量單元的飞行器,包括:
A:根据所述慣性測量單元的数据计算姿态值;
B:获取所述相机所拍摄的第一组影像对应的第一位置信息和第一姿态信息,并根据所述第一姿态信息和所述姿态值计算所述慣性測量單元和所述相机之间的枪膛归零角,其中该第一组影像对应的所述第一位置信息和所述第一姿态信息是经由对该第一组影像进行空中三角测量产生;
C:获取所述相机拍摄的第二组影像对应的第二位置信息和第二姿态信息,并根据所述枪膛归零角改正该第二组影像对应的所述第二姿态信息;
D:采集该第二组影像的覆盖区域的地形数据,据以生成地形特征模型;以及
E:根据所述地形特征模型以及该第二组影像对应的所述第二位置信息和所述第二姿态信息纠正该第二组影像,并对该第二组影像进行拼图处理以生成正射影像图。
本发明实施例还提供了一种空中三角测量成图装置,包括:
位姿计算模块,用于根据所述慣性測量單元的数据计算姿态值;
姿态改正模块,用于获取所述相机所拍摄的第一组影像对应的第一位置信息和第一姿态信息,并根据所述第一姿态信息和所述姿态值计算所述慣性測量單元和所述相机之间的枪膛归零角,其中该第一组影像对应的所述第一位置信息和所述第一姿态信息是经由对该第一组影像进行空中三角测量产生;
位姿优化模块,用于获取所述相机拍摄的第二组影像对应的第二位置信息和第二姿态信息,并根据所述枪膛归零角改正该第二组影像对应的所述第二姿态信息;
地形特征模型生成模块,用于采集该第二组影像的覆盖区域的地形数据,据以生成地形特征模型;以及
正射影像图生成模块,用于根据所述地形特征模型以及该第二组影像对应的所述第二位置信息和所述第二姿态信息纠正该第二组影像,并对该第二组影像进行拼图处理以生成正射影像图。
本发明实施例还提供了一种飞行器,所述飞行器包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如上述的空中三角测量成图方法。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上述的空中三角测量成图方法。
本发明实施例将高精度IMU所提供的姿态信息作为初值参与空三计算,基于高精度POS和IMU数据辅助空三成图方法,有效解决传统空三算法无法利用IMU所提供的姿态信息参与空三计算的缺陷,有助于简化空三流程、缩短数据处理时间,进而提高无人机影像的成图效率
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1为本发明实施例提供的空中三角测量成图方法的应用场景示意图。在本实施例中,空中三角测量成图方法的应用场景中包括飞行器10、虚拟基站20、流动站30和卫星40。在本实施例中,飞行器10为无人机(例如微小型无人机),设置有相机11、惯性测量单元(inertial measurement unit,IMU)12和定位单元13(例如GPS接收器)。可使用相对后差分处理(post processed kinematic,PPK)与实时动态差分(real time kinematic,RTK)等技术融合求解,通过在飞行器10、虚拟基站20、流动站30和卫星40之间进行通信,进而获得飞行器10在坐标系中的坐标。
参见图2,图2是本发明实施例提供的空中三角测量成图方法的流程示意图。如图2所示,该方法主要包括以下步骤。
S101:根据慣性測量單元12的数据计算姿态值VP。
在此步骤中,进行高精度定位定向系统(position and orientation system,POS)(由惯性测量单元12和定位单元13组成)数据的获取和解算。在本实施例中,可以使用GPS融合和IMU积分技术解算出相机11的摄站点在拍照瞬间的高精度姿态信息(即姿态值VP)。此外,还可以利用虚拟基站20数据和流动站30数据,使用相对后差分处理(PPK)技术与实时动态差分(RTK)融合解算出相机11的摄站点在拍照瞬间的高精度位置信息(位置值VL,图未示)
S102:获取相机11所拍摄的第一组影像P1对应的第一位置信息IL1和第一姿态信息IP1,并根据第一姿态信息IP1和姿态值VP计算慣性測量單元12和相机11之间的枪膛归零角AB,其中第一组影像P1对应的第一位置信息IL1和第一姿态信息IP1是经由对第一组影像P1进行空中三角测量产生。
在此步骤中,进行惯性测量单元12和相机11的枪膛归零(boresight)角的求解。在本实施例中,可以根据惯性测量单元12的姿态角(即姿态值VP1)和空中三角测量(空三)后获得的精确的相机11的姿态角(即姿态信息IP1)来求取据惯性测量单元12和相机11之间的枪膛归零角AB。图3是图1的空中三角测量成图方法中的步骤S102的一个实现例子的流程示意图。如图3所示,步骤S102可以包括以下(子)步骤。
S1021:控制飞行器10进行空中三角测量,以获取相机11所拍摄的第一组影像P1对应的位置信息IL和姿态信息IP。
在此步骤中,使用常规的航测空中三角测量流程获取第一组影像P1对应的位置信息IL和姿态信息IP。
S1022:计算慣性測量單元12的坐标系统和相机11的坐标系统之间的旋转变换矩阵M。
在此步骤中,求取慣性測量單元12和相机11两个硬件的坐标系统之间的旋转变换矩阵M,即枪膛归零角AB对应的旋转变换矩阵Rb。在本实施例中,旋转变换矩阵Rb满足以下式子:
Rb*RI=RC
Rb=RC*RI -1
其中,Rb为枪膛归零角AB对应的旋转变换矩阵,RI为慣性測量單元12的姿态角对应的旋转变换矩阵,RC为相机姿态角对应的旋转变换矩阵。按照国内摄影测量的转角公式分解旋转矩阵Rb,得到枪膛归零角AB的三个分量omega,phi和kappa。该转角公式可以为:
omega=arcsin(-Rb(1,2));
phi=arctan(-Rb(0,2)/Rb(2,2));
kappa=arctan(Rb(1,0)/Rb(1,1))。
每个拍照点都可以计算出一组枪膛归零角AB,剔除误差较大的点后求平均值,即得到OMEGARef,PHIRef,KAPPAref,以及对应的旋转变换矩阵Rb。
S1023:通过旋转变换矩阵M反向计算对应的枪膛归零角AB。
在此步骤中,通过前面计算出的旋转变换矩阵M,反向计算对应的枪膛归零角AB。可以理解的是,当慣性測量單元12和相机11固定连接于飞行器10时,可以认为枪膛归零角A是一个系统误差常量。
S103:获取相机11拍摄的第二组影像P2对应的第二位置信息IL2和第二姿态信息IP2,并根据枪膛归零角AB改正第二组影像P2对应的第二姿态信息IP2。
在此步骤中,进行后续影像姿态角的改正。在本实施例中,以枪膛归零角AB改正后续同载荷下所获得的飞行器10的其他飞行数据中的慣性測量單元12的姿态值VP2。可通过解算惯性测量单元12的感测数据,获得第二组影像P2拍摄瞬间(改正前)的第二姿态信息IP2。
在本实施例中,可通过慣性測量單元12的辅助进行平差优化。例如使用解算出的高精度POS数据(即第二组影像P2的位置值VL2(图未示))和改正后的姿态值VP2,基于共线方程模型和AUS相机畸变模型,平差优化第二组影像P2对应的第二位置信息IL2和第二姿态信息IP2。步骤S103可以包括以下(子)步骤S1031-S1032。
S1031:控制飞行器10获取第二组影像P2,提取第二组影像P2的特征并进行匹配。
在此步骤中,对测区的所有影像进行特征提取和匹配,匹配结果可使用并查集算法找出相同地物的所有同名像点并连成一条轨迹线(track),而后可以获得测区内地面点的初始轨迹线集合。
S1032:基于共线方程模型和AUS相机畸变模型,利用位置值VL2和姿态值VP2提供的外方位元素和已知的内方位元素,通过多视前方交会方法,利用最小二乘平差技术获取地面稀疏三维点云。
在此步骤中,基于共线方程模型,利用POS数据(即位置值VL2)和IMU数据(即姿态值VP2)提供的外方位元素和已知的内方位元素,和步骤S1031中获取的轨迹线,通过多视前方交会方法,利用最小二乘平差技术计算每条轨迹线对应一个地面点。对于步骤S1032中获得的地面点云,可采取以下条件进行过滤:
1)过滤掉长度(视角数)小于3的轨迹线;
2)过滤掉短基线(任意两个摄站点与地面点连线构成的夹角小于5°);以及
3)同一条轨迹线里的M个视角两两相交可获得N个(CM2)地面点,过滤掉这些点中的离群点对应的视角。
S1033:通过多视角反投影误差约束方法,对地面三维点云进行滤波,以剔除异常视角和误匹配点同名点。
S1034:基于光束法平差算法,优化地面点和影像内外方位元素,其中优化时使用未知数分类优化的方法,先优化内参、再优化外参的线元素、而后优化外参的角元素进行分区捆绑优化平差。
在此步骤中,可基于光束法平差算法优化地面点和影像内外方位元素,并基于摄影测量共线方程模型和AUS相机模型,列出地面点到像点的重投影误差方程,对地面点、相机内方位元素和相机外方位元素作平差优化(优化方法可选择例如列文伯格-马夸尔特算法)。优化时,可使用未知数分类优化的方法,先优化内参,再优化外参的线元素,最后再优化外参的角元素进行分区捆绑优化平差。
S1035:根据枪膛归零角AB改正第二组影像Px2的姿态值VP2。
后续的飞行器10的其他飞行数据中的慣性測量單元12的姿态值VP2只要左乘枪膛归零角AB对应的旋转矩阵M,即可获得改正后的对应相机11的旋转矩阵,进而可以解算出相机11拍照瞬间慣性測量單元12的姿态角(即姿态值VP2)。
S104:采集第二组影像P2的覆盖区域的地形数据,据以生成地形特征模型M。
在此步骤中,可进行密集匹配或基于Lidar点云的数字地表模型(digitalsurface model,DSM)/数字高程模型(digital elevation model,DEM)的生成。在本实施例中,针对纹理丰富地区,可在多视对极几何的约束下,通过图像密集匹配技术获取测区密集点云,而对于弱纹理区域,可直接借助Lidar扫描点云生成测区高精度DSM或DEM)。步骤S104可以包括以下(子)步骤S1041-S1042。
S1041:若采集到的第二组影像P2的覆盖区域的地形数据为纹理丰富的影像数据,在多视对极几何约束的条件下,通过影像密集匹配的方法生成三维点云;若采集的地形数据为Lidar激光点云,则直接进入步骤S1042;以及
S1042:基于密集匹配或激光Lidar扫描点云,进行滤波并规则格网化,以生成(高精度)DSM。
S105:根据地形特征模型M以及第二组影像P2对应的第二位置信息IL2和第二姿态信息IP2纠正第二组影像P2,并对第二组影像P2进行拼图处理以生成正射影像图。
在本实施例中,可基于数字微分进行纠正,以生成正射影像图。例如可利用DEM或DSM,使用微分校正的方式将第二组影像P2纠正到全局地理坐标的框架下,再使用多尺度融合技术进行拼图处理,以完成原始影像的快速成图处理。
参见图4,图4是本发明实施例提供的包空中三角测量成图装置的结构示意图。为了便于说明,仅示出了与本发明实施例相关的部分。图2示例的空中三角测量成图装置可以是前述图2所示实施例提供的空中三角测量成图方法的执行主体,该空中三角测量成图装置可以是无人机(例如微小型无人机)等飞行器。该空中三角测量成图装置包括:
位姿计算模块,用于根据所述慣性測量單元的数据计算姿态值;
姿态改正模块,用于获取所述相机所拍摄的第一组影像对应的第一位置信息和第一姿态信息,并根据所述第一姿态信息和所述姿态值计算所述慣性測量單元和所述相机之间的枪膛归零角,其中该第一组影像对应的所述第一位置信息和所述第一姿态信息是经由对该第一组影像进行空中三角测量产生;
位姿优化模块,用于获取所述相机拍摄的第二组影像对应的第二位置信息和第二姿态信息,并根据所述枪膛归零角改正该第二组影像对应的所述第二姿态信息;
地形特征模型生成模块,用于采集该第二组影像的覆盖区域的地形数据,据以生成地形特征模型;以及
正射影像图生成模块,用于根据所述地形特征模型以及该第二组影像对应的所述第二位置信息和所述第二姿态信息纠正该第二组影像,并对该第二组影像进行拼图处理以生成正射影像图。
本实施例的其他细节,参见前述图2至图3所示实施例的描述。
本发明实施例还提供了一种飞行器,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如前述图2至图3所示实施例所述的空中三角测量成图方法。
存储器可以是高速随机存取记忆体(RAM,Random Access Memory)存储器,也可为非不稳定的存储器(non-volatile memory),例如磁盘存储器。存储器用于存储一组可执行程序代码,处理器与存储器耦合。本实施例的其他细节,参见前述图2至图3所示实施例的描述。
进一步的,本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以是设置于上述飞行器中,该计算机可读存储介质可以是前述飞行器的存储器。该计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现前述图2至图3所示实施例中描述的空中三角测量成图方法。进一步的,该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。本实施例的其他细节,参见前述图2至图3所示实施例的描述。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上为对本发明所提供的空中三角测量成图方法、空中三角测量成图装置、飞行器及计算机可读存储介质的描述,对于本领域的技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。