CN111649723B - 面向复杂地形的贴近摄影三维航迹与姿态规划方法及装置 - Google Patents

面向复杂地形的贴近摄影三维航迹与姿态规划方法及装置 Download PDF

Info

Publication number
CN111649723B
CN111649723B CN202010473733.2A CN202010473733A CN111649723B CN 111649723 B CN111649723 B CN 111649723B CN 202010473733 A CN202010473733 A CN 202010473733A CN 111649723 B CN111649723 B CN 111649723B
Authority
CN
China
Prior art keywords
terrain
plane
coordinate system
space plane
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010473733.2A
Other languages
English (en)
Other versions
CN111649723A (zh
Inventor
陶鹏杰
张祖勋
段延松
柯涛
席可
何佳男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010473733.2A priority Critical patent/CN111649723B/zh
Publication of CN111649723A publication Critical patent/CN111649723A/zh
Application granted granted Critical
Publication of CN111649723B publication Critical patent/CN111649723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations

Abstract

本发明公开了一种面向复杂地形的无人机贴近摄影三维航迹与姿态规划方法及装置，属于摄影测量领域，首先基于初始地形信息，通过分割将大范围复杂地形“化繁为简”，分割为若干个可拟合为空间平面的地形单元；然后将每个地形单元拟合为空间平面，并按照预设的摄影距离和重叠度，针对它们规划最优的无人机贴近摄影位置和摄影姿态(相机朝向拟合的空间平面)，以指导无人机进行贴近摄影获取大范围复杂地形区域的影像。地形分割、地形单元局部坐标系建立、贴近摄影三维航迹与姿态设计是该方法的关键技术。本发明提出了针对复杂地形或不规则地物目标的贴近摄影三维航迹与姿态规划方案，可实现高陡山区和形状复杂目标贴近影像的自动与高效获取。

Description

面向复杂地形的贴近摄影三维航迹与姿态规划方法及装置
技术领域
本发明属于摄影测量领域，更具体地，涉及一种面向复杂地形的无人机贴近摄影三维航迹与姿态规划方法及装置。
背景技术
我国幅员辽阔，地形条件复杂多样。受地质和环境等条件限制，水利、交通、军事等许多重大工程(如三峡工程、南水北调工程、川藏铁路)的选址都难以避开复杂地形区域，而复杂地形区域环境崎岖，地质灾害频发，这些对重大工程的建设和维护有十分重大的影响。因此，掌握复杂地形区域精细的地理信息已经成为一项越来越重要的基础工作。然而，地形复杂区域遮挡严重，现有多源遥感手段难以获取完整有效的观测数据。
无人机航摄系统机动灵活、高效快速，是方便快捷的航空对地观测平台，也已成为地形勘测的重要装备。但是，常规无人机摄影测量仅仅简单沿用其在传统地形测绘的技术方案，缺乏地形自适应的摄影规划，拍摄的影像分辨率差异大，影像间重叠度不稳定，容易导致影像区域网断裂，进而造成几何定位失败，因此，并不适应地形复杂区域地形陡峭的特点。传统等高飞行的垂直摄影方式，飞机航迹位于近似等高面上且相机垂直朝下，如图1中a所示。该方式适于平坦地区，当摄区地形高差较大时，影像将存在较大几何变形和分辨率差异，最终影响测量精度。仿地摄影或地形跟随摄影(terrain-following)虽可根据地形起伏调整航高(如图1中b所示)，从而保持摄影距离恒定，在一定程度上解决了影像分辨率不一致问题，然而，由于相机方向仍然垂直朝下，坡面在影像上仍然有很大变形，因此不适用于复杂地形的勘测。
近年来，旋翼无人机技术突飞猛进。一方面，无人机云台具备相机姿态控制能力；另一方面，由于集成了RTK(real-time kinematic)系统，无人机定位精度可达厘米级别。基于此，根据地形自适应规划合理的摄影航迹和姿态，实现目标导向的、近距离(5～30米)影像获取与信息提取成为可能。基于旋翼无人机的贴近摄影测量是面向“对象”的摄影测量(object-oriented photogrammetry)技术，它根据初始形状信息将复杂目标分割为若干个面元(任意坡度、坡向的空间平面或曲面)，将每个面元作为一个处理对象，进行近距离垂直目标表面的摄影测量。贴近摄影测量以最佳摄影角度，最优化地获取物体的超高分辨率影像，进行精细化地理信息提取，因此可高度还原摄影目标的精细结构。
综上所述，充分利用旋翼无人机定位精确且相机姿态可动态调整的特点，研究初始地形信息引导的贴近摄影三维航迹与姿态智能规划，从而以最佳摄影角度，最优化地获取物体的超高分辨率影像，实现如图1中c所示的贴近摄影，最优化获取地形复杂区域的超高分辨率影像，为地形复杂区域精细化地形测量提供技术支撑，具有重要的理论价值与现实意义。
然而如何实现面向复杂地形的贴近摄影三维轨迹与姿态规划是目前亟需解决的技术难题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种面向复杂地形的贴近摄影三维航迹与姿态规划方法及装置，由此解决面向复杂地形的贴近摄影三维航迹与姿态规划的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种向复杂地形的贴近摄影三维航迹与姿态规划方法，包括：
(1)获取当前拍摄场景的初始地形信息；
(2)对所述初始地形信息建立三角网，计算所述三角网的所有三角形的法向量和局部平坦度并进行区域增长分割得到各地形单元；
(3)对于各所述地形单元，通过所述地形单元内包含的三角形顶点拟合得到空间平面，基于所述空间平面建立各所述地形单元的局部坐标系；
(4)建立无人机导航坐标系，对于各所述空间平面，计算航迹点在所述空间平面上的足印点，将所述足印点沿所述空间平面的法向量方向移动摄影距离至航迹面，得到下一个航迹点，根据各所述航迹点以及预设的航向和旁向重叠率计算得到摄影姿态、无人机的旋偏角和俯仰角；
(5)将规划的所有航迹点信息导出，形成无人机贴近摄影三维航迹文件。
优选地，步骤(2)包括：
(2.1)对所述初始地形信息建立三角网，计算所述三角网的所有三角形的法向量和局部平坦度；
(2.2)对于任一个三角形，按照相邻两个三角形的法向量夹角
Figure BDA0002515134280000034
作为条件进行区域增长，当增长三角形数量达到阈值τf时，使用增长区域包含的三角形顶点拟合空间平面P；
(2.3)采用新增长的三角形中心到所述空间平面P的距离Δd≤τd和增长区域的最大长度e≤τe作为条件，继续进行增长，当新增三角形数量达到τn时，重新拟合空间平面P，更新平面方程和法向量；
(2.4)采用更新后的平面方程和法向量，重复执行步骤(2.2)～步骤(2.3)，直到找不到新的三角形为止。
优选地，步骤(3)包括：
设物方坐标系为(O,X,Y,Z)，根据所述初始地形信息拟合空间平面P的方程，其中，空间平面P的方程使用点法式表示为：a(X-XP)+b(Y-YP)+c(Z-ZP)＝0，
Figure BDA0002515134280000031
(a2+b2+c2＝1)为空间平面P的法向量，
Figure BDA0002515134280000032
为垂足点坐标；
地形单元局部坐标系(Oe,Xe,Ye,Ze)的
Figure BDA0002515134280000033
轴定义为空间平面P与水平面(Z＝0)的交线，水平面的法向量为
Figure BDA0002515134280000041
则
Figure BDA0002515134280000042
Figure BDA0002515134280000043
Figure BDA0002515134280000044
与
Figure BDA0002515134280000045
一致，则
Figure BDA0002515134280000046
Figure BDA0002515134280000047
与
Figure BDA0002515134280000048
Figure BDA0002515134280000049
遵循右手法则构成三维笛卡尔坐标系，则
Figure BDA00025151342800000410
Figure BDA00025151342800000411
由
Figure BDA00025151342800000412
确定(Oe,Xe,Ye,Ze)坐标系到(O,X,Y,Z)坐标系的旋转矩阵R；
定义(Oe,Xe,Ye,Ze)坐标系的原点Oe为地形单元三维包围盒的最小顶点，其坐标为(Xs,Ys,Zs)，则对于任意空间点，其在(O,X,Y,Z)中的坐标(X,Y,Z)和在(Oe,Xe,Ye,Ze)中的坐标(X′,Y′,Z′)的转换关系为：
Figure BDA00025151342800000413
优选地，步骤(4)包括：
设dx与dy分别为航向和旁向相邻两个航迹点对应足印点在空间平面P上的距离，设相机视场角为(fovx,fovy)，贴近摄影距离为d，航向与旁向重叠率分别为ox、oy；
由
Figure BDA00025151342800000414
确定dx，由
Figure BDA00025151342800000415
确定dy；
由
Figure BDA00025151342800000416
确定第i条航线上第j个航迹点Epij坐标；
为保证相机始终面向空间平面P，无人机机头方向应保持垂直于飞行方向并朝向空间平面P一侧，相机光轴方向为
Figure BDA00025151342800000417
由κ＝atan2(-a,-b)确定无人机旋偏角κ，由
Figure BDA00025151342800000418
确定无人机俯仰角
Figure BDA00025151342800000419
其中，atan2(y,x)为两个参数的反正切函数。
按照本发明的另一方面，提供了一种面向复杂地形的贴近摄影三维航迹与姿态规划装置，包括：
地形信息获取模块，用于获取当前拍摄场景的初始地形信息；
单元地形分割模块，用于对所述初始地形信息建立三角网，计算所述三角网的所有三角形的法向量和局部平坦度并进行区域增长分割得到各地形单元；
坐标系建立模块，用于对于各所述地形单元，通过所述地形单元内包含的三角形顶点拟合得到空间平面，基于所述空间平面建立各所述地形单元的局部坐标系；
航迹和姿态规划模块，用于建立无人机导航坐标系，对于各所述空间平面，计算航迹点在所述空间平面上的足印点，将所述足印点沿所述空间平面的法向量方向移动摄影距离至航迹面，得到下一个航迹点，根据各所述航迹点以及预设的航向和旁向重叠率计算得到摄影姿态、无人机的旋偏角和俯仰角；
航迹导出模块，用于将规划的所有航迹点信息导出，形成无人机贴近摄影三维航迹文件。
优选地，所述单元地形分割模块，具体用于对所述初始地形信息建立三角网，计算所述三角网的所有三角形的法向量和局部平坦度；对于任一个三角形，按照相邻两个三角形的法向量夹角
Figure BDA0002515134280000052
作为条件进行区域增长，当增长三角形数量达到阈值τf时，使用增长区域包含的三角形顶点拟合空间平面P；采用新增长的三角形中心到所述空间平面P的距离Δd≤τd和增长区域的最大长度e≤τe作为条件，继续进行增长，当新增三角形数量达到τn时，重新拟合空间平面P，更新平面方程和法向量；采用更新后的平面方程和法向量，重复执行上述增长操作，直到找不到新的三角形为止。
优选地，所述坐标系建立模块，具体用于设物方坐标系为(O,X,Y,Z)，根据所述初始地形信息拟合空间平面P的方程，其中，空间平面P的方程使用点法式表示为：a(X-XP)+b(Y-YP)+c(Z-ZP)＝0，
Figure BDA0002515134280000051
(a2+b2+c2＝1)为空间平面P的法向量，
Figure BDA0002515134280000061
为垂足点坐标；地形单元局部坐标系(Oe,Xe,Ye,Ze)的
Figure BDA0002515134280000062
轴定义为空间平面P与水平面(Z＝0)的交线，水平面的法向量为
Figure BDA0002515134280000063
则
Figure BDA0002515134280000064
Figure BDA0002515134280000065
Figure BDA0002515134280000066
与
Figure BDA0002515134280000067
一致，则
Figure BDA0002515134280000068
Figure BDA0002515134280000069
与
Figure BDA00025151342800000610
Figure BDA00025151342800000611
遵循右手法则构成三维笛卡尔坐标系，则
Figure BDA00025151342800000612
Figure BDA00025151342800000613
由
Figure BDA00025151342800000614
Figure BDA00025151342800000615
确定(Oe,Xe,Ye,Ze)坐标系到(O,X,Y,Z)坐标系的旋转矩阵R；定义(Oe,Xe,Ye,Ze)坐标系的原点Oe为地形单元三维包围盒的最小顶点，其坐标为(Xs,Ys,Zs)，则对于任意空间点，其在(O,X,Y,Z)中的坐标(X,Y,Z)和在(Oe,Xe,Ye,Ze)中的坐标(X′,Y′,Z′)的转换关系为：
Figure BDA00025151342800000616
优选地，所述航迹和姿态规划模块，具体用于设dx与dy分别为航向和旁向相邻两个航迹点对应足印点在空间平面P上的距离，设相机视场角为(fovx,fovy)，贴近摄影距离为d，航向与旁向重叠率分别为ox、oy；由
Figure BDA00025151342800000617
Figure BDA00025151342800000618
确定dx，由
Figure BDA00025151342800000619
确定dy；由
Figure BDA00025151342800000620
Figure BDA00025151342800000621
确定第i条航线上第j个航迹点Epij坐标；为保证相机始终面向空间平面P，无人机机头方向应保持垂直于飞行方向并朝向空间平面P一侧，相机光轴方向为
Figure BDA00025151342800000622
由κ＝atan2(-a,-b)确定无人机旋偏角κ，由
Figure BDA00025151342800000624
确定无人机俯仰角
Figure BDA00025151342800000625
其中，atan2(y,x)为两个参数的反正切函数。
按照本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
利用现有的旋翼无人机设备，基于初始地形信息，实现了面向复杂地形的贴近摄影三维航迹与姿态规划，自动化高效获取对应复杂地形区域超高分辨率影像。整套发明的实现自动化程度高，无人机贴近摄影三维航迹的计算以及拍摄过程自动完成，极大提高了无人机在复杂地形条件下的贴近摄影能力，大幅降低了整个流程的工作量，提升了复杂地形超高清影像获取的总体效率。
附图说明
图1是本发明实施例提供的几种航空摄影方式的对比图，其中，a为等高摄影，b为仿地摄影，c为贴近摄影；
图2是本发明实施例提供的一种方法流程示意图；
图3是本发明实施例提供的一种地形单元局部坐标系示意图；
图4是本发明实施例提供的一种无人机摄影姿态定义示意图，其中，a为旋偏角，机身绕Z轴旋转，b为俯仰角，相机绕Y轴旋转；
图5是本发明实施例提供的一种三维航迹与姿态规划示意图；
图6是本发明实施例提供的一种摄影基线与相机视场角、摄影距离和影像重叠度之间的关系图；
图7是本发明实施例提供的一种实验场景分割结果示意图；
图8是本发明实施例提供的一种实验场景单个地形单元航迹点示意图；
图9是本发明实施例提供的一种无人机三维航迹规划结果示意图；
图10是本发明实施例提供的一种装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明主要解决面向复杂地形的贴近摄影三维航迹与姿态规划问题，为大范围复杂地形精细地理信息获取提供有力支撑。本发明提出了一种面向复杂地形的贴近摄影三维航迹与姿态规划技术，通过地形分割将大范围复杂地形自动分割为多个地形单元，分别将每个地形单元拟合为空间平面，解算最优化的无人机贴近摄影位置和面向地形表面的摄影姿态，并进行贴近摄影三维航迹与姿态规划，以指导无人机自动摄影获取大范围复杂地形超高分辨率影像。
实施例一
本发明以旋翼无人机作为基础，依靠初始地形信息的辅助，对大范围复杂地形进行单元分割，进行贴近摄影三维航迹与姿态规划，可用于各种复杂类型地形的使用拍摄，其核心过程如图2所示，包括以下步骤：
步骤1：获取当前拍摄场景的初始地形信息；
在本发明实施例中，初始地形信息可以是数字高程模型(Digital ElevationModel，DEM)或三维mesh；初始地形信息也可为前期已有数据，或是通过无人机常规摄影影像处理获得的地形数据。
步骤2：对当前场景复杂地形区域进行单元分割。地形分割采用区域增长的方式，综合考虑相邻顶点的法向量相似性、分割区域点集的平整性、分割区域的大小(无人机飞行航线长度限制)等因素，以构成三角网的三角形为基元进行计算得到；
步骤3：对于步骤2分割得到的每个地形单元，通过地形单元内包含的三角形顶点拟合得到空间平面P，基于空间平面P需建立如图3所示的地形单元局部坐标系(Oe,Xe,Ye,Ze)，作为三维航迹与姿态规划的基础；
步骤4：如图4中a所示，建立无人机导航坐标系，在无人机导航坐标系中，X轴指向正北，Y轴指向正东，Z轴竖直向下，记为NED(North-East-Down)坐标系，其中，无人机的侧滚角不可调整，仅俯仰角
Figure BDA0002515134280000091
和旋偏角κ可调整，其定义分别如图4中a和图4中b所示。在NED坐标系中规定旋偏角κ为正北方向到无人机机头的角度，顺时针为正，逆时针为负，取值范围为-180°到180°。换言之，κ＝0°,90°,-90°,±180°时，机头分别朝向正北、正东、正西、正南方向。俯仰角
Figure BDA0002515134280000093
为相机镜头在云台中的旋转角度，向下旋转为负，取值范围为-90°到0°，即相机镜头水平时为0°，竖直向下时为-90°。
对于初始地形信息分割得到的每个地形单元，通过该地形单元内包含的三角形顶点拟合得到空间平面P，其航迹规划的核心思想为：先计算航迹点在空间平面P上的足印点(footprint point)，然后将足印点沿平面P的法向量方向移动摄影距离d至航迹面，即得到下一个航迹点。其原理如图5所示。根据计算得到的航迹点，以及预设的航向和旁向重叠率，计算得到摄影姿态，旋偏角κ(无人机机头朝向)和俯仰角
Figure BDA0002515134280000092
(相机镜头旋转角度)。
步骤5：将规划的所有航迹点信息导出，形成无人机贴近摄影三维航迹文件。
进一步地，步骤2中，对当前拍摄场景的初始地形信息建立三角网，计算三角网的所有三角形的法向量和局部平坦度并进行区域增长，根据设定的阈值对复杂地形三角网进行单元分割。复杂地形单元分割的具体实现方式如下：
(2.1)计算三角网的所有三角形的法向量和局部平坦度(即表示三角形3个顶点平坦度的均值)，并将三角形按平坦度由小到大排序；
(2.2)从平坦度最小的三角形开始，首先按照相邻两个三角形的法向量夹角
Figure BDA0002515134280000094
作为条件进行区域增长，当增长三角形数量达到阈值τf，使用增长区域包含的三角形顶点拟合空间平面P；
(2.3)采用新增长的三角形中心到P的距离Δd≤τd和增长区域的最大长度e≤τe作为条件，继续进行增长，当新增三角形数量达到τn时重新拟合空间平面P，更新平面方程和法向量；
其中，增长区域的最大长度可以通过统计当前增长区域里所有点之间两两距离的最大值得到。
(2.4)采用更新后的平面方程和法向量，重复执行步骤(2.2)～步骤(2.3)，直到找不到新的三角形为止。
其中，
Figure BDA00025151342800001014
τf、τe、τn均为预设值，大小可以根据实际情况确定，
Figure BDA0002515134280000101
τf、τe、τn经验值分别为15°、50、1000m、50，τd一般为摄影距离的1/5。
进一步地，步骤3中，根据分割好的地形单元建立地形单元局部坐标系，建立地形单元局部坐标系的具体实现方式如下：
设物方坐标系为(O,X,Y,Z)，根据初始地形信息拟合平面P的方程，使用点法式表示为：
a(X-XP)+b(Y-YP)+c(Z-ZP)＝0 (1)
其中，
Figure BDA0002515134280000102
(a2+b2+c2＝1)为平面P的法向量，
Figure BDA0002515134280000103
Figure BDA0002515134280000104
为垂足点坐标；
(Oe,Xe,Ye,Ze)坐标系
Figure BDA0002515134280000105
轴定义为空间平面P与水平面(Z＝0)的交线，水平面的法向量为
Figure BDA0002515134280000106
则
Figure BDA0002515134280000107
Figure BDA0002515134280000108
与
Figure BDA0002515134280000109
一致，则
Figure BDA00025151342800001010
Figure BDA00025151342800001011
与
Figure BDA00025151342800001012
遵循右手法则构成三维笛卡尔坐标系，则
Figure BDA00025151342800001013
(Oe,Xe,Ye,Ze）坐标系到（O,X,Y,Z）坐标系的旋转矩阵为：
Figure BDA0002515134280000111
定义(Oe,Xe,Ye,Ze)坐标系的原点Oe为地形单元三维包围盒的最小顶点，其坐标为(Xs,Ys,Zs)，则对于任意空间点，其在(O,X,Y,Z)中的坐标(X,Y,Z)和在(Oe,Xe,Ye,Ze)中的坐标(X′,Y′,Z′)的转换关系为：
Figure BDA0002515134280000112
进一步的，步骤4中，根据复杂地形分割得到的子单元信息，自动计算得到对应的贴近摄影三维航迹。计算贴近摄影三维航迹的具体实现方式如下：
图5中dx与dy分别为航向和旁向相邻两个航迹点对应足印点在空间平面P上的距离，摄影基线长度与相机视场角、摄影距离、重叠度之间的关系如图6所示。设相机视场角为(fovx,fovy)，贴近摄影距离为d，航向与旁向重叠率分别为ox、oy，dx与dy计算公式为：
Figure BDA0002515134280000113
Figure BDA0002515134280000114
第i条航线上第j个航迹点Epij坐标为：
Figure BDA0002515134280000115
为保证相机始终面向空间平面P，无人机机头方向应保持垂直于飞行方向并朝向空间平面P一侧，相机光轴方向为
Figure BDA0002515134280000116
如图5所示，可按下式计算旋偏角κ和俯仰角
Figure BDA0002515134280000117
κ＝atan2(-a,-b) (10)
Figure BDA0002515134280000118
其中，atan2(y,x)为两个参数的反正切函数，相当于计算y/x的反正切，其返回值范围为[-π,π]。
实施例二
以下结合附图和实施例详细说明本发明的技术方案。
本发明提供的技术方案是，一种以旋翼无人机为基础，基于初始地形信息的辅助，对复杂地形进行单元分割，进而规划贴近摄影三维航迹与姿态规划的方法。其中，复杂地形单元分割、地形单元局部坐标系建立、三维航迹与姿态自动规划是本方法的关键技术。以下详细阐述本发明的技术流程。
步骤1：根据现场勘查的资料，通过无人机常规摄影和影像处理，得到摄区范围的DEM数据，作为初始地形信息；
步骤2：对已有数据构建三维表面模型(Mesh)，并计算所有三角形的法向量和局部平坦度，并将三角形按平坦度由小到大排序。根据预设条件对三角形进行区域增长，当新增三角形数量达到50时拟合空间平面，并更新平面方程和法向量。重复上述步骤，直至找不到新的三角形为止。图7为实验场景分割结果；
步骤3：对于步骤2分割得到的每个地形单元，通过地形单元内包含的三角形顶点拟合得到空间平面，并建立地形单元局部坐标系；
步骤4：根据相机视场角、贴近摄影距离以及航向、旁向重叠率信息，计算航向和旁向相邻两个航迹点对应足印点在平面P上的距离，得到摄影点在空间平面P上的足印点(footprint point)，然后将足印点沿平面P的法向量方向移动摄影距离d至航迹面，得到下一个航迹点。如图8所示，为单个地形单元计算得到的航迹点；
步骤5：根据步骤4计算得到的航迹点，根据相机始终面向平面P，无人机机头方向应保持垂直于飞行方向并朝向平面P一侧，确定相机光轴方向，并计算无人机在每个航迹点的摄影姿态，旋偏角和俯仰角。
步骤6：导出无人机三维航迹与姿态规划结果。如图9所示，为规划得到的贴近摄影三维航迹。
实施例三
如图10所示是本发明实施例提供的一种装置结构示意图，包括：
地形信息获取模块101，用于获取当前拍摄场景的初始地形信息；
单元地形分割模块102，用于对初始地形信息建立三角网，计算三角网的所有三角形的法向量和局部平坦度并进行区域增长分割得到各地形单元；
坐标系建立模块103，用于对于各地形单元，通过地形单元内包含的三角形顶点拟合得到空间平面，基于空间平面建立各地形单元的局部坐标系；
航迹和姿态规划模块104，用于建立无人机导航坐标系，对于各空间平面，计算航迹点在空间平面上的足印点，将足印点沿空间平面的法向量方向移动摄影距离至航迹面，得到下一个航迹点，根据各航迹点以及预设的航向和旁向重叠率计算得到摄影姿态、无人机的旋偏角和俯仰角；
航迹导出模块105，用于将规划的所有航迹点信息导出，形成无人机贴近摄影三维航迹文件。
进一步地，上述单元地形分割模块102，具体用于对初始地形信息建立三角网，计算三角网的所有三角形的法向量和局部平坦度；对于任一个三角形，按照相邻两个三角形的法向量夹角
Figure BDA0002515134280000131
作为条件进行区域增长，当增长三角形数量达到阈值τf时，使用增长区域包含的三角形顶点拟合空间平面P；采用新增长的三角形中心到所述空间平面P的距离Δd≤τd和增长区域的最大长度e≤τe作为条件，继续进行增长，当新增三角形数量达到τn时，重新拟合空间平面P，更新平面方程和法向量；采用更新后的平面方程和法向量，重复执行上述增长操作，直到找不到新的三角形为止。
进一步地，上述坐标系建立模块103，具体用于设物方坐标系为(O,X,Y,Z)，根据初始地形信息拟合空间平面P的方程，其中，空间平面P的方程使用点法式表示为：a(X-XP)+b(Y-YP)+c(Z-ZP)＝0，
Figure BDA0002515134280000132
Figure BDA0002515134280000141
(a2+b2+c2＝1)为空间平面P的法向量，
Figure BDA0002515134280000142
为垂足点坐标；地形单元局部坐标系(Oe,Xe,Ye,Ze)的
Figure BDA0002515134280000143
轴定义为空间平面P与水平面(Z＝0)的交线，水平面的法向量为
Figure BDA0002515134280000144
则
Figure BDA0002515134280000145
Figure BDA0002515134280000146
Figure BDA0002515134280000147
与
Figure BDA0002515134280000148
一致，则
Figure BDA0002515134280000149
Figure BDA00025151342800001410
与
Figure BDA00025151342800001411
Figure BDA00025151342800001412
遵循右手法则构成三维笛卡尔坐标系，则
Figure BDA00025151342800001413
Figure BDA00025151342800001414
由
Figure BDA00025151342800001415
Figure BDA00025151342800001416
确定(Oe,Xe,Ye,Ze)坐标系到(O,X,Y,Z)坐标系的旋转矩阵R；定义(Oe,Xe,Ye,Ze)坐标系的原点Oe为地形单元三维包围盒的最小顶点，其坐标为(Xs,Ys,Zs)，则对于任意空间点，其在(O,X,Y,Z)中的坐标(X,Y,Z)和在(Oe,Xe,Ye,Ze)中的坐标(X′,Y′,Z′)的转换关系为：
Figure BDA00025151342800001417
进一步地，上述航迹和姿态规划模块104，具体用于设dx与dy分别为航向和旁向相邻两个航迹点对应足印点在空间平面P上的距离，设相机视场角为(fovx,fovy)，贴近摄影距离为d，航向与旁向重叠率分别为ox、oy；由
Figure BDA00025151342800001418
确定dx，由
Figure BDA00025151342800001419
确定dy；由
Figure BDA00025151342800001420
确定第i条航线上第j个航迹点Epij坐标；为保证相机始终面向空间平面P，无人机机头方向应保持垂直于飞行方向并朝向空间平面P一侧，相机光轴方向为
Figure BDA00025151342800001421
由κ＝atan2(-a,-b)确定无人机旋偏角κ，由
Figure BDA00025151342800001422
确定无人机俯仰角
Figure BDA00025151342800001423
其中，atan2(y,x)为两个参数的反正切函数。
其中，各模块的具体实施方式可参考上述方法实施例的描述，本发明实施例将不再复述。
实施例四
本申请还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现方法实施例中的面向复杂地形的贴近摄影三维航迹与姿态规划方法。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种面向复杂地形的贴近摄影三维航迹与姿态规划方法，其特征在于，包括：
(1)获取当前拍摄场景的初始地形信息；
(2)对所述初始地形信息建立三角网，计算所述三角网的所有三角形的法向量和局部平坦度并进行区域增长分割得到各地形单元；
其中，步骤(2)包括：
(2.1)对所述初始地形信息建立三角网，计算所述三角网的所有三角形的法向量和局部平坦度；
(2.2)对于任一个三角形，按照相邻两个三角形的法向量夹角
Figure FDA0002882304080000011
作为条件进行区域增长，当增长三角形数量达到阈值τf时，使用增长区域包含的三角形顶点拟合空间平面P；
(2.3)采用新增长的三角形中心到所述空间平面P的距离Δd≤τd和增长区域的最大长度e≤τe作为条件，继续进行增长，当新增三角形数量达到τn时，重新拟合空间平面P，更新平面方程和法向量；
(2.4)采用更新后的平面方程和法向量，重复执行步骤(2.2)～步骤(2.3)，直到找不到新的三角形为止；
(3)对于各所述地形单元，通过所述地形单元内包含的三角形顶点拟合得到空间平面，基于所述空间平面建立各所述地形单元的局部坐标系；
(4)建立无人机导航坐标系，对于各所述空间平面，计算航迹点在所述空间平面上的足印点，将所述足印点沿所述空间平面的法向量方向移动摄影距离至航迹面，得到下一个航迹点，根据各所述航迹点以及预设的航向和旁向重叠率计算得到摄影姿态、无人机的旋偏角和俯仰角；
(5)将规划的所有航迹点信息导出，形成无人机贴近摄影三维航迹文件。
2.根据权利要求1所述的方法，其特征在于，步骤(3)包括：
设物方坐标系为(O，X，Y，Z)，根据所述初始地形信息拟合空间平面P的方程，其中，空间平面P的方程使用点法式表示为：a(X-XP)+b(Y-YP)+c(Z-ZP)＝0，
Figure FDA00028823040800000220
为空间平面P的法向量，
Figure FDA0002882304080000022
为垂足点坐标；
地形单元局部坐标系(Oe，Xe，Ye，Ze)的
Figure FDA0002882304080000023
轴定义为空间平面P与水平面(Z＝0)的交线，水平面的法向量为
Figure FDA0002882304080000024
则
Figure FDA0002882304080000025
Figure FDA0002882304080000026
Figure FDA0002882304080000027
与
Figure FDA0002882304080000028
一致，则
Figure FDA0002882304080000029
Figure FDA00028823040800000210
与
Figure FDA00028823040800000211
Figure FDA00028823040800000212
遵循右手法则构成三维笛卡尔坐标系，则
Figure FDA00028823040800000213
Figure FDA00028823040800000214
由
Figure FDA00028823040800000215
确定(Oe，Xe，Ye，Ze)坐标系到(O，X，Y，Z)坐标系的旋转矩阵R；
定义(Oe，Xe，Ye，Ze)坐标系的原点Oe为地形单元三维包围盒的最小顶点，其坐标为(Xs，Ys，Zs)，则对于任意空间点，其在(O，X，Y，Z)中的坐标(X，Y，Z)和在(Oe，Xe，Ye，Ze)中的坐标(X′，Y′，Z′)的转换关系为：
Figure FDA00028823040800000216
3.根据权利要求2所述的方法，其特征在于，步骤(4)包括：
设dx与dy分别为航向和旁向相邻两个航迹点对应足印点在空间平面P上的距离，设相机视场角为(fovx，fovy)，贴近摄影距离为d，航向与旁向重叠率分别为ox、oy；
由
Figure FDA00028823040800000217
确定dx，由
Figure FDA00028823040800000218
确定dy；
由
Figure FDA00028823040800000219
确定第i条航线上第j个航迹点Epij坐标；
为保证相机始终面向空间平面P，无人机机头方向应保持垂直于飞行方向并朝向空间平面P一侧，相机光轴方向为
Figure FDA0002882304080000031
由κ＝atan2(-a，-b)确定无人机旋偏角κ，由
Figure FDA0002882304080000032
确定无人机俯仰角
Figure FDA0002882304080000033
其中，atan2(y，x)为两个参数的反正切函数。
4.一种面向复杂地形的贴近摄影三维航迹与姿态规划装置，其特征在于，包括：
地形信息获取模块，用于获取当前拍摄场景的初始地形信息；
单元地形分割模块，用于对所述初始地形信息建立三角网，计算所述三角网的所有三角形的法向量和局部平坦度并进行区域增长分割得到各地形单元；
其中，所述单元地形分割模块，具体用于对所述初始地形信息建立三角网，计算所述三角网的所有三角形的法向量和局部平坦度；对于任一个三角形，按照相邻两个三角形的法向量夹角
Figure FDA0002882304080000034
作为条件进行区域增长，当增长三角形数量达到阈值τf时，使用增长区域包含的三角形顶点拟合空间平面P；采用新增长的三角形中心到所述空间平面P的距离Δd≤τd和增长区域的最大长度e≤τe作为条件，继续进行增长，当新增三角形数量达到τn时，重新拟合空间平面P，更新平面方程和法向量；采用更新后的平面方程和法向量，重复执行上述增长操作，直到找不到新的三角形为止；
坐标系建立模块，用于对于各所述地形单元，通过所述地形单元内包含的三角形顶点拟合得到空间平面，基于所述空间平面建立各所述地形单元的局部坐标系；
航迹和姿态规划模块，用于建立无人机导航坐标系，对于各所述空间平面，计算航迹点在所述空间平面上的足印点，将所述足印点沿所述空间平面的法向量方向移动摄影距离至航迹面，得到下一个航迹点，根据各所述航迹点以及预设的航向和旁向重叠率计算得到摄影姿态、无人机的旋偏角和俯仰角；
航迹导出模块，用于将规划的所有航迹点信息导出，形成无人机贴近摄影三维航迹文件。
5.根据权利要求4所述的装置，其特征在于，所述坐标系建立模块，具体用于设物方坐标系为(O，X，Y，Z)，根据所述初始地形信息拟合空间平面P的方程，其中，空间平面P的方程使用点法式表示为：a(X-XP)+b(Y-YP)+c(Z-ZP)＝0，
Figure FDA0002882304080000041
为空间平面P的法向量，
Figure FDA0002882304080000042
为垂足点坐标；地形单元局部坐标系(Oe，Xe，Ye，Ze)的
Figure FDA0002882304080000043
轴定义为空间平面P与水平面(Z＝0)的交线，水平面的法向量为
Figure FDA0002882304080000044
则
Figure FDA0002882304080000045
Figure FDA0002882304080000046
与
Figure FDA0002882304080000047
一致，则
Figure FDA0002882304080000048
Figure FDA0002882304080000049
与
Figure FDA00028823040800000410
Figure FDA00028823040800000411
遵循右手法则构成三维笛卡尔坐标系，则
Figure FDA00028823040800000412
由
Figure FDA00028823040800000413
确定(Oe，Xe，Ye，Ze)坐标系到(O，X，Y，Z)坐标系的旋转矩阵R；定义(Oe，Xe，Ye，Ze)坐标系的原点Oe为地形单元三维包围盒的最小顶点，其坐标为(Xs，Ys，Zs)，则对于任意空间点，其在(O，X，Y，Z)中的坐标(X，Y，Z)和在(Oe，Xe，Ye，Ze)中的坐标(X′，Y′，Z′)的转换关系为：
Figure FDA00028823040800000414
6.根据权利要求5所述的装置，其特征在于，所述航迹和姿态规划模块，具体用于设dx与dy分别为航向和旁向相邻两个航迹点对应足印点在空间平面P上的距离，设相机视场角为(fovx，fovy)，贴近摄影距离为d，航向与旁向重叠率分别为ox、oy；由
Figure FDA00028823040800000415
确定dx，由
Figure FDA0002882304080000051
确定dy；由
Figure FDA0002882304080000052
确定第i条航线上第j个航迹点Epij坐标；为保证相机始终面向空间平面P，无人机机头方向应保持垂直于飞行方向并朝向空间平面P一侧，相机光轴方向为
Figure FDA0002882304080000053
由κ＝atan2(-a，-b)确定无人机旋偏角κ，由
Figure FDA0002882304080000054
确定无人机俯仰角
Figure FDA0002882304080000055
其中，atan2(y，x)为两个参数的反正切函数。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述权利要求1至3任一项所述方法的步骤。
CN202010473733.2A 2020-05-29 2020-05-29 面向复杂地形的贴近摄影三维航迹与姿态规划方法及装置 Active CN111649723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010473733.2A CN111649723B (zh) 2020-05-29 2020-05-29 面向复杂地形的贴近摄影三维航迹与姿态规划方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010473733.2A CN111649723B (zh) 2020-05-29 2020-05-29 面向复杂地形的贴近摄影三维航迹与姿态规划方法及装置

Publications (2)

Publication Number Publication Date
CN111649723A CN111649723A (zh) 2020-09-11
CN111649723B true CN111649723B (zh) 2021-04-20

Family

ID=72346937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010473733.2A Active CN111649723B (zh) 2020-05-29 2020-05-29 面向复杂地形的贴近摄影三维航迹与姿态规划方法及装置

Country Status (1)

Country Link
CN (1) CN111649723B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112146629A (zh) * 2020-09-24 2020-12-29 武汉大学 一种多角度贴近摄影航迹与姿态规划方法
CN112197745A (zh) * 2020-10-16 2021-01-08 中铁上海设计院集团有限公司 一种顾及铁路两侧像控点的最少航带计算方法
CN112710311B (zh) * 2020-12-14 2022-09-13 中国铁路设计集团有限公司 一种地形自适应无人机三维实景重建航摄点自动规划方法
CN113252038B (zh) * 2021-05-06 2022-10-28 西北工业大学 基于粒子群算法的航迹规划地形辅助导航方法
CN113743227A (zh) * 2021-08-06 2021-12-03 山东大学 基于切近摄影的岩体裂隙智能识别方法及系统
CN115421509B (zh) * 2022-08-05 2023-05-30 北京微视威信息科技有限公司 一种无人机飞行拍摄规划方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104634322A (zh) * 2015-02-06 2015-05-20 北京林业大学 一种森林固定样地无人机倾斜摄影技术方法
KR101589925B1 (ko) * 2015-10-15 2016-01-29 (주)대지이엔지 영상도화용 지형이미지의 기준점 확인 처리가 가능한 공간영상도화시스템
CN110006407A (zh) * 2019-04-16 2019-07-12 武汉大学 基于旋翼无人机的贴近摄影测量方法
CN210464465U (zh) * 2019-11-14 2020-05-05 江苏华东有色深部地质勘查有限责任公司(江苏省有色金属华东地质勘查局资源调查与评价研究院) 一种单相机倾斜摄影装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104634322A (zh) * 2015-02-06 2015-05-20 北京林业大学 一种森林固定样地无人机倾斜摄影技术方法
KR101589925B1 (ko) * 2015-10-15 2016-01-29 (주)대지이엔지 영상도화용 지형이미지의 기준점 확인 처리가 가능한 공간영상도화시스템
CN110006407A (zh) * 2019-04-16 2019-07-12 武汉大学 基于旋翼无人机的贴近摄影测量方法
CN210464465U (zh) * 2019-11-14 2020-05-05 江苏华东有色深部地质勘查有限责任公司(江苏省有色金属华东地质勘查局资源调查与评价研究院) 一种单相机倾斜摄影装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
独辟躍径，不断创新，贴近摄影测量:第三种摄影测量方式的诞生—专访武汉大学遥感信息工程学院张祖勋院士;言司;《中国测绘》;20191010;第35页 *

Also Published As

Publication number Publication date
CN111649723A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111649723B (zh) 面向复杂地形的贴近摄影三维航迹与姿态规划方法及装置
US20220028163A1 (en) Computer Vision Systems and Methods for Detecting and Modeling Features of Structures in Images
EP3665440B1 (en) Image geo-registration for absolute navigation aiding using uncertainy information from the on-board navigation system
KR102007567B1 (ko) 스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템
CN109708622A (zh) 基于Pixhawk利用无人机对建筑物进行三维建模的方法
CN107514993A (zh) 基于无人机的面向单体建筑建模的数据采集方法及系统
CN111273312B (zh) 一种智能车辆定位与回环检测方法
CN111141264B (zh) 一种基于无人机的城市三维测绘方法和系统
CN108931235A (zh) 无人机倾斜摄影测量技术在规划竣工测量中的应用方法
CN109460046B (zh) 一种无人机自然地标识别与自主着陆方法
CN112710311B (zh) 一种地形自适应无人机三维实景重建航摄点自动规划方法
US11587446B2 (en) Method and system for generating aerial imaging flight path
CN112184786B (zh) 一种基于合成视觉的目标定位方法
CN111044018A (zh) 一种对立面进行航空摄影测量航线规划的方法
CN111915517A (zh) 一种适用于室内光照不利环境下rgb-d相机全局定位方法
CN112150629A (zh) 一种基于视觉的盘煤系统及方法
CN108871285A (zh) 在规划竣工测量中的无人机倾斜摄影测量系统
CN109459759A (zh) 基于四旋翼无人机激光雷达系统的城市地形三维重建方法
CN115855060A (zh) 一种几何基元引导的航线规划方法及装置
Cefalu et al. Image based 3D Reconstruction in Cultural Heritage Preservation.
CN116883604A (zh) 一种基于天、空、地影像的三维建模技术方法
CN114077249B (zh) 一种作业方法、作业设备、装置、存储介质
Chen et al. Real-time geo-localization using satellite imagery and topography for unmanned aerial vehicles
CN108921896B (zh) 一种融合点线特征的下视视觉罗盘
Kaufmann et al. Shadow-based matching for precise and robust absolute self-localization during lunar landings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant