CN117406778A - 一种基于地理空间数据的无人机激光雷达仿地飞行方法 - Google Patents
一种基于地理空间数据的无人机激光雷达仿地飞行方法 Download PDFInfo
- Publication number
- CN117406778A CN117406778A CN202311536791.5A CN202311536791A CN117406778A CN 117406778 A CN117406778 A CN 117406778A CN 202311536791 A CN202311536791 A CN 202311536791A CN 117406778 A CN117406778 A CN 117406778A
- Authority
- CN
- China
- Prior art keywords
- ground
- unmanned aerial
- aerial vehicle
- data
- route
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000001514 detection method Methods 0.000 claims abstract description 69
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 16
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 12
- 238000005520 cutting process Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 230000006872 improvement Effects 0.000 claims description 8
- 238000012876 topography Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 229910052742 iron Inorganic materials 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 241000132092 Aster Species 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Abstract
本发明公开了一种基于地理空间数据的无人机激光雷达仿地飞行方法，涉及无人机激光雷达仿地飞行方法技术领域；包括如下步骤：获取扫描区高清影像数据；基于深度学习的目标检测与坐标提取；获取扫描区初始地形数据；危险区域电子围栏构建；顾及地理空间数据的仿地飞行航线规划。本发明在利用无人机激光雷达对山区地形进行激光扫描时，为了保证激光扫描点云密度、精度和影像分辨率的一致性，需要让无人机与地面保持相对稳定的距离；无人机自带高精度GPS可以获取无人机的位置和高程信息，利用已有DEM数据或者公开的地理空间数据，可以提供无人机瞬时位置下方地形高程，从而及时调整无人机与地面的距离。
Description
技术领域
本发明涉及无人机激光雷达仿地飞行方法技术领域，尤其涉及一种基于地理空间数据的无人机激光雷达仿地飞行方法。
背景技术
无人机，又称为无人驾驶飞行器、智能飞行器，与载人飞机相比，它具有体积小、造价低、使用方便、对作业环境要求低、生存能力较强等优点，已广泛应用于国土测绘、电力、林业、农业、交通等领域。无人机搭载激光雷达系统，融合了无人机载体和激光雷达技术(LiDAR)各自的优势，将无人机机动灵活、实时性强、可重复的优势与LiDAR高精度、强穿透性的特点相结合，进一步拓展了无人机的应用，特别是山区地形测绘、电力勘测、电力巡检、林业调查等领域，具有其他技术不可比拟的优势。
无人机激光雷达扫描数据质量的好坏与点云精度、点云密度密切相关，直接影响到数据后续应用。而这些关键因素除了受设备的本身性能影响外，与无人机飞行高度密切相关。对于山区地形，地形高低起伏，通常采用固定航高(或称飞行高度)，很容易出现山谷低处目标漏测或超出激光雷达等荷载设备测程等问题，难以满足数据质量要求，而降低固定航高则存在撞山、撞物体等安全风险。特别是山区存在较多的架空输电线路、通信塔等尖状、线状地物，对无人机安全飞行增加了更大的挑战。
针对以上问题，众多研究者提出了无人机仿地飞行技术，它是指无人机在飞行作业过程中，航线与三维地形实时保持相对固定的高差，使无人机能够适应不同的地形环境，根据地形执行变高航线，使得重叠率、激光点云密度、精度以及影像地面分辨率等不受地形变化的影响。利用该技术可以一定上解决地形起伏的问题。
无人机飞行过程中的精确位置可以通过机载GPS获取，而仿地飞行实现的关键是获取地面的高程信息，目前常见的仿地飞行方案中，确定无人机飞行高度的方式主要有两种：①搭载额外传感器设备测量确定地面高程；②利用已有数字地面模型数据确定地面高程。
第一种方法，目前高度采集设备主要有超声波、激光、机器视觉以及多传感器融合等。通过搭载额外的测距传感器对周围环境进行高度测量，并将高度数据传给无人机飞控系统进行数据处理和综合决策，同时飞控系统将电机控制量反馈给无人机，使无人机能够保持恒定高度飞行。超声波法传感器虽然成本低、重量轻、实现方法简单，但是超声波采样频率低，易穿透植被，导致对植被的检测精度下降。机器视觉获取的无人机高度范围广，而且可以同时获得地形地貌信息，但图像处理算法复杂，对系统性能要求高。基于多传感器融合测量误差大，设备冗余。对于消费级无人机而言，本身载荷小，搭载额外传感器不仅增加设备费用支出成本，还增大飞行安全风险。同时，有些山区存在较多的架空输电线路、高压线塔、通信塔等尖状、线状地物，难于探测。
第二种方法，使用目前覆盖全国的公开数字高程模型(DEM)数据SRTM90m、ASTERGDEM30m、ALOS12.5m来替代数字表面模型(DSM)，规划无人机仿地飞行航线。该方法利用公共的DEM数据，精度基本上可以满足仿地飞行，但是有些区域存在较多的架空输电线路、高压线塔、通信塔、人工构筑物等尖状、线状、独立地物，公开数据往往缺乏以上关键数据，也容易导致撞机事故。
因此，针对上述问题，本发明提出基于扫描区域的地理空间数据进行无人机激光雷达仿地飞行方法，该发明为了提升无人机激光雷达的扫描数据的质量和安全性，既要让无人机适应山区地形起伏，与山地保持相对固定的飞行距离，又要保证无人机飞行过程中的安全性。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于地理空间数据的无人机激光雷达仿地飞行方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于地理空间数据的无人机激光雷达仿地飞行方法，包括如下步骤：
S1：获取扫描区高清影像数据；
S2：基于深度学习的目标检测与坐标提取；
S3：获取扫描区初始地形数据；
S4：危险区域电子围栏构建；
S5：顾及地理空间数据的仿地飞行航线规划；
其中，所述S2中，基于深度学习的目标检测与坐标提取的具体步骤为：
S21：数据收集，建立铁塔数据集：收集包含检测目标高分辨率影像数据集；
S22：模型选择和构建；选择适合目标的深度学习模型；根据具体需求，自行构建模型或使用预训练的模型进行微调；
S23：模型训练；使用标注数据集对选择的模型进行训练；在训练过程中，输入影像数据作为模型的输入，模型通过反向传播算法来更新网络参数，使其能够学习并识别电力铁塔的特征；
S24：超参数调优；在模型训练过程中，通过验证集的预测结果来调整模型的超参数，以获得更好的性能；
S25：模型评估；使用测试集来评估训练好的模型的性能；评估指标包括准确率、召回率、精确度、F1值；
S26：基于深度学习的目标检测；将训练好的模型应用于未知影像数据，进行目标检测；通过模型的推理能力，检测出图像中的检测目标并获取其位置和其他相关信息；根据需要，进行进一步的后处理，包括去除重复检测、合并相邻检测框，以提高结果的准确性和一致性；
S27：目标物坐标提取；由于影像图具有准确的地理空间坐标，根据检测目标目标框的中心点图像坐标，实现影像的图像坐标和地理空间坐标转换，获取检测目标中心点的地理坐标；地理空间坐标转换是从图像坐标空间到地理参考坐标空间的仿射变换。
优选的：所述地理空间坐标转换由6个系数组成，分别为：
GT(0)左上像素左上角的x坐标；
GT(1)w-e像素分辨率/像素宽度；
GT(2)行旋转；
GT(3)左上像素左上角的y坐标；
GT(4)列旋转；
GT(5)n-s像素分辨率/像素高度；
从图像坐标空间(X_pixel，Y_line)到地理参考坐标空间(X_geo，Y_geo)的转换：
X_geo＝GT(0)+X_pixel*GT(1)+Y_line*GT(2)
Y_geo＝GT(3)+X_pixel*GT(4)+Y_line*GT(5)
通过同样的方法，识别其他地物。
优选的：所述S21中，利用影像数据自行建立数据集的方法如下：
S211：数据预处理：对收集到的影像数据进行预处理；影像的预处理主要包括以下几个步骤；首先，在原始影像中按检测目标范围粗略的裁剪出包含检测目标的影像；然后，进行图像批量裁剪；针对原始影像中检测目标的尺寸特点，设置数据集图片裁剪尺寸大小M*M，裁剪的重叠度为N、步长为M/2；最后，人工筛选获取不同背景、不同成像形状的检测目标数据集，并将筛选后的检测目标影像按照统一格式命名；
S212：样本标注；如果还没有从高分辨率遥感影像中进行检测目标的公开数据集，采用国际通用PASCALVOC格式标准制作检测目标数据集；
利用标注软件进行图片中检测目标的手动标注；还需要对数据集进行数据扩充操作，包括平移、旋转、颜色变化的方式；
S213：数据集划分；数据集划分为训练集、验证集，比例为0.9、0.1，分别在检测目标数据集中的训练集和验证集上进行训练和验证，数据集均为随机分配。
优选的：所述S3中，获取扫描区初始地形数据时，DEM数据从多种数据源获取，包括激光雷达、光学立体测绘、卫星遥感测绘和GNSS测量；
如果有最新的DEM最佳，直接使用；
如果没有，则使用公开的DEM数据集。
优选的：所述S4中，危险区域电子围栏构建时，根据前面提取的重要地物，分为点状地物、面状地物、线状地物；
其中，点状地物电子围栏构建：
构建以点目标为中心Op、半径Rp、高度Hp的圆柱区域作为电子围栏；
其中，面状地物电子围栏构建：
构建以面目标为中心Oa、长La、宽Wa、高度Hp的圆柱区域作为电子围栏；
其中，线状地物电子围栏构建：
对于线状地线中的一直线段，以中心点Ti和Ti+1连线，两侧外扩宽度W，以中心点Ti和Ti+1的地形高为基础，分别向上延伸H构成了的电子围栏；中心点地形高根据点位坐标从地形数据中获取其高程；向下延伸的高程为该Ti和Ti+1区间内的最低高程。
优选的：所述S5中，无人机激光雷达航线规划时，需要先了解激光雷达扫描过程的几个重要参数，包括飞行范围、飞行高度、旁向重叠度，以及相机的航向重叠度；根据无人机激光扫描设备的视场角、航高等参数确定激光扫描的航带宽度；
根据项目对扫描点云的密度、精度等要求，最终确定激光雷达与地面的相对距离；
所述S5中，仿地飞行航线规划流程为：
S51：根据扫描区范围、设备性能参数，设置无人机航高、重叠度等参数；
S52：根据测区范围、设置参数和地形数据，自动生成三维仿地飞行航线；
S53：根据事先生成的电子围栏，对三维航线进行优化。
优选的：所述S5中，在单条航线的仿地飞行中：
对于每一条航线，首先进行地形约束，根据地面高程来调整无人机飞行的高度，将无人机飞行高度跟踪地形起伏，飞机离地高度控制在一定范围内，即：
Hmin≤H≤Hmax
其中，H为无人机飞行高度，Hmax为最大飞行高度，Hmin为最小飞行高度；
采用适应地形变化的激光扫描方式，具体方法如下：
沿航线断面，进行坡度计算，对于坡度小于30°的区域，激光雷达设备云台朝下为-90°，对于坡度超过30°的区域，激光雷达设备云台角度调整为-45°。
优选的：所述S5中，针对点状地物的三维仿地飞行航线优化：
在三维地图中，根据点状地物围栏的高度Hp、飞行航高H进行判断；
从平面上判断，如果无人机航线在点状电子围栏安全范围外，则判断安全，则不需要考虑该点围栏，无人机按航线飞行；
从高度上判断，如果H>Hp，超过一定的安全距离，判断安全，则不需要考虑该点围栏，无人机按航线飞行；如果H<Hp且在危险范围内，判断危险点位置，规避危险点的改进方法，如下：
如果危险点在飞行航线的左侧，则按安全距离Ws进行逆时针环绕飞行，从P1点开始环绕一圈，再从P2点离开，完成危险点处的激光扫描；同理，如果在右侧，则顺时针环绕飞行；其中，P1点、P2点在俯视状态下，位于以危险点为圆心、Ws为半径的圆上。
优选的：所述S5中，针对面状地物的三维仿地飞行航线优化：
在三维地图中，根据面状地物围栏的高度Ha、飞行航高H进行判断；
从平面上判断，如果无人机航线在点状电子围栏安全范围外，则判断安全，则不需要考虑该点围栏，无人机按航线飞行；
从高度上判断，如果H>Ha，超过一定的安全距离，判断安全，则不需要考虑该点围栏，无人机按航线飞行；如果H<Ha且在危险范围内，判断危险点位置，规避危险点的改进方法，如下：
在安全位置处P1点垂直上升，沿面状地物的上方飞行，在安全位置P2点垂直下降一定高度，再进行仿地飞行。
优选的：所述S5中，针对线状地物的三维仿地飞行航线优化：
在智能生成三维航线时，如果线状地物电子围栏，优先避免长距离跨越或者近距离飞行，将航线分布在线状地物两侧安全位置；尽量避免近距离作业；
在三维地图中，根据线状地物围栏的高度Hl、飞行航高H进行判断；
从平面上判断，如果无人机航线在线状电子围栏安全范围外，则判断安全，则不需要考虑该线状电子围栏，无人机按航线飞行；
从高度上判断，如果H>Hl，超过一定的安全距离，判断安全，则不需要考虑该线状电子围栏，无人机按航线飞行；如果H<Hl，且成航线平行，则需要在电子围栏一侧偏移安全距离，生成新的仿地飞行航线；如果H<Hl，且成相交，则按面状电子围栏按面状地物进行优化。
本发明的有益效果为：
1.本发明在利用无人机激光雷达对山区地形进行激光扫描时，为了保证激光扫描点云密度、精度和影像分辨率的一致性，需要让无人机与地面保持相对稳定的距离；无人机自带高精度GPS可以获取无人机的位置和高程信息，利用已有DEM数据或者公开的地理空间数据，可以提供无人机瞬时位置下方地形高程，从而及时调整无人机与地面的距离；同时，本发明还提出利用深度学习的影像目标识别与提取的方法，从影像数据中检测出测区范围内的重要地物或潜在危险点，并生成点状、线状和面状的电子围栏，为后续航线规划提供了参考，极大减少无人机仿地飞行过程中的撞机概率；同时，本发明针对不同的电子围栏约束，提出了针对性的三维仿地飞行优化方法，取得很好的效果。
2.本发明支持多数据源，可操作性强、适应性强；根据当前多种高程和影像数据获取方式，包括人工测量、卫星遥感、激光雷达等多种数据源，本发明方法支持多种数据源的加载和应用，可操作性强，适应性强。
3.本发明改进无人机激光扫描的飞行方式，适应复杂地形，保证数据的质量和精度；根据山区地形起伏的特点，利用公开的数字高程数据，无人机跟踪地形进行仿地飞行，适应不同地形条件，保证了激光扫描点云的密度和精度。
4.本发明根据构建的点状、线状、面状电子围栏，在进行三维仿地飞行航线规划时，避开危险地物，在不可规避的区域，提供针对性的航线优化方法，在保证数据质量、安全性的情况下，减少航飞距离，提升效率。
附图说明
图1为本发明提出的一种基于地理空间数据的无人机激光雷达仿地飞行方法的点状地物电子围栏的示意图；
图2为本发明提出的一种基于地理空间数据的无人机激光雷达仿地飞行方法的面状地物电子围栏的示意图；
图3为本发明提出的一种基于地理空间数据的无人机激光雷达仿地飞行方法的线状地物电子围栏的示意图；
图4为本发明提出的一种基于地理空间数据的无人机激光雷达仿地飞行方法的航线规划的侧视示意图；
图5为本发明提出的一种基于地理空间数据的无人机激光雷达仿地飞行方法的的航线规划的俯视示意图；
图6为本发明提出的一种基于地理空间数据的无人机激光雷达仿地飞行方法的仿地飞行示意图；
图7为本发明提出的一种基于地理空间数据的无人机激光雷达仿地飞行方法的地形自适应的仿地飞行与激光扫描方式示意图；
图8为本发明提出的一种基于地理空间数据的无人机激光雷达仿地飞行方法的点状地物的三维仿地飞行航线优化示意图；
图9为本发明提出的一种基于地理空间数据的无人机激光雷达仿地飞行方法的面状地物的三维仿地飞行航线优化的平面示意图；
图10为本发明提出的一种基于地理空间数据的无人机激光雷达仿地飞行方法的面状地物的三维仿地飞行航线无需优化时的侧剖面示意图；
图11为本发明提出的一种基于地理空间数据的无人机激光雷达仿地飞行方法的面状地物的三维仿地飞行航线优化时的侧剖面示意图；
图12为本发明提出的一种基于地理空间数据的无人机激光雷达仿地飞行方法的线状地物的三维仿地飞行航线优化示意图。
具体实施方式
下面结合具体实施方式对本发明的技术方案作进一步详细地说明。
实施例1：
一种基于地理空间数据的无人机激光雷达仿地飞行方法，包括如下步骤：
S1：获取扫描区高清影像数据；
S2：基于深度学习的目标检测与坐标提取；
S3：获取扫描区初始地形数据；
S4：危险区域电子围栏构建；
S5：顾及地理空间数据的仿地飞行航线规划；
其中，所述S2中，基于深度学习的目标检测与坐标提取的具体步骤为：
S21：数据收集，建立铁塔数据集：收集包含检测目标(如输电铁塔)高分辨率影像数据集；这些数据可以来自卫星图像、航拍图像或其他相关来源；
S22：模型选择和构建；选择适合目标的深度学习模型，如目标检测模型(如FasterR-CNN、YOLO等)或语义分割模型(如FCN、U-Net等)；根据具体需求，可以自行构建模型或使用预训练的模型进行微调；
S23：模型训练；使用标注数据集对选择的模型进行训练；在训练过程中，输入影像数据作为模型的输入，模型通过反向传播算法来更新网络参数，使其能够学习并识别电力铁塔的特征；
S24：超参数调优；在模型训练过程中，可以通过验证集的预测结果来调整模型的超参数，如学习率、损失函数等，以获得更好的性能；
S25：模型评估；使用测试集来评估训练好的模型的性能；常用的评估指标包括准确率、召回率、精确度、F1值等；
S26：基于深度学习的目标(如输电铁塔)检测；将训练好的模型应用于未知影像数据，进行目标(如输电铁塔)检测；通过模型的推理能力，可以检测出图像中的检测目标(如输电铁塔)并获取其位置和其他相关信息；根据需要，进行进一步的后处理，如去除重复检测、合并相邻检测框等，以提高结果的准确性和一致性；
S27：目标物坐标提取；由于影像图具有准确的地理空间坐标，根据检测目标(如输电铁塔)目标框的中心点图像坐标，可以实现影像的图像坐标和地理空间坐标转换，获取检测目标(如输电铁塔)中心点的地理坐标；地理空间坐标转换是从图像坐标空间(行、列)，也称为(像素、线)到地理参考坐标空间(投影或地理坐标)的仿射变换；
其中，地理空间坐标转换由6个系数组成，分别为：
GT(0)左上像素左上角的x坐标；
GT(1)w-e像素分辨率/像素宽度；
GT(2)行旋转(通常为零)；
GT(3)左上像素左上角的y坐标；
GT(4)列旋转(通常为零)；
GT(5)n-s像素分辨率/像素高度(北上图像为负值)；
从图像坐标空间(X_pixel，Y_line)到地理参考坐标空间(X_geo，Y_geo)的转换：
X_geo＝GT(0)+X_pixel*GT(1)+Y_line*GT(2)
Y_geo＝GT(3)+X_pixel*GT(4)+Y_line*GT(5)
同样的方法，可以识别其他地物，如通信塔、居民建筑等重要地物。
其中，所述S21中，利用影像数据自行建立数据集的方法如下：
S211：数据预处理：对收集到的影像数据进行预处理，包括图像去噪、调整尺寸和色彩空间等，以便于后续处理和模型训练；影像的预处理主要包括以下几个步骤；首先，在原始影像中按检测目标(如输电铁塔)范围粗略的裁剪出包含检测目标(如输电铁塔)的影像；然后，通过Python等智能程序进行图像批量裁剪；针对原始影像中检测目标(如输电铁塔)的尺寸特点，为了能够更好保证检测目标(如输电铁塔)样本的完整性，可以设置数据集图片裁剪尺寸大小M*M(如640*640)，裁剪的重叠度为N、步长为M/2；最后，人工筛选获取不同背景、不同成像形状的检测目标(如输电铁塔)数据集，并将筛选后的检测目标(如输电铁塔)影像按照统一格式命名；
S212：样本标注；如果还没有从高分辨率遥感影像中进行检测目标(如输电铁塔)的公开数据集，那么数据集的制作将对后续的目标检测以及目标检测领域的深入研究和发展具有重要意义；采用国际通用PASCALVOC格式标准制作检测目标(如输电铁塔)数据集；
利用LabelImg等标注软件进行图片中检测目标的手动标注；考虑检测目标(如输电铁塔)在影像上是成像特征，不同拍摄角度的不同检测目标(如输电铁塔)呈现出的形状差异较大；其结构属于空间桁架结构，背景更为复杂；由于检测目标(如输电铁塔)目标检测只有一类、影像数据有限；为提高模型的泛化能力，防止训练模型过拟合，需要对数据集进行数据扩充操作，主要采用平移、旋转、颜色变化等方式；
S213：数据集划分；数据集划分为训练集、验证集，比例为0.9、0.1，分别在检测目标(如输电铁塔)数据集中的训练集和验证集上进行训练和验证，数据集均为随机分配。
其中，所述S3中，获取扫描区初始地形数据时，DEM数据可以从多种数据源获取，包括激光雷达、光学立体测绘、卫星遥感测绘和GNSS测量等；
如果有最新的DEM最佳，直接使用；
如果没有，则使用公开的DEM数据集，全国公开DEM数据有空间分辨率为SRTM90m、ASTER GDEM30m、ALOS12.5m的供下载；如SRTM(Shuttle Radar Topography Mission)，空间分辨率为90m和ASTER GDEM(Advanced Spaceborne Thermal Emission and ReflectionRadiometer Global Digital Elevation Model)，空间分辨率为30m以及ALOS的空间分辨率12.5m等。
其中，所述S4中，危险区域电子围栏构建时，根据前面提取的重要地物，分为点状地物、面状地物、线状地物；
点状地物，主要是高的独立地物，如地面单管塔，高度一般为15～100m；
面状地物，主要是山区居民建筑、棚等，一般为1～5层，高度一般为3～20m；
线状地物，主要是高架桥、架空输电线(包括高压塔)等，高架桥一般为5～50m，而输电铁塔有不同塔型，主要电压覆盖110kV～1000kV，高度为10～80m；
其中，点状地物电子围栏构建：
构建以点目标为中心Op、半径Rp、高度Hp的圆柱区域作为电子围栏；
其中，面状地物电子围栏构建：
构建以面目标为中心Oa、长La、宽Wa、高度Hp的圆柱区域作为电子围栏；
其中，线状地物电子围栏构建：
对于线状地线中的一直线段，以中心点Ti和Ti+1连线，两侧外扩宽度W，以中心点Ti和Ti+1的地形高为基础，分别向上延伸H构成了的电子围栏；中心点地形高可以根据点位坐标从地形数据中获取其高程；向下延伸的高程为该Ti和Ti+1区间内的最低高程。
其中，所述S5中，无人机激光雷达航线规划时，需要先了解激光雷达扫描过程的几个重要参数，包括飞行范围、飞行高度、旁向重叠度，以及相机的航向重叠度；根据无人机激光扫描设备的视场角、航高等参数可以确定激光扫描的航带宽度；
飞行高度主要取决了激光雷达设备的测程及对应能达到的点云密度、点云精度以及植被穿透力等；根据项目对扫描点云的密度、精度等要求，最终确定激光雷达与地面的相对距离；由于地形起伏，需要让无人机激光雷达与地面保持相对固定的距离，才能保证复杂地形下扫描点云密度、精度和影像空间分辨率的一致性。
其中，所述S5中，仿地飞行航线规划流程为：
S51：根据扫描区范围、设备性能参数，设置无人机航高、重叠度等参数；
S52：根据测区范围、设置参数和地形数据，自动生成三维仿地飞行航线；
S53：根据事先生成的电子围栏，对三维航线进行优化，具体优化方法见后述。
其中，所述S5中，在单条航线的仿地飞行中：
对于每一条航线，首先进行地形约束，根据地面高程来调整无人机飞行的高度，将无人机飞行高度跟踪地形起伏，飞机离地高度控制在一定范围内，即：
Hmin≤H≤Hmax
其中，H为无人机飞行高度，Hmax为最大飞行高度，Hmin为最小飞行高度；
同时，也不需要完成根据地形来调整，调整过大，耗时过多，效率低；为此，无人机对离地高度的精确控制，对地相对高差变化保持在20％左右；
考虑到山区地形起伏，本发明提出适应地形变化的激光扫描方式，具体方法如下：
沿航线断面，进行坡度计算，对于坡度小于30°的区域，激光雷达设备云台朝下(-90°)，对于坡度超过30°的区域，激光雷达设备云台角度调整为-45°。
其中，所述S5中，针对点状地物的三维仿地飞行航线优化：
在三维地图中，根据点状地物围栏的高度Hp、飞行航高H进行判断；
从平面上判断，如果无人机航线在点状电子围栏安全范围外，则判断安全，则不需要考虑该点围栏，无人机按航线飞行，如图8的A点；
从高度上判断，如果H>Hp，超过一定的安全距离，判断安全，则不需要考虑该点围栏，无人机按航线飞行；如果H<Hp且在危险范围内，如图8的B点，判断该点为危险点位置，本发明提出规避危险点的改进方法，即：
如果B在飞行航线的左侧，则按安全距离Ws进行逆时针环绕飞行，从P1点开始环绕一圈，再从P2点离开，完成危险点处的激光扫描；同理，如果在右侧，则顺时针环绕飞行。
其中，所述S5中，针对面状地物的三维仿地飞行航线优化：
在三维地图中，根据面状地物围栏的高度Ha、飞行航高H进行判断；
从平面上判断，如果无人机航线在点状电子围栏安全范围外，则判断安全，则不需要考虑该点围栏，无人机按航线飞行，如图9的A点；
从高度上判断，如果H>Ha，超过一定的安全距离，判断安全，则不需要考虑该点围栏，无人机按航线飞行，如图10；如果H<Ha且在危险范围内，如图9的B点，判断该点为危险点位置，本发明提出规避危险点的改进方法，如图11所示，即：在安全位置处P1点垂直上升，沿面状地物的上方飞行，在安全位置P2点垂直下降一定高度，再进行仿地飞行。
其中，所述S5中，针对线状地物的三维仿地飞行航线优化：
在智能生成三维航线时，如果线状地物电子围栏，优先避免长距离跨越或者近距离飞行，可以将航线分布在线状地物两侧安全位置；尽量避免近距离作业；
在三维地图中，根据线状地物围栏的高度Hl、飞行航高H进行判断；
从平面上判断，如果无人机航线在线状电子围栏安全范围外，则判断安全，则不需要考虑该线状电子围栏，无人机按航线飞行，如图12的A点位置；
从高度上判断，如果H>Hl，超过一定的安全距离，判断安全，则不需要考虑该线状电子围栏，无人机按航线飞行；如果H<Hl，且成航线平行，如图12的B点位置，则需要在电子围栏一侧偏移安全距离，生成新的仿地飞行航线；如果H<Hl，且成相交，如图12的C点位置，则按面状电子围栏按面状地物进行优化，即采用上述针对面状地物的三维仿地飞行航线优化的方式。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于地理空间数据的无人机激光雷达仿地飞行方法，其特征在于，包括如下步骤：
S1：获取扫描区高清影像数据；
S2：基于深度学习的目标检测与坐标提取；
S3：获取扫描区初始地形数据；
S4：危险区域电子围栏构建；
S5：顾及地理空间数据的仿地飞行航线规划；
其中，所述S2中，基于深度学习的目标检测与坐标提取的具体步骤为：
S21：数据收集，建立铁塔数据集：收集包含检测目标高分辨率影像数据集；
S22：模型选择和构建；选择适合目标的深度学习模型；根据具体需求，自行构建模型或使用预训练的模型进行微调；
S23：模型训练；使用标注数据集对选择的模型进行训练；在训练过程中，输入影像数据作为模型的输入，模型通过反向传播算法来更新网络参数，使其能够学习并识别电力铁塔的特征；
S24：超参数调优；在模型训练过程中，通过验证集的预测结果来调整模型的超参数，以获得更好的性能；
S25：模型评估；使用测试集来评估训练好的模型的性能；评估指标包括准确率、召回率、精确度、F1值；
S26：基于深度学习的目标检测；将训练好的模型应用于未知影像数据，进行目标检测；通过模型的推理能力，检测出图像中的检测目标并获取其位置和其他相关信息；根据需要，进行进一步的后处理，包括去除重复检测、合并相邻检测框，以提高结果的准确性和一致性；
S27：目标物坐标提取；由于影像图具有准确的地理空间坐标，根据检测目标目标框的中心点图像坐标，实现影像的图像坐标和地理空间坐标转换，获取检测目标中心点的地理坐标；地理空间坐标转换是从图像坐标空间到地理参考坐标空间的仿射变换。
2.根据权利要求1所述的一种基于地理空间数据的无人机激光雷达仿地飞行方法，其特征在于，所述地理空间坐标转换由6个系数组成，分别为：
GT(0)左上像素左上角的x坐标；
GT(1)w-e像素分辨率/像素宽度；
GT(2)行旋转；
GT(3)左上像素左上角的y坐标；
GT(4)列旋转；
GT(5)n-s像素分辨率/像素高度；
从图像坐标空间(X_pixel，Y_line)到地理参考坐标空间(X_geo，Y_geo)的转换：
X_geo＝GT(0)+X_pixel*GT(1)+Y_line*GT(2)
Y_geo＝GT(3)+X_pixel*GT(4)+Y_line*GT(5)
通过同样的方法，识别其他地物。
3.根据权利要求2所述的一种基于地理空间数据的无人机激光雷达仿地飞行方法，其特征在于，所述S21中，利用影像数据自行建立数据集的方法如下：
S211：数据预处理：对收集到的影像数据进行预处理；影像的预处理主要包括以下几个步骤；首先，在原始影像中按检测目标范围粗略的裁剪出包含检测目标的影像；然后，进行图像批量裁剪；针对原始影像中检测目标的尺寸特点，设置数据集图片裁剪尺寸大小M*M，裁剪的重叠度为N、步长为M/2；最后，人工筛选获取不同背景、不同成像形状的检测目标数据集，并将筛选后的检测目标影像按照统一格式命名；
S212：样本标注；如果还没有从高分辨率遥感影像中进行检测目标的公开数据集，采用国际通用PASCALVOC格式标准制作检测目标数据集；
利用标注软件进行图片中检测目标的手动标注；还需要对数据集进行数据扩充操作，包括平移、旋转、颜色变化的方式；
S213：数据集划分；数据集划分为训练集、验证集，比例为0.9、0.1，分别在检测目标数据集中的训练集和验证集上进行训练和验证，数据集均为随机分配。
4.根据权利要求3所述的一种基于地理空间数据的无人机激光雷达仿地飞行方法，其特征在于，所述S3中，获取扫描区初始地形数据时，DEM数据从多种数据源获取，包括激光雷达、光学立体测绘、卫星遥感测绘和GNSS测量；
如果有最新的DEM最佳，直接使用；
如果没有，则使用公开的DEM数据集。
5.根据权利要求4所述的一种基于地理空间数据的无人机激光雷达仿地飞行方法，其特征在于，所述S4中，危险区域电子围栏构建时，根据前面提取的重要地物，分为点状地物、面状地物、线状地物；
其中，点状地物电子围栏构建：
构建以点目标为中心Op、半径Rp、高度Hp的圆柱区域作为电子围栏；
其中，面状地物电子围栏构建：
构建以面目标为中心Oa、长La、宽Wa、高度Hp的圆柱区域作为电子围栏；
其中，线状地物电子围栏构建：
对于线状地线中的一直线段，以中心点Ti和Ti+1连线，两侧外扩宽度W，以中心点Ti和Ti+1的地形高为基础，分别向上延伸H构成了的电子围栏；中心点地形高根据点位坐标从地形数据中获取其高程；向下延伸的高程为该Ti和Ti+1区间内的最低高程。
6.根据权利要求5所述的一种基于地理空间数据的无人机激光雷达仿地飞行方法，其特征在于，所述S5中，无人机激光雷达航线规划时，需要先了解激光雷达扫描过程的几个重要参数，包括飞行范围、飞行高度、旁向重叠度，以及相机的航向重叠度；根据无人机激光扫描设备的视场角、航高等参数确定激光扫描的航带宽度；
根据项目对扫描点云的密度、精度等要求，最终确定激光雷达与地面的相对距离；
所述S5中，仿地飞行航线规划流程为：
S51：根据扫描区范围、设备性能参数，设置无人机航高、重叠度等参数；
S52：根据测区范围、设置参数和地形数据，自动生成三维仿地飞行航线；
S53：根据事先生成的电子围栏，对三维航线进行优化。
7.根据权利要求6所述的一种基于地理空间数据的无人机激光雷达仿地飞行方法，其特征在于，所述S5中，在单条航线的仿地飞行中：
对于每一条航线，首先进行地形约束，根据地面高程来调整无人机飞行的高度，将无人机飞行高度跟踪地形起伏，飞机离地高度控制在一定范围内，即：
Hmin≤H≤Hmax
其中，H为无人机飞行高度，Hmax为最大飞行高度，Hmin为最小飞行高度；
采用适应地形变化的激光扫描方式，具体方法如下：
沿航线断面，进行坡度计算，对于坡度小于30°的区域，激光雷达设备云台朝下为-90°，对于坡度超过30°的区域，激光雷达设备云台角度调整为-45°。
8.根据权利要求7所述的一种基于地理空间数据的无人机激光雷达仿地飞行方法，其特征在于，所述S5中，针对点状地物的三维仿地飞行航线优化：
在三维地图中，根据点状地物围栏的高度Hp、飞行航高H进行判断；
从平面上判断，如果无人机航线在点状电子围栏安全范围外，则判断安全，则不需要考虑该点围栏，无人机按航线飞行；
从高度上判断，如果H>Hp，超过一定的安全距离，判断安全，则不需要考虑该点围栏，无人机按航线飞行；如果H<Hp且在危险范围内，判断危险点位置，规避危险点的改进方法，如下：
如果危险点在飞行航线的左侧，则按安全距离Ws进行逆时针环绕飞行，从P1点开始环绕一圈，再从P2点离开，完成危险点处的激光扫描；同理，如果在右侧，则顺时针环绕飞行；其中，P1点、P2点在俯视状态下，位于以危险点为圆心、Ws为半径的圆上。
9.根据权利要求7所述的一种基于地理空间数据的无人机激光雷达仿地飞行方法，其特征在于，所述S5中，针对面状地物的三维仿地飞行航线优化：
在三维地图中，根据面状地物围栏的高度Ha、飞行航高H进行判断；
从平面上判断，如果无人机航线在点状电子围栏安全范围外，则判断安全，则不需要考虑该点围栏，无人机按航线飞行；
从高度上判断，如果H>Ha，超过一定的安全距离，判断安全，则不需要考虑该点围栏，无人机按航线飞行；如果H<Ha且在危险范围内，判断危险点位置，规避危险点的改进方法，如下：
在安全位置处P1点垂直上升，沿面状地物的上方飞行，在安全位置P2点垂直下降一定高度，再进行仿地飞行。
10.根据权利要求7所述的一种基于地理空间数据的无人机激光雷达仿地飞行方法，其特征在于，所述S5中，针对线状地物的三维仿地飞行航线优化：
在智能生成三维航线时，如果线状地物电子围栏，优先避免长距离跨越或者近距离飞行，将航线分布在线状地物两侧安全位置；尽量避免近距离作业；
在三维地图中，根据线状地物围栏的高度Hl、飞行航高H进行判断；
从平面上判断，如果无人机航线在线状电子围栏安全范围外，则判断安全，则不需要考虑该线状电子围栏，无人机按航线飞行；
从高度上判断，如果H>Hl，超过一定的安全距离，判断安全，则不需要考虑该线状电子围栏，无人机按航线飞行；如果H<Hl，且成航线平行，则需要在电子围栏一侧偏移安全距离，生成新的仿地飞行航线；如果H<Hl，且成相交，则按面状电子围栏按面状地物进行优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311536791.5A CN117406778B (zh) | 2023-11-16 | 2023-11-16 | 一种基于地理空间数据的无人机激光雷达仿地飞行方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311536791.5A CN117406778B (zh) | 2023-11-16 | 2023-11-16 | 一种基于地理空间数据的无人机激光雷达仿地飞行方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117406778A true CN117406778A (zh) | 2024-01-16 |
| CN117406778B CN117406778B (zh) | 2024-03-12 |
Family
ID=89487117
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311536791.5A Active CN117406778B (zh) | 2023-11-16 | 2023-11-16 | 一种基于地理空间数据的无人机激光雷达仿地飞行方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117406778B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170126637A (ko) * | 2016-05-10 | 2017-11-20 | 팅크웨어(주) | 무인 비행체 항로 구축 방법 및 시스템 |
| CN109062233A (zh) * | 2018-08-15 | 2018-12-21 | 广东电网有限责任公司 | 一种输电线路无人机自动驾驶巡检方法 |
| CN109085604A (zh) * | 2018-08-22 | 2018-12-25 | 上海华测导航技术股份有限公司 | 一种用于电力巡线的系统及方法 |
| CN109669474A (zh) * | 2018-12-21 | 2019-04-23 | 国网安徽省电力有限公司淮南供电公司 | 基于先验知识的多旋翼无人机自适应悬停位置优化算法 |
| CN113189615A (zh) * | 2021-03-26 | 2021-07-30 | 国家电网有限公司 | 一种使用垂直起降固定翼无人机对输电线路进行巡检的方法 |
| CN113784284A (zh) * | 2021-09-01 | 2021-12-10 | 中国航空工业集团公司西安飞行自动控制研究所 | 一种固定翼无人机电子围栏规避方法 |
| CN114114314A (zh) * | 2021-11-08 | 2022-03-01 | 国网福建省电力有限公司漳州供电公司 | 基于激光点云的输电线路巡检检测系统及检测方法 |
| CN115311316A (zh) * | 2022-07-20 | 2022-11-08 | 中国农业大学 | 基于深度学习的立体栽培模式下小型西瓜识别与定位方法 |
| CN116385958A (zh) * | 2023-03-07 | 2023-07-04 | 云南电网有限责任公司玉溪供电局 | 一种用于电网巡检和监控的边缘智能检测方法 |
-
2023
- 2023-11-16 CN CN202311536791.5A patent/CN117406778B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170126637A (ko) * | 2016-05-10 | 2017-11-20 | 팅크웨어(주) | 무인 비행체 항로 구축 방법 및 시스템 |
| CN109062233A (zh) * | 2018-08-15 | 2018-12-21 | 广东电网有限责任公司 | 一种输电线路无人机自动驾驶巡检方法 |
| CN109085604A (zh) * | 2018-08-22 | 2018-12-25 | 上海华测导航技术股份有限公司 | 一种用于电力巡线的系统及方法 |
| CN109669474A (zh) * | 2018-12-21 | 2019-04-23 | 国网安徽省电力有限公司淮南供电公司 | 基于先验知识的多旋翼无人机自适应悬停位置优化算法 |
| CN113189615A (zh) * | 2021-03-26 | 2021-07-30 | 国家电网有限公司 | 一种使用垂直起降固定翼无人机对输电线路进行巡检的方法 |
| CN113784284A (zh) * | 2021-09-01 | 2021-12-10 | 中国航空工业集团公司西安飞行自动控制研究所 | 一种固定翼无人机电子围栏规避方法 |
| CN114114314A (zh) * | 2021-11-08 | 2022-03-01 | 国网福建省电力有限公司漳州供电公司 | 基于激光点云的输电线路巡检检测系统及检测方法 |
| CN115311316A (zh) * | 2022-07-20 | 2022-11-08 | 中国农业大学 | 基于深度学习的立体栽培模式下小型西瓜识别与定位方法 |
| CN116385958A (zh) * | 2023-03-07 | 2023-07-04 | 云南电网有限责任公司玉溪供电局 | 一种用于电网巡检和监控的边缘智能检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吴新桥;王昊;杨家慧;蔡思航;: "无人机自动驾驶与电网智能化巡检", 中国减灾, no. 11, 1 June 2020 (2020-06-01), pages 36 - 37 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117406778B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108181635B (zh) | 一种用于输电线路交叉跨越分析的激光点云分类方法 | |
| US9784836B2 (en) | System for monitoring power lines | |
| Dall’Asta et al. | Unmanned Aerial Systems and DSM matching for rock glacier monitoring | |
| CN104931022B (zh) | 基于星载激光测高数据的卫星影像立体区域网平差方法 | |
| AU2021104249A4 (en) | Pesticide application method and system based on air-ground collaboration | |
| CN114353876A (zh) | 一种黄土公路边坡健康监测方法 | |
| CN111026150A (zh) | 一种利用无人机进行输电线路地质灾害预警系统及方法 | |
| CN114781011B (zh) | 一种像素级全球森林碳储量高精度计算方法及系统 | |
| CN111829964B (zh) | 一种分布式遥感卫星系统 | |
| CN112729130A (zh) | 卫星遥感测量树木冠层高度的方法 | |
| CN105651267A (zh) | 一种基于三维激光扫描仪和gis的雷达阵地堪选方法 | |
| CN113454677A (zh) | 一种遥感卫星系统 | |
| CN115127510A (zh) | 一种水陆空三栖立体无人化多平台联动滑坡智能巡防系统 | |
| CN114252884A (zh) | 路侧雷达定位监测方法、装置、计算机设备和存储介质 | |
| JP2022119973A (ja) | 画像識別に基づく飛行体強制着陸経路計画方法、システムおよび装置 | |
| CN111506069A (zh) | 一种全天候全地面起重机障碍识别系统及方法 | |
| CN114252883B (zh) | 目标检测方法、装置、计算机设备和介质 | |
| CN117406778B (zh) | 一种基于地理空间数据的无人机激光雷达仿地飞行方法 | |
| CN116912443A (zh) | 一种使用无人机航测技术的矿区点云和影像融合建模方法 | |
| CN110516588A (zh) | 一种遥感卫星系统 | |
| CN115638772A (zh) | 基于无人机影像数据提取高山峡谷区滑坡灾害信息的方法 | |
| CN114239379A (zh) | 一种基于形变检测的输电线路地质灾害分析方法及系统 | |
| CN112902928A (zh) | 一种无人机航摄测量方法及其系统 | |
| CN114252859A (zh) | 目标区域的确定方法、装置、计算机设备和存储介质 | |
| CN114252868A (zh) | 激光雷达的标定方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |