CN110873565A - 用于城市场景重建的无人机实时路径规划方法 - Google Patents

用于城市场景重建的无人机实时路径规划方法 Download PDF

Info

Publication number
CN110873565A
CN110873565A CN201911146357.XA CN201911146357A CN110873565A CN 110873565 A CN110873565 A CN 110873565A CN 201911146357 A CN201911146357 A CN 201911146357A CN 110873565 A CN110873565 A CN 110873565A
Authority
CN
China
Prior art keywords
building
scene
unmanned aerial
aerial vehicle
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911146357.XA
Other languages
English (en)
Other versions
CN110873565B (zh
Inventor
周彬
匡麒
吴进波
赵沁平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201911146357.XA priority Critical patent/CN110873565B/zh
Publication of CN110873565A publication Critical patent/CN110873565A/zh
Priority to US16/997,833 priority patent/US11288884B2/en
Application granted granted Critical
Publication of CN110873565B publication Critical patent/CN110873565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/32—UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Astronomy & Astrophysics (AREA)

Abstract

本发明提供了一种用于城市场景重建的无人机实时路径规划方法，利用场景俯视图作为先验信息生成无人机初始路径，在飞行过程中对初始路径实时优化，实现对城市场景的三维重建。主要包括四大步骤，步骤一：解析场景俯视图，得到场景布局，生成无人机初始路径；步骤二：在按照初始路径飞行过程中重建出建筑的稀疏点云并估计建筑高度，结合场景布局生成粗略场景模型，调整初始路径高度；步骤三：借助粗略场景模型和稀疏点云以及无人机飞行轨迹，得到场景覆盖置信图和需要特写的细节部分，对飞行路径实时优化；步骤四：得到高分辨率图像，重建得到场景的三维模型。本发明具有可行性、准确性和通用性，可用于城市的三维重建、自动测绘等应用中。

Description

用于城市场景重建的无人机实时路径规划方法
技术领域
本发明涉及一种用于城市场景重建的无人机实时路径规划方法，利用场景的俯视图作为先验信息生成无人机初始飞行轨迹，在飞行过程中对初始轨迹进行实时优化，最终实现对城市场景的图像采集和三维建模，具有一定的有效性和通用性，属于机器人路径规划和计算机图形学领域。
背景技术
随着“数字城市”的兴起，城市场景的三维重建正在成为当前研究的热点，构建城市场景三维模型，可以广泛应用于城市规划、城市监管、城市形象推广、房地产开发等领域。而由于城市场景环境较为复杂，尺度较大，因此三维重建也存在不小的难度。无人机因为能够在空中采集数据，视角也很丰富，因此成为城市三维重建的理想采集工具之一。
为了能够得到令人满意的重建结果，无人机需要采集到足够多的图像，能够覆盖住整个场景，才能完整地将场景重建出来。目前大多数无人机都是通过人们手动操控的，但由于缺少直观的重建结果，在采集数据过程中不能知晓采集的数据是否全面，只能在重建出三维模型后判断，整个过程需要不止一次的飞行采集，耗时耗力。由于无人机在空中的航时较短，因此需要高效地采集到有用数据。同时，为了使重建结果质量较好，许多复杂的细节部分需要近距离拍摄，比如镂空部分、雨棚、花坛等。
随着城市建模和无人机智能路径规划的需求增加，近些年来，一些科研工作者在相关技术上开展了研究。目前的工作大多数是基于视角选择问题对无人机路径进行规划，在重建出粗略场景模型的基础上，通过计算粗略模型的完整度计算最优的观测视角，再生成经过所有最优视角的飞行路径，最后无人机按照设定好的最优路径在场景中采集得到高分辨率图像，通过三维重建算法重建出精细的城市三维模型。但是这种方法需要事先重建出粗略的模型作为先验信息，因此需要无人机先采集到少量的数据进行重建，这大大增加了复杂度和完成时间。
发明内容
本发明技术解决问题：克服现有技术的不足，提供一种用于城市场景重建的无人机实时路径规划方法，利用场景的俯视图作为先验信息生成无人机初始飞行轨迹，在飞行过程中对初始轨迹进行实时优化，最终实现对城市场景的图像采集和三维建模。本发明鲁棒性强，解决了现有技术需要以粗略模型作为先验进行路径规划从而耗时耗力的难题，并且克服了当前技术难以生成具有细节的城市三维模型的限制。
本发明采用的技术方案是：一种用于城市场景重建的无人机实时路径规划方法，包括以下步骤：
(1)解析场景俯视图，得到场景的布局，根据场景布局确定无人机安全飞行区域，在安全飞行区域中生成高度固定且遍历建筑每个面的无人机初始飞行路径，同时给每个建筑赋相同的初始高度值，根据几何约束为无人机初始飞行路径添加镜头的朝向，使拍摄的建筑在画面中央；
(2)在按照初始飞行路径飞行过程中重建出建筑的稀疏点云，借助稀疏点云估计出建筑的高度，然后结合步骤(1)得到的场景布局生成粗略场景模型，同时根据建筑的高度优化初始飞行路径，生成高度变化的飞行路径；
(3)借助步骤(2)生成的粗略场景模型，并根据稀疏点云以及无人机的飞行轨迹，对场景采集信息完整度预测和对建筑细节部分判断，得到场景覆盖的置信图和需要特写的细节部分，并对飞行路径进行实时优化，得到能够实时补全场景采集信息并特写建筑细节的无人机飞行路径；
(4)在按照优化的无人机飞行路径飞行过程中得到超过1900万像素的高分辨率图像(何为“高”，请给出范围)，利用多视角立体几何技术通过高分辨率图像重建得到完整并带有建筑细节部分的城市场景三维模型。
所述步骤(1)具体实现如下：
(2.1)在场景俯视图中分割出建筑，利用Mask R-CNN实例分割神经网络，分割出每个建筑，得到场景的布局，根据场景布局确定无人机安全飞行区域，即除建筑上方以外的区域。此时建筑之间是不连通的，为不连通图；
(2.2)为生成连贯的无人机飞行路径，需要将步骤(2.1)中的不连通图转换为连通图，将每个建筑看作一个点，建筑与建筑之间的路径看作边，建筑与建筑之间的距离作为边的权重，通过Dijkstra算法求出经过每个点的最短路径，此路径即为通过每个建筑的最短路径，此时将场景中每个建筑用几何形状表示，建筑的任意两点均有路径相连，构建连通图；
(2.3)经过步骤(2.2)得到连通图，此时为节省飞行时间需要得到遍历建筑每个面的最短路径，通过添加重复边使连通图成为欧拉图，再利用Fleury算法求出最优欧拉环游，此时得到的最优欧拉环游为在安全飞行区域中高度固定且遍历建筑每个面的无人机初始飞行路径；
(2.4)给每个建筑一个初始高度，根据几何约束计算镜头的朝向，在步骤(2.3)的基础上为无人机初始飞行路径添加镜头朝向，使得能够同时拍摄到建筑的顶面和侧面，拍摄的建筑在画面中央，完成路径的初始化。
所述步骤(2)具体实现如下：
(3.1)无人机在按照步骤(1)中生成的初始飞行路径飞行过程中，在拍摄当前建筑时，拍摄到的图像与步骤(1)中的场景俯视图进行图像匹配，提取尺度不变特征变换(SIFT)特征确定当前拍摄画面中建筑的区域；
(3.2)通过SLAM重建出建筑的稀疏点云，在步骤(3.1)中确定的区域搜索点，根据区域中的点在z轴上的最大值和最小值来确定点的高度；
(3.3)在确定点的高度后，根据建筑顶部区域的大小以及实际建筑顶部的大小确定缩放比例，将点的高度与缩放比例相乘，使重建的稀疏点云尺度统一，恢复建筑的真实高度；
(3.4)在得到的场景布局的基础上，结合步骤(3.3)中已经得到的建筑的真实高度，生成场景的粗略模型，并根据建筑的真实高度优化初始飞行路径，重新调整初始飞行路径的高度，计算镜头的朝向。
所述步骤(3)具体实现如下：
(4.1)结合步骤(3.4)的粗略场景模型对场景采集信息完整度预测，根据SLAM恢复的稀疏点云确定无人机已经覆盖的区域，根据恢复的无人机飞行轨迹确定可能覆盖的区域，生成场景覆盖置信图；
(4.2)对于剩下的未覆盖的区域，计算需要添加到路径的点以及机载相机镜头朝向，实时优化无人机飞行路径，使无人机能实时补全场景采集信息；
(4.3)在重建稀疏点云的同时对建筑细节部分判断，计算稀疏点云密度，确定稀疏点云密度较大，即每立方米点的数量超过10个的区域，优化飞行路径使得无人机能够特写建筑的阳台、水箱、消防梯结构复杂的部分。
本发明与现有技术相比，其有益的特点是：
(1)当前用于城市场景重建的无人机路径规划方法不能达到实时规划，需要已重建的粗略模型作为先验信息，因此需要事先重建出粗略模型，耗时长，本发明克服了当前方法的限制，利用场景俯视图作为先验信息，在飞行过程中实时对飞行路径优化，不需要无人机多次飞行，极大减少总时长。
(2)目前城市人工建模需要专业设计人员手工设计、建模，耗时耗力，本发明提出的方法简单有效，相比于目前城市人工建模方法不需要用户手工操作，而且也不需要用户具备任何专业的技能，通过规划无人机飞行路径使无人机能自动对城市场景进行图像采集，然后利用立体视觉技术完成城市场景的自动重建。
(3)人工遥控无人机测绘方法需要用户控制无人机采集图像，缺少直观重建结果，往往需要多次飞行才能保证重建完整，本发明的方法结合场景重建的点云和无人机轨迹，对场景覆盖度进行预测，并优化轨迹使重建结果完整，解决了在城市测绘中缺少直观结果采集效率低重建效果差的问题，并且不需要用户控制无人机。
(4)传统航空测绘方法中无人机飞行高度固定，不能近距离捕获到建筑的细节，重建结果不完整精度不高，并且需要人工设定参数，本发明的方法综合考虑了建筑的高度不同，需要特写的细节部分，利用飞行过程中重建的稀疏点云以及场景布局估计建筑高度，预测场景采集信息完整度，判断建筑细节，能够根据建筑的高度、场景采集完整度和建筑细节部分实时优化飞行路径，重建结果比传统的航空测绘方法精度更高，覆盖更全，更加智能化。
(5)本发明实验验证，具有可行性、准确性和通用性，可用于城市的三维建模、自动测绘、电子沙盘等应用中。
附图说明
图1是本发明的流程图；
图2是本发明的路径初始化流程图示意图；
图3是本发明的场景完整度预测流程示意图；
图4是本发明的无人机实时路径规划应用样例图；
图5是本发明的城市场景重建应用样例图。
具体实施方式
为了更好地理解本发明的技术方案，以下结合附图对本发明的具体实施方式作进一步描述。
如图1所示，本发明的流程图。本发明的总体目标在于提出一种用于城市场景重建的无人机实时路径规划方法，能够使无人机在一次飞行中实时优化飞行路径，采集全面完整的信息完成场景的三维重建。具体步骤是：首先解析场景俯视图，得到场景的布局，生成带有镜头朝向的无人机初始飞行路径；在飞行过程中重建出建筑的稀疏点云，根据点云估计出建筑的高度，同时结合已得到的场景布局生成粗略场景模型，调整初始路径的高度；借助粗略场景模型并根据稀疏点云以及无人机的飞行路径，得到场景覆盖的置信图和需要特写的细节部分，并对飞行路径进行实时优化；得到高分辨率图像，重建得到场景的三维模型。
如图2所示，本发明方法首先利用实例分割模型Mask R-CNN得到地图中的建筑顶部图像(a)。由于每个建筑都是独立的，而无人机的飞行路径是连贯的，因此需要将图(a)转换为连通图。将每个建筑看作图中的一个点，点与点之间的边的权重即为建筑与建筑之间的距离，如图(b)所示。通过Dijkstra最短路径算法得到经过每个建筑的最短路径(c)。此时为了得到遍历每个建筑的侧面的路径，需要添加重复边使连通图成为欧拉图，再利用Fleury算法求出最优欧拉环游，最后得到的最优欧拉环游(d)为经过了每条边并且有的边可能经过不止一次的最短路径。然后给每个建筑赋值一个初始高度，根据下面的几何约束(e)，可以得到相机的位置以及朝向：
Figure BDA0002282313760000051
其中，fov为相机的视场角，α和β为图1中建筑的边与相机的夹角，c为相机与建筑的距离，wp和hp为建筑的宽w和高h分别在相机平面成像的长度。
如图3所示，本发明的场景完整度预测流程示意图：首先无人机按照初始路径飞行，在飞行过程中利用SLAM技术，重建出场景的稀疏点云并估计相机位姿。然后估计当前拍摄建筑的高度，将无人机当前拍摄的图像与之前已得到的建筑的屋顶进行图像匹配，通过提取尺度不变特征变换(SIFT)特征来确定建筑在当前图像的区域，在区域中在z轴上值最大的点zm与值最小的点zn的差作为建筑的高度，同时由于单目相机的尺度不确定，因此还需通过俯视图的真实比例尺s来确定建筑的真实高度h：
Figure BDA0002282313760000052
其中M为区域中在z轴上值最大的点的数量，N为区域中在z轴上值最小的点的数量。
在确定了建筑高度后，根据建筑的高度调整无人机初始路径的高度以及镜头的朝向，同时结合已经得到的场景布局，生成场景粗略模型。借助粗略场景模型和稀疏点云对场景完整度预测，生成场景覆盖置信图。将建筑的每个面划分成若干小格，对于每个小格g其置信度E(g)可表示为：
Figure BDA0002282313760000061
其中，I(np-nth)为小格中点的数量超过阈值，则认为这个小格已被覆盖。
Figure BDA0002282313760000062
是根据无人机轨迹来预测小格是否被覆盖，ti为镜头朝向与小格所在平面的夹角。G(g)是度量无人机与观测平面之间距离的函数：
Figure BDA0002282313760000063
用高斯分布来表示这个函数，其中λ表示小格面积Sg期望在画面Sf中所占比例，σ控制度量值随无人机与观测平面之间距离变化的快慢。
在生成场景覆盖置信图后，需要对无人机轨迹进行优化以便能够采集到未覆盖区域。对于未覆盖区域先将其中心点作为待添加路径的点，然后计算点与点之间的时间开销，对于任意两点p1,p2之间的时间开销C为：
C(p1，p2)＝min[Cs(p1，p2)，Ct(p1，p2)]
其中，Cs表示无人机从建筑侧面到另一个点，Ct表示无人机从建筑顶面到目的点。从两者中选取时间较少的作为最优路径。在添加点到路径中时，计算两种策略的时间，立即完成Ci和稍后完成Cd，然后选取时间最少的策略。立即完成需要无人机从当前点到目的点，需要计算往返时间，稍后完成则是计算路径中与目的点最近的点到目的点所需时间：
Figure BDA0002282313760000064
其中，P表示待求路径，T为添加点后需要增加的时长，pc为无人机当前所在位置，pa为目的点，pclose为路径中离目的点距离最近的点。
如图4所示，本发明的无人机实时路径规划应用样例图，其示出了本发明在采集效率和时间上的好处和优势。本发明的优势在于：无人机采集信息的角度丰富，在重建时由于信息全面效果更好；采集得到的冗余信息少，利用率高，因此在相同场景下采集的图像数量比传统采集方法少，重建时间大大减少；不以重建出的粗略模型作为先验信息，因此不需要无人机多次飞行，省时省力；在采集过程中，无人机的运动更符合机器人探索环境方式，图像之间关联度高，因此重建时错误较少。(a)是传统航空测绘方式，无人机以折线形式在场景中以固定的高度飞行，镜头朝向也是固定的，因此采集的信息角度单一，重建时许多部分并不完整，(b)中是目前比较先进的利用无人机重建场景的方法，它以事先重建好的粗略模型作为先验信息，计算最优的视角，再用路径将视角连接起来，因此图像之间关联度不高，重建时需要花费大量时间计算图像关联度，(c)是本发明的路径规划结果。表1是在这三种方法下重建时间(min)和重建误差比较(cm)。通过表1可以看出,本发明的方法在重建精度与Smith方法相差不多的情况下，大大减少了整个过程的时间。
表1重建时间(min)和重建误差(cm)比较
方法 飞行时间 重建时间 总时间 重建误差
传统测绘 36.60 112.70 161.48 5.57
Smith 42.49 243.12 302.65 5.10
本发明 23.73 146.84 185.77 5.11
本发明方法中，初始化路径通过遍历建筑的每个面，有效地采集了每个建筑的信息，重建精度高，无人机飞行距离短，耗时少。在结合建筑的高度、完整度、细节等方面后，对初始路径进行实时优化，进一步提高了重建的精度和完整度。实验结果证明了本发明方法的可行性、准确性和通用性，实验结果如图5所示。图5展示了在传统航空测绘方法，本发明路径初始化方法，本发明优化方法下的重建结果以及重建误差。其中(a)中传统航空测绘方法由于无人机飞行高度和镜头朝向固定，建筑的侧面重建误差较大。(b)中初始化方法相较于传统航空测绘方法能够将建筑侧面重建得更完整，但由于高度固定缺少细节精度也不高。(c)中本发明的优化方法能够调节无人机飞行高度，增加细节特写，预测场景的完整度并作出优化，因此重建出的场景模型精度更高，更完整。
以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (4)

1.一种用于城市场景重建的无人机实时路径规划方法，其特征在于，包括以下步骤：
(1)解析场景俯视图，得到场景的布局，根据场景布局确定无人机安全飞行区域，在安全飞行区域中生成高度固定且遍历建筑每个面的无人机初始飞行路径，同时给每个建筑赋相同的初始高度值，根据几何约束为无人机初始飞行路径添加镜头的朝向，使拍摄的建筑在画面中央；
(2)在按照初始飞行路径飞行过程中重建出建筑的稀疏点云，借助稀疏点云估计出建筑的高度，然后结合步骤(1)得到的场景布局生成粗略场景模型，同时根据建筑的高度优化初始飞行路径，生成高度变化的飞行路径；
(3)借助步骤(2)生成的粗略场景模型，并根据稀疏点云以及无人机的飞行轨迹，对场景采集信息完整度预测和对建筑细节部分判断，得到场景覆盖的置信图和需要特写的细节部分，并对飞行路径进行实时优化，得到能够实时补全场景采集信息并特写建筑细节的无人机飞行路径；
(4)在按照优化的无人机飞行路径飞行过程中得到超过1900万像素的高分辨率图像，利用多视角立体几何技术通过高分辨率图像重建得到完整并带有建筑细节部分的城市场景三维模型。
2.根据权利要求1所述的用于城市场景重建的无人机实时路径规划方法，其特征在于：所述步骤(1)具体实现如下：
(2.1)在场景俯视图中分割出建筑，利用Mask R-CNN实例分割神经网络，分割出每个建筑，得到场景的布局，根据场景布局确定无人机安全飞行区域，即除建筑上方以外的区域。此时建筑之间是不连通的，为不连通图；
(2.2)为生成连贯的无人机飞行路径，需要将步骤(2.1)中的不连通图转换为连通图，将每个建筑看作一个点，建筑与建筑之间的路径看作边，建筑与建筑之间的距离作为边的权重，通过Dijkstra算法求出经过每个点的最短路径，此路径即为通过每个建筑的最短路径，此时将场景中每个建筑用几何形状表示，建筑的任意两点均有路径相连，构建连通图；
(2.3)经过步骤(2.2)得到连通图，此时为节省飞行时间需要得到遍历建筑每个面的最短路径，通过添加重复边使连通图成为欧拉图，再利用Fleury算法求出最优欧拉环游，此时得到的最优欧拉环游为在安全飞行区域中高度固定且遍历建筑每个面的无人机初始飞行路径；
(2.4)给每个建筑一个初始高度，根据几何约束计算镜头的朝向，在步骤(2.3)的基础上为无人机初始飞行路径添加镜头朝向，使得能够同时拍摄到建筑的顶面和侧面，拍摄的建筑在画面中央，完成路径的初始化。
3.根据权利要求1所述的用于城市场景重建的无人机实时路径规划方法，其特征在于：所述步骤(2)具体实现如下：
(3.1)无人机在按照步骤(1)中生成的初始飞行路径飞行过程中，在拍摄当前建筑时，拍摄到的图像与步骤(1)中的场景俯视图进行图像匹配，提取尺度不变特征变换(SIFT)特征确定当前拍摄画面中建筑的区域；
(3.2)通过SLAM(Simultaneous Localization And Mapping即时定位与建图算法)重建出建筑的稀疏点云，在步骤(3.1)中确定的区域搜索点，根据区域中的点在z轴上的最大值和最小值来确定点的高度；
(3.3)在确定点的高度后，根据建筑顶部区域的大小以及实际建筑顶部的大小确定缩放比例，将点的高度与缩放比例相乘，使重建的稀疏点云尺度统一，恢复建筑的真实高度；
(3.4)在得到的场景布局的基础上，结合步骤(3.3)中已经得到的建筑的真实高度，生成场景的粗略模型，并根据建筑的真实高度优化初始飞行路径，重新调整初始飞行路径的高度，计算镜头的朝向。
4.根据权利要求1所述的用于城市场景重建的无人机实时路径规划方法，其特征在于：所述步骤(3)具体实现如下：
(4.1)结合步骤(3.4)的粗略场景模型对场景采集信息完整度预测，根据SLAM恢复的稀疏点云确定无人机已经覆盖的区域，根据恢复的无人机飞行轨迹确定可能覆盖的区域，生成场景覆盖置信图；
(4.2)对于剩下的未覆盖的区域，计算需要添加到路径的点以及机载相机镜头朝向，实时优化无人机飞行路径，使无人机能实时补全场景采集信息；
(4.3)在重建稀疏点云的同时对建筑细节部分判断，计算稀疏点云密度，确定稀疏点云密度较大，即每立方米点的数量超过10个的区域，优化飞行路径使得无人机能够特写建筑的阳台、水箱、消防梯结构复杂的部分。
CN201911146357.XA 2019-11-21 2019-11-21 用于城市场景重建的无人机实时路径规划方法 Active CN110873565B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911146357.XA CN110873565B (zh) 2019-11-21 2019-11-21 用于城市场景重建的无人机实时路径规划方法
US16/997,833 US11288884B2 (en) 2019-11-21 2020-08-19 UAV real-time path planning method for urban scene reconstruction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911146357.XA CN110873565B (zh) 2019-11-21 2019-11-21 用于城市场景重建的无人机实时路径规划方法

Publications (2)

Publication Number Publication Date
CN110873565A true CN110873565A (zh) 2020-03-10
CN110873565B CN110873565B (zh) 2021-06-04

Family

ID=69717162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911146357.XA Active CN110873565B (zh) 2019-11-21 2019-11-21 用于城市场景重建的无人机实时路径规划方法

Country Status (2)

Country Link
US (1) US11288884B2 (zh)
CN (1) CN110873565B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112484707A (zh) * 2020-11-25 2021-03-12 浙江有色勘测规划设计有限公司 一种基于飞行器的建筑测量方法、系统、终端及介质
CN112884894A (zh) * 2021-04-28 2021-06-01 深圳大学 场景重建数据采集方法、装置、计算机设备和存储介质
CN112884256A (zh) * 2021-04-28 2021-06-01 深圳大学 路径规划方法、装置、计算机设备和存储介质
CN113156984A (zh) * 2021-03-01 2021-07-23 之江实验室 多旋翼无人机航迹规划方法、装置、介质及多旋翼无人机
CN113701718A (zh) * 2021-07-06 2021-11-26 宁波市海策测绘有限公司 一种测绘地图数据采集方法、系统、存储介质及智能终端
CN114742793A (zh) * 2022-04-06 2022-07-12 广东水电二局股份有限公司 一种基于工程测绘的监测校正方法
CN115563678A (zh) * 2022-09-29 2023-01-03 中交一公局第七工程有限公司 基于点云数据的逆向建模系统及方法
CN115826628A (zh) * 2023-02-22 2023-03-21 成都航空职业技术学院 基于NeRF神经网络的异构无人机视觉避障系统及方法
CN117055601A (zh) * 2023-09-05 2023-11-14 广东工业大学 一种无人机送餐路径规划方法、装置、设备及存储介质
CN117437368A (zh) * 2023-12-22 2024-01-23 深圳大学 基于无人机的路面平整度测量方法、系统、终端和介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020127797B4 (de) * 2020-10-22 2024-03-14 Markus Garcia Sensorverfahren zum optischen Erfassen von Nutzungsobjekten zur Detektion eines Sicherheitsabstandes zwischen Objekten
US11676390B2 (en) * 2020-10-23 2023-06-13 Huawei Technologies Co., Ltd. Machine-learning model, methods and systems for removal of unwanted people from photographs
CN112991537B (zh) * 2021-04-29 2021-09-10 深圳大学 城市场景重建方法、装置、计算机设备和存储介质
CN113570714B (zh) * 2021-07-07 2023-11-17 诚邦测绘信息科技(浙江)有限公司 基于测绘的无人机检测方法、系统、存储介质及智能终端
CN113426044B (zh) * 2021-07-07 2022-04-26 广东诺海科技集团有限公司 一种集群无人机森林灭火方法
CN113428374B (zh) * 2021-07-29 2023-04-18 西南交通大学 桥梁结构检测数据收集方法和无人机系统
WO2024049484A2 (en) * 2021-10-19 2024-03-07 Wing Aviation Llc Processes for generating and updating flyable airspace for unmanned aerial vehicles
CN114061548B (zh) * 2022-01-14 2022-06-17 山东省地质测绘院 基于无人机遥感的建筑测绘方法及系统
CN114663596B (zh) * 2022-04-03 2024-02-23 西北工业大学 基于无人机实时仿地飞行方法的大场景建图方法
CN114460972B (zh) * 2022-04-13 2022-06-07 中国民航大学 一种无人机城区运行管控方法
CN115421509B (zh) * 2022-08-05 2023-05-30 北京微视威信息科技有限公司 一种无人机飞行拍摄规划方法、装置及存储介质
CN115620182B (zh) * 2022-12-20 2023-03-07 成都鹰谷米特科技有限公司 一种信号处理方法、装置、终端及存储介质
CN116308006B (zh) * 2023-05-19 2023-08-01 安徽省赛达科技有限责任公司 一种数字乡村综合服务云平台
CN117739925B (zh) * 2023-12-19 2024-05-24 广东省水利水电第三工程局有限公司 一种无人机的影像智能分析方法
CN117557929B (zh) * 2023-12-28 2024-04-05 国网山东省电力公司电力科学研究院 基于多应用场景的机组协同优化方法
CN117553803B (zh) * 2024-01-09 2024-03-19 大连海事大学 一种基于深度强化学习的多无人机智能路径规划方法
CN118031804B (zh) * 2024-04-12 2024-06-11 西安麦莎科技有限公司 一种基于无人机的施工过程监测方法及系统
CN118032063B (zh) * 2024-04-12 2024-06-14 中国电建集团江西省水电工程局有限公司 基于无人机倾斜摄影的风电设备运输地形测量系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678754A (zh) * 2015-12-31 2016-06-15 西北工业大学 一种无人机实时地图重建方法
US9632509B1 (en) * 2015-11-10 2017-04-25 Dronomy Ltd. Operating a UAV with a narrow obstacle-sensor field-of-view
CN106970639A (zh) * 2017-03-15 2017-07-21 武汉理工大学 一种基于无人机平台的港口实景监控系统及方法
CN107608371A (zh) * 2016-07-12 2018-01-19 何守印 城市社区环境下四旋翼自主避障无人机
CN107749079A (zh) * 2017-09-25 2018-03-02 北京航空航天大学 一种面向无人机扫描重建的点云质量评价和无人机轨迹规划方法
CN109685886A (zh) * 2018-11-19 2019-04-26 国网浙江杭州市富阳区供电有限公司 一种基于混合现实技术的配网三维场景建模方法
CN109767452A (zh) * 2018-12-24 2019-05-17 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机
CN109949399A (zh) * 2019-03-15 2019-06-28 西安因诺航空科技有限公司 一种基于无人机航拍图像的场景三维重建方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11797723B2 (en) * 2015-04-14 2023-10-24 ETAK Systems, LLC Systems and methods for coordinating initiation, preparing, vetting, scheduling, constructing, and implementing a power plant implementation
CN113238581A (zh) * 2016-02-29 2021-08-10 星克跃尔株式会社 无人飞行器的飞行控制的方法和系统
EP3566078A1 (en) * 2017-01-03 2019-11-13 Innoviz Technologies Ltd. Lidar systems and methods for detection and classification of objects
US11017679B2 (en) * 2017-01-13 2021-05-25 Skydio, Inc. Unmanned aerial vehicle visual point cloud navigation
US10854011B2 (en) * 2018-04-09 2020-12-01 Direct Current Capital LLC Method for rendering 2D and 3D data within a 3D virtual environment
US11333503B2 (en) * 2018-04-19 2022-05-17 Uatc, Llc Global and local navigation for self-driving
SG11201811747XA (en) * 2018-11-15 2020-06-29 Beijing Didi Infinity Technology & Development Co Ltd Systems and methods for correcting a high-definition map based on detection of obstructing objects
US11119192B2 (en) * 2018-12-07 2021-09-14 Here Global B.V. Automatic detection of overhead obstructions
US11257369B2 (en) * 2019-09-26 2022-02-22 GM Global Technology Operations LLC Off road route selection and presentation in a drive assistance system equipped vehicle
US11573544B2 (en) * 2020-02-13 2023-02-07 Skydio, Inc. Performing 3D reconstruction via an unmanned aerial vehicle

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9632509B1 (en) * 2015-11-10 2017-04-25 Dronomy Ltd. Operating a UAV with a narrow obstacle-sensor field-of-view
CN105678754A (zh) * 2015-12-31 2016-06-15 西北工业大学 一种无人机实时地图重建方法
CN107608371A (zh) * 2016-07-12 2018-01-19 何守印 城市社区环境下四旋翼自主避障无人机
CN106970639A (zh) * 2017-03-15 2017-07-21 武汉理工大学 一种基于无人机平台的港口实景监控系统及方法
CN107749079A (zh) * 2017-09-25 2018-03-02 北京航空航天大学 一种面向无人机扫描重建的点云质量评价和无人机轨迹规划方法
CN109685886A (zh) * 2018-11-19 2019-04-26 国网浙江杭州市富阳区供电有限公司 一种基于混合现实技术的配网三维场景建模方法
CN109767452A (zh) * 2018-12-24 2019-05-17 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机
CN109949399A (zh) * 2019-03-15 2019-06-28 西安因诺航空科技有限公司 一种基于无人机航拍图像的场景三维重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MIKE ROBERTS 等: "Submodular Trajectory Optimization for Aerial 3D Scanning", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
刘阿敏: "基于三维点云图的无人机路径规划", 《中国优秀硕士学位论文全文数据库》 *
周妍: "融合场景语义信息的多视图室内三维模型重建研究", 《中国博士学位论文全文数据库》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112484707B (zh) * 2020-11-25 2022-05-10 浙江有色勘测规划设计有限公司 一种基于飞行器的建筑测量方法、系统、终端及介质
CN112484707A (zh) * 2020-11-25 2021-03-12 浙江有色勘测规划设计有限公司 一种基于飞行器的建筑测量方法、系统、终端及介质
CN113156984A (zh) * 2021-03-01 2021-07-23 之江实验室 多旋翼无人机航迹规划方法、装置、介质及多旋翼无人机
CN113156984B (zh) * 2021-03-01 2022-09-09 之江实验室 多旋翼无人机航迹规划方法、装置、介质及多旋翼无人机
US11640696B2 (en) 2021-04-28 2023-05-02 Shenzhen University Method, computer device, and storage medium for exploring and collecting scene reconstruction data
CN112884894A (zh) * 2021-04-28 2021-06-01 深圳大学 场景重建数据采集方法、装置、计算机设备和存储介质
CN112884256A (zh) * 2021-04-28 2021-06-01 深圳大学 路径规划方法、装置、计算机设备和存储介质
CN112884256B (zh) * 2021-04-28 2021-07-27 深圳大学 路径规划方法、装置、计算机设备和存储介质
CN112884894B (zh) * 2021-04-28 2021-09-21 深圳大学 场景重建数据采集方法、装置、计算机设备和存储介质
CN113701718A (zh) * 2021-07-06 2021-11-26 宁波市海策测绘有限公司 一种测绘地图数据采集方法、系统、存储介质及智能终端
CN113701718B (zh) * 2021-07-06 2024-03-19 海策信息科技(浙江)有限公司 一种测绘地图数据采集方法、系统、存储介质及智能终端
CN114742793B (zh) * 2022-04-06 2022-12-13 广东水电二局股份有限公司 一种基于工程测绘的监测校正方法
CN114742793A (zh) * 2022-04-06 2022-07-12 广东水电二局股份有限公司 一种基于工程测绘的监测校正方法
CN115563678A (zh) * 2022-09-29 2023-01-03 中交一公局第七工程有限公司 基于点云数据的逆向建模系统及方法
CN115563678B (zh) * 2022-09-29 2023-11-28 中交一公局第七工程有限公司 基于点云数据的逆向建模系统及方法
CN115826628A (zh) * 2023-02-22 2023-03-21 成都航空职业技术学院 基于NeRF神经网络的异构无人机视觉避障系统及方法
CN115826628B (zh) * 2023-02-22 2023-05-09 成都航空职业技术学院 基于NeRF神经网络的异构无人机视觉避障系统及方法
CN117055601A (zh) * 2023-09-05 2023-11-14 广东工业大学 一种无人机送餐路径规划方法、装置、设备及存储介质
CN117055601B (zh) * 2023-09-05 2024-05-31 广东工业大学 一种无人机送餐路径规划方法、装置、设备及存储介质
CN117437368A (zh) * 2023-12-22 2024-01-23 深圳大学 基于无人机的路面平整度测量方法、系统、终端和介质
CN117437368B (zh) * 2023-12-22 2024-04-26 深圳大学 基于无人机的路面平整度测量方法、系统、终端和介质

Also Published As

Publication number Publication date
US20210158009A1 (en) 2021-05-27
CN110873565B (zh) 2021-06-04
US11288884B2 (en) 2022-03-29

Similar Documents

Publication Publication Date Title
CN110873565B (zh) 用于城市场景重建的无人机实时路径规划方法
CN110570428B (zh) 一种从大规模影像密集匹配点云分割建筑物屋顶面片的方法及系统
CN108010092B (zh) 一种基于低空摄影测量的城市高密度区太阳能利用潜力评估方法
CN111599001B (zh) 基于图像三维重建技术的无人机导航地图构建系统及方法
CN107514993B (zh) 基于无人机的面向单体建筑建模的数据采集方法及系统
CN107450576B (zh) 一种桥梁检测无人机路径规划的方法
CN112288875B (zh) 一种面向无人机矿山巡检场景的快速三维重建方法
CN105205808B (zh) 基于多特征多约束的多视影像密集匹配融合方法及系统
Sun et al. Aerial 3D building detection and modeling from airborne LiDAR point clouds
CN111141264B (zh) 一种基于无人机的城市三维测绘方法和系统
CN113538391A (zh) 一种基于Yolov4和热红外图像的光伏缺陷检测方法
Zhang et al. Continuous aerial path planning for 3D urban scene reconstruction.
CN114549956B (zh) 一种深度学习辅助的倾斜模型建筑物外立面目标识别方法
CN111247564A (zh) 一种数字地表模型的构建方法及处理设备、系统
CN116539004A (zh) 一种采用无人机测绘的通信线路工程勘察设计方法与系统
Zhou et al. Application of UAV oblique photography in real scene 3d modeling
Feng et al. Object detection and localization based on binocular vision for autonomous vehicles
CN113947724A (zh) 一种基于双目视觉的线路覆冰厚度自动测量方法
KR20220169342A (ko) 드론을 이용한 3차원 지도 제작 방법
Albeaik et al. Virtual cities: 3d urban modeling from low resolution lidar data
Liang et al. Accuracy analysis of oblique photogrammetry measurement in 3D modeling of power line selection design
Zhu et al. Road curb detection using a novel tensor voting algorithm
CN115984490A (zh) 风场特性的建模分析方法、系统、无人机设备及存储介质
CN108171731A (zh) 一种顾及拓扑几何多要素约束的最小影像集自动优选方法
Bai et al. Application of unmanned aerial vehicle multi-vision image 3D modeling in geological disasters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant