CN116433845A - 一种基于多无人机协同的陌生环境快速建模方法及系统 - Google Patents
一种基于多无人机协同的陌生环境快速建模方法及系统 Download PDFInfo
- Publication number
- CN116433845A CN116433845A CN202310422999.8A CN202310422999A CN116433845A CN 116433845 A CN116433845 A CN 116433845A CN 202310422999 A CN202310422999 A CN 202310422999A CN 116433845 A CN116433845 A CN 116433845A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- modeling
- module
- dimensional model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000010276 construction Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 abstract description 2
- 230000009466 transformation Effects 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004387 environmental modeling Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于多无人机协同的陌生环境快速建模方法及系统，至少包括航线规划模块、位置信息采集模块、影像快速拼接模块以及三维建模处理模块，所述三维模型包括基础三维模型和精细三维模型；无人机根据航线规划模块规划完成的航拍路线，通过位置信息采集模块采集无人机航拍路线过程中的数据，经过影像快速拼接模块对航拍影像进行拼接，再经过三维建模处理模块进行三维模型构建，实现陌生环境的快速建模。本方法及系统利用无人机搭载倾斜相机，基于航拍实时影像、基础三维模型以及精细三维模型的混合建模方法，实现陌生区域的快速成图，能够提升陌生复杂环境快速三维建模能力，对未来多场景下环境快速感知能力的发展具有深远的意义。
Description
技术领域
本发明属于三维建模技术领域，主要涉及了一种基于多无人机协同的陌生环境快速建模方法及系统。
背景技术
环境建模技术在城市建设、地理测绘、出行旅游等领域具有非常广阔的应用前景，其核心是通过采集环境数据，经过处理生成三维环境模型，目前常见的手段主要包括人工测绘建模、激光扫描建模、航空摄影测量建模、倾斜摄影测量建模等；西方国家在环境建模方面起步较早，不仅在建模系统和建模软件方面很成熟，且融合全球导航定位系统的高精度定位，能够生成环境区域整体三维模型；美国甚至已经将该技术用于军事应用，利用高分辨率的作战区域三维地形环境，为部队地面训练和任务演练提供支持。
基于卫星导航定位的无人机航拍方式具有机动性强、采集效率高、信息感知准确等优点，在当前城市环境下的三维建模应用较广，然而在陌生环境下，存在地形复杂、不确定性较多等因素限制，现有建模方法及系统难以满足模式环境快速准确采集的要求，相关技术亟待突破。
发明内容
本发明正是针对现有技术中建模方法及系统难以满足模式环境快速准确采集的问题，提供一种基于多无人机协同的陌生环境快速建模方法及系统，至少包括航线规划模块、位置信息采集模块、影像快速拼接模块以及三维建模处理模块，所述航线规划模块用于实现无人机航拍的路线规划以及多架无人机协同航拍的路线规划；所述位置信息采集模块用于实现无人机实时拍摄位置的数据采集；所述影像快速拼接模块用于实现实时回传的航拍影像的实时拼接；所述三维建模处理模块利用倾斜摄影测量数据实现三维模型的构建；所述三维模型包括基础三维模型和精细三维模型；无人机根据航线规划模块规划完成的航拍路线，通过位置信息采集模块采集无人机航拍路线过程中的数据，经过影像快速拼接模块对航拍影像进行拼接，再经过三维建模处理模块进行三维模型构建，实现陌生环境的快速建模。本方法及系统利用无人机搭载倾斜相机，基于航拍实时影像、基础三维模型以及精细三维模型的混合建模方法，实现陌生区域的快速成图，能够提升陌生复杂环境快速三维建模能力，对未来多场景下环境快速感知能力的发展具有深远的意义。
为了实现上述目的，本发明采取的技术方案是：一种基于多无人机协同的陌生环境快速建模系统，至少包括航线规划模块、位置信息采集模块、影像快速拼接模块以及三维建模处理模块，
所述航线规划模块用于实现无人机航拍的路线规划以及多架无人机协同航拍的路线规划；
所述位置信息采集模块用于实现无人机实时拍摄位置的数据采集；
所述影像快速拼接模块用于实现实时回传的航拍影像的实时拼接；
所述三维建模处理模块利用倾斜摄影测量数据实现三维模型的构建；所述三维模型包括基础三维模型和精细三维模型；
无人机根据航线规划模块规划完成的航拍路线，通过位置信息采集模块采集无人机航拍路线过程中的数据，经过影像快速拼接模块对航拍影像进行拼接，再经过三维建模处理模块进行三维模型构建，实现陌生环境的快速建模。
为了实现上述目的，本发明还采取的技术方案是：一种基于多无人机协同的陌生环境快速建模方法，包括以下步骤：
S1：利用单架无人机对航线规划路线过程中的路线进行扫描式拍摄，进行目标区域的航拍影像数据采集；
S2：影像采集过程中，基于sift特征点检测、匹配进行拉普拉斯图像融合，实现无人机航拍影像增量式更新，生成准实时的二维影像图；
S3:在三维建模处理模块基于主模块-工作线程模块模式进行网格计算，实现建模任务的集群处理；
S4:采集完成后，利用单架无人机快速采集的影像数据集构建建模任务，基于步骤S3快速生成基础三维模型；
S5:在基础三维模型中，利用选择陌生重点目标设施进行特征点标识，将重要地物进行兴趣区域标识，生成对应的点、线、面矢量约束信息；
S6:基于基础三维模型标识的矢量约束信息以及航拍任务，利用MTSP算法进行多架航拍无人机约束条件的自适应航线的规划；
S7:基于自适应航线，多架无人机协同完成目标区域的倾斜摄影测量数据的采集；
S8:利用多架无人机协同采集的倾斜摄影测量数据进行步骤S3，完成目标区域精细三维模型的构建。
作为本发明的一种改进，所述步骤S1中，单架无人机扫描式拍摄时，对影像重叠度要求为60％～65％。
作为本发明的另一种改进，所述步骤S3的主模块中，通过管理任务序列进行三维建模任务序列的管理，任务序列通过Windows文件资源管理器直接管理，所述任务序列目录包括以下子目录：用户取消的任务、已完成的任务、连接到任务序列的所有引擎列表、因引擎端出错而失败的任务、等待处理的任务、目前正在处理的任务；工作线程模块中，主要处理内容包括空中三角测量计算或三维重建过程。
作为本发明的又一种改进，所述步骤S6中MTSP算法的自适应航线的规划具体包括：将倾斜摄影轨迹与正视轨迹点集组合为点集S，输入无人机数量k，计算过程：①将经纬高点集转化为xyz坐标；②K聚类将点集划分类别，每一类点数进行限制；③将每一类点集建模为TSP问题，用改良贪心算法求解最短路径；④每一类点集的最短路径存储为顺序点集，即分配给每台无人机的路径；⑤获得多机路径并下载可执行JSON文件。
与现有技术相比，本发明提供了一种基于多无人机协同的陌生环境快速建模方法及系统，针对陌生环境区域的三维建模需求，通过利用航拍实时影像、基础三维模型以及精细三维模型的混合建模方法，实现了复杂陌生区域的快速建模，减少三维模型后期处理时间，加快陌生环境构建速度，支撑三维实景的快速生成。
此外，本发明所涉及的基于多无人机协同的陌生环境快速建模系统，基于航拍的基础三维模型的特征标识，兴趣区域标识，实现了多机协同航拍的路线优化，大大较少了冗余拍摄的照片；实时影像拼接则实现影像的实时拼接，快速获得陌生区域的实景；三维建模软件模块则利用集群方式实现了三维模型的快速构建，大大缩短建模时间。
附图说明
图1是本发明一种基于多无人机协同的陌生环境快速建模方法的步骤流程图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
实施例1
一种基于多无人机协同的陌生环境快速建模系统，至少包括航线规划模块、位置信息采集模块、影像快速拼接模块以及三维建模处理模块，所述航线规划模块用于实现无人机航拍的路线规划以及多架无人机协同航拍的路线规划；所述位置信息采集模块用于实现无人机实时拍摄位置的数据采集；所述影像快速拼接模块用于实现实时回传的航拍影像的实时拼接；所述三维建模处理模块利用倾斜摄影测量数据实现三维模型的构建；所述三维模型包括基础三维模型和精细三维模型，基础三维模型是利用粗飞阶段中单无人机航拍采集的影像构建的三维模型，影像分辨率为(8～10cm)，影像航向和旁向重叠度为60％～65％；精细三维模型是利用精飞阶段中多无人机航拍采集的影像以及粗飞采集的航拍影像共同构建的数据集进行的模型构建，精飞采集影像分辨率为(3～5cm)，精飞采集影像航向和旁向重叠度为80％～85％。
将下发的任务中地图待采集的陌生地域作为目标区域,将目标区域作为航拍任务，首先派遣单架无人机进行航拍，快速采集目标区的场景，实时回传航拍数据至影像快速拼接模块；基于实时回传影像数据进行实时拼接，生成目标区域的准实时二维影像图；航拍结束后，利用三维建模处理模块集群处理，快速生成基础三维模型；基于基础三维模型进行特征标识、兴趣区域识别，进行多架无人机协同自适应航拍路线的规划；最后，基于多无人机协同倾斜摄影的数据生成目标区域精细三维模型，实现陌生环境的快速建模。
实施例2
一种基于多无人机协同的陌生环境快速建模方法，如图1所示，包括如下步骤：
S1：利用单架无人机进行航线规划路线进行扫描式拍摄，对影像重叠度不做要求，快速进行目标区域的航拍影像数据采集；
在无人机航拍前，将下发的任务中地图待采集的陌生地域作为目标区域，在无人机上搭载高精度定位增强模块，利用陌生环境快速建模系统进行初始航线规划(重叠度不作要求)，快速进行目标区域的航拍影像数据采集。
S2：影像采集过程中，基于sift特征点检测、匹配进行拉普拉斯图像融合，实现无人机航拍影像增量式更新，生成准实时的二维影像图；
在无人机航拍过程中，无人机通过图像传输模块将实时航拍的影像数据回传至服务器指定目录下，陌生环境快速建模系统中的实时影像拼接模块从指定目录中获取实时航拍的影像，利用sift特征点检测、特征点匹配、拉普拉斯图像融合算法实现航拍影像的实时拼接，伴随无人机航拍数据的实时回传，对无人机航拍拼接影像进行增量式更新，生成准实时的二维影像图。
图像拼接实质上是将每张航拍图经过一个变换矩阵投影到最终的拼接大图空间上，只有先求解出针对每张图片的变换矩阵才能完成最终的拼接。两个不同视角的图像上的点对可以用一个射影变换来表述，即：x1＝Hx2，其中矩阵H称为单应矩阵，x1和x2为3×1的齐次坐标表示方式，而单应矩阵H则是一个3×3的8自由度矩阵，因为H33固定为1，那么该变换过程可以写成如下：
但在拼接的应用场景下却不能这样简单的考虑，首先这里的点对应该是对应的匹配图上的匹配特征点，往往匹配点的数量会非常多，且在这里并不是简单的考虑两张图的拼接，而是若干张图片的拼接，前两张图片的最优配对结果可能对于后续的图片并不是最优的，因此在图像拼接这里应该考虑的是最小化所有配对点之间的配对误差，而非直接求解一个唯一解。
设N张图片之间共有M对匹配的特征点。第i张图片的变换矩阵向量化成Xi(将仿射变换矩阵Hireshape成1×9的向量)，令
基于此定义待优化的目标函数E(X)为：
E(X)＝Ecor(X)+λEreg(X)
其中Ecor(X)是配准误差，主要目的是最小化对应配准特征点经过仿射变换矩阵变换后投影到拼接大图上的距离差。具体定义如下：
目标函数中的Ereg(X)是一个正则项，λ为一个权重参数，设置该项的目的主要是为了保证最终的变换畸变尽可能小，保证其变换尽可能接近一个欧式变换，定义为下式：
最终通过最小化E(X)可以获得每个图像的最优变换矩阵，通过求解出针对每张图片的变换矩阵，将每张航拍图投影到地理空间中，最终完成最终的拼接大图。
S3：在三维建模处理模块基于主模块-工作线程模块模式进行网格计算，实现建模任务的集群处理；
利用三维建模处理模块中的主模块-工作线程模块模式，将建模任务份组成若干基本任务，提交任务序列，工作线程提取序列中的等待任务。利用多台计算机构建集群与任务序列关联，实现多机协同处理三维建模任务。
在主模块中，通过管理任务序列进行三维建模任务序列的管理，任务序列通过Windows文件资源管理器直接管理，任务在任务序列中显示为XML文件，其中任务序列目录包括以下子目录：用户取消的任务、已完成的任务、连接到任务序列的所有引擎列表、因引擎端出错而失败的任务、等待处理的任务、目前正在处理的任务。
在工作线程中，集群处理计算机中的应用引擎，在计算机后台运行，不与用户进行交互；在计算机在空闲时，该引擎将根据优先级以及提交日期提取任务序列中等待任务，通过读取主模块中定义的任务序列，处理不同的基本任务，并将引擎处理结果存储到主模块定义的存储位置，同时更新任务序列中的任务内容。主要处理内容包括空中三角测量计算或三维重建过程。
S4:采集完成后，利用S1输出的单架无人机快速采集的影像数据集构建三维模型重建任务，基于步骤S3快速生成基础三维模型；
待单架无人机沿航线完成航拍任务后，基于陌生环境快速构建系统中的三维建模软件模块将所有航拍数据进行读取，基于三维建模软件集群进行影像数据的空三加密、兴趣区域编辑、自适应切块，完成三维场景的快速重建，生成基础三维模型。本发明中的建模任务是基于S1采集的影像数据集，利用步骤S3中集群处理模式，完成基本模型的构建，基本要求是两平方公里区域的影像数据，由4台64G内存的图形工作站进行基本模型构建，模型构建时间小于4h。基础三维模型的分辨率取决于无人机航拍采集的影像地面分辨率(8～10cm)，影像建模效果取决于航拍过程中的航向和旁向重叠度，采集时航向和旁向重叠度为60％～65％。
S5:在基础三维模型中，利用选择陌生重点目标设施进行特征点标识，将重要地物进行兴趣区域标识，生成对应的点、线、面矢量约束信息；
基于基础三维模型数据，基于目标识别算法进行重建三维场景的特征标识、兴趣区域标识，即将在三维重建场景中选择重点目标设施、重要目标区域并进行标识，并将特征标识以及兴趣标识区域的位置信息进行存储，生成对应的点、线、面矢量约束信息。
目标识别算法是基于DeepLab v3+的重点区域识别技术，DeepLab v3+是谷歌提出的一个语义分割网络，是其DeepLab系列语义分割网络的第三代加强版本。在训练识别建筑物的语义分割网络模型时采用的数据集为中国典型城市建筑物实例数据集，该数据集以高分辨率遥感影像为数据源，采用人工标注与交互式标注相结合的方式构建的，该数据集是实例数据集，所以其label会给每个建筑物赋不同的标签，在这里将其二值化，只标注背景和建筑物而不区分具体的建筑物，通过边缘检测获取所有连通区域，随后在这一系列的边缘检测结果中找出其最大外接矩形结果作为重点建筑物识别区域，将识别区域作为精飞阶段重点拍摄区域。
S6:基于基础三维模型标识的矢量约束信息(重点拍摄区域)以及航拍任务，利用MTSP算法进行多架航拍无人机约束条件的自适应航线的规划；
将基础三维模型的标识作为约束信息，航线规划模块基于无人机编队规划算法结合约束信息，利用MTSP算法进行目标区域航线自适应规划，即实现重点拍摄区域以及重点拍摄目标进行着重拍摄(影像重叠度增加、分辨率提高)，一般区域快速拍摄，大大减少冗余照片的拍摄。
mTSP一般可以定义如下：给定一组节点，让在单个节点上有m个销售人员。要访问的其余节点(城市)称为中间节点。然后，mTSP包括为所有m个销售人员寻找行程，他们都在初始节点开始和结束，这样每个中间节点只访问一次，访问所有节点的总成本最小化。成本度量可以用距离、时间等来定义。在本课题场景中，同样可以将飞行路径点当做城市节点，无人机作为旅行商来进行求解。不同的地方在于，现在的讨论多是基于二维平面的工作，各个节点之间的边为有向路径，而无人机飞行的特点在于各节点的距离只取决于空间距离，不同节点之间理论上可以直接到达。将K聚类运用到mTSP多机协同问题中，将所有的轨迹位点分为k个区域，区域数k即为无人机数量，顺利的将一个mTSP问题弱化为多个TSP问题，而接下来，解决多个剩余的TSP问题则选择很多，只要通过实验选择更加适合，更近似最优的算法即可。
多无人机轨迹分配过程：将倾斜摄影轨迹与正视轨迹点集组合为点集S，输入无人机数量k，计算过程：①将经纬高点集转化为xyz坐标；②K聚类将点集划分类别，每一类点数进行限制；③将每一类点集建模为TSP问题，用改良贪心算法求解最短路径；④每一类点集的最短路径存储为顺序点集，即分配给每台无人机的路径；⑤获得多机路径并下载可执行JSON文件，即为多无人机精飞阶段的航拍路线。
S7:基于自适应航线，多架无人机协同完成目标区域的倾斜摄影测量数据的采集；
基于航拍的航线，多架无人机按照航拍的子任务完成各自负责的航拍任务的拍摄，影像航向重叠度和旁向重叠度需要设为80％～85％，影像地面分辨率(3～5cm)，采集过程的数据交互方式参见步骤S1。
S8:利用多架无人机协同采集的倾斜摄影测量数据进行步骤S3，完成目标区域精细三维模型的构建。
利用多架无人机航拍的影像结合S1输出的单架无人机快速采集的影像数据集进行构建三维重建项目，生成相应的三维建模任务，将建模任务进行任务分解进行构建模型，建模步骤参见步骤S3，完成目标区域的精细三维模型构建。
本发明提出的一种基于多无人机协同的陌生环境快速建模方法及系统，利用无人机搭载倾斜相机，基于航拍实时影像、基础三维模型以及精细三维模型的混合建模方法，实现陌生区域的快速成图，能够提升陌生复杂环境快速三维建模能力，对未来多场景下环境快速感知能力的发展具有深远的意义
需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。
Claims (5)
1.一种基于多无人机协同的陌生环境快速建模系统，其特征在于：至少包括航线规划模块、位置信息采集模块、影像快速拼接模块以及三维建模处理模块，
所述航线规划模块用于实现无人机航拍的路线规划以及多架无人机协同航拍的路线规划；
所述位置信息采集模块用于实现无人机实时拍摄位置的数据采集；
所述影像快速拼接模块用于实现实时回传的航拍影像的实时拼接；
所述三维建模处理模块利用倾斜摄影测量数据实现三维模型的构建；所述三维模型包括基础三维模型和精细三维模型；
无人机根据航线规划模块规划完成的航拍路线，通过位置信息采集模块采集无人机航拍路线过程中的数据，经过影像快速拼接模块对航拍影像进行拼接，再经过三维建模处理模块进行三维模型构建，实现陌生环境的快速建模。
2.一种基于多无人机协同的陌生环境快速建模方法，其特征在于，包括以下步骤：
S1：利用单架无人机对航线规划路线过程中的路线进行扫描式拍摄，进行目标区域的航拍影像数据采集；
S2：影像采集过程中，基于sift特征点检测、匹配进行拉普拉斯图像融合，实现无人机航拍影像增量式更新，生成准实时的二维影像图；
S3:在三维建模处理模块基于主模块-工作线程模块模式进行网格计算，实现建模任务的集群处理；
S4:采集完成后，利用步骤S1输出的单架无人机快速采集的影像数据集构建建模任务，基于步骤S3快速生成基础三维模型；
S5:在步骤S4获得的基础三维模型中，利用选择陌生重点目标设施进行特征点标识，将重要地物进行兴趣区域标识，生成对应的点、线、面矢量约束信息；
S6:基于步骤S5获得的基础三维模型标识的矢量约束信息以及航拍任务，利用MTSP算法进行多架航拍无人机约束条件的自适应航线的规划；
S7:基于步骤S6获得的自适应航线，多架无人机协同完成目标区域的倾斜摄影测量数据的采集；
S8:利用多架无人机协同采集的倾斜摄影测量数据进行步骤S3建模任务的集群处理，完成目标区域精细三维模型的构建。
3.如权利要求2所述一种基于多无人机协同的陌生环境快速建模方法，其特征在于：所述步骤S1中，单架无人机扫描式拍摄时，对影像重叠度要求为60％～65％。
4.如权利要求2所述一种基于多无人机协同的陌生环境快速建模方法，其特征在于：所述步骤S3的主模块中，通过管理任务序列进行三维建模任务序列的管理，任务序列通过Windows文件资源管理器直接管理，所述任务序列目录包括以下子目录：用户取消的任务、已完成的任务、连接到任务序列的所有引擎列表、因引擎端出错而失败的任务、等待处理的任务、目前正在处理的任务；工作线程模块中，主要处理内容包括空中三角测量计算或三维重建过程。
5.如权利要求2所述一种基于多无人机协同的陌生环境快速建模方法，其特征在于：所述步骤S6中MTSP算法的自适应航线的规划具体包括：将倾斜摄影轨迹与正视轨迹点集组合为点集S，输入无人机数量k，计算过程：①将经纬高点集转化为xyz坐标；②K聚类将点集划分类别，每一类点数进行限制；③将每一类点集建模为TSP问题，用改良贪心算法求解最短路径；④每一类点集的最短路径存储为顺序点集，即分配给每台无人机的路径；⑤获得多机路径并下载可执行JSON文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310422999.8A CN116433845A (zh) | 2023-04-19 | 2023-04-19 | 一种基于多无人机协同的陌生环境快速建模方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310422999.8A CN116433845A (zh) | 2023-04-19 | 2023-04-19 | 一种基于多无人机协同的陌生环境快速建模方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116433845A true CN116433845A (zh) | 2023-07-14 |
Family
ID=87083029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310422999.8A Pending CN116433845A (zh) | 2023-04-19 | 2023-04-19 | 一种基于多无人机协同的陌生环境快速建模方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116433845A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116661479A (zh) * | 2023-07-28 | 2023-08-29 | 深圳市城市公共安全技术研究院有限公司 | 建筑巡检路径规划方法、设备和可读存储介质 |
| CN116704037A (zh) * | 2023-08-08 | 2023-09-05 | 南京遇简信息科技有限公司 | 一种基于图像处理技术的卫星失锁重定位方法及系统 |
-
2023
- 2023-04-19 CN CN202310422999.8A patent/CN116433845A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116661479A (zh) * | 2023-07-28 | 2023-08-29 | 深圳市城市公共安全技术研究院有限公司 | 建筑巡检路径规划方法、设备和可读存储介质 |
| CN116661479B (zh) * | 2023-07-28 | 2023-11-07 | 深圳市城市公共安全技术研究院有限公司 | 建筑巡检路径规划方法、设备和可读存储介质 |
| CN116704037A (zh) * | 2023-08-08 | 2023-09-05 | 南京遇简信息科技有限公司 | 一种基于图像处理技术的卫星失锁重定位方法及系统 |
| CN116704037B (zh) * | 2023-08-08 | 2024-01-05 | 南京遇简信息科技有限公司 | 一种基于图像处理技术的卫星失锁重定位方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111174799B (zh) | 地图构建方法及装置、计算机可读介质、终端设备 | |
| CN109029444B (zh) | 一种基于图像匹配和空间定位的室内导航系统及导航方法 | |
| KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| CN116433845A (zh) | 一种基于多无人机协同的陌生环境快速建模方法及系统 | |
| CN108921947A (zh) | 生成电子地图的方法、装置、设备、存储介质以及采集实体 | |
| US8437501B1 (en) | Using image and laser constraints to obtain consistent and improved pose estimates in vehicle pose databases | |
| CN105973236A (zh) | 室内定位或导航方法、装置以及地图数据库生成方法 | |
| CN112470092A (zh) | 一种测绘系统、测绘方法、装置、设备及介质 | |
| CN111024089B (zh) | 一种基于bim与计算机视觉技术的室内定位导航方法 | |
| CN112634370A (zh) | 一种无人机打点方法、装置、设备及存储介质 | |
| CN113409459A (zh) | 高精地图的生产方法、装置、设备和计算机存储介质 | |
| US11699234B2 (en) | Semantic segmentation ground truth correction with spatial transformer networks | |
| CN112469967A (zh) | 一种测绘系统、测绘方法、装置、设备及介质 | |
| CN113920263A (zh) | 地图构建方法、装置、设备及存储介质 | |
| Jung et al. | Development of an Omnidirectional‐Image‐Based Data Model through Extending the IndoorGML Concept to an Indoor Patrol Service | |
| CN116883604A (zh) | 一种基于天、空、地影像的三维建模技术方法 | |
| Koeva | 3D modelling and interactive web-based visualization of cultural heritage objects | |
| Ogawa et al. | Deep Learning Approach for Classifying the Built Year and Structure of Individual Buildings by Automatically Linking Street View Images and GIS Building Data | |
| Dasari et al. | UAV in Development of 3D Heritage Monument Model: A Case Study of Kota Gullu, Warangal, India. | |
| Javed et al. | PanoVILD: a challenging panoramic vision, inertial and LiDAR dataset for simultaneous localization and mapping | |
| WO2008072429A1 (ja) | 地理情報関連付き画像データ表示システム | |
| Chiabrando et al. | Performance evaluation of cots uav for architectural heritage documentation. A test on s. giuliano chapel in savigliano (cn)–Italy | |
| US11747141B2 (en) | System and method for providing improved geocoded reference data to a 3D map representation | |
| CN115493567A (zh) | 一种基于无人机技术的国土测绘制图方法、系统、应用 | |
| Alamouri et al. | The joint research project ANKOMMEN–Exploration using automated UAV and UGV |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |