CN117392328A - 一种基于无人机集群的三维实景建模方法及系统 - Google Patents
一种基于无人机集群的三维实景建模方法及系统 Download PDFInfo
- Publication number
- CN117392328A CN117392328A CN202311666956.0A CN202311666956A CN117392328A CN 117392328 A CN117392328 A CN 117392328A CN 202311666956 A CN202311666956 A CN 202311666956A CN 117392328 A CN117392328 A CN 117392328A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- data
- cluster
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004891 communication Methods 0.000 claims abstract description 90
- 238000013507 mapping Methods 0.000 claims abstract description 33
- 238000012544 monitoring process Methods 0.000 claims abstract description 24
- 230000003993 interaction Effects 0.000 claims abstract description 23
- 238000012937 correction Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 18
- 238000003702 image correction Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 101100517651 Caenorhabditis elegans num-1 gene Proteins 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000012806 monitoring device Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于无人机集群的三维实景建模方法及系统,涉及了三维建模技术领域,获取若干个无人机的通信权限,进而构建无人机集群,并进行无人机集群协同作业;无人机集群协同作业包括集群数据交互、集群路径协同和集群任务协同;通过无人机集群获取若干幅倾斜摄影图像,对倾斜摄影图像进行图像特征提取、图像配准融合以及图像校正,进而生成建模图像数据;获取建模图像数据生成外部点云数据和内部映射数据,根据外部点云数据构建三维实景外部模型,根据内部映射数据生成三维实景内部模型,进而合并三维实景外部模型和三维实景内部模型生成三维实景模型;并监测建模区域,实时更新三维实景模型,从而保证无人机集群安全性和建模准确性。
Description
技术领域
本发明涉及三维建模技术领域,具体是一种基于无人机集群的三维实景建模方法及系统。
背景技术
随着数字图像处理技术的高速发展以及计算机运算能力的不断增强,一种称之为三维实景建模的技术开始进入各行业研究人员的视野并取得了一系列实用化成果,其内涵是利用数字摄像机作为图像传感器,综合运用图像处理、视觉计算等技术从二维图像中提取目标的三维空间信息,通过多种手段的综合应用,最终实现对目标的三维实景重建。
而在三维实景建模的数据采集阶段,通过无人机形成集群,如何进行无人机集群的协同作业,并最大程度减少无人机之间数据交互时的相互干扰,以及保障无人机集群的安全性;如何对无人机集群获取的图像数据进行优化处理,以便获取更准确合理的建模数据,如何对建模数据进行处理,进而建立三维实景模型,并做到对三维实景模型的实时更新,以上这些问题是我们目前所需要考虑的。
发明内容
为了解决上述问题,本发明的目的在于提供一种基于无人机集群的三维实景建模方法及系统。
本发明的目的可以通过以下技术方案实现:一种基于无人机集群的三维实景建模方法,包括以下步骤:
步骤S1:获取若干个无人机的通信权限,进而构建无人机集群,并进行无人机集群协同作业;所述无人机集群协同作业包括集群数据交互、集群路径协同以及集群任务协同;
步骤S2:通过无人机集群获取若干幅倾斜摄影图像,对倾斜摄影图像进行图像特征提取、图像配准融合以及图像校正,进而生成建模图像数据;
步骤S3:获取建模图像数据生成外部点云数据和内部映射数据,根据外部点云数据构建三维实景外部模型,根据内部映射数据生成三维实景内部模型,进而合并三维实景外部模型和三维实景内部模型生成三维实景模型;并监测建模区域,实时更新三维实景模型。
进一步的,获取无人机的通信权限,构建所述无人机集群的过程包括:
每个无人机关联有对应的通信接口,获取通信接口关联的通信码,通信码包括TX1码、TX2码以及TX3码,不同的通信码对应不同的通信状态以及相应的通信权限;
通信状态包括“连接态”“断开态”以及“故障态”,所述通信权限包括权限一、权限二、权限三以及权限四,若通信码为TX1码,则对应通信状态为“连接态”,对应的通信权限为权限一和权限二;若通信码为TX2码,则对应的通信状态为“断开态”,对应的通信权限为权限三;若通信码为TX3码,则对应的通信状态为“故障态”,对应的通信权限为权限四;
执行不同通信权限对应的功能,并构建出无人机集群。
进一步的,进行所述无人机集群协同作业的过程包括:
无人机进行环境信息和目标信息的采集,进而根据环境信息和目标信息封装成相应的路径规划数据集和集群任务数据集,建立交互链一和交互链二用于进行集群数据交互,通过交互链一进行无人机集群所包括的若干个无人机之间的路径规划数据集的共享,通过交互链二进行无人机集群所包括的若干个无人机之间的集群任务数据集的共享,所述路径规划数据集包括若干个环境路径点、障碍物点以及气象前置条件,根据路径规划数据集进行无人机集群的集群路径协同;
根据集群任务数据集进行集群任务协同,集群任务数据集包括目标信息对应的若干个子任务,获取子任务的任务类型、任务难度以及任务进度,任务类型包括整体集群任务和分部集群任务,获取任务难度对应的难度系数和系数阈值,进而标注出相应的任务类型和任务难度,任务进度有对应的任务进度条,获取每个子任务的任务时间,记为T,获取任务执行开始时间,记为t1,当前时间记为t2,当t2-t1≥T/2时,若任务进度条小于40%,则将当前子任务拆解为两个子任务,并交由无人机集群中的其他无人机进行相应处理;否则,当前无人机继续执行该子任务,直至任务进度条为100%,结束当前子任务。
进一步的,获取倾斜摄影图像并进行所述图像特征提取的过程包括:
无人机集群完成集群路径协同和集群任务协同后,到达相应预设的目标拍摄点,通过无人机集群布置的摄像头组拍摄若干幅倾斜摄影图像,获取同一个摄像头组所拍摄的倾斜摄影图像的规格,若判断规格不合格,则将其裁剪至预设的标准规格,进而获取倾斜摄影图像对应的若干个像素点以及像素均值G,预设有边缘区分阈值G`,比较G和G`的大小进而提取相应类型的图像特征;
所述图像特征包括主体像素点和边缘像素点。
进一步的,所述图像配准融合的过程包括:
设置主体配准库和边缘配准库,主体配准库用于对主体像素点进行图像配准融合,边缘配准库用于对边缘像素点进行图像配准融合,将若干个主体像素点导入至主体配准库,将若干个边缘像素点导入至边缘配准库,在主体配准库内生成维度簇图层一和维度簇图层,进而融合为主体图像,边缘配准库包括若干个连接边缘点集,连接边缘点集对应着边缘像素点不同的连接关系,获取边缘像素点对应的边缘信息,边缘信息包括若干个边缘轮廓点和边角位置点,根据边缘信息和连接边缘点集不同的连接关系,进而生成若干个待配准轮廓点和合法配准边角,进而融合待配准轮廓点和合法配准边角生成相应的边缘图像;将主体图像作为配准源对象,将边缘图像作为配准元素,进而生成相应的待建模图像。
进一步的,进行所述图像校正,并生成建模图像数据的过程包括:
获取待建模图像,进而获取对应校正区域,获取校正区域的区域宽度和区域长度,进而获取校正区域的面积,设置分割子区域,根据校正区域的面积和分割子区域获取校正次数,为每个分割子区域赋予一个校正码进行校正,若校正成功,则生成“1”标识,若校正失败,则生成“0”标识,获取生成“1”标识的次数,记为Num2,设置有校正完成值,记为WX,若Num2/Num1≥WX,则表示图像校正完成,生成建模图像数据,否则继续进行图像校正,直至Num2/Num1≥WX。
进一步的,生成所述三维实景模型的过程包括:
获取建模图像数据,进而获取对应的纹理特征数据、颜色特征数据以及形状尺度特征数据,将颜色特征数据和形状尺度特征数据分别标记为第一外部数据源和第二外部数据源,并输入至预设的外部建模程序中,进而生成相应的外部点云数据,获取外部点云数据所包括的若干个三维坐标,将若干个三维坐标映射于建立的笛卡尔坐标系内,进而生成三维实景外部模型;获取纹理特征数据对应的数据格式,转换为预设的建模格式,在数据冗余去重、数据滤波后同步标记为内部映射数据,内部映射数据包括若干个内部映射点,获取并汇总若干个内部映射点对应的实景映射范围,进而生成相应的三维实景内部模型,合并三维实景外部模型和三维实景内部模型,进而生成三维实景模型。
进一步的,对所述三维实景模型进行实时更新的过程包括:
标记出建模区域,并设置监测周期和监测频率进行实时监测,在监测周期所对应的时间内获取建模区域的区域信息,获取区域信息关联的信息权重因子γ,预设权重阈值υ,根据权重因子和权重阈值决定是否进行建模区域的更新,进而相应的进行三维实景模型的实时更新决定。
进一步的,一种基于无人机集群的三维实景建模系统,该系统包括:
无人机集群模块,用于获取若干个无人机的通信权限,进而构建无人机集群,并进行无人机集群协同作业;
图像数据处理模块,用于通过无人机集群获取若干幅倾斜摄影图像,对倾斜摄影图像进行图像特征提取、图像配准融合以及图像校正,进而生成建模图像数据;
实景模型构建模块,用于获取建模图像数据生成外部点云数据和内部映射数据,根据外部点云数据构建三维实景外部模型,根据内部映射数据生成三维实景内部模型,进而合并三维实景外部模型和三维实景内部模型生成三维实景模型;并监测建模区域,实时更新三维实景模型。
与现有技术相比,本发明的有益效果是:
1、通过获取若干个无人机的通信码,进而获取通信码对应的通信状态和通信权限,执行通信权限相应的功能,进而实现无人机集群的搭建,其中通信权限对应的权限二通过获取信道干扰参数,并根据信道干扰参数进行无人机集群中通信双方无人机对应传输功率的调整,一定程度上降低了无人机集群数据交互时造成的干扰问题,权限四对应生成的故障报表作为监测无人机出现故障时的一种手段,保证了无人机集群的安全性。
2、通过对无人机集群所拍摄的倾斜摄影图像进行图像特征提取、图像配准融合以及图像校正,并生成相应的建模图像数据,一定程度上优化了图像数据的处理,获取的图像数据更为准确合理,根据建模图像数据分别生成相应的外部点云数据和内部映射数据,进而分别构建相应的三维实景外部模型和三维实景内部模型,对三维实景外部模型和三维实景内部模型进行合并,进而生成三维实景模型,考虑了内部和外部的双重建模,建立的模型更具代表性,通过对建模区域设置监测周期和监测频率,做到了对所生成的三维实景模型的实时更新。
附图说明
图1为本发明的流程图。
具体实施方式
如图1所示,本发明提供了一种基于无人机集群的三维实景建模方法,包括以下步骤:
步骤S1:获取若干个无人机的通信权限,进而构建无人机集群,并进行无人机集群协同作业;所述无人机集群协同作业包括集群数据交互、集群路径协同以及集群任务协同;
步骤S2:通过无人机集群获取若干幅倾斜摄影图像,对倾斜摄影图像进行图像特征提取、图像配准融合以及图像校正,进而生成建模图像数据;
步骤S3:获取建模图像数据生成外部点云数据和内部映射数据,根据外部点云数据构建三维实景外部模型,根据内部映射数据生成三维实景内部模型,进而合并三维实景外部模型和三维实景内部模型生成三维实景模型;并监测建模区域,实时更新三维实景模型。
具体的,获取所述若干个无人机的通信权限,进而构建无人机集群的过程包括:
对若干个无人机进行编号,记所述编号为i,则有i=1,2,3,……,n,其中n为大于0的自然数,每个无人机关联有对应的通信接口,获取通信接口关联的通信码;
所述通信码包括TX1码、TX2码以及TX3码,通信码于无人机上布置的终端显示屏上进行显示,不同的通信码对应不同的通信状态以及相应的通信权限;
所述通信状态包括“连接态”“断开态”以及“故障态”;
所述通信权限包括权限一、权限二、权限三以及权限四;
对应关系如下:
若通信码为TX1码,则对应通信状态为“连接态”,对应的通信权限为权限一和权限二;
若通信码为TX2码,则对应的通信状态为“断开态”,对应的通信权限为权限三;
若通信码为TX3码,则对应的通信状态为“故障态”,对应的通信权限为权限四;
权限一对应的功能为:获取当前无人机周围预设通信区域的其他无人机的通信码,合并若干通信码生成通信序列集,进行通信序列集对应无人机在通信区域的通信信道搭建,进而构建出无人机集群;
权限二对应的功能为:获取每两个无人机之间对应搭建的通信信道的信道干扰参数,信道干扰参数包括信噪比、误码率以及聚集干扰指标,并分别记为SNR、BER以及CDF,预设阈值一、阈值二以及阈值三,若SNR、BER以及CDF中的任意一个低于相应的阈值一、阈值二和阈值三,则增大通信信道相关联双方无人机对应的传输功率;
权限三对应的功能为:关闭无人机集群所包括的若干无人机两两之间的通信信道,并设置重连时间,经过重连时间后,继续构建无人机集群对应的通信信道;
权限四对应的功能为:将当前无人机所采集到的相关数据,紧急封装为加密数据流,并将加密数据流传输至预设的终端数据库内进行存储,在终端数据库内生成故障报表;
需要说明的是,通过获取无人机通信接口对应的通信码,进而根据不同的通信码赋予若干个无人机相应的通信状态、通信权限,根据不同的通信权限执行相应功能,其中,权限一实现了无人机集群的搭建,权限二的功能一定程度上解决了无人机集群之间数据交互造成的互相干扰,权限三设置重连时间,避免无人机持续通信带来的负荷,权限四则为无人机出现故障时提供一个及时的告知以及相关数据保存的手段。
具体的,进行所述无人机集群协同作业的过程包括:
所述无人机集群协同作业包括集群数据交互、集群路径协同以及集群任务协同;
编号为i的无人机进行环境信息和目标信息的采集,标识采集到的环境信息为S1,标识目标信息为S2,将环境信息S1和目标信息S2各自封装为相应的数据集;
根据环境信息S1封装的数据集为路径规划数据集,根据目标信息S2封装的数据集为集群任务数据集,建立交互链一和交互链二用于进行集群数据交互;
通过交互链一进行无人机集群所包括的若干个无人机之间的路径规划数据集的共享,进而每个无人机获取到同步的路径规划数据集;
通过交互链二进行无人机集群所包括的若干个无人机之间的集群任务数据集的共享,进而每个无人机获取到同步的集群任务数据集;
所述路径规划数据集包括环境信息所对应的若干个环境路径点、障碍物点以及气象前置条件,根据路径规划数据集进行无人机集群的集群路径协同;
气象前置条件包括安全条件和危险条件,在危险条件下,不进行无人机集群的集群路径协同,在安全条件下,选取无人机集群中的一个无人机作为源对象,获取距离源对象最近的环境路径点作为路径起点;
设置安全距离,记为L安,获取若干个环境路径点与相邻最近的障碍物点之间的距离,记为L`,比较L安和L`,进而决定是否生成相应的路径中间点;
若L`≥L安,则生成的路径中间点为安全路径点;
若L`<L安,则生成的路径中间点为危险路径点;
保留安全路径点,剔除危险路径点;
连接与路径起点最近的安全路径点,并将该安全路径点作为下一个路径起点,直至连接到最后一个安全路径点,进而生成导航路径,并同步生成一个路径协同指令发送至无人机集群中的其他无人机,其他无人机获取路径协同指令,进而按照导航路径进行飞行;
所述集群任务数据集包括目标信息对应的若干个子任务,获取子任务的任务类型、任务难度以及任务进度,任务类型包括整体集群任务和分部集群任务,任务难度由对应的难度系数和系数阈值所限定,记难度系数为R,系数阈值为τ;
若R≥τ,则对应任务类型为整体集群任务,对应的任务难度为一级难度;
若R<τ,则对应任务类型为分部集群任务,对应的任务难度为二级难度;
需要说明的是,一级难度对应的任务难度大于二级难度对应的任务难度;
所述任务进度有对应的任务进度条,任务进度条的初始进度数值为0%,获取每个子任务的任务时间,记为T,获取任务执行开始时间,记为t1,当前时间记为t2,当t2-t1≥T/2时,若任务进度条小于40%,则将当前子任务拆解为两个子任务,并交由无人机集群中的其他无人机进行相应处理;否则,当前无人机继续执行该子任务,直至任务进度条为100%,结束当前子任务;
具体的,通过无人机集群获取若干幅倾斜摄影图像,进而进行图像特征提取的过程包括:
无人机集群完成集群路径协同和集群任务协同后,到达相应预设的目标拍摄点,无人机集群布置有摄像头组,摄像头组包括前向摄像阵列、后向摄像阵列、左向摄像阵列以及右向摄像阵列;
每个摄像头组包括四个摄像头,其中两个为备用摄像头,启动前向摄像阵列、后向摄像阵列、左向摄像阵列以及右向摄像阵列中同时两个摄像头的工作,进而拍摄若干幅倾斜摄影图像;
对同一个摄像头组中正在工作的两个摄像头所拍摄的倾斜摄影图像进行图像特征提取,获取倾斜摄影图像的规格,若判断规格不合格,则将其裁剪至预设的标准规格;
获取标准规格对应同一摄像头组两幅倾斜摄影图像所包括的若干个像素点,获取两幅倾斜摄影图像的对应像素点位置的像素均值,记像素均值为G,预设有边缘区分阈值,记为G`,比较G和G`的大小进而提取相应类型的图像特征;
若G≥G`,则标记像素值对应的像素点为主体像素点,对应图像特征为高纬度特征和低纬度特征,获取主体像素点对应的灰度值,记为Gr,预设有灰度维度限定区间,记为Ω,若Gr∈Ω,则标定主体像素点的图像特征为高纬度特征,否则,标定主体像素点的图像特征为低纬度特征;
若G<G`,则标记像素值对应的像素点为边缘像素点;
具体的,所述图像配准融合的过程包括:
设置主体配准库和边缘配准库,主体配准库用于对主体像素点进行图像配准融合,边缘配准库用于对边缘像素点进行图像配准融合,将若干个主体像素点导入至主体配准库,将若干个边缘像素点导入至边缘配准库;
若图像特征为高纬度特征,获取高纬度特征对应的特征维度簇,主体配准库获取同一个时间戳和同一个特征维度簇下任意两个主体像素点之间的维度距离,记为SL,汇总若干个维度距离SL,进而生成相应的不同维度簇图层一;
若图像特征为低纬度特征,获取低纬度特征对应的特征维度簇,主体配准库获取同一个时间戳和同一个特征维度簇下任意两个主体像素点之间的维度距离,记为DL,汇总若干个维度距离DL,进而生成相应的不同维度簇图层二;
融合维度簇图层一和维度簇图层二为主体图像;
边缘配准库包括若干个连接边缘点集,连接边缘点集对应着边缘像素点不同的连接关系,获取边缘像素点对应的边缘信息,所述边缘信息包括若干个边缘轮廓点和边角位置点;
所述连接关系包括边缘轮廓点连接关系一、边缘轮廓点连接关系二、边角合法位置以及边角非法位置;
若两个边缘像素点的边缘信息对应的边缘轮廓点符合边缘轮廓点连接关系一,则标记为待配准轮廓点,若两个边缘像素点的边缘信息对应的边缘轮廓点符合边缘轮廓点连接关系二,则标记为禁止配准轮廓点;
若两个边缘像素点的边角位置点符合边角合法位置,则标记为合法配准边角,若两个边缘像素点的边角位置点符合边角非法位置,则标记为非法配准边角;
融合若干个待配准轮廓点和合法配准边角,进而生成相应的边缘图像;
将主体图像作为配准源对象,将边缘图像作为配准元素,进而生成相应的待建模图像;
具体的,进行所述图像校正,并生成建模图像数据的过程包括:
获取待建模图像,进而获取待建模图像的校正区域,记所述校正区域的区域宽度为W,记校正区域的区域长度为L,获取校正区域的面积,记为S校,有S校=W×L,设置分割子区域,记为S`,根据S校和S`获取校正次数,记为Num1,有Num1=S校/S`;
为每个分割子区域赋予一个校正码进行校正,若校正成功,则生成“1”标识,若校正失败,则生成“0”标识,获取生成“1”标识的次数,记为Num2,设置有校正完成值,记为WX,若Num2/Num1≥WX,则表示图像校正完成,生成建模图像数据,否则继续进行图像校正,直至Num2/Num1≥WX;
生成建模图像数据的内容如下:
获取每一个分割子区域对应的纹理特征点、颜色特征点、形状尺度特征点以及结构特征点,进而获取对应的纹理系数、颜色RGB、尺度信息以及结构类型;
预设有纹理区分阈值、RGB梯度、尺度区间以及参照结构类型;
若结构类型符合参照结构类型,则比对纹理系数与纹理区分阈值,分别记为Q1和Q1`;
若Q1≥Q1`,则生成一类纹理,否则,生成二类纹理,一类纹理和二类纹理统称为纹理特征数据;
RGB梯度包括第一梯度、第二梯度以及第三梯度;
若颜色特征点对应的颜色RGB属于第一梯度,则标记为一类颜色、若属于第二梯度,则标记为二类颜色,否则,属于第三梯度,标记为三类颜色,一类颜色、二类颜色以及三类颜色统称为颜色特征数据;
若形状尺度特征点满足相应预设的尺度信息和形状信息,则标记为合法形状尺度,否则,不进行标记,尺度信息和形状信息统称为形状尺度特征数据;
上述纹理特征数据、颜色特征数据以及形状尺度特征数据统称为建模图像数据;
具体的,获取建模图像数据生成外部点云数据和内部映射数据,根据外部点云数据构建三维实景外部模型,根据内部映射数据生成三维实景内部模型,进而合并三维实景外部模型和三维实景内部模型生成三维实景模型的过程包括:
获取建模图像数据,进而获取对应的纹理特征数据、颜色特征数据以及形状尺度特征数据,将颜色特征数据标记为第一外部数据源,将形状尺度特征数据标记为第二外部数据源;
并将第一外部数据源和第二外部数据源输入至预设的外部建模程序中,进而生成相应的外部点云数据,所述外部点云数据包括若干个三维坐标,记为P,有P=(x,y,z),其中x为外部点云数据对应的三维横坐标,y为对应的三维纵坐标,z为对应的三维竖坐标;
建立笛卡尔坐标系,将若干个三维坐标P映射于笛卡尔坐标系内,进而生成相应的三维实景外部模型;
获取纹理特征数据对应的数据格式,并转换为预设的建模格式,转换为建模格式后的纹理特征数据在数据冗余去重、数据滤波后同步标记为内部映射数据,内部映射数据包括若干个内部映射点,记为P`,P`有对应的实景映射范围,汇总若干个P`对应的实景映射范围,进而生成相应的三维实景内部模型;
合并三维实景外部模型和三维实景内部模型,进而生成三维实景模型;
具体的,对三维实景模型进行实时更新的过程包括:
将无人机集群所拍摄的区域标记为建模区域,并对建模区域进行实时监测,设置监测周期和监测频率,分别记为T监和f监,在监测周期T监所对应的时间内获取建模区域的区域信息;
所述区域信息关联有对应的信息权重因子,记所述信息权重因子的数值为γ,预设有权重阈值,记所述权重阈值为υ;
若γ≥υ,则表示区域信息对应的建模区域可能需要进行更新,生成相应的更新请求指令,进而根据请求更新指令,进行监测频率f监的增加,若确定为必须进行更新后,则生成更新指令,根据更新指令对区域信息对应的建模区域进行更新,进而相应实时更新三维实景模型;
若γ<υ,则表示区域信息对应的建模区域不需要进行更新,不进行三维实景模型的实时更新;
本发明还提供了一种基于无人机集群的三维实景建模系统,该系统包括:
无人机集群模块,用于获取若干个无人机的通信权限,进而构建无人机集群,并进行无人机集群协同作业;
图像数据处理模块,用于通过无人机集群获取若干幅倾斜摄影图像,对倾斜摄影图像进行图像特征提取、图像配准融合以及图像校正,进而生成建模图像数据;
实景模型构建模块,用于获取建模图像数据生成外部点云数据和内部映射数据,根据外部点云数据构建三维实景外部模型,根据内部映射数据生成三维实景内部模型,进而合并三维实景外部模型和三维实景内部模型生成三维实景模型;并监测建模区域,实时更新三维实景模型。
以上实施例仅用以说明本发明的技术方法而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方法进行修改或等同替换,而不脱离本发明技术方法精神和范围。
Claims (9)
1.一种基于无人机集群的三维实景建模方法,其特征在于,包括以下步骤:
步骤S1:获取若干个无人机的通信权限,进而构建无人机集群,并进行无人机集群协同作业;所述无人机集群协同作业包括集群数据交互、集群路径协同以及集群任务协同;
步骤S2:通过无人机集群获取若干幅倾斜摄影图像,对倾斜摄影图像进行图像特征提取、图像配准融合以及图像校正,进而生成建模图像数据;
步骤S3:获取建模图像数据生成外部点云数据和内部映射数据,根据外部点云数据构建三维实景外部模型,根据内部映射数据生成三维实景内部模型,进而合并三维实景外部模型和三维实景内部模型生成三维实景模型;并监测建模区域,实时更新三维实景模型。
2.根据权利要求1所述的一种基于无人机集群的三维实景建模方法,其特征在于,获取无人机的通信权限,构建所述无人机集群的过程包括:
每个无人机关联有对应的通信接口,获取通信接口关联的通信码,通信码包括TX1码、TX2码以及TX3码,不同的通信码对应不同的通信状态以及相应的通信权限;
通信状态包括“连接态”“断开态”以及“故障态”,所述通信权限包括权限一、权限二、权限三以及权限四,若通信码为TX1码,则对应通信状态为“连接态”,对应的通信权限为权限一和权限二;若通信码为TX2码,则对应的通信状态为“断开态”,对应的通信权限为权限三;若通信码为TX3码,则对应的通信状态为“故障态”,对应的通信权限为权限四;
执行不同通信权限对应的功能,并构建出无人机集群。
3.根据权利要求2所述的一种基于无人机集群的三维实景建模方法,其特征在于,进行所述无人机集群协同作业的过程包括:
无人机进行环境信息和目标信息的采集,进而根据环境信息和目标信息封装成相应的路径规划数据集和集群任务数据集,建立交互链一和交互链二用于进行集群数据交互,通过交互链一进行无人机集群所包括的若干个无人机之间的路径规划数据集的共享,通过交互链二进行无人机集群所包括的若干个无人机之间的集群任务数据集的共享,所述路径规划数据集包括若干个环境路径点、障碍物点以及气象前置条件,根据路径规划数据集进行无人机集群的集群路径协同;
根据集群任务数据集进行集群任务协同,集群任务数据集包括目标信息对应的若干个子任务,获取子任务的任务类型、任务难度以及任务进度,任务类型包括整体集群任务和分部集群任务,获取任务难度对应的难度系数和系数阈值,进而标注出相应的任务类型和任务难度,任务进度有对应的任务进度条,获取每个子任务的任务时间,记为T,获取任务执行开始时间,记为t1,当前时间记为t2,当t2-t1≥T/2时,若任务进度条小于40%,则将当前子任务拆解为两个子任务,并交由无人机集群中的其他无人机进行相应处理;否则,当前无人机继续执行该子任务,直至任务进度条为100%,结束当前子任务。
4.根据权利要求3所述的一种基于无人机集群的三维实景建模方法,其特征在于,获取倾斜摄影图像并进行所述图像特征提取的过程包括:
无人机集群完成集群路径协同和集群任务协同后,到达相应预设的目标拍摄点,通过无人机集群布置的摄像头组拍摄若干幅倾斜摄影图像,获取同一个摄像头组所拍摄的倾斜摄影图像的规格,若判断规格不合格,则将其裁剪至预设的标准规格,进而获取倾斜摄影图像对应的若干个像素点以及像素均值G,预设有边缘区分阈值G`,比较G和G`的大小进而提取相应类型的图像特征;
所述图像特征包括主体像素点和边缘像素点。
5.根据权利要求4所述的一种基于无人机集群的三维实景建模方法,其特征在于,所述图像配准融合的过程包括:
设置主体配准库和边缘配准库,主体配准库用于对主体像素点进行图像配准融合,边缘配准库用于对边缘像素点进行图像配准融合,将若干个主体像素点导入至主体配准库,将若干个边缘像素点导入至边缘配准库,在主体配准库内生成维度簇图层一和维度簇图层,进而融合为主体图像,边缘配准库包括若干个连接边缘点集,连接边缘点集对应着边缘像素点不同的连接关系,获取边缘像素点对应的边缘信息,边缘信息包括若干个边缘轮廓点和边角位置点,根据边缘信息和连接边缘点集不同的连接关系,进而生成若干个待配准轮廓点和合法配准边角,进而融合待配准轮廓点和合法配准边角生成相应的边缘图像;将主体图像作为配准源对象,将边缘图像作为配准元素,进而生成相应的待建模图像。
6.根据权利要求5所述的一种基于无人机集群的三维实景建模方法,其特征在于,进行所述图像校正,并生成建模图像数据的过程包括:
获取待建模图像,进而获取对应校正区域,获取校正区域的区域宽度和区域长度,进而获取校正区域的面积,设置分割子区域,根据校正区域的面积和分割子区域获取校正次数,为每个分割子区域赋予一个校正码进行校正,若校正成功,则生成“1”标识,若校正失败,则生成“0”标识,获取生成“1”标识的次数,记为Num2,设置有校正完成值,记为WX,若Num2/Num1≥WX,则表示图像校正完成,生成建模图像数据,否则继续进行图像校正,直至Num2/Num1≥WX。
7.根据权利要求6所述的一种基于无人机集群的三维实景建模方法,其特征在于,生成所述三维实景模型的过程包括:
获取建模图像数据,进而获取对应的纹理特征数据、颜色特征数据以及形状尺度特征数据,将颜色特征数据和形状尺度特征数据分别标记为第一外部数据源和第二外部数据源,并输入至预设的外部建模程序中,进而生成相应的外部点云数据,获取外部点云数据所包括的若干个三维坐标,将若干个三维坐标映射于建立的笛卡尔坐标系内,进而生成三维实景外部模型;获取纹理特征数据对应的数据格式,转换为预设的建模格式,在数据冗余去重、数据滤波后同步标记为内部映射数据,内部映射数据包括若干个内部映射点,获取并汇总若干个内部映射点对应的实景映射范围,进而生成相应的三维实景内部模型,合并三维实景外部模型和三维实景内部模型,进而生成三维实景模型。
8.根据权利要求7所述的一种基于无人机集群的三维实景建模方法,其特征在于,对所述三维实景模型进行实时更新的过程包括:
标记出建模区域,并设置监测周期和监测频率进行实时监测,在监测周期所对应的时间内获取建模区域的区域信息,获取区域信息关联的信息权重因子γ,预设权重阈值υ,根据权重因子和权重阈值决定是否进行建模区域的更新,进而相应的进行三维实景模型的实时更新决定。
9.一种基于无人机集群的三维实景建模系统,用于实现权利要求1至8任一项所述的三维实景建模方法,其特征在于,该系统包括:
无人机集群模块,用于获取若干个无人机的通信权限,进而构建无人机集群,并进行无人机集群协同作业;
图像数据处理模块,用于通过无人机集群获取若干幅倾斜摄影图像,对倾斜摄影图像进行图像特征提取、图像配准融合以及图像校正,进而生成建模图像数据;
实景模型构建模块,用于获取建模图像数据生成外部点云数据和内部映射数据,根据外部点云数据构建三维实景外部模型,根据内部映射数据生成三维实景内部模型,进而合并三维实景外部模型和三维实景内部模型生成三维实景模型;并监测建模区域,实时更新三维实景模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311666956.0A CN117392328B (zh) | 2023-12-07 | 2023-12-07 | 一种基于无人机集群的三维实景建模方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311666956.0A CN117392328B (zh) | 2023-12-07 | 2023-12-07 | 一种基于无人机集群的三维实景建模方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117392328A true CN117392328A (zh) | 2024-01-12 |
CN117392328B CN117392328B (zh) | 2024-02-23 |
Family
ID=89472391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311666956.0A Active CN117392328B (zh) | 2023-12-07 | 2023-12-07 | 一种基于无人机集群的三维实景建模方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117392328B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117690095A (zh) * | 2024-02-03 | 2024-03-12 | 成都坤舆空间科技有限公司 | 一种基于三维场景的智慧社区管理系统 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204443A (zh) * | 2016-07-01 | 2016-12-07 | 成都通甲优博科技有限责任公司 | 一种基于多目复用的全景无人机系统 |
CN106709983A (zh) * | 2016-11-18 | 2017-05-24 | 航天图景(北京)科技有限公司 | 一种三维模型的获取和应用系统及方法 |
CN107194989A (zh) * | 2017-05-16 | 2017-09-22 | 交通运输部公路科学研究所 | 基于无人机飞机航拍的交通事故现场三维重建系统及方法 |
CN109102563A (zh) * | 2018-08-13 | 2018-12-28 | 宋强 | 一种实景三维建模方法 |
CN109934914A (zh) * | 2019-03-28 | 2019-06-25 | 东南大学 | 一种嵌入式城市设计场景仿真方法及系统 |
CN110675484A (zh) * | 2019-08-26 | 2020-01-10 | 武汉理工大学 | 一种基于复眼相机的具有时空一致性的动态三维数字场景构建方法 |
CN110898353A (zh) * | 2019-12-09 | 2020-03-24 | 国网智能科技股份有限公司 | 变电站消防机器人全景监控与联动控制方法及系统 |
CN112461210A (zh) * | 2020-12-18 | 2021-03-09 | 湖南大学 | 一种空地协同建筑测绘机器人系统及其测绘方法 |
CN112817324A (zh) * | 2020-12-17 | 2021-05-18 | 国网山西省电力公司运城供电公司 | 配网线路多无人机协同巡检任务分配方法和系统 |
CN113298944A (zh) * | 2021-05-31 | 2021-08-24 | 台州学院 | 一种基于无人机倾斜摄影的自动化三维建模测量方法 |
CN116051785A (zh) * | 2023-02-08 | 2023-05-02 | 广州市城市规划勘测设计研究院 | 城市实景三维模型的构建方法、装置、设备及存储介质 |
CN116977586A (zh) * | 2023-08-03 | 2023-10-31 | 国网江苏省电力工程咨询有限公司 | 一种基于电网gis平台的实景三维建模方法 |
-
2023
- 2023-12-07 CN CN202311666956.0A patent/CN117392328B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204443A (zh) * | 2016-07-01 | 2016-12-07 | 成都通甲优博科技有限责任公司 | 一种基于多目复用的全景无人机系统 |
CN106709983A (zh) * | 2016-11-18 | 2017-05-24 | 航天图景(北京)科技有限公司 | 一种三维模型的获取和应用系统及方法 |
CN107194989A (zh) * | 2017-05-16 | 2017-09-22 | 交通运输部公路科学研究所 | 基于无人机飞机航拍的交通事故现场三维重建系统及方法 |
CN109102563A (zh) * | 2018-08-13 | 2018-12-28 | 宋强 | 一种实景三维建模方法 |
CN109934914A (zh) * | 2019-03-28 | 2019-06-25 | 东南大学 | 一种嵌入式城市设计场景仿真方法及系统 |
CN110675484A (zh) * | 2019-08-26 | 2020-01-10 | 武汉理工大学 | 一种基于复眼相机的具有时空一致性的动态三维数字场景构建方法 |
CN110898353A (zh) * | 2019-12-09 | 2020-03-24 | 国网智能科技股份有限公司 | 变电站消防机器人全景监控与联动控制方法及系统 |
CN112817324A (zh) * | 2020-12-17 | 2021-05-18 | 国网山西省电力公司运城供电公司 | 配网线路多无人机协同巡检任务分配方法和系统 |
CN112461210A (zh) * | 2020-12-18 | 2021-03-09 | 湖南大学 | 一种空地协同建筑测绘机器人系统及其测绘方法 |
CN113298944A (zh) * | 2021-05-31 | 2021-08-24 | 台州学院 | 一种基于无人机倾斜摄影的自动化三维建模测量方法 |
CN116051785A (zh) * | 2023-02-08 | 2023-05-02 | 广州市城市规划勘测设计研究院 | 城市实景三维模型的构建方法、装置、设备及存储介质 |
CN116977586A (zh) * | 2023-08-03 | 2023-10-31 | 国网江苏省电力工程咨询有限公司 | 一种基于电网gis平台的实景三维建模方法 |
Non-Patent Citations (4)
Title |
---|
HAILIANG WU ET AL.: "Application analysis of three-dimensional real scene modeling of substation site based on UAV tilt photography", 《2021 2ND INTERNATIONAL CONFERENCE ON INTELLIGENT DESIGN (ICID)》, pages 221 - 224 * |
WENFEI XI ET AL.: "The Construction And Precision Analysis Of The Three - Dimensional Oblique Photogrammetry Model", 《2021 28TH INTERNATIONAL CONFERENCE ON GEOINFORMATICS》, pages 1 - 4 * |
李智韬: "基于无人机摄影测量的架空输电线路三维实景建模研究与应用", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 1, pages 042 - 2566 * |
许智博等: "起伏地形下基于无人机倾斜摄影的校园三维实景精细模型建立", 《科技创新与应用》, vol. 13, no. 31, pages 47 - 48 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117690095A (zh) * | 2024-02-03 | 2024-03-12 | 成都坤舆空间科技有限公司 | 一种基于三维场景的智慧社区管理系统 |
CN117690095B (zh) * | 2024-02-03 | 2024-05-03 | 成都坤舆空间科技有限公司 | 一种基于三维场景的智慧社区管理系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117392328B (zh) | 2024-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111537515B (zh) | 基于三维实景模型的铁塔螺栓缺陷展示方法和系统 | |
CN117392328B (zh) | 一种基于无人机集群的三维实景建模方法及系统 | |
WO2021092397A1 (en) | System and method for vegetation modeling using satellite imagery and/or aerial imagery | |
CN108932736A (zh) | 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 | |
CN109635748B (zh) | 高分辨率影像中道路特征的提取方法 | |
CN112102372A (zh) | 一种针对机场地面对象的跨摄像头轨迹跟踪系统 | |
CN106886849A (zh) | 一种bim模拟与航拍相结合的施工管控方法及系统 | |
CN110189405B (zh) | 一种顾及建筑物密度的实景三维建模方法 | |
CN110880200A (zh) | 基于三维重建技术的gim模型工程智能验收方法 | |
CN107491071A (zh) | 一种智能多机器人协同测图系统及其方法 | |
CN105447868A (zh) | 一种微小型无人机航拍数据的自动检查方法 | |
CN114092537A (zh) | 一种变电站电力无人机自动巡检方法及装置 | |
CN114758337B (zh) | 一种语义实例重建方法、装置、设备及介质 | |
CN115082254A (zh) | 一种变电站精益管控数字孪生系统 | |
CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
CN113486602B (zh) | 机场飞机跑道管理数字孪生系统仿真方法、系统及装置 | |
CN114077764A (zh) | 基于三维gis与bim集成的临建模型建立方法及应用 | |
CN113223159A (zh) | 基于目标纹理虚拟化处理的单幅遥感图像三维建模方法 | |
CN115526999A (zh) | 流域模型生成方法及生成装置、电子设备、存储介质 | |
CN113673444A (zh) | 一种基于角点池化的路口多视角目标检测方法及系统 | |
CN110516294B (zh) | 一种基于bim的4d运维信息模型的建立方法 | |
CN116630267A (zh) | 基于无人机与激光雷达数据融合的路基沉降监测方法 | |
CN115965961A (zh) | 局部到全局的多模态融合方法、系统、设备及存储介质 | |
CN115877865A (zh) | 一种无人机巡检方法、装置及无人机巡检系统 | |
CN115130333A (zh) | 一种数字孪生模型合并方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |