CN111599001B - 基于图像三维重建技术的无人机导航地图构建系统及方法 - Google Patents

基于图像三维重建技术的无人机导航地图构建系统及方法 Download PDF

Info

Publication number
CN111599001B
CN111599001B CN202010410011.2A CN202010410011A CN111599001B CN 111599001 B CN111599001 B CN 111599001B CN 202010410011 A CN202010410011 A CN 202010410011A CN 111599001 B CN111599001 B CN 111599001B
Authority
CN
China
Prior art keywords
dimensional
image
navigation map
point cloud
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010410011.2A
Other languages
English (en)
Other versions
CN111599001A (zh
Inventor
宋永端
曹枭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Star Institute of Intelligent Systems
Original Assignee
Star Institute of Intelligent Systems
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Star Institute of Intelligent Systems filed Critical Star Institute of Intelligent Systems
Priority to CN202010410011.2A priority Critical patent/CN111599001B/zh
Publication of CN111599001A publication Critical patent/CN111599001A/zh
Priority to US17/196,298 priority patent/US11354856B2/en
Application granted granted Critical
Publication of CN111599001B publication Critical patent/CN111599001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于图像三维重建技术的无人机导航地图构建系统，包括无人机、数据采集组件和三维导航地图构建系统；三维导航地图构建系统包括图像集输入系统、特征点提取系统、稀疏三维点云重建系统、稠密三维点云重建系统、点云模型优化系统和三维导航地图重建系统；实现将场景图像集输入到三维导航地图构建系统中，对所有图像进行特征点检测，重建出场景的稀疏点云模型和场景的稠密点云模型，然后对模型去掉杂点和表面重建进行优化，重建出场景的三维导航地图。本发明还公开了一种基于图像三维重建技术的无人机导航地图构建方法。该方法利用前述系统进行三维导航地图构建，重建出的三维导航地图接近真实场景，精度较高。

Description

基于图像三维重建技术的无人机导航地图构建系统及方法
技术领域
本发明涉及三维重建的技术领域，特别涉及一种基于图像三维重建技术的无人机导航地图构建系统及方法。
背景技术
视觉是人类感知周围环境的最重要方式。使计算机像人类一样具有感知三维环境的能力是计算机视觉领域中非常流行的研究方向。随着信息技术的飞速发展，虚拟现实，电影特效，智能驾驶，机器人导航，地理地图，历史文化，医学等许多领域都需要三维模型。例如，自动驾驶中的高精度地图是自动驾驶的先决条件，在早期阶段，大规模收集城市道路相关数据用于通过三维重建高精度地图；移动机器人使用三维占据地图进行导航，例如避障和路线规划；在地理，测量领域，对特定地理区域利用三维重建技术构建三维地形；在历史文化领域，使用三维重建技术对历史文物和古建筑进行建模。未来，随着人工智能，机器人技术等领域的飞速发展，社会各个领域对三维重建的需求将会迅速增加。
人们通过人眼特殊的生物结构来感知和获取三维事物，而计算机获取三维事物是一个难题。获取三维模型的传统方法是基于几何造型和激光扫描，但它们都具有非常明显的缺点。几何造型需要直接接触测量对象的几何形状以构建对象的三维模型，并且需要专用的软件工具和专业的人员，这既繁重又费时。激光扫描是当今的三维扫描仪，尽管扫描重建后的精度很高，但是该设备的价格相对昂贵并且难以携带。
近年来，基于图像信息构建三维模型的方法已成为热门研究。基于图像序列的三维重建方法首先提取并匹配图像的特征点，然后使用运动恢复结构(motion fromstructure，SFM)法进行特征点的深度恢复以获取稀疏的三维点云，然后使用多视图立体视觉(multi-view stereo，MVS)技术获得场景的密集点云，最后进行点云杂点清理和表面重建等步骤以得到一个完整的三维模型。与几何造型和激光扫描相比，图像采集更加方便，采集设备更便宜，只需要普通的相机或手机拍照，就大大降低了三维重建的难度和成本，并且基于图像的三维重建效果非常好，重建的准确性甚至可以靠近激光扫描。一般的三维重建流程包含了特征点提取，稀疏点云重建，稠密点云重建等等多个不同的步骤。其中稀疏点云重建步骤现有算法中往往是对所有图像都进行两两匹配，在很多情况下，有些图像间没有共同部分因此不需要进行匹配，故而在此步骤中耗费了大量地时间。
特征点提取，常用算法有SIFT算法，SIFT算法主要包括两个步骤，一是从图像中提取特征点，二是对特征点特征向量。其特征对亮度具有良好的不变性，并且对视角变化，仿射变换，噪声等也具有良好的稳定性。还有SURF算法，是在SIFT算法的基础上进行了改进，加快了特征点检测的速度。以及ORB算法，其采取了非常快的特征点检测方法和占用内存非常少的特征向量，因此算法速度相比SURF更快。稀疏三维点云重建领域中SFM是当前的主流方法。SFM的早期方法主要是增量式方法，其中，最著名的是Bundler系统，其次VisualSFM三维重建软件也是基于增量式系统，输入图像集就可以获得对象或场景的三维模型。非增量方法也称为全局SFM，主要包括openMVG三维重建系统。增量式方法的时间效率非常高，但存在误差积累的缺点。非增量式方法考虑了所有图像之间的关系，因此能消除误差的积累。在稠密三维重建领域，MVS方法最为流行。MVS通常基于SFM，使用SFM输出的稀疏点云和相机位置来重建稠密点云。MVS算法主要分为以下几类：第一类基于体素，从体素表面重建模型。第二类通过迭代曲面来最小化成本函数来获得模型。第三类基于一致性约束条件从一系列深度图中提取模型。第四种是基于图像特征点的方法，也是当前最主流的方法。在这一领域也有openMVS等开源库。
无人机(unmanned aerial vehicle，UAV)指无人驾驶飞行器，相关技术目前正在高速发展，吸引了许多科学研究人员的注意，目前民用多旋翼无人机主要用于航空摄影，其次是农业植保，无人快递和许多其他领域。多旋翼无人机是具有三个或更多旋翼轴的特殊无人机，它由每个轴上的电动机驱动以驱动转子，从而产生升力。通过改变四旋翼无人机中不同旋翼之间的相对关系，从而实现各种飞行。它们主要适用于需要垂直起飞，着陆和悬停的低空和低速飞行任务。在引入小型多旋翼无人机之前，传统的图像数据采集方法包括人工采集和卫星采集以及大型飞机采集，但是传统方法具有各种缺点和局限性。当面对较小的场景或物体时，人工可以轻松地收集图像，但是当面对较大或复杂的场景时，人工通常难以企及。卫星在二维地图中收集地理和地形数据方面具有优势，但在天气的影响下，比如在有云和雾的情况下，采集的图像将丢失细节，并且卫星的拍摄角度不足，构建场景的三维模型需要更清晰的图像和更多的角度。具有高清摄像头的大型飞机比起卫星更加灵活，但是飞行成本更高，需要在机场起飞和降落并申请航线，并且飞行速度非常快。无人机航拍采集图像数据具有位置不受限制，视野宽广，拍摄稳定等诸多优点，并且起降方便，无人机成本也不高，因此在三维重建领域带来了更便捷，更高效的图像数据获取方式。
在许多领域和场景中，都需要应用无人机的自主飞行功能，比如农业植保，空中电网检测，隧道电缆检测，无人机运输和任务搜索及救援等，而无人机为了良好的完成这些任务，需要导航信息的帮助。在正常情况下，无人机可以使用GPS信息，但是在缺少GPS信号或GPS信号不佳的情况下，还需要其他形式的导航信息。导航需要对无人机飞行的场景进行建模。经典的三维空间地图模型包括栅格地图，几何地图，拓扑地图和点云地图。但这些经典地图模型在实际的导航中并不太适用，因此提出了基于八叉树的三维空间地图，其结合了栅格地图和点云地图，可以有效地表示空间场景信息，其存储空间经过压缩以减少了内存消耗。在实际导航中，通过查询每个栅格的值来知道它是否可以通过，并且针对不同的环境要求，可以调整分辨率。一般来讲，获取较高精度的能用于导航的三维空间地图的比较困难，因此需要寻找一个方便的方法获取场景的三维导航地图。场景的三维导航地图可以为无人机导航任务例如路径规划或避障等提供重要辅助信息，而目前还没有这样的方法来获取场景的三维导航地图，故而需要攻克。
发明内容
针对现有技术存在的上述问题，本发明的要解决的第一个技术问题是：如何方便的获取无人机的场景三维导航地图，其具体包括一种基于图像三维重建技术的无人机导航地图构建系统，包括无人机、数据采集组件和三维导航地图构建系统；所述数据采集组件设置在无人机上，数据采集组件为摄像头；所述摄像头用于采集场景的图像集；所述的三维导航地图构建系统包括图像集输入系统、特征点提取系统、稀疏三维点云重建系统、稠密三维点云重建系统、点云模型优化系统和三维导航地图重建系统；所述的图像集输入系统是将场景图像集输入到三维导航地图构建系统中，所述的特征点提取系统是对所有图像进行特征点检测的过程，所述的稀疏三维点云重建系统是重建出场景的稀疏点云模型的过程，所述的稠密三维点云重建系统是重建出场景的稠密点云模型的过程，所述的点云模型优化系统是对模型去掉杂点和表面重建的优化过程，所述的三维导航地图重建系统是通过重建出场景的三维导航地图的过程，最后将得到的三维导航地图应用到无人机上作为无人机的导航以提供冬辅助信息。
本发明还公开了一种基于图像三维重建技术的无人机导航地图构建方法，其具体包括以下步骤：
S1、用于对数据采集组件采集的场景图像集进行三维导航地图构建；
S2、对采集到的场景图像集输入到三维导航地图构建系统中去，在三维导航地图构建系统中依次进行特征点提取、稀疏三维点云重建、稠密三维点云重建、点云模型优化和三维导航地图重建后，最后得到场景的三维导航地图，以作为提供无人机的导航辅助信息。
作为优选，步骤S1中对数据采集组件采集的场景图像集进行三维导航地图构建的具体方法是：使用无人机搭载数据采集组件，对目标场景进行航拍，并从不同位置和角度收集场景的图像数据集；步骤S2的具体方法如下：
S2-1：图像集输入：对于采集到的场景图像数据集，一起输入到三维导航地图构建系统中去，在三维导航地图构建系统中打开图像数据集所在的文件夹，然后选中所有图像，加载进去；
S2-2：特征点提取：对所有的图像，都一一进行图像特征点的提取，对于每一个特征点，检测其位置并计算其特征向量，并把每张图像的特征点信息保存成文件，供后续步骤使用；
S2-3：稀疏三维点云重建：对步骤S2-2得到的特征点信息，进行图像间的特征匹配，在此先计算每张图像的相机位置，然后按照相机位置来选择式地图像间匹配，图像间特征点匹配后再消除其中的误匹配，然后利用双视图中的对极几何约束来计算基本矩阵和本质矩阵，再对本质矩阵做奇异值分解得到图像的旋转和平移的信息，然后再利用三角测量技术恢复特征点的三维坐标，再使用捆绑优化对所有的特征点及图像旋转平移进行整体优化，最后得到场景的稀疏三维点云模型；
S2-4：稠密三维点云重建：对步骤S2-3得到稀疏点云，在此基础上进行稠密重建，扩展稀疏点云到图像的所有像素点，多张视图图像中的相同部分会存在极线几何约束，在对极几何约束的前提上，在对应图像中的极线上进行逐像素搜索并判断，寻找到对应点，寻找到所有图像中的对应点，然后进行扩展重建出稠密的三维点云；
S2-5：点云模型优化：对步骤S2-4得到的稠密点云，进行点云模型优化，首先删除掉模型中的杂点，其次对其进行表面重建，完善模型；
S2-6：三维导航地图重建：对步骤S2-5得到的优化后模型的基础上构建三维导航地图，输入点云模型，然后将整个空间当成根节点，不断地往下划分空间直到要求的分辨率，对于有点存在的叶子空间，定义其值为1，表示此处被占据，对于没有点存在的叶子空间，定义其值为0，表示此处为空，最后得到三维导航地图。
上述技术特征的作用是：从不同位置和角度收集场景的图像数据集，然后在特征点提取过程中对所有的图像，都一一进行图像特征点的提取，对于每一个特征点，检测其位置并计算其特征向量，并把每张图像的特征点信息保存成文件，另外将得到的特征点信息，进行图像间的特征匹配，在此先计算每张图像的相机位置，然后按照相机位置来选择式地图像间匹配，图像间特征点匹配后再消除其中的误匹配，然后利用双视图中的对极几何约束来计算基本矩阵和本质矩阵，再对本质矩阵做奇异值分解得到图像的旋转和平移的信息，再利用三角测量技术恢复特征点的三维坐标，再使用捆绑优化对所有的特征点及图像旋转平移进行整体优化，最后得到一个被优化后的场景的稀疏三维点云模型、并通过点云模型进行优化，最后得到清晰的三维导航地图，以实现让最终构建的导航地图的准确率更高，且精度更高。
作为优选，所述步骤S2-3中选择式图像间匹配的方法如下：先选第一幅图像初始化为(0，0，0)，然后从基准图像开始对后续的图像计算出相机位置，在重建图像间匹配过程中，对于每一幅图像，把跟最近距离的图像之间的距离作为单位半径R，再设置一个比例系数K，只匹配与该图像距离小于KR的其他图像，，选择式图像间匹配流程见附图3，该技术特征的作用是：使得图像匹配过程中匹配效果更好，更接近实际，最终确保准确率高；
作为优选，上述的计算图像对应相机位置的步骤如下：
i)将所有图像都做特征点提取，并选第一幅图像当作基准图像，初始化为(0，0，0)；
ii)从基准图像开始，对后面的图像和当前的图像做特征点匹配，根据双视图中对极几何约束计算相机的位置参数，也就是旋转矩阵和平移向量；给定矩阵F，表示两个图像相机关系的基础矩阵，如果给两个匹配点x1和x2，那么这两个匹配点存在如下公式(1)的关系；
Figure BDA0002491143660000051
其中：T表示向量的转置，矩阵F的自由度为7，所以采用八点法计算出矩阵F；
然后计算给定矩阵E，表示两个图像相机关系的本质矩阵，本质矩阵可以通过如下公式(2)求出；
F＝k′-TEk-1 (2)；
其中K和K′分别为两个相机的内参数矩阵，本质矩阵E由旋转矩阵R和平移向量t组成，如下公式(3)所示，可以对E进行奇异值分解，求出R和t；
E＝t^R (3)；
iii)把后续图像当做当前图像，再重复步骤ii，直到求出所有的图像相机位置。
上述方法通过采集所有图像都做特征点采集使得最终采集的图像真实性更高，且进一步保证最终图像的准确度。
作为优选，在对于每一幅图像，再跟其他图像进行匹配时，找到距离此图像的相机位置最近的一副图像，并将他们之间的距离设为单位半径R的图像间匹配时，给定比例系数K，只匹配那些相机位置满足公式(4)的其他图像：
Hij＜KR (4)；
其中Hij表示第i幅图像与第j幅图像的相机位置距离。
上方方法能够减少很多不必要图像间的匹配，最终提高匹配程度，最终能减少很多不必要图像间的匹配，降低时间消耗。
作为优选，步骤S2-6中的三维导航地图是以八叉树数据结构为基础的，八叉树是指一个有八个子节点的树形数据结构，把空间经过左右、上下、前后三次划分刚好划分为八块子空间，对原始三维点云模型空间进行八叉树划分，对没有点云的空间不进行划分，对叶子节点全存在点云节点进行剪枝，最后得到以八叉树为存储结构的三维导航地图，并且实现分辨率可调，最终实现三维点云模型构建为三维导航地图的过程。上方方法能够从不同空间和角度获取图像信息，以提高对图像构建的精度。
作为优选，将三维点云模型构建为三维导航地图的步骤如下：
a)加载三维点云模型，确定三维导航地图的分辨率，创建八叉树对象，将点云插入到树中；
b)将点云空间初始化为根节点，根据分辨率确定递归深度；
c)对当前空间节点划分为八个子空间节点，如当前空间没有点云，则不进行划分；
d)判断是否继续划分，如否，则继续上一步骤c，如是，则停止划分，并对所有叶子节点都存在点云的节点进行剪枝，得到最终的三维导航地图。上述方法进一步展现了如何利用三维点云模型构建为三维导航地图的过程，且整个过程方法简单，操作方便。
相对于现有技术，本发明至少具有如下优点：
1、本发明基于图像三维重建技术的无人机导航地图构建方法，能够对目标场景进行航拍收集图像集，能良好地重建出场景的三维导航地图，为无人机的导航提供重要的辅助信息。
2、使用无人机航拍的方式采集图像，能够收集到稳定的连续的场景图像数据集。
3、使用选择式图像间匹配策略，可以有效地降低三维导航地图构建系统中不必要的图像间匹配的时间消耗，整体重建速度更快。
4、对场景收集图像数据集，然后进行三维点云重建，最后在三维点云基础上构建场景的三维导航地图，此方法非常方便，并且得到的地图精度比较高。
附图说明
图1为一种基于图像三维重建技术的无人机导航地图构建系统的连接示意图。
图2为无人机示意图。
图3为三维导航地图构建系统的流程图。
图4为选择式图像间匹配过程图。
图5为八叉树空间划分示意图。
图6为三维点云模型构建为三维导航地图流程图。
图7为重建出的场景三维导航地图效果图。
图中，1-无人机，2-数据采集组件；3-三维导航地图构建系统；4-图像集输入系统；5-特征点提取系统；6-稀疏三维点云重建系统；7-稠密三维点云重建系统；8-点云模型优化系统；9-三维导航地图重建系统。
具体实施方式
下面对本发明作进一步详细说明。
实施例1：
参见图1、图2，本实施例公开了一种基于图像三维重建技术的无人机导航地图构建系统，包括无人机1、数据采集组件2和三维导航地图构建系统3；所述数据采集组件2设置在无人机1上，数据采集组件2为摄像头；所述摄像头用于采集场景的图像集；所述的三维导航地图构建系统3包括图像集输入系统4、特征点提取系统5、稀疏三维点云重建系统6、稠密三维点云重建系统7、点云模型优化系统8和三维导航地图重建系统9；所述的图像集输入系统4是将场景图像集输入到三维导航地图构建系统中，所述的特征点提取系统5是对所有图像进行特征点检测的过程，所述的稀疏三维点云重建系统6是重建出场景的稀疏点云模型的过程，所述的稠密三维点云重建系统7是重建出场景的稠密点云模型的过程，所述的点云模型优化系统8是对模型去掉杂点和表面重建的优化过程，所述的三维导航地图重建系统9是通过重建出场景的三维导航地图的过程，最后将得到的三维导航地图应用到无人机1上作为无人机1的导航以提供冬辅助信息。
其中本实施例中的无人机1为多旋翼无人机1，多旋翼无人机1由机架、马达、旋叶、飞控和数据采集组件2及内存等组成。其中数据采集组件2既摄像头负责拍摄图像，摄像头拍摄的视频图像先存储到无人机1的内存中，无人机1具体外观图见附图2。
本实施例中的三维导航地图构建系统包括图像集输入、特征点提取、稀疏三维点云重建、稠密三维点云重建、点云模型优化、三维导航地图重建这几个流程步骤，流程图见附图3。
工作原理：通过无人机1上的摄像头采集场景的图像集，然后将场景图像集输入到三维导航地图构建系统中，并对所有图像进行特征点检测的过程，然后重建出场景的稀疏点云模型，再重建出场景的稠密点云模型，然后对模型去掉杂点和表面重建的优化，最后通过重建出场景的三维导航地图的，再将得到的三维导航地图应用到无人机1上作为无人机1的导航以提供冬辅助信息。
本实施例具有以下优点：
1、本发明基于图像三维重建技术的无人机导航地图构建方法，能够对目标场景进行航拍收集图像集，能良好地重建出场景的三维导航地图，为无人机1的导航提供重要的辅助信息。
2、使用无人机1航拍的方式采集图像，能够收集到稳定的连续的场景图像数据集。
3、使用选择式图像间匹配策略，可以有效地降低三维导航地图构建系统中不必要的图像间匹配的时间消耗，整体重建速度更快。
4、对场景收集图像数据集，然后进行三维点云重建，最后在三维点云基础上构建场景的三维导航地图，此方法非常方便，并且得到的地图精度比较高。
实施例2：
如图3-7所示，本实施例公开了一种基于图像三维重建技术的无人机导航地图构建方法，其具体包括以下步骤：
S1、用于对数据采集组件2采集的场景图像集进行三维导航地图构建；
S2、对采集到的场景图像集输入到三维导航地图构建系统中去，在三维导航地图构建系统中依次进行特征点提取、稀疏三维点云重建、稠密三维点云重建、点云模型优化和三维导航地图重建后，最后得到场景的三维导航地图，以作为提供无人机1的导航辅助信息。
作为优选，步骤S1中对数据采集组件2采集的场景图像集进行三维导航地图构建的具体方法是：使用无人机1搭载数据采集组件2，对目标场景进行航拍，并从不同位置和角度收集场景的图像数据集；步骤S2的具体方法如下：
S2-1：图像集输入：对于采集到的场景图像数据集，一起输入到三维导航地图构建系统中去，在三维导航地图构建系统中打开图像数据集所在的文件夹，然后选中所有图像，加载进去；
S2-2：特征点提取：对所有的图像，都一一进行图像特征点的提取，对于每一个特征点，检测其位置并计算其特征向量，并把每张图像的特征点信息保存成文件，供后续步骤使用；
S2-3：稀疏三维点云重建：对步骤S2-2得到的特征点信息，进行图像间的特征匹配，在此先计算每张图像的相机位置，然后按照相机位置来选择式地图像间匹配，图像间特征点匹配后再消除其中的误匹配，然后利用双视图中的对极几何约束来计算基本矩阵和本质矩阵，再对本质矩阵做奇异值分解得到图像的旋转和平移的信息，然后再利用三角测量技术恢复特征点的三维坐标，再使用捆绑优化对所有的特征点及图像旋转平移进行整体优化，最后得到场景的稀疏三维点云模型；
S2-4：稠密三维点云重建：对步骤S2-3得到稀疏点云，在此基础上进行稠密重建，扩展稀疏点云到图像的所有像素点，多张视图图像中的相同部分会存在极线几何约束，在对极几何约束的前提上，在对应图像中的极线上进行逐像素搜索并判断，寻找到对应点，寻找到所有图像中的对应点，然后进行扩展重建出稠密的三维点云；
S2-5：点云模型优化：对步骤S2-4得到的稠密点云，进行点云模型优化，首先删除掉模型中的杂点，其次对其进行表面重建，完善模型；
S2-6：三维导航地图重建：对步骤S2-5得到的优化后模型的基础上构建三维导航地图，输入点云模型，然后将整个空间当成根节点，不断地往下划分空间直到要求的分辨率，对于有点存在的叶子空间，定义其值为1，表示此处被占据，对于没有点存在的叶子空间，定义其值为0，表示此处为空，最后得到三维导航地图。
上述技术特征的作用是：从不同位置和角度收集场景的图像数据集，然后在特征点提取过程中对所有的图像，都一一进行图像特征点的提取，对于每一个特征点，检测其位置并计算其特征向量，并把每张图像的特征点信息保存成文件，另外将得到的特征点信息，进行图像间的特征匹配，在此先计算每张图像的相机位置，然后按照相机位置来选择式地图像间匹配，图像间特征点匹配后再消除其中的误匹配，然后利用双视图中的对极几何约束来计算基本矩阵和本质矩阵，再对本质矩阵做奇异值分解得到图像的旋转和平移的信息，再利用三角测量技术恢复特征点的三维坐标，再使用捆绑优化对所有的特征点及图像旋转平移进行整体优化，最后得到一个被优化后的场景的稀疏三维点云模型、并通过点云模型进行优化，最后得到清晰的三维导航地图，以实现让最终构建的导航地图的准确率更高，且精度更高。
如图3所示，作为优选，所述步骤S2-3中选择式图像间匹配的方法如下：先选第一幅图像初始化为(0，0，0)，然后从基准图像开始对后续的图像计算出相机位置，在重建图像间匹配过程中，对于每一幅图像，把跟最近距离的图像之间的距离作为单位半径R，再设置一个比例系数K，只匹配与该图像距离小于KR的其他图像，该技术特征的作用是：使得图像匹配过程中匹配效果更好，更接近实际，最终确保准确率高；
作为优选，上述的计算图像对应相机位置的步骤如下：
i)将所有图像都做特征点提取，并选第一幅图像当作基准图像，初始化为(0，0，0)；
ii)从基准图像开始，对后面的图像和当前的图像做特征点匹配，根据双视图中对极几何约束计算相机的位置参数，也就是旋转矩阵和平移向量；给定矩阵F，表示两个图像相机关系的基础矩阵，如果给两个匹配点x1和x2，那么这两个匹配点存在如下公式(1)的关系；
Figure BDA0002491143660000101
其中：T表示向量的转置，矩阵F的自由度为7，所以采用八点法计算出矩阵F；
然后计算给定矩阵E，表示两个图像相机关系的本质矩阵，本质矩阵可以通过如下公式(2)求出；
F＝k′-TEk-1 (2)；
其中K和K′分别为两个相机的内参数矩阵，本质矩阵E由旋转矩阵R和平移向量t组成，如下公式(3)所示，可以对E进行奇异值分解，求出R和t；
E＝t^R (3)；
iii)把后续图像当做当前图像，再重复步骤ii，直到求出所有的图像相机位置。
上述方法通过采集所有图像都做特征点采集使得最终采集的图像真实性更高，且进一步保证最终图像的准确度。
作为优选，在对于每一幅图像，再跟其他图像进行匹配时，找到距离此图像的相机位置最近的一副图像，并将他们之间的距离设为单位半径R的图像间匹配时，给定比例系数K，只匹配那些相机位置满足公式(4)的其他图像：
Hij＜KR (4)；
其中Hij表示第i幅图像与第j幅图像的相机位置距离，这样能减少很多不必要图像间的匹配，降低时间消耗。
上方方法能够减少很多不必要图像间的匹配，最终提高匹配程度，最终能减少很多不必要图像间的匹配，降低时间消耗。
作为优选，步骤S2-6中的三维导航地图是以八叉树数据结构为基础的，八叉树是指一个有八个子节点的树形数据结构，把空间经过左右、上下、前后三次划分刚好划分为八块子空间，对原始三维点云模型空间进行八叉树划分，对没有点云的空间不进行划分，对叶子节点全存在点云节点进行剪枝，最后得到以八叉树为存储结构的三维导航地图，并且实现分辨率可调，最终实现三维点云模型构建为三维导航地图的过程。上方方法能够从不同空间和角度获取图像信息，以提高对图像构建的精度。
具体的，所述三维导航地图是以八叉树数据结构为基础的：
八叉树是指一个有八个子节点的树形数据结构，把空间经过左右、上下、前后三次划分刚好划分为八块子空间，因此八叉树就以此为思路提出来的。对原始三维点云模型空间进行八叉树划分，将空间连续递归地划分为更小的子空间，直到将其划分为令人满意的分辨率为止，分辨率表示最小子空间的大小，例如分辨率为0.01m，这意味着树的叶子大小为1cm。其中对没有点云的空间不进行划分，对叶子节点全存在点云的节点进行剪枝，最大限度节省了存储空间，最后得到以八叉树为存储结构的三维导航地图。在实际导航中，通过查询每个叶子空间的值来知道它是否可以通过，并且对于不同的环境要求，可以调整分辨率，八叉树空间划分示意图见附图5。
作为优选，三维点云模型构建为三维导航地图的整体流程见附图6，将三维点云模型构建为三维导航地图的步骤如下：
a)加载三维点云模型，确定三维导航地图的分辨率，创建八叉树对象，将点云插入到树中；
b)将点云空间初始化为根节点，根据分辨率确定递归深度；
c)对当前空间节点划分为八个子空间节点，如当前空间没有点云，则不进行划分；
d)判断是否继续划分，如否，则继续上一步骤c，如是，则停止划分，并对所有叶子节点都存在点云的节点进行剪枝，得到最终的三维导航地图。
上述方法进一步展现了如何利用三维点云模型构建为三维导航地图的过程，且整个过程方法简单，操作方便。
工作原理：无人机1通过携带数据采集组件2收集场景的图像数据集，而后输入到三维导航地图构建系统，输出场景的三维导航地图，为无人机1的导航提供辅助信息。三维导航地图构建系统是由图像集输入、特征点提取、稀疏三维点云重建、稠密三维点云重建、点云模型优化、三维导航地图重建这几个流程步骤组成。将采集到的场景图像集经由三维导航地图构建系统的这些流程步骤，可以得到场景的三维导航地图。图像集输入步骤是将场景图像集加载到三维导航地图构建系统中，在三维导航地图构建系统中打开图像集所在的文件夹，然后全部加载图像。特征点提取步骤是对每一张图像进行特征点检测，并将结果保存下来。稀疏三维点云重建步骤可以重建出场景的稀疏三维点云模型，利用上一步的保存结果进行选择式图像间匹配，经过三角测量和捆绑优化等过程得到稀疏点云。稠密三维点云重建步骤可以重建出场景的稠密三维点云模型，利用上一步的结果扩展点云来得到稠密模型。点云模型优化步骤是对模型去掉杂点和表面重建，得到更完善的模型。三维导航地图重建步骤可以重建出场景的三维导航地图，利用上一步的优化后模型构建得到以八叉树为数据结构的三维导航地图。最后得到的三维导航地图精度高，内存占用少，分辨率可调，能方便地用于无人机1的导航，提供辅助信息。重建出的场景三维导航地图见附图7。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于图像三维重建技术的无人机导航地图构建系统，包括无人机、数据采集组件和三维导航地图构建系统；其特征在于：所述数据采集组件设置在无人机上，数据采集组件为摄像头；所述摄像头用于采集场景的图像集；所述的三维导航地图构建系统包括图像集输入系统、特征点提取系统、稀疏三维点云重建系统、稠密三维点云重建系统、点云模型优化系统和三维导航地图重建系统；所述的图像集输入系统是将场景图像集输入到三维导航地图构建系统中，所述的特征点提取系统是对所有图像进行特征点检测的过程，所述的稀疏三维点云重建系统是重建出场景的稀疏点云模型的过程，所述的稠密三维点云重建系统是重建出场景的稠密点云模型的过程，所述的点云模型优化系统是对模型去掉杂点和表面重建的优化过程，所述的三维导航地图重建系统是通过重建出场景的三维导航地图的过程，最后将得到的三维导航地图应用到无人机上作为无人机的导航以提供辅助信息；
具体包括以下步骤：
S1、用于对数据采集组件采集的场景图像集进行三维导航地图构建；
S2、对采集到的场景图像集输入到三维导航地图构建系统中去，在三维导航地图构建系统中依次进行特征点提取、稀疏三维点云重建、稠密三维点云重建、点云模型优化和三维导航地图重建后，最后得到场景的三维导航地图，以作为提供无人机的导航辅助信息；
步骤S1中对数据采集组件采集的场景图像集进行三维导航地图构建的具体方法是：使用无人机搭载数据采集组件，对目标场景进行航拍，并从不同位置和角度收集场景的图像数据集；步骤S2的具体方法如下：
S2-1：图像集输入：对于采集到的场景图像数据集，一起输入到三维导航地图构建系统中去，在三维导航地图构建系统中打开图像数据集所在的文件夹，然后选中所有图像，加载进去；
S2-2：特征点提取：对所有的图像，都一一进行图像特征点的提取，对于每一个特征点，检测其位置并计算其特征向量，并把每张图像的特征点信息保存成文件，供后续步骤使用；
S2-3：稀疏三维点云重建：对步骤S2-2得到的特征点信息，进行图像间的特征匹配，在此先计算每张图像的相机位置，然后按照相机位置来选择式地图像间匹配，图像间特征点匹配后再消除其中的误匹配，然后利用双视图中的对极几何约束来计算基本矩阵和本质矩阵，再对本质矩阵做奇异值分解得到图像的旋转和平移的信息，然后再利用三角测量技术恢复特征点的三维坐标，再使用捆绑优化对所有的特征点及图像旋转平移进行整体优化，最后得到场景的稀疏三维点云模型；
S2-4：稠密三维点云重建：对步骤S2-3得到稀疏点云，在此基础上进行稠密重建，扩展稀疏点云到图像的所有像素点，多张视图图像中的相同部分会存在极线几何约束，在对极几何约束的前提上，在对应图像中的极线上进行逐像素搜索并判断，寻找到对应点，寻找到所有图像中的对应点，然后进行扩展重建出稠密的三维点云；
S2-5：点云模型优化：对步骤S2-4得到的稠密点云，进行点云模型优化，首先删除掉模型中的杂点，其次对其进行表面重建，完善模型；
S2-6：三维导航地图重建：对步骤S2-5得到的优化后模型的基础上构建三维导航地图，输入点云模型，然后将整个空间当成根节点，不断地往下划分空间直到要求的分辨率，对于有点存在的叶子空间，定义其值为1，表示此处被占据，对于没有点存在的叶子空间，定义其值为0，表示此处为空，最后得到三维导航地图。
2.根据权利要求1所述的一种基于图像三维重建技术的无人机导航地图构建系统，其特征在于：所述步骤S2-3中选择式图像间匹配的方法如下：先选第一幅图像初始化为(0,0,0)，然后从基准图像开始对后续的图像计算出相机位置，在重建图像间匹配过程中，对于每一幅图像，把跟最近距离的图像之间的距离作为单位半径R，再设置一个比例系数K，只匹配与该图像距离小于KR的其他图像。
3.根据权利要求2所述的一种基于图像三维重建技术的无人机导航地图构建系统，其特征在于：所述的计算每张图像的相机位置的步骤如下：
i)将所有图像都做特征点提取，并选第一幅图像当作基准图像，初始化为(0,0,0)；
ii)从基准图像开始，对后面的图像和当前的图像做特征点匹配，根据双视图中对极几何约束计算相机的位置参数，也就是旋转矩阵和平移向量；给定矩阵F，表示两个图像相机关系的基础矩阵，如果给两个匹配点x1和x2，那么这两个匹配点存在如下公式(1)的关系；
Figure FDA0004045269350000021
其中：T表示向量的转置，矩阵F的自由度为7，所以采用八点法计算出矩阵F；
然后计算给定矩阵E，表示两个图像相机关系的本质矩阵，本质矩阵可以通过如下公式(2)求出；
F＝k'-TEk-1 (2)；
其中K和K'分别为两个相机的内参数矩阵,本质矩阵E由旋转矩阵R和平移向量t组成，如下公式(3)所示，可以对E进行奇异值分解，求出R和t；
E＝t^R (3)；
iii)把后续图像当做当前图像，再重复步骤ⅱ，直到求出所有的图像相机位置。
4.根据权利要求2所述的一种基于图像三维重建技术的无人机导航地图构建系统，其特征在于：在对于每一幅图像，再跟其他图像进行匹配时，找到距离此图像的相机位置最近的一幅图像，并将他们之间的距离设为单位半径R的图像间匹配时，给定比例系数K，只匹配那些相机位置满足公式(4)的其他图像：
Hij＜KR(4)；
其中Hij表示第i幅图像与第j幅图像的相机位置距离。
5.根据权利要求1-4任一所述的一种基于图像三维重建技术的无人机导航地图构建系统，其特征在于：步骤S2-6中的三维导航地图是以八叉树数据结构为基础的，八叉树是指一个有八个子节点的树形数据结构，把空间经过左右、上下、前后三次划分刚好划分为八块子空间，对原始三维点云模型空间进行八叉树划分，对没有点云的空间不进行划分，对叶子节点全存在点云节点进行剪枝，最后得到以八叉树为存储结构的三维导航地图，并且实现分辨率可调，最终实现三维点云模型构建为三维导航地图的过程。
6.根据权利要求5所述的一种基于图像三维重建技术的无人机导航地图构建系统，其特征在于：将三维点云模型构建为三维导航地图的步骤如下：
a)加载三维点云模型，确定三维导航地图的分辨率，创建八叉树对象，将点云插入到树中；
b)将点云空间初始化为根节点，根据分辨率确定递归深度；
c)对当前空间节点划分为八个子空间节点，如当前空间没有点云，则不进行划分；
d)判断是否继续划分，如是，则继续上一步骤c，如否，则停止划分，并对所有叶子节点都存在点云的节点进行剪枝，得到最终的三维导航地图。
CN202010410011.2A 2020-05-14 2020-05-14 基于图像三维重建技术的无人机导航地图构建系统及方法 Active CN111599001B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010410011.2A CN111599001B (zh) 2020-05-14 2020-05-14 基于图像三维重建技术的无人机导航地图构建系统及方法
US17/196,298 US11354856B2 (en) 2020-05-14 2021-03-09 Unmanned aerial vehicle navigation map construction system and method based on three-dimensional image reconstruction technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010410011.2A CN111599001B (zh) 2020-05-14 2020-05-14 基于图像三维重建技术的无人机导航地图构建系统及方法

Publications (2)

Publication Number Publication Date
CN111599001A CN111599001A (zh) 2020-08-28
CN111599001B true CN111599001B (zh) 2023-03-14

Family

ID=72187414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010410011.2A Active CN111599001B (zh) 2020-05-14 2020-05-14 基于图像三维重建技术的无人机导航地图构建系统及方法

Country Status (2)

Country Link
US (1) US11354856B2 (zh)
CN (1) CN111599001B (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233231B (zh) * 2020-09-11 2022-07-08 苏州浪潮智能科技有限公司 一种基于云计算的城市三维实景漫游方法及系统
EP3968274A1 (en) * 2020-09-14 2022-03-16 Tata Consultancy Services Limited Method and system for asset inspection using unmanned aerial vehicles
CN112150629A (zh) * 2020-09-25 2020-12-29 福建华电可门发电有限公司 一种基于视觉的盘煤系统及方法
JP7465290B2 (ja) * 2020-11-09 2024-04-10 達闥機器人股▲分▼有限公司 点群に基づく地図較正方法、システム、ロボット及びクラウドプラットフォーム
CN112434709B (zh) * 2020-11-20 2024-04-12 西安视野慧图智能科技有限公司 基于无人机实时稠密三维点云和dsm的航测方法及系统
CN112633293B (zh) * 2020-11-24 2022-05-20 北京航空航天大学青岛研究院 一种基于图分割的三维稀疏点云重建图像集分类方法
CN112747736B (zh) * 2020-12-22 2022-07-08 西北工业大学 一种基于视觉的室内无人机路径规划方法
CN112598737B (zh) * 2020-12-24 2024-08-16 中建科技集团有限公司 室内机器人定位方法、装置、终端设备及存储介质
CN112581590B (zh) * 2020-12-28 2021-06-08 广东工业大学 一种5g安防救援网联的无人机云边端协同控制方法
CN112927363B (zh) * 2021-04-07 2024-06-18 Oppo广东移动通信有限公司 体素地图构建方法及装置、计算机可读介质和电子设备
CN113160406B (zh) * 2021-04-26 2024-03-01 北京车和家信息技术有限公司 道路三维重建方法、装置、存储介质及电子设备
CN113284227B (zh) * 2021-05-14 2022-11-22 安徽大学 一种面向大规模航拍图像的分布式运动推断结构方法
CN113362454A (zh) * 2021-06-17 2021-09-07 浙江理工大学 一种以全景三维图像为基础的建筑模型生成方法
CN113793414B (zh) * 2021-08-17 2024-08-13 中科云谷科技有限公司 建立工业现场环境三维视图的方法、处理器及装置
CN114387154B (zh) * 2021-12-13 2023-04-21 复旦大学 一种用于插管机器人的立体气道环境构建方法
CN114373042B (zh) * 2021-12-14 2024-05-03 南京杰图空间信息技术有限公司 一种基于电力巡检三维场景快速建模方法
CN114241150B (zh) * 2021-12-15 2024-09-24 华能明台电力有限责任公司 一种倾斜摄影建模中的水域数据预处理方法
CN114485568B (zh) * 2021-12-31 2023-06-13 广州极飞科技股份有限公司 测绘方法和装置、计算机设备、存储介质
CN114463521B (zh) * 2022-01-07 2024-01-30 武汉大学 一种面向空地影像数据融合的建筑目标点云快速生成方法
CN114547866B (zh) * 2022-01-26 2023-09-26 深圳大学 基于bim-无人机-机械狗的预制构件智能检测方法
CN114140586B (zh) * 2022-01-29 2022-05-17 苏州工业园区测绘地理信息有限公司 面向室内空间的三维建模方法、装置和存储介质
CN114565689B (zh) * 2022-02-28 2024-02-02 燕山大学 一种面向轴对称类三维模型数据压缩重建方法
CN114693763B (zh) * 2022-03-15 2023-04-07 武汉理工大学 航道船舶三维模型构建方法、系统、装置及存储介质
CN114859962B (zh) * 2022-04-15 2022-12-20 国网电力空间技术有限公司 具备智能避障、定高巡航功能的无人机控制方法
CN114972640B (zh) * 2022-05-20 2024-08-06 天津理工大学 一种基于点云的线缆三维重建与参数计算的方法
CN114972646B (zh) * 2022-05-31 2023-06-06 广东省核工业地质局测绘院 一种实景三维模型独立地物的提取与修饰方法及系统
CN115100379B (zh) * 2022-06-15 2024-06-25 广东能源集团科学技术研究院有限公司 一种风机叶片运输监管方法、系统、设备及介质
CN114910050B (zh) * 2022-06-24 2024-06-11 四川腾盾科技有限公司 基于网格地图的无人机视觉定位方法
CN115077490B (zh) * 2022-06-24 2024-05-10 中铁二局第一工程有限公司 一种无人机裸眼3d全数字测图法
CN114894198A (zh) * 2022-07-15 2022-08-12 南京千目信息科技有限公司 一种基于商场三维导航地图的导航方法和系统
CN115512054B (zh) * 2022-09-06 2024-07-12 武汉大学 三维时空连续点云地图的构建方法
CN117689804A (zh) * 2022-09-09 2024-03-12 先临三维科技股份有限公司 一种三维重建方法、装置、设备和存储介质
CN115439469B (zh) * 2022-10-12 2024-03-22 东南大学 基于无人机的建筑缺陷检测方法、装置及电子设备
CN115861546B (zh) * 2022-12-23 2023-08-08 四川农业大学 一种基于神经体渲染的作物几何感知与三维表型重建方法
CN116091723B (zh) * 2022-12-29 2024-01-05 上海网罗电子科技有限公司 一种基于无人机的消防应急救援实景三维建模方法及系统
CN115719407B (zh) * 2023-01-05 2023-06-27 安徽大学 一种面向大规模航拍图像的分布式多视图立体重建方法
CN116258817B (zh) * 2023-02-16 2024-01-30 浙江大学 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统
CN116310099B (zh) * 2023-03-01 2024-07-26 南京工业大学 基于多视角图像的钢桥构件三维重建方法
CN116543117B (zh) * 2023-03-16 2024-01-09 中国科学院地理科学与资源研究所 一种无人机影像的高精度大场景三维建模方法
CN116150530B (zh) * 2023-04-23 2023-07-11 星杓(成都)信息科技有限公司 一种基于可视域的三维数据的管理加载方法及系统
CN116205394B (zh) * 2023-05-05 2023-07-14 浙江茂源林业工程有限公司 一种基于无线电导航的森林资源调查监测方法及系统
CN116542956B (zh) * 2023-05-25 2023-11-17 广州机智云物联网科技有限公司 一种织物组分自动检测方法、系统及可读存储介质
CN116452776B (zh) * 2023-06-19 2023-10-20 国网浙江省电力有限公司湖州供电公司 基于视觉同步定位与建图系统的低碳变电站场景重建方法
CN116824078A (zh) * 2023-06-27 2023-09-29 重庆数字城市科技有限公司 一种基于三维模型的市政设施部件展示方法和平台
CN117078873A (zh) * 2023-07-19 2023-11-17 达州市斑马工业设计有限公司 一种三维高精度地图生成方法、系统及云平台
CN116863085B (zh) * 2023-09-04 2024-01-09 北京数慧时空信息技术有限公司 一种三维重建系统、三维重建方法、电子设备及存储介质
CN116858215B (zh) * 2023-09-05 2023-12-05 武汉大学 一种ar导航地图生成方法及装置
CN117668574B (zh) * 2024-01-31 2024-05-14 利亚德智慧科技集团有限公司 光影秀的数据模型优化方法、装置、设备及存储介质
CN117689846B (zh) * 2024-02-02 2024-04-12 武汉大学 线状目标的无人机摄影重建多交向视点生成方法及装置
CN118229482A (zh) * 2024-03-29 2024-06-21 重庆地质矿产研究院 一种矿山边坡微地形营建的生态修复方法
CN118279497A (zh) * 2024-05-07 2024-07-02 武汉元一宇宙控股集团股份有限公司 一种三维模型生成系统及方法
CN118163118B (zh) * 2024-05-16 2024-07-05 帕西尼感知科技(张家港)有限公司 一种视触觉融合显示、机器人控制方法、装置及系统
CN118314005B (zh) * 2024-06-05 2024-09-27 陕西四维数邦科技有限公司 三维激光扫描与航飞影像匹配技术的停车场平面成图方法
CN118298115B (zh) * 2024-06-06 2024-09-10 浙江大学 一种基于欧拉运动场的三维微动效果图的生成方法
CN118329065B (zh) * 2024-06-12 2024-09-06 山东浪潮数字商业科技有限公司 一种实现连续导航的方法、设备及存储介质
CN118628680A (zh) * 2024-08-08 2024-09-10 杭州慧建智联科技有限公司 一种xr设备的实时网格地图生成系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09138850A (ja) * 1995-11-15 1997-05-27 Olympus Optical Co Ltd 表面形状再構成装置
CN107273864A (zh) * 2017-06-22 2017-10-20 星际（重庆）智能装备技术研究院有限公司 一种基于深度学习的人脸检测方法
CN108416840A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN109407699A (zh) * 2018-10-29 2019-03-01 宋永端 一种无人机室内自主飞行定位方法
CN109509211A (zh) * 2018-09-28 2019-03-22 北京大学 同时定位与建图技术中的特征点提取与匹配方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9466143B1 (en) * 2013-05-03 2016-10-11 Exelis, Inc. Geoaccurate three-dimensional reconstruction via image-based geometry
CN105517666B (zh) * 2014-09-05 2019-08-27 深圳市大疆创新科技有限公司 基于情景的飞行模式选择
CN105844696B (zh) * 2015-12-31 2019-02-05 清华大学 基于射线模型三维重构的图像定位方法以及装置
WO2018129715A1 (zh) * 2017-01-13 2018-07-19 浙江大学 一种同时定位与稠密三维重建方法
SE541287C2 (en) * 2017-02-27 2019-06-11 Katam Tech Ab Forest surveying apparatus and method using video sequences to generate 3D models

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09138850A (ja) * 1995-11-15 1997-05-27 Olympus Optical Co Ltd 表面形状再構成装置
CN107273864A (zh) * 2017-06-22 2017-10-20 星际（重庆）智能装备技术研究院有限公司 一种基于深度学习的人脸检测方法
CN108416840A (zh) * 2018-03-14 2018-08-17 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN109509211A (zh) * 2018-09-28 2019-03-22 北京大学 同时定位与建图技术中的特征点提取与匹配方法及系统
CN109407699A (zh) * 2018-10-29 2019-03-01 宋永端 一种无人机室内自主飞行定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AN IMAGE-BASED TECHNIQUE FOR 3D BUILDING RECONSTRUCTION USING MULTI-VIEW UAV IMAGES;F. Alidoost, H. Arefi1;《The international archives of the Photogrammetry，Remote Sensing and Spatial Information Science》;20151130;第43-46页 *
基于航拍图像的无人机导航地图构建方法与实现;曹枭;《中国优秀博硕士学位论文数据库（硕士）》;20220315;第23-50页 *
小型四旋翼无人机序列影像三维重建实验;李想等;《遥感信息》;20200229;第35卷(第1期);第135-141页 *

Also Published As

Publication number Publication date
CN111599001A (zh) 2020-08-28
US20210358206A1 (en) 2021-11-18
US11354856B2 (en) 2022-06-07

Similar Documents

Publication Publication Date Title
CN111599001B (zh) 基于图像三维重建技术的无人机导航地图构建系统及方法
CN112288875B (zh) 一种面向无人机矿山巡检场景的快速三维重建方法
CN111462329A (zh) 一种基于深度学习的无人机航拍影像的三维重建方法
Jiang et al. Unmanned Aerial Vehicle-Based Photogrammetric 3D Mapping: A survey of techniques, applications, and challenges
CN110827415A (zh) 一种全天候未知环境无人自主工作平台
Barazzetti et al. True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach
EP3686775A1 (en) Method for detecting pseudo-3d bounding box based on cnn capable of converting modes according to poses of objects using instance segmentation and device using the same
KR102557775B1 (ko) 드론을 이용한 3차원 지도 제작 방법
Bulatov et al. Context-based urban terrain reconstruction from UAV-videos for geoinformation applications
CN109459759A (zh) 基于四旋翼无人机激光雷达系统的城市地形三维重建方法
CN113741503A (zh) 一种自主定位式无人机及其室内路径自主规划方法
CN116051758A (zh) 一种用于室外机器人的含有高度信息的地貌地图构建方法
KR102567799B1 (ko) 드론을 이용한 3차원 지도 제작 방법
KR102587445B1 (ko) 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법
Warren Long-range stereo visual odometry for unmanned aerial vehicles
Yu et al. Scene-aware refinement network for unsupervised monocular depth estimation in ultra-low altitude oblique photography of UAV
Zhang Review of 3D reconstruction technology of UAV aerial image
Zhang et al. A Self-Supervised Monocular Depth Estimation Approach Based on UAV Aerial Images
Lu et al. Satmvs: A novel 3d reconstruction pipeline for remote sensing satellite imagery
Christie et al. Training object detectors with synthetic data for autonomous uav sampling applications
Rong et al. 3D semantic labeling of photogrammetry meshes based on active learning
Guo et al. Research on 3D geometric modeling of urban buildings based on airborne lidar point cloud and image
Kumar et al. Design and development of an autonomous unmanned aerial vehicle for surface coalmines surveillance
Zhao 3D Obstacle Avoidance for Unmanned Autonomous System (UAS)
Cao et al. Autonomous Landing Spot Detection for Unmanned Aerial Vehicles Based on Monocular Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant