CN114820751A - 用于场景三维重建的方法及装置、三维重建系统 - Google Patents
用于场景三维重建的方法及装置、三维重建系统 Download PDFInfo
- Publication number
- CN114820751A CN114820751A CN202210240146.8A CN202210240146A CN114820751A CN 114820751 A CN114820751 A CN 114820751A CN 202210240146 A CN202210240146 A CN 202210240146A CN 114820751 A CN114820751 A CN 114820751A
- Authority
- CN
- China
- Prior art keywords
- group
- image
- dimensional reconstruction
- matching information
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 239000013598 vector Substances 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000000694 effects Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 206010001488 Aggression Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及计算机技术领域，公开一种用于场景三维重建的方法，包括：通过图像初步处理，构建词袋树；根据词袋树，进行组内图像处理，获得组内匹配信息和图像组特征向量；根据图像组特征向量，进行组间图像处理，获得组间匹配信息；根据组内匹配信息和组间匹配信息，进行模型重建。通过图像初步处理，进行词袋树的构建。根据构建的词袋树，进行组内图像处理，得到每一幅图像的组内匹配信息和图像组特征向量。根据图像组特征向量，进行组间图像处理，得到组间匹配信息。利用组内匹配信息和组间匹配信息进行模型重建，以通过迷你无人机采集图像时，提高场景三维重建的效果。本申请还公开一种用于场景三维重建的装置和三维重建系统。
Description
技术领域
本申请涉及计算机技术领域，例如涉及一种用于场景三维重建的方法及装置、三维重建系统。
背景技术
目前，基于图像的三维重建具有速度快、实时性好等优点。该类方法成本低廉，数据源获取简单，硬件依赖性小。随着所获取图像的分辨率、成像质量等因素的提高，基于图像的三维重建算法在重建质量、鲁棒性等方面进展迅速，具有重要的理论研究价值以及广阔的市场应用前景。
相关技术中的基于图像的场景三维重建的方法包括：对输入的原始航拍图像进行预处理、特征提取与特征匹配，利用SfM(Structure from Motion，运动恢复结构)技术求取场景的稀疏点云以及相机位姿；然后对稀疏点云数据进行切块处理；再循环对每个切分小块进行处理，直接在稀疏点云基础上进行网格重建以及纹理贴图的操作；最终将各个小块生成的二维正射图和数字高程图进行合并，完成结果输出。
在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：
该方法能够实现场景的三维重建。但是，对于续航能力不足的迷你无人机，在一次图像采集的过程中仅能采集有限数量的图像数据。使用该方法时，难以兼顾图像检索效率和图像匹配的准确度和完整度，进而可能导致失去关键连接而使得场景三维重建的效果差。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种用于场景三维重建的方法及装置、三维重建系统，以通过迷你无人机采集图像时，提高场景三维重建的效果。
在一些实施例中，所述方法包括：通过图像初步处理，构建词袋树；根据词袋树，进行组内图像处理，获得组内匹配信息和图像组特征向量；根据图像组特征向量，进行组间图像处理，获得组间匹配信息；根据组内匹配信息和组间匹配信息，进行模型重建。
可选地，通过图像初步处理，构建词袋树，包括：控制无人机进行图像采集；根据采集的图像，提取特征点；通过对特征点进行聚类，构建词袋树。
可选地，控制无人机进行图像采集，包括：将场景进行区域划分；控制无人机每次采集一个区域的图像，直至采集所有区域的图像；控制无人机每次采集一个区域连接处的图像，直至采集所有区域连接处的图像。
可选地，控制无人机每次采集一个区域的图像，包括：控制无人机上升至第一设定高度；将无人机的镜头与地面的夹角调整为第一设定角度；控制无人机采用往返飞行和轨迹交叉的方式对当前区域进行图像采集；控制无人机上升至第二设定高度；将无人机的镜头与地面的夹角调整为第二设定角度；控制无人机环绕当前区域的四周进行拍摄。
可选地，根据词袋树，进行组内图像处理，获得组内匹配信息，包括：根据特征点和词袋树，获得组内图像特征向量；根据组内图像特征向量，确定组内图像相似度；根据词袋树和组内图像相似度，获得组内候选匹配对；通过对组内候选匹配对进行特征点匹配，获得组内匹配信息。
可选地，根据词袋树，进行组内图像处理，获得图像组特征向量，包括：根据组内匹配信息，构建特征点轨迹；根据特征点轨迹，获得图像组特征向量。
可选地，根据图像组特征向量，进行组间图像处理，获得组间匹配信息，包括：根据图像组特征向量，确定图像组相似度；根据图像组相似度，获得组间候选匹配对；通过对组间候选匹配对进行特征点匹配，获得组间匹配信息。
可选地，根据组内匹配信息和组间匹配信息，进行模型重建，包括：根据组内匹配信息和组间匹配信息，进行初始场景重建；根据组内匹配信息和组间匹配信息，进行相机添加和场景扩展；对相机的内外参数和场景点的三维坐标进行优化，实现场景三维重建。
在一些实施例中，所述装置包括处理器和存储有程序指令的存储器，处理器被配置为在运行程序指令时，执行上述用于场景三维重建的方法。
在一些实施例中，所述三维重建系统包括上述用于场景三维重建的装置。
本公开实施例提供的用于场景三维重建的方法及装置、三维重建系统，可以实现以下技术效果：
通过图像初步处理，进行词袋树的构建。根据构建的词袋树，进行组内图像处理，得到每一幅图像的组内匹配信息和图像组特征向量。根据图像组特征向量，进行组间图像处理，得到组间匹配信息以增加关键连接。利用组内匹配信息和组间匹配信息进行模型重建，以通过迷你无人机采集图像时，提高场景三维重建的效果。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一个用于场景三维重建的方法的示意图；
图2是本公开实施例提供的另一个用于场景三维重建的方法的示意图；
图3是本公开实施例提供的另一个用于场景三维重建的方法的示意图；
图4是本公开实施例提供的另一个用于场景三维重建的方法的示意图；
图5是本公开实施例提供的另一个用于场景三维重建的方法的示意图；
图6是本公开实施例提供的一个候选匹配对获取的对比结果图；
图7是本公开实施例提供的一个场景三维重建的结果图；
图8是本公开实施例提供的一个用于场景三维重建的装置的示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
术语“对应”可以指的是一种关联关系或绑定关系，A与B相对应指的是A与B之间是一种关联关系或绑定关系。
基于图像的三维重建是计算机领域的一个重要研究内容。随着计算精度、效率与自动化程度的不断提高，该项技术在文物保护、无人驾驶、虚拟现实、视觉导航、医学影像等领域得到了广泛的应用。与基于深度传感器或激光扫描仪的三维重建方法相比，基于图像的三维重建具有速度快、实时性好等优点。该类方法成本低廉，数据源获取简单，硬件依赖性小。随着所获取图像的分辨率、成像质量等因素的提高，基于图像的三维重建算法在重建质量、鲁棒性等方面进展迅速，具有重要的理论研究价值以及广阔的市场应用前景。
在基于图像的三维重建领域，利用无人机航拍图像的场景三维重建是其中的一个重要组成部分。近年来，无人机技术不断发展，已经形成了品种齐全、功能多样的完备系列，其性能指标也不断提升。迷你飞行器采用成本较低的多旋翼平台，体积小而轻便，便于携带和操作。然而，由于其续航能力明显不足，在一次图像采集的过程中仅能采集有限数量的图像数据，无法一次性完成大规模场景的完整覆盖。
结合图1所示，本公开实施例提供一种用于场景三维重建的方法，包括：
S210，三维重建系统通过图像初步处理，构建词袋树。
S220，三维重建系统根据词袋树，进行组内图像处理，获得组内匹配信息和图像组特征向量。
S230，三维重建系统根据图像组特征向量，进行组间图像处理，获得组间匹配信息。
S240，三维重建系统根据组内匹配信息和组间匹配信息，进行模型重建。
采用本公开实施例提供的用于场景三维重建的方法，通过图像初步处理，进行词袋树的构建。根据构建的词袋树，进行组内图像处理，得到每一幅图像的组内匹配信息和图像组特征向量。根据图像组特征向量，进行组间图像处理，得到组间匹配信息以增加关键连接。利用组内匹配信息和组间匹配信息进行模型重建，以通过迷你无人机采集图像时，提高场景三维重建的效果。
结合图2所示，本公开实施例提供另一种用于场景三维重建的方法，包括：
S211，三维重建系统控制无人机进行图像采集。
S212，三维重建系统根据采集的图像，提取特征点。
S213，三维重建系统通过对特征点进行聚类，构建词袋树。
S220，三维重建系统根据词袋树，进行组内图像处理，获得组内匹配信息和图像组特征向量。
S230，三维重建系统根据图像组特征向量，进行组间图像处理，获得组间匹配信息。
S240，三维重建系统根据组内匹配信息和组间匹配信息，进行模型重建。
采用本公开实施例提供的用于场景三维重建的方法，通过控制无人机实现场景图像的采集。根据采集的图像提取特征点，从而以聚类的方式构建词袋树，为场景三维重建做准备。
可选地，步骤S211中的三维重建系统控制无人机进行图像采集，包括：三维重建系统将场景进行区域划分。三维重建系统控制无人机每次采集一个区域的图像，直至采集所有区域的图像。三维重建系统控制无人机每次采集一个区域连接处的图像，直至采集所有区域连接处的图像。这样，由于迷你无人机具有续航短的缺陷，单次飞行时间仅20-30分钟。故在图像采集前先对大规模场景进行区域划分，以保证迷你无人机在每次飞行时可完成该区域的图像采集，并将每次飞行所采集的图像划为一个图像组。
可选地，三维重建系统控制无人机每次采集一个区域的图像，包括：三维重建系统控制无人机上升至第一设定高度。三维重建系统将无人机的镜头与地面的夹角调整为第一设定角度。三维重建系统控制无人机采用往返飞行和轨迹交叉的方式对当前区域进行图像采集。三维重建系统控制无人机上升至第二设定高度。三维重建系统将无人机的镜头与地面的夹角调整为第二设定角度。三维重建系统控制无人机环绕当前区域的四周进行拍摄。这样，采用两个不同的阶段对当前区域的图像进行采集，能够提高当前区域图像采集的完整性，从而为大规模三维场景的重建做准备。
可选地，三维重建系统控制无人机每次采集一个区域连接处的图像，包括：三维重建系统控制无人机上升至第一设定高度。三维重建系统将无人机的镜头与地面的夹角调整为第一设定角度。三维重建系统控制无人机采用往返飞行和轨迹交叉的方式对当前区域连接处进行图像采集。三维重建系统控制无人机上升至第二设定高度。三维重建系统将无人机的镜头与地面的夹角调整为第二设定角度。三维重建系统控制无人机环绕当前区域连接处的四周进行拍摄。这样，能够使各区域间的图像有足够的重叠度，保证大规模场景所有组别的图像经处理和整合后，最终得到单个整体的三维模型。
可选地，第一设定高度小于第二设定高度。第一设定高度的取值范围为[75，85]m，优选地，第一设定高度取值为77m、80m或83m。第二设定高度的取值范围为[95，105]m，优选地，第二设定高度取值为97m、100m或103m。第一设定角度大于第二设定角度。第一设定角度的取值范围为[70，80]°，优选地，第一设定角度取值为72°、75°或78°。第二设定角度的取值范围为[40，50]°，优选地，第二设定角度取值为42°、45°或48°。这样，第一设定高度的取值能够使图像采集的清晰度高。第二设定高度能够使图像采集的范围广。第一设定角度能够采集当前区域的中心的图像。第二设定角度能够采集当前区域的外围的图像。
对于步骤S212中的三维重建系统根据采集的图像，提取特征点，是三维重建系统对采集的各组图像分别通过SIFT(Scale Invariant Feature Transform，尺度不变特征变换)算法提取特征点。
对于步骤S213中的三维重建系统通过对特征点进行聚类，构建词袋树，是三维重建系统利用k-means++算法对提取的所有特征点在其描述子空间进行聚类，并得到聚类中心。为提高词袋模型的查找效率，采用树型结构对其进行构建。具体的，是将所有特征点聚成k类，然后再将属于同一类的特征点继续聚成k类，迭代d次。这样，即可构建每层k个分支、深度为d的词袋树。
结合图3所示，本公开实施例提供另一种用于场景三维重建的方法，包括：
S210，三维重建系统通过图像初步处理，构建词袋树。
S221，三维重建系统根据特征点和词袋树，获得组内图像特征向量。
S222，三维重建系统根据组内图像特征向量，确定组内图像相似度。
S223，三维重建系统根据词袋树和组内图像相似度，获得组内候选匹配对。
S224，三维重建系统通过对组内候选匹配对进行特征点匹配，获得组内匹配信息。
S225，三维重建系统根据组内匹配信息，构建特征点轨迹。
S226，三维重建系统根据特征点轨迹，获得图像组特征向量。
S230，三维重建系统根据图像组特征向量，进行组间图像处理，获得组间匹配信息。
S240，三维重建系统根据组内匹配信息和组间匹配信息，进行模型重建。
采用本公开实施例提供的用于场景三维重建的方法，根据特征点和词袋树，获得组内图像特征向量，从而获得场景三维重建所需的组内匹配信息。根据特征点匹配关系，获得图像组特征向量，从而为获得组间匹配信息做准备。
对于步骤S221中的三维重建系统根据特征点和词袋树，获得组内图像特征向量，是三维重建系统基于TF-IDF(Term Frequency-Inverse Document Frequency，词频-逆文档频率)原则，根据特征点和词袋树，获得用于描述图像之间相似度的组内图像特征向量。
对于步骤S222中的三维重建系统根据组内图像特征向量，确定组内图像相似度，是三维重建系统通过计算组内图像特征向量之间的欧氏距离即可确定图像之间的组内图像相似度。
对于步骤S223中的三维重建系统根据词袋树和组内图像相似度，获得组内候选匹配对，是三维重建系统首先对于一个图像组内的某幅图像，利用词袋树获得该图像组内与其相似度最高的n1幅图像，作为该图像的组内候选匹配图像。然后对每个图像组中的每幅图像均进行上述操作，即可获得全部图像的组内候选匹配对。
对于步骤S224中的三维重建系统通过对组内候选匹配对进行特征点匹配，获得组内匹配信息，是三维重建系统利用FLANN(Fast Library for Approximate NearestNeighbors，相似最近邻快速库)对各组内候选匹配对进行特征点匹配，获得每一幅图像的组内匹配信息。
对于步骤S225中的三维重建系统根据组内匹配信息，构建特征点轨迹，是三维重建系统根据组内匹配信息，获得每一幅图像的特征点匹配关系，将特征点匹配关系采用并查集的方法构建特征点轨迹。其中，每个特征点轨迹均对应其所在图像组内多幅图像公共可见的一个场景点以及该点在其可见图像中的可见性信息(可见图像序号、特征图像坐标等)。特征点轨迹的长度等于其可见图像数量，因此长度越长的特征点轨迹越能够代表该组图像所覆盖的场景信息。
对于步骤S226中的三维重建系统根据特征点轨迹，获得图像组特征向量，是三维重建系统首先确定各图像组内的长度不小于3的特征点轨迹。然后，对于某图像组，计算其各满足长度条件的特征点轨迹的描述子平均值。其中，每一个特征点轨迹对应一个描述子平均值。最后，基于TF-IDF原则，根据描述子平均值，获得图像组的图像组特征向量。
结合图4所示，本公开实施例提供另一种用于场景三维重建的方法，包括：
S210，三维重建系统通过图像初步处理，构建词袋树。
S220，三维重建系统根据词袋树，进行组内图像处理，获得组内匹配信息和图像组特征向量。
S231，三维重建系统根据图像组特征向量，确定图像组相似度。
S232，三维重建系统根据图像组相似度，获得组间候选匹配对。
S233，三维重建系统通过对组间候选匹配对进行特征点匹配，获得组间匹配信息。
S240，三维重建系统根据组内匹配信息和组间匹配信息，进行模型重建。
采用本公开实施例提供的用于场景三维重建的方法，根据图像组特征向量，确定相似度，进而获得组间候选匹配对。由于组间候选匹配对以相似度为依据，组间候选匹配的精确性高，从而提高了组间匹配信息的精确性。由于场景三维重建依赖于组间匹配信息，从而提高场景三维重建的效果。
对于步骤S231中的三维重建系统根据图像组特征向量，确定图像组相似度，与步骤S222中的相同，此处不再赘述。
对于步骤S232中的三维重建系统根据图像组相似度，获得组间候选匹配对，是三维重建系统首先以各图像组为顶点，图像组相似度为边上的权重，建立图像组的初步加权图结构。然后根据初步加权图结构，采用克鲁斯卡尔算法获得其最大生成树。按照初步加权图结构的剩余边的权重由大到小、每次一条，依次加入最大生成树中。每次加边后，利用基于社区的图强化算法计算当前图结构的模块度及模块度与边数的乘积，以此来判断当前图结构是否紧密连接且边数较少。其中，当模块度与边数的乘积达到最大时，便建立了满足连接较为紧密且边数最少的图结构。该图结构的各条边连接的图像组对即为候选图像组匹配对。最后根据候选图像组匹配对，获得组间候选匹配对。
具体的，对于获得的某一候选图像组匹配对，将其对应的两个图像组分别记为A组和B组。三维重建系统利用词袋树，计算A组和B组所有图像的特征向量，得到A组所有图像与B组所有图像之间的相似度。对于A组中的每一幅图像，将其与B组的每幅图像的相似度从大到小进行排序，选取相似度最高的前n2幅图像与该幅图像构成候选匹配对。B组也进行同样的操作，并在保存组间图像匹配对信息时删去与A组重复的图像匹配对。对所有需要进行图像匹配的图像组对进行上述操作，即可得到组间候选匹配对。
结合图5所示，本公开实施例提供另一种用于场景三维重建的方法，包括：
S210，三维重建系统通过图像初步处理，构建词袋树。
S220，三维重建系统根据词袋树，进行组内图像处理，获得组内匹配信息和图像组特征向量。
S230，三维重建系统根据图像组特征向量，进行组间图像处理，获得组间匹配信息。
S241，三维重建系统根据组内匹配信息和组间匹配信息，进行初始场景重建。
S242，三维重建系统根据组内匹配信息和组间匹配信息，进行相机添加和场景扩展。
S243，三维重建系统对相机的内外参数和场景点的三维坐标进行优化，实现场景三维重建。
采用本公开实施例提供的用于场景三维重建的方法，由于场景三维重建的过程中，包含有图像组特征向量，场景的还原度提高。由于在初始场景重建的基础上，根据组内匹配信息和组间匹配信息，进行相机添加和场景扩展，提高了场景三维重建的还原度。由于对相机的内外参数和场景点的三维坐标进行优化，提高了场景三维重建的效果。
对于步骤S240中的三维重建系统根据组内匹配信息和组间匹配信息，进行模型重建，是三维重建系统根据已获得的组内匹配信息和组间匹配信息，采用传统的增量式SfM方法实现大规模场景的三维重建。
对于步骤S241中的三维重建系统根据组内匹配信息和组间匹配信息，进行初始场景重建，具体的，三维重建系统首先从用于重建的图像集合中选取若干幅图像(例如2幅)作为种子图像。然后通过估计并分解本质矩阵的方式恢复种子图像之间的相对旋转与相对平移。最后通过三角测量对获得种子图像覆盖场景区域进行初始重建。
对于步骤S242中的三维重建系统根据组内匹配信息和组间匹配信息，进行相机添加和场景扩展，是三维重建系统采用基于PnP(Perspective n Point，透视n点)算法的相机位姿估计与三角测量实现。
对于步骤S243中的三维重建系统对相机的内外参数和场景点的三维坐标进行优化，是在所有相机添加完成后，三维重建系统采用BA(Bundle Adjustment，捆绑调整)进行全局优化。
结合图6所示，由于大规模场景三维重建依赖于候选匹配对，为验证候选匹配对的效果，采用F值(F-Measure)指标进行评测。具体的，通过某种方式获得某组图像数据的图像匹配对真值集合
对于采用某种方式X获得的图像候选匹配对集合
先分别计算集合
的精度
与召回率
进而可以计算集合
的F-Measure：
对于不同的方法，F值越高，获得的候选匹配对越好。图中的图像匹配对真值集合为将采集到的所有图像进行两两暴力匹配，其中，有效特征点匹配对数多于16对的图像对集合即为真值集合。
基于上述评测指标以及真值获得方法，对候选匹配对的获得方法与传统方法进行对比。此处的传统方法指的是对于每幅图像，通过已构建的词袋树检索其在采集的整个图像集合中相似度最高的n1幅图像，作为该方法获得的候选匹配对集合
对于本公开实施例的方法，此处采用两种方式获得候选匹配对，n1＝n2以及
第二种情况是考虑到通常情况下相对于组内图像，某幅图像的组间相似图像数量更少。另外需要注意到的是，对于本公开实施例的两种方式由于组内的每幅图像获得的相似图像已经与传统方法每幅图像获得相似图像数量一致，以上两种方式还会额外获得组间候选匹配对，因此这两种方式获得的候选匹配对数均多于传统方法。为保证对比的公平性，此处仅保留两种方式获得的候选匹配对按照相似度排序的前
对。经上述处理后，将两种方式最终获得的候选匹配对集合分别记为
与
在实验中，n1的取值范围设为{5,10,…,50}，得到的不同对比方法的F值折线图。当
且n1≥20时，本公开实施例的候选匹配对获得方法优于传统方法。
结合图7所示，采用本公开实施例提供的用于场景三维重建的方法，能够通过迷你无人机采集图像时，将大规模场景进行三维重建。由于采用稀疏重建的方法，图中的清晰度低。在采用后续处理之后，能够提高大规模场景的清晰度。由于后续处理属于现有技术，不再进行赘述及效果的说明。
结合图8所示，本公开实施例提供一种用于场景三维重建的装置，包括处理器(processor)41和存储器(memory)42。可选地，该装置还可以包括通信接口(CommunicationInterface)43和总线44。其中，处理器41、通信接口43、存储器42可以通过总线44完成相互间的通信。通信接口43可以用于信息传输。处理器41可以调用存储器42中的逻辑指令，以执行上述实施例的用于场景三维重建的方法。
此外，上述的存储器42中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器42作为一种存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器41通过运行存储在存储器42中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中用于场景三维重建的方法。
存储器42可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例提供了一种三维重建系统，包含上述的用于场景三维重建的装置。
本公开实施例提供了一种存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述用于场景三维重建的方法。
上述的存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
Claims (10)
1.一种用于场景三维重建的方法，其特征在于，包括：
通过图像初步处理，构建词袋树；
根据词袋树，进行组内图像处理，获得组内匹配信息和图像组特征向量；
根据图像组特征向量，进行组间图像处理，获得组间匹配信息；
根据组内匹配信息和组间匹配信息，进行模型重建。
2.根据权利要求1所述的方法，其特征在于，通过图像初步处理，构建词袋树，包括：
控制无人机进行图像采集；
根据采集的图像，提取特征点；
通过对特征点进行聚类，构建词袋树。
3.根据权利要求2所述的方法，其特征在于，控制无人机进行图像采集，包括：
将场景进行区域划分；
控制无人机每次采集一个区域的图像，直至采集所有区域的图像；
控制无人机每次采集一个区域连接处的图像，直至采集所有区域连接处的图像。
4.根据权利要求3所述的方法，其特征在于，控制无人机每次采集一个区域的图像，包括：
控制无人机上升至第一设定高度；
将无人机的镜头与地面的夹角调整为第一设定角度；
控制无人机采用往返飞行和轨迹交叉的方式对当前区域进行图像采集；
控制无人机上升至第二设定高度；
将无人机的镜头与地面的夹角调整为第二设定角度；
控制无人机环绕当前区域的四周进行拍摄。
5.根据权利要求2所述的方法，其特征在于，根据词袋树，进行组内图像处理，获得组内匹配信息，包括：
根据特征点和词袋树，获得组内图像特征向量；
根据组内图像特征向量，确定组内图像相似度；
根据词袋树和组内图像相似度，获得组内候选匹配对；
通过对组内候选匹配对进行特征点匹配，获得组内匹配信息。
6.根据权利要求5所述的方法，其特征在于，根据词袋树，进行组内图像处理，获得图像组特征向量，包括：
根据组内匹配信息，构建特征点轨迹；
根据特征点轨迹，获得图像组特征向量。
7.根据权利要求2所述的方法，其特征在于，根据图像组特征向量，进行组间图像处理，获得组间匹配信息，包括：
根据图像组特征向量，确定图像组相似度；
根据图像组相似度，获得组间候选匹配对；
通过对组间候选匹配对进行特征点匹配，获得组间匹配信息。
8.根据权利要求1至7任一项所述的方法，其特征在于，根据组内匹配信息和组间匹配信息，进行模型重建，包括：
根据组内匹配信息和组间匹配信息，进行初始场景重建；
根据组内匹配信息和组间匹配信息，进行相机添加和场景扩展；
对相机的内外参数和场景点的三维坐标进行优化，实现场景三维重建。
9.一种用于场景三维重建的装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在运行所述程序指令时，执行如权利要求1至8任一项所述的用于场景三维重建的方法。
10.一种三维重建系统，其特征在于，包括如权利要求9所述的用于场景三维重建的装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210240146.8A CN114820751A (zh) | 2022-03-10 | 2022-03-10 | 用于场景三维重建的方法及装置、三维重建系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210240146.8A CN114820751A (zh) | 2022-03-10 | 2022-03-10 | 用于场景三维重建的方法及装置、三维重建系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114820751A true CN114820751A (zh) | 2022-07-29 |
Family
ID=82529535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210240146.8A Pending CN114820751A (zh) | 2022-03-10 | 2022-03-10 | 用于场景三维重建的方法及装置、三维重建系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114820751A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170046833A1 (en) * | 2015-08-10 | 2017-02-16 | The Board Of Trustees Of The Leland Stanford Junior University | 3D Reconstruction and Registration of Endoscopic Data |
| CN109447170A (zh) * | 2018-11-05 | 2019-03-08 | 贵州大学 | 移动机器人同步定位与地图构建系统的字典优化方法 |
| CN111415417A (zh) * | 2020-04-14 | 2020-07-14 | 大连理工江苏研究院有限公司 | 一种集成稀疏点云的移动机器人拓扑经验地图构建方法 |
| CN111862337A (zh) * | 2019-12-18 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法、装置、电子设备和计算机可读存储介质 |
| US20200372350A1 (en) * | 2019-05-22 | 2020-11-26 | Electronics And Telecommunications Research Institute | Method of training image deep learning model and device thereof |
| CN112270755A (zh) * | 2020-11-16 | 2021-01-26 | Oppo广东移动通信有限公司 | 三维场景构建方法、装置、存储介质与电子设备 |
| CN112530270A (zh) * | 2019-09-17 | 2021-03-19 | 北京初速度科技有限公司 | 一种基于区域分配的建图方法及装置 |
| CN113643420A (zh) * | 2021-07-02 | 2021-11-12 | 北京三快在线科技有限公司 | 一种三维重建方法及装置 |
-
2022
- 2022-03-10 CN CN202210240146.8A patent/CN114820751A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170046833A1 (en) * | 2015-08-10 | 2017-02-16 | The Board Of Trustees Of The Leland Stanford Junior University | 3D Reconstruction and Registration of Endoscopic Data |
| CN109447170A (zh) * | 2018-11-05 | 2019-03-08 | 贵州大学 | 移动机器人同步定位与地图构建系统的字典优化方法 |
| US20200372350A1 (en) * | 2019-05-22 | 2020-11-26 | Electronics And Telecommunications Research Institute | Method of training image deep learning model and device thereof |
| CN112530270A (zh) * | 2019-09-17 | 2021-03-19 | 北京初速度科技有限公司 | 一种基于区域分配的建图方法及装置 |
| CN111862337A (zh) * | 2019-12-18 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法、装置、电子设备和计算机可读存储介质 |
| CN111415417A (zh) * | 2020-04-14 | 2020-07-14 | 大连理工江苏研究院有限公司 | 一种集成稀疏点云的移动机器人拓扑经验地图构建方法 |
| CN112270755A (zh) * | 2020-11-16 | 2021-01-26 | Oppo广东移动通信有限公司 | 三维场景构建方法、装置、存储介质与电子设备 |
| CN113643420A (zh) * | 2021-07-02 | 2021-11-12 | 北京三快在线科技有限公司 | 一种三维重建方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 吴司良: ""室内移动机器人三维视觉定位技术研究"", 《万方数据》, 1 August 2021 (2021-08-01) * |
| 韩超: ""基于无人机航拍图像的三维重建SFM算法研究"", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 January 2020 (2020-01-15), pages 138 - 2006 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111599001B (zh) | 基于图像三维重建技术的无人机导航地图构建系统及方法 | |
| Xie et al. | Linking points with labels in 3D: A review of point cloud semantic segmentation | |
| Uy et al. | Pointnetvlad: Deep point cloud based retrieval for large-scale place recognition | |
| Oechsle et al. | Texture fields: Learning texture representations in function space | |
| Song et al. | Road extraction using SVM and image segmentation | |
| CN111383333A (zh) | 一种分段式sfm三维重建方法 | |
| Hu et al. | Domain-invariant similarity activation map contrastive learning for retrieval-based long-term visual localization | |
| Bewley et al. | Advantages of exploiting projection structure for segmenting dense 3D point clouds | |
| Pomares et al. | Ground extraction from 3D lidar point clouds with the classification learner app | |
| Chen et al. | A full density stereo matching system based on the combination of CNNs and slanted-planes | |
| Mao et al. | Elevation estimation-driven building 3d reconstruction from single-view remote sensing imagery | |
| Xiao et al. | Enhanced 3-D modeling for landmark image classification | |
| CN113780389A (zh) | 基于一致性约束的深度学习半监督密集匹配方法及系统 | |
| CN112070787A (zh) | 基于对立推理理论的航空三维点云平面分割方法 | |
| CN114820751A (zh) | 用于场景三维重建的方法及装置、三维重建系统 | |
| Lei et al. | Automatic identification of street trees with improved RandLA-Net and accurate calculation of shading area with density-based iterative α-shape | |
| CN115115847B (zh) | 三维稀疏重建方法、装置及电子装置 | |
| Lin et al. | Research on denoising and segmentation algorithm application of pigs’ point cloud based on DBSCAN and PointNet | |
| Morreale et al. | Dense 3D visual mapping via semantic simplification | |
| Chen et al. | Semantic modeling of outdoor scenes for the creation of virtual environments and simulations | |
| CN115409989A (zh) | 一种优化边界的三维点云语义分割方法 | |
| CN111986223B (zh) | 一种基于能量函数的室外点云场景中树木提取方法 | |
| Kloukiniotis et al. | Vanishing point detection based on the fusion of lidar and image data | |
| CN108830860B (zh) | 一种基于rgb-d约束的双目图像目标分割方法和装置 | |
| CN109410333B (zh) | 一种高质量超面片聚类生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |