CN116993925A - 面向大规模三维重建的分布式集束调整方法 - Google Patents
面向大规模三维重建的分布式集束调整方法 Download PDFInfo
- Publication number
- CN116993925A CN116993925A CN202311240044.7A CN202311240044A CN116993925A CN 116993925 A CN116993925 A CN 116993925A CN 202311240044 A CN202311240044 A CN 202311240044A CN 116993925 A CN116993925 A CN 116993925A
- Authority
- CN
- China
- Prior art keywords
- scale
- point cloud
- cloud model
- camera
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000005457 optimization Methods 0.000 claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 12
- 230000008447 perception Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 241000006302 Usnea Species 0.000 claims 1
- 238000012545 processing Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种面向大规模三维重建的分布式集束调整方法，先计算场景的稀疏点云模型和摄像机参数；针对稀疏点云模型和摄像机参数，建立对应的误差方程；根据摄像机的感知一致性，采用近似分割算法将大规模集束调整问题划分为分布式环境下可求解的小规模问题；采用道格拉斯‑拉赫福德分裂方方法求解每一个分布式节点上的优化问题；融合分布式节点上的点云模型和摄像机参数即可获得高质量的点云模型。本发明充分利用大规模图像数据之间的区域性，将大规模场景三维重建中的集束优化问题转化为可以在低性能计算机上求解的小规模集束优化问题，既提高三维重建的时间效率，又降低三维重建的成本。
Description
技术领域
本发明涉及高精度三维重建技术，具体涉及一种面向大规模三维重建的分布式集束调整方法。
背景技术
三维重建（3D Reconstruction）是从图像数据中计算场景点云模型和摄像机参数的一种技术。目前，面向小规模图像数据（例如手持相机采集的小规模场景图像数据）的三维重建问题取得了较大的研究进展，然而，针对大规模场景，现有的三维重建方法还需要进一步提高。尤其是随着无人机设备的普及和广泛使用，使得获取大规模数据变得非常容易。现有的三维重建方法在处理大规模的图像数据时，主要存在以下挑战：（a）非常耗时，三维重建过程非常耗时，尤其处理室外大规模图像数据时，现有的运动推断结构方法无法在有限的时间内计算出稀疏的点云模型和摄像机参数，难以满足高层次计算机视觉和图形学应用系统的时间效率要求；（b）内存溢出，大规模三维重建方法对计算机内存的需求较大，尤其是当数据量较大时，单机版本的三维重建方法会出现内存溢出问题，最终导致三维重建过程失败。
集束调整的本质是建立在非线性最小化基础之上，在三维重建领域用于优化摄像机参数和点云模型，以保证生成的三维模型与真实场景在几何上的一致性。随着图像大数据的爆发式增长，一些基于单台计算机或者单台GPU（Graphics Process Unit）的集束调整算法仍然难以满足目前大规模三维重建工作的应用需求。
上述问题严重阻碍了大规模三维重建技术的发展和应用，暴露了基于单机版集束优化方法的三维重建方法在处理大规模图像数据时的不足。因此，人们迫切一种面向大规模三维重建的分布式集束优化方法，以便能够快速地从大规模图像中计算出场景的点云模型和摄像机参数。
目前，关于多视图立体的现有研究有：《Bundle adjustment in the large》公开一种基于高斯-牛顿的集束优化方法，《Two-Grid Preconditioned Solver for BundleAdjustment》公开一种预先条件求解器的集束优化方法，《Robust bundle adjustmentrevisited》公开一种鲁棒的集束优化方法，但是上述现有技术仅限于单台计算机上运行。
由于现有的这些集束优化方法的重点是，如何提高点云模型的精度，且处理的目标均是小规模场景的图像数据。因此，一旦应用于大规模图像数据时，仍然面临以下挑战：（1）当使用现有的单机版本的集束优化方法处理大规模图像数据时，需要较大的内存空间，甚至超过现有硬件设备所能支持的最大内存空间；（2）现有的集束优化方法的运行效率太低，难以满足大规模三维重建的时间效率需求。
发明内容
发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种面向大规模三维重建的分布式集束调整方法，使得从大规模图像数据中快速地计算出高质量的点云模型成为可能，进而促进三维重建技术的快速发展。
技术方案：本发明的一种面向大规模三维重建的分布式集束调整方法，包括以下步骤：
步骤S1、对于输入的大规模图像数据，计算对应场景的稀疏点云模型和摄像机参数；
稀疏三维点云模型为；
摄像机参数；
表示稀疏三维点云模型中三维点/>的数量，/>表示三维点/>在世界坐标系中的位置；/>表示摄像机航拍图像的数量，/>表示摄像机的内部参数矩阵，/>表示摄像机的旋转矩阵，/>表示摄像机的平移向量；
步骤S2、针对步骤S1所得稀疏三维点云模型S和摄像机参数C，使用非线性最小二乘法建立对应的误差方程，为集束调整继续最小化三维点的投影误差的平方和，如公式（1）：
（1）
对于上式的三维点和摄像机参数/>，记/>表示小孔相机的成像过程；表示摄像机矩阵（/>），/>表示第幅图像可观测到的三维点（），/>表示三维点/>在第幅图像上对应的二维点；/>表示指示变量，如果三维点/>在第幅图像的视角内可见，则取值为1，否则取值为0；
假设，，/>，，/>，/>表示中变量；/>表示第/>个航拍图像的摄像机参数；
则将式（1）改写为：
（2）
表示罗贝尼乌斯（Frobenius）范数；
步骤S3、根据摄像机的感知一致性，采用近似分割算法将大规模集束调整问题划分为分布式环境下可求解的小规模问题；具体方法为：
首先，将幅图像划分为/>个不相交的子集，即/>，且，/>；
然后，根据近似分割（Proximal Splitting Methods）方法将式（2）改写为：
（3）
记，
，则式（3）改写为：
（4）
其中，是指三维点的齐次坐标；/>表示在第/>个图像中第/>个摄像机能够观察到的三维点集合；/>表示在第/>个图像中第/>个摄像机能够观察到的三维点的深度；/>表示在第/>个图像中第/>个摄像机能够观察到的三维点的深度；/>表示第/>个摄像机参数；
步骤S4、采用道格拉斯-拉赫福德分裂方法求解每一个分布式节点上的优化问题；
步骤S5、合并分布式节点上的点云模型和摄像机参数，即可获得精确的点云模型，记为，其中，/>表示分布式节点的数量。
进一步地，所述步骤S1的具体方法为：
步骤S1.1、摄像机航拍图像匹配
使用SIFT方法检测特征点和计算特征描述子，然后使用分布式最近邻方法计算特征描述子之间的匹配关系，最后根据图像之间的感知一致性消除错误的匹配点，则获得正确的匹配点；
步骤S1.2、计算摄像机参数
根据步骤S1.1中的特征匹配点，使用全局式的运动推断结构方法计算摄像机参数，提交计算效率；
步骤S1.3、计算区域图像的稀疏点云模型
根据步骤S1.1所得正确的匹配点和步骤S1.2所得摄像机参数，使用增量式运动推断结构方法计算区域场景的稀疏点云模型，提高了三维重建的精度。
进一步地，所述步骤S4采用道格拉斯-拉赫福德分裂方法求解每一个分布式节点上的优化问题，有效地缓解了对高性能计算设备的依赖。
（5）
表示函数/>的近似分割。
有益效果：本发明既能够解决单机版本的集束优化方法的内存空间溢出问题，有能够提高大规模三维重建的时间效率，为大规模图像数据在高精度三维重建领域的应用以及三维重建技术的发展和应用奠定重要的理论和实践基础；本发明快速地从大规模图像数据中计算出场景的高质量点云模型，促进面向大规模三维重建技术的进步，实现快速计算出大规模场景的高质量点云模型目标。
附图说明
图1为本发明的整体流程示意图；
图2为实施例中的大规模图像数据样本示意图；
图3为实施例最终所得的稀疏点云模型和摄像姿态信息示意图。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
如图1所示，本发明的面向大规模三维重建的分布式集束调整方法，包括以下步骤：
步骤S1、对于输入的大规模图像数据，，计算对应场景的稀疏点云模型和摄像机参数；
稀疏三维点云模型为；
摄像机参数；
表示稀疏三维点云模型中三维点/>的数量，/>表示三维点/>在世界坐标系中的位置；/>表示摄像机航拍图像的数量，/>表示摄像机的内部参数矩阵，/>表示摄像机的旋转矩阵，/>表示摄像机的平移向量；
步骤S2、针对步骤S1所得稀疏三维点云模型S和摄像机参数C，使用非线性最小二乘法建立对应的误差方程，并最小化三维点的投影误差的平方和，如公式（1）所示：
（1）
上式中，表示小孔相机的成像过程；/>表示三维点/>在第幅图像上对应的二维点；/>表示指示变量，如果三维点/>在第幅图像的视角内可见，则取值为1，否则取值为0；
然后，假设，/>，，/>；
则将式（1）改写为：
（2）。
其中，表示罗贝尼乌斯（Frobenius）范数。
步骤S3、根据摄像机的感知一致性，采用近似分割算法将大规模集束调整问题划分为分布式环境下可求解的小规模问题；具体方法为：
首先，将幅图像划分为/>个不相交的子集，即/>，且，/>；
然后，根据近似分割（Proximal Splitting Methods）方法将式（2）改写为：
（3）
记，
，则式（3）改写为：
（4）
其中，三维点的齐次坐标；/>表示在第/>个图像中第/>个摄像机能够观察到的三维点集合；/>表示在第/>个图像中第/>个摄像机能够观察到的三维点的深度；/>表示在第个图像中第/>个摄像机能够观察到的三维点的深度；/>表示第/>个摄像机参数；
步骤S4、采用道格拉斯-拉赫福德分裂方法求解每一个分布式节点上的优化问题；
步骤S5、合并分布式节点上的点云模型和摄像机参数，获得精确的点云模型，记为，其中，/>表示分布式节点的数量。
本发明基于分布式运行环境，先计算场景的稀疏点云模型和摄像机参数；然后，针对稀疏点云模型和摄像机参数，建立对应的误差方程；其次，根据摄像机的感知一致性，采用近似分割算法将大规模集束调整问题划分为分布式环境下可求解的小规模问题；再次，采用道格拉斯-拉赫福德分裂方方法求解每一个分布式节点上的优化问题；最后，合并分布式节点上的点云模型和摄像机参数，即可获得精确的点云模型。本发明充分利用了大规模图像数据之间的区域性，将大规模场景三维重建中的集束优化问题转化为可以在低性能计算机上求解的小规模集束优化问题，既提高的三维重建的时间效率，又降低了三维重建的成本。
上述实施例步骤S1的具体方法为：
步骤S1.1、摄像机航拍图像匹配
使用SIFT方法检测特征点和计算特征描述子，然后使用分布式最近邻方法计算特征描述子之间的匹配关系，最后根据图像之间的感知一致性消除错误的匹配点，则获得正确的匹配点；
步骤S1.2、计算摄像机参数
根据步骤S1.1中的特征匹配点，使用全局式的运动推断结构方法计算摄像机参数；
步骤S1.3、计算区域图像的稀疏点云模型
根据步骤S1.1所得正确的匹配点和步骤S1.2所得摄像机参数，使用增量式运动推断结构方法计算区域场景的稀疏点云模型。
本实施例步骤S4的求解公式如下：
（5）
表示函数/>的近似分割。
实施例
本实施例针对图2所示大规模航拍图像，进行分布式集束优化；最终重建点云模型如图3所示，从大规模图像数据中重建出的点云模型与真实场景具有较高的几何一致性。具体步骤为：首先，从输入图像（图2）中计算场景的稀疏点云模型和摄像机参数；然后，针对稀疏点云模型和摄像机参数，建立对应的误差方程；其次，根据摄像机的感知一致性，采用近似分割算法将大规模集束调整问题划分为分布式环境下可求解的小规模问题；再次，采用道格拉斯-拉赫福德分裂方方法求解每一个分布式节点上的优化问题；最后，合并分布式节点上的点云模型和摄像机参数，即可获得精确的点云模型（图3）。
有上述实施例可知，本发明技术方案将大规模场景的集束优化问题划分为不同的子集区域，避免了单机版本的集束优化方法出现内存溢出和系统奔溃问题，使得大规模三维重建成为可能；并且在分布式系统的不同节点上，独立处理不同子区域的集束优化过程、快速地计算出高精度的点云模型和摄像机参数，提高大规模三维重建的时间效率。
Claims (3)
1.一种面向大规模三维重建的分布式集束调整方法，其特征在于，包括以下步骤：
步骤S1、对于输入的大规模图像数据， ，计算对应场景的稀疏点云模型和摄像机参数；
稀疏三维点云模型为；
摄像机参数；
表示稀疏三维点云模型中三维点/>的数量，/>表示三维点/>在世界坐标系中的位置；/>表示摄像机航拍图像的数量，/>表示摄像机的内部参数矩阵，/>表示摄像机的旋转矩阵，/>表示摄像机的平移向量；
步骤S2、针对步骤S1所得稀疏三维点云模型S和摄像机参数C，使用非线性最小二乘法建立对应的误差方程，并最小化三维点的投影误差的平方和，如公式（1）所示：
（1）
上式中，表示小孔相机的成像过程；/>表示三维点/>在第幅图像上对应的二维点；/>表示指示变量，如果三维点/>在第幅图像的视角内可见，则/>取值为1，否则取值为0；
然后，假设，/>，，中变量/>；/>表示第/>个航拍图像的摄像机参数；
则将式（1）改写为：
（2）
表示罗贝尼乌斯范数；
步骤S3、根据摄像机的感知一致性，采用近似分割算法将大规模集束调整问题划分为分布式环境下可求解的小规模问题；具体方法为：
首先，将幅图像划分为/>个不相交的子集，即 />，且，/>；/>表示图像子集的取值范围；/>和/>分别表示第/>个图像子集和第/>个图像子集；
然后，根据近似分割法将式（2）改写为：
（3）
记，
，则式（3）改写为：
（4）
其中，表示三维点的齐次坐标；/>表示在第/>个图像中第/>个摄像机能够观察到的三维点集合；/>表示在第/>个图像中第/>个摄像机能够观察到的三维点的深度；/>表示在第个图像中第/>个摄像机能够观察到的三维点的深度；/>表示第/>个摄像机参数；
步骤S4、采用道格拉斯-拉赫福德分裂方法求解每一个分布式节点上的优化问题；
步骤S5、合并分布式节点上的点云模型和摄像机参数，获得精确的点云模型，记为，其中，/>表示分布式节点的数量。
2.根据权利要求1所述的面向大规模三维重建的分布式集束调整方法，其特征在于，所述步骤S1的具体方法为：
步骤S1.1、摄像机航拍图像匹配
使用SIFT方法检测特征点和计算特征描述子，然后使用分布式最近邻方法计算特征描述子之间的匹配关系，最后根据图像之间的感知一致性消除错误的匹配点，则获得正确的匹配点；
步骤S1.2、计算摄像机参数
根据步骤S1.1中的特征匹配点，使用全局式的运动推断结构方法计算摄像机参数；
步骤S1.3、计算区域图像的稀疏点云模型
根据步骤S1.1所得正确的匹配点和步骤S1.2所得摄像机参数，使用增量式运动推断结构方法计算区域场景的稀疏点云模型。
3.根据权利要求1所述的面向大规模三维重建的分布式集束调整方法，其特征在于，所述步骤S4的求解公式如下：
（5）
表示函数/>的近似分割。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311240044.7A CN116993925B (zh) | 2023-09-25 | 2023-09-25 | 面向大规模三维重建的分布式集束调整方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311240044.7A CN116993925B (zh) | 2023-09-25 | 2023-09-25 | 面向大规模三维重建的分布式集束调整方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116993925A true CN116993925A (zh) | 2023-11-03 |
| CN116993925B CN116993925B (zh) | 2023-12-01 |
Family
ID=88528683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311240044.7A Active CN116993925B (zh) | 2023-09-25 | 2023-09-25 | 面向大规模三维重建的分布式集束调整方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116993925B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408653A (zh) * | 2016-09-06 | 2017-02-15 | 合肥工业大学 | 一种面向大规模三维重建的实时鲁棒的集束调整方法 |
| CN106485783A (zh) * | 2016-10-18 | 2017-03-08 | 合肥阿巴赛信息科技有限公司 | 一种基于稀疏表示和参数化的曲面拟合方法 |
| CN113284227A (zh) * | 2021-05-14 | 2021-08-20 | 安徽大学 | 一种面向大规模航拍图像的分布式运动推断结构方法 |
| CN115719407A (zh) * | 2023-01-05 | 2023-02-28 | 安徽大学 | 一种面向大规模航拍图像的分布式多视图立体重建方法 |
| CN116229019A (zh) * | 2023-02-28 | 2023-06-06 | 山东浪潮科学研究院有限公司 | 面向数字孪生的大场景融合三维重建方法及系统 |
-
2023
- 2023-09-25 CN CN202311240044.7A patent/CN116993925B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106408653A (zh) * | 2016-09-06 | 2017-02-15 | 合肥工业大学 | 一种面向大规模三维重建的实时鲁棒的集束调整方法 |
| CN106485783A (zh) * | 2016-10-18 | 2017-03-08 | 合肥阿巴赛信息科技有限公司 | 一种基于稀疏表示和参数化的曲面拟合方法 |
| CN113284227A (zh) * | 2021-05-14 | 2021-08-20 | 安徽大学 | 一种面向大规模航拍图像的分布式运动推断结构方法 |
| CN115719407A (zh) * | 2023-01-05 | 2023-02-28 | 安徽大学 | 一种面向大规模航拍图像的分布式多视图立体重建方法 |
| CN116229019A (zh) * | 2023-02-28 | 2023-06-06 | 山东浪潮科学研究院有限公司 | 面向数字孪生的大场景融合三维重建方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116993925B (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110363858B (zh) | 一种三维人脸重建方法及系统 | |
| WO2018127007A1 (zh) | 深度图获取方法及系统 | |
| CN115719407B (zh) | 一种面向大规模航拍图像的分布式多视图立体重建方法 | |
| CN109165680B (zh) | 基于视觉slam的室内场景下单一目标物体字典模型改进方法 | |
| CN112001926B (zh) | 基于多维语义映射rgbd多相机标定方法、系统及应用 | |
| CN114399554A (zh) | 一种多相机系统的标定方法及系统 | |
| CN109215118B (zh) | 一种基于图像序列的增量式运动结构恢复优化方法 | |
| CN115880344B (zh) | 一种双目立体匹配数据集视差真值获取方法 | |
| CN113160335A (zh) | 一种基于双目视觉的模型点云及三维表面重建方法 | |
| CN112907573B (zh) | 一种基于3d卷积的深度补全方法 | |
| CN116402978A (zh) | 一种基于双目视觉结构特性的稠密三维重建方法 | |
| CN112150518B (zh) | 一种基于注意力机制的图像立体匹配方法及双目设备 | |
| CN113496503B (zh) | 点云数据的生成及实时显示方法、装置、设备及介质 | |
| CN111612731A (zh) | 基于双目显微视觉的测量方法、装置、系统及介质 | |
| CN117437363B (zh) | 基于深度感知迭代器的大规模多视图立体方法 | |
| Wang et al. | A novel binocular vision system for accurate 3-D reconstruction in large-scale scene based on improved calibration and stereo matching methods | |
| CN110706332A (zh) | 一种基于噪声点云的场景重建方法 | |
| CN116993925B (zh) | 面向大规模三维重建的分布式集束调整方法 | |
| Chen et al. | Densefusion: Large-scale online dense pointcloud and dsm mapping for uavs | |
| CN115063485B (zh) | 三维重建方法、装置及计算机可读存储介质 | |
| CN116612235A (zh) | 一种多视图几何无人机图像三维重建方法及存储介质 | |
| CN115423854A (zh) | 一种基于多尺度特征提取的多视角点云配准及点云融合方法 | |
| CN114608558A (zh) | 基于特征匹配网络的slam方法、系统、设备及存储介质 | |
| Wang et al. | The real-time depth map obtainment based on stereo matching | |
| CN109089100B (zh) | 一种双目立体视频的合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |