CN117315138A - 基于多目视觉的三维重建方法及系统 - Google Patents
基于多目视觉的三维重建方法及系统 Download PDFInfo
- Publication number
- CN117315138A CN117315138A CN202311148909.7A CN202311148909A CN117315138A CN 117315138 A CN117315138 A CN 117315138A CN 202311148909 A CN202311148909 A CN 202311148909A CN 117315138 A CN117315138 A CN 117315138A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- camera
- reconstruction
- point cloud
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000005457 optimization Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 6
- 238000011118 depth filtration Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000013461 design Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于多目视觉的三维重建方法及系统，属于计算机视觉技术领域，要解决的技术问题为如何在较短时间内实现目标物体的三维重建。包括如下步骤：二维图像采集：对于待重建三维目标，通过相机拍摄三维目标在不同视角下的多张二维图像；特征提取与匹配：对于多张二维图像，通过SIFT算法提取图像特征点并进行特征点匹配，得到二维图像之间的对应关系；相机重定位：求解相机运动情况并对相机重定位；稀疏点云重建：通过BA算法进行稀疏点云重建，得到稀疏点云；三维稠密点云重建：基于稀疏点云、通过深度图融合算法进行三维稠密点云重建，得到三维目标的三维模型。
Description
技术领域
本发明涉及计算机视觉技术领域，具体地说是基于多目视觉的三维重建方法及系统。
背景技术
在计算机视觉中，三维重建是指根据单视图或者多视图图像重建三维信息的过程.由于单视图的信息不完全,因此三维重建需要利用经验知识。而多视图的三维重建(类似人的双目定位)相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图象坐标系与世界坐标系的关系。然后利用多个二维图象中的信息重建出三维信息。因三维重建对图像、光学、成像理论以及一些重要数学公式的推导要求较高，三维重建也存如成本预算大、物体运动影响、纹理缺失、曝光、暗环境等痛点难点。
近年来，三维重建技术的运用越发广泛，其在物体建模、自动驾驶、运动目标检测、机器人导航、目标识别等科学领域和工程领域中有着广泛的应用需求。三维重建在现代化发展的高效率需求下有减少设计费用，缩短设计周期的优势。
在重建背景复杂、重建目标结构复杂、目标受遮挡的目标时，如何在较短时间内实现目标物体的三维重建，是需要解决的技术问题。
发明内容
本发明的技术任务是针对以上不足，提供基于多目视觉的三维重建方法，来解决如何在较短时间内实现目标物体的三维重建的技术问题。
第一方面，本发明一种基于多目视觉的三维重建方法，包括如下步骤：
二维图像采集：对于待重建三维目标，通过相机拍摄三维目标在不同视角下的多张二维图像；
特征提取与匹配：对于多张二维图像，通过SIFT算法提取图像特征点并进行特征点匹配，得到二维图像之间的对应关系；
相机重定位：求解相机运动情况并对相机重定位；
稀疏点云重建：通过BA算法进行稀疏点云重建，得到稀疏点云；
三维稠密点云重建：基于稀疏点云、通过深度图融合算法进行三维稠密点云重建，得到三维目标的三维模型。
作为优选，通过SIFT算法提取图像特征点并进行特征点匹配时，计算关键点描述子，基于关键点描述子进行特征点匹配；
基于关键点描述子进行特征匹配时，执行如下：
对于特征点基于关键点描述子计算特征点/>与其它特征点/>的距离，并对所有距离排序，两个特征点之间的距离越近时特征相似度越大，将与/>距离最近的/>作为与/>相匹配的特征点，得到与特征点/>匹配的特征点；
其中，m＝1,2,…,M，n＝1,2,…,N。
作为优选，当相机为双目相机时，通过ICP算法或PnP算法求解相机的运动情况；
当相机为单目相机时，通过对极几何原理求解相机运动情况。
作为优选，基于稀疏点云，通过深度图融合算法进行三维稠密点云重建，包括如下步骤：
以一张参考图像和多张原始图像为输入；
对于参考图像，筛选用于与参考图像进行匹配的原始影像，使用极线搜索和块匹配技术确定参考图像中的某个像素出现在其他图中的位置；
根据获得的某像素点在每幅图中的位置信息，利用三角化，确定其深度信息，将满足NCC的两个像素点作为种子点进行排序，建立优先队列等级；
从初始的稀疏特征点开始进行深度估计，对每个种子点进行非线性深度优化，将满足条件的邻域像素添加至队列之中当作种子点，并将当前的像素块的信息作为邻域像素的初始值；
计算参考图像中的匹配代价，再通过聚合代价计算深度值，进行深度过滤，初始化深度图；
优化深度图和非线性深度，恢复像素点的深度信息，实现三维稠密点云的重建，获得三维重建完成的三维模型。
作为优选，进行三维稠密点云重建过程中，根据像素块间颜色的相近度建立优先队列；
根据优先队列深度估计图像的稀疏特征点，对各种子点进行非线性深度优化。
第二方面，本发明一种基于多目视觉的三维重建系统，用于通过如第一方面任一项所述的基于多目视觉的三维重建方法实现目标物的三维重建，所述方法包括如下步骤：
二维图像采集模块，对于待重建三维目标，所述二维图像采集模块用于通过相机拍摄三维目标在不同视角下的多张二维图像；
特征提取与匹配模块，对于多张二维图像，所述特征提取与匹配模块用于通过SIFT算法提取图像特征点并进行特征点匹配，得到二维图像之间的对应关系；
相机重定位模块，所述相机重定位模块用于求解相机运动情况并对相机重定位；
稀疏点云重建模块，所述稀疏点云重建模块用于通过BA算法进行稀疏点云重建，得到稀疏点云；
三维稠密点云重建模块，所述三维稠密点云重建模块用于基于稀疏点云、通过深度图融合算法进行三维稠密点云重建，得到三维目标的三维模型。
作为优选，所述特征提取与匹配模块用于通过SIFT算法提取图像特征点并进行特征点匹配时，计算关键点描述子，基于关键点描述子进行特征点匹配；
基于关键点描述子进行特征匹配时，所述特征提取与匹配模块用于执行如下：
对于特征点基于关键点描述子计算特征点/>与其它特征点/>的距离，并对所有距离排序，两个特征点之间的距离越近时特征相似度越大，将与/>距离最近的/>作为与/>相匹配的特征点，得到与特征点/>匹配的特征点；
其中，m＝1,2,…,M，n＝1,2,…,N。
作为优选，当相机为双目相机时，所述相机重定位模块用于通过ICP算法或PnP算法求解相机的运动情况；
当相机为单目相机时，所述相机重定位模块用于通过对极几何原理求解相机运动情况。
作为优选，所述三维稠密点云重建模块用于执行如下以实现基于稀疏点云、通过深度图融合算法进行三维稠密点云重建：
以一张参考图像和多张原始图像为输入；
对于参考图像，筛选用于与参考图像进行匹配的原始影像，使用极线搜索和块匹配技术确定参考图像中的某个像素出现在其他图中的位置；
根据获得的某像素点在每幅图中的位置信息，利用三角化，确定其深度信息，将满足NCC的两个像素点作为种子点进行排序，建立优先队列等级；
从初始的稀疏特征点开始进行深度估计，对每个种子点进行非线性深度优化，将满足条件的邻域像素添加至队列之中当作种子点，并将当前的像素块的信息作为邻域像素的初始值；
计算参考图像中的匹配代价，再通过聚合代价计算深度值，进行深度过滤，初始化深度图；
优化深度图和非线性深度，恢复像素点的深度信息，实现三维稠密点云的重建，获得三维重建完成的三维模型。
作为优选，进行三维稠密点云重建过程中，所述三维稠密点云重建模块用于根据像素块间颜色的相近度建立优先队列；
所述三维稠密点云重建模块用于根据优先队列深度估计图像的稀疏特征点，对各种子点进行非线性深度优化。
本发明的基于多目视觉的三维重建方法及系统具有以下优点：获取二维图像、通过SIFT算法进行图像特征提取与匹配、相机重定位、基于BA算法进行稀疏点云重建、基于深度图融合算法进行三维稠密点云重建，实现了三维重建，在背景复杂、重建目标结构复杂、目标受遮挡的情况下，该方法拥有更高的稳定性，可在较短时间内实现目标物体的理想三维重建，提高三维重建效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图对本发明进一步说明。
图1为实施例1一种基于多目视觉的三维重建方法的流程框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
本发明实施例提供基于多目视觉的三维重建方法及系统，用于解决如何在较短时间内实现目标物体的三维重建的技术问题。
实施例1：
本发明一种基于多目视觉的三维重建方法，包括三维图像采集、特征提取与匹配、相机重定位、稀疏点云重建以及三维稠密点云重建五个步骤。
步骤S100二维图像采集，对于待重建三维目标，通过相机拍摄三维目标在不同视角下的多张二维图像。
本实施例的二维图像为在拍摄的同一目标的不同视角图像，拍摄时目标所处环境的背景复杂度及光照条件的差异不宜过大，图像数量以20至25张为宜。提取的图像的关键点描述子将用于图像特征提取与匹配。
步骤S200特征提取与匹配，对于多张二维图像，通过SIFT算法提取图像特征点并进行特征点匹配，得到二维图像之间的对应关系。
本实施例步骤S200通过SIFT算法提取图像特征点并进行特征点匹配时，计算关键点描述子，基于关键点描述子进行特征点匹配，关键点描述子包含位置、尺度、方向信息。
作为具体实施，使用SIFT(尺度不变特征变换)算法提取并匹配图像特征点，设图像It和图像It+1分别为时刻t和t+1时图像，分别从图像中提取特征点，得到其中m＝1,2,…,M和/>其中n＝1,2,…,N，使用特征匹配求得其对应关系。基于关键点描述子进行特征匹配时，执行如下：对于特征点/>基于关键点描述子计算特征点/>与其它特征点的距离，并对所有距离排序，两个特征点之间的距离越近时特征相似度越大，将与/>距离最近的/>作为与/>相匹配的特征点，得到与特征点/>匹配的特征点。得到的匹配的图像特征点对用于估计相机的运动情况。
步骤S300相机重定位，求解相机运动情况并对相机重定位。
本实施例步骤S300根据所用相机求解相机运动情况，根据一对图像特征点的二维像素坐标，运用对极几何原理求解，进行相机重定位。其中，当相机为双目相机时，通过ICP(迭代最近点)算法或PnP(多点透视)算法求解相机的运动情况，当相机为单目相机时，通过对极几何原理求解相机运动情况。
步骤S400稀疏点云重建：通过BA(光束法平差))算法进行稀疏点云重建，得到稀疏点云。
步骤S500三维稠密点云重建：基于稀疏点云、通过深度图融合算法进行三维稠密点云重建，得到三维目标的三维模型。
作为具体实施，通过如下步骤重建三维稠密点云：以一张参考图像和多张原始图像为输入；对于参考图像，筛选用于与参考图像进行匹配的原始影像，使用极线搜索和块匹配技术确定参考图像中的某个像素出现在其他图中的位置；根据获得的某像素点在每幅图中的位置信息，利用三角化，确定其深度信息，将满足NCC的两个像素点作为种子点进行排序，建立优先队列等级；从初始的稀疏特征点开始进行深度估计，对每个种子点进行非线性深度优化，将满足条件的邻域像素添加至队列之中当作种子点，并将当前的像素块的信息作为邻域像素的初始值；计算参考图像中的匹配代价，再通过聚合代价计算深度值，进行深度过滤，初始化深度图；优化深度图和非线性深度，恢复像素点的深度信息，实现三维稠密点云的重建，获得三维重建完成的三维模型。
在进行三维稠密点云重建过程中，根据像素块间颜色的相近度建立优先队列，根据优先队列深度估计图像的稀疏特征点，对各种子点进行非线性深度优化。
本实施例的方法获取二维图像，对图像进行图像特征提取与匹配，根据已匹配的特征点进行相机重定位，稀疏点云重建，三维稠密点云重建，以实现目标的三维重建，该方法减弱环境复杂度、遮挡、噪声影响，提高三维重建效果的精度与效率，可理想重建复杂结构体。
实施例2：
本发明一种基于多目视觉的三维重建系统，包括二维图像采集模块、特征提取与匹配模块、相机重定位模块、稀疏点云重建模块以及三维稠密点云重建模块，该系统可执行实施例1公开的方法对目标物进行三维重建。
对于待重建三维目标，二维图像采集模块用于通过相机拍摄三维目标在不同视角下的多张二维图像。
本实施例的二维图像为在拍摄的同一目标的不同视角图像，拍摄时目标所处环境的背景复杂度及光照条件的差异不宜过大，图像数量以20至25张为宜。提取的图像的关键点描述子将用于图像特征提取与匹配。
对于多张二维图像，特征提取与匹配模块用于通过SIFT算法提取图像特征点并进行特征点匹配，得到二维图像之间的对应关系。
本实施例特征提取与匹配模块用于通过SIFT算法提取图像特征点并进行特征点匹配时，计算关键点描述子，基于关键点描述子进行特征点匹配，关键点描述子包含位置、尺度、方向信息。
作为具体实施，使用SIFT(尺度不变特征变换)算法提取并匹配图像特征点，设图像It和图像It+1分别为时刻t和t+1时图像，分别从图像中提取特征点，得到其中m＝1,2,…,M和/>其中n＝1,2,…,N，使用特征匹配求得其对应关系。基于关键点描述子进行特征匹配时，执行如下：对于特征点/>基于关键点描述子计算特征点/>与其它特征点的距离，并对所有距离排序，两个特征点之间的距离越近时特征相似度越大，将与/>距离最近的/>作为与/>相匹配的特征点，得到与特征点/>匹配的特征点。得到的匹配的图像特征点对用于估计相机的运动情况。
相机重定位模块用于求解相机运动情况并对相机重定位。
本实施例相机重定位模块用于根据所用相机求解相机运动情况，根据一对图像特征点的二维像素坐标，运用对极几何原理求解，进行相机重定位。其中，当相机为双目相机时，通过ICP(迭代最近点)算法或PnP(多点透视)算法求解相机的运动情况，当相机为单目相机时，通过对极几何原理求解相机运动情况。
稀疏点云重建模块用于通过BA(光束法平差))算法进行稀疏点云重建，得到稀疏点云。
三维稠密点云重建模块用于基于稀疏点云、通过深度图融合算法进行三维稠密点云重建，得到三维目标的三维模型。
作为具体实施，通过如下步骤重建三维稠密点云：以一张参考图像和多张原始图像为输入；对于参考图像，筛选用于与参考图像进行匹配的原始影像，使用极线搜索和块匹配技术确定参考图像中的某个像素出现在其他图中的位置；根据获得的某像素点在每幅图中的位置信息，利用三角化，确定其深度信息，将满足NCC的两个像素点作为种子点进行排序，建立优先队列等级；从初始的稀疏特征点开始进行深度估计，对每个种子点进行非线性深度优化，将满足条件的邻域像素添加至队列之中当作种子点，并将当前的像素块的信息作为邻域像素的初始值；计算参考图像中的匹配代价，再通过聚合代价计算深度值，进行深度过滤，初始化深度图；优化深度图和非线性深度，恢复像素点的深度信息，实现三维稠密点云的重建，获得三维重建完成的三维模型。
在进行三维稠密点云重建过程中，根据像素块间颜色的相近度建立优先队列，根据优先队列深度估计图像的稀疏特征点，对各种子点进行非线性深度优化。
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。
Claims (10)
1.一种基于多目视觉的三维重建方法，其特征在于，包括如下步骤：
二维图像采集：对于待重建三维目标，通过相机拍摄三维目标在不同视角下的多张二维图像；
特征提取与匹配：对于多张二维图像，通过SIFT算法提取图像特征点并进行特征点匹配，得到二维图像之间的对应关系；
相机重定位：求解相机运动情况并对相机重定位；
稀疏点云重建：通过BA算法进行稀疏点云重建，得到稀疏点云；
三维稠密点云重建：基于稀疏点云、通过深度图融合算法进行三维稠密点云重建，得到三维目标的三维模型。
2.根据权利要求1所述的基于多目视觉的三维重建方法，其特征在于，通过SIFT算法提取图像特征点并进行特征点匹配时，计算关键点描述子，基于关键点描述子进行特征点匹配；
基于关键点描述子进行特征匹配时，执行如下：
对于特征点基于关键点描述子计算特征点/>与其它特征点/>的距离，并对所有距离排序，两个特征点之间的距离越近时特征相似度越大，将与/>距离最近的/>作为与/>相匹配的特征点，得到与特征点/>匹配的特征点；
其中，m＝1,2,…,M，n＝1,2,…,N。
3.根据权利要求1所述的基于多目视觉的三维重建方法，其特征在于，当相机为双目相机时，通过ICP算法或PnP算法求解相机的运动情况；
当相机为单目相机时，通过对极几何原理求解相机运动情况。
4.根据权利要求1所述的基于多目视觉的三维重建方法，其特征在于，基于稀疏点云，通过深度图融合算法进行三维稠密点云重建，包括如下步骤：
以一张参考图像和多张原始图像为输入；
对于参考图像，筛选用于与参考图像进行匹配的原始影像，使用极线搜索和块匹配技术确定参考图像中的某个像素出现在其他图中的位置；
根据获得的某像素点在每幅图中的位置信息，利用三角化，确定其深度信息，将满足NCC的两个像素点作为种子点进行排序，建立优先队列等级；
从初始的稀疏特征点开始进行深度估计，对每个种子点进行非线性深度优化，将满足条件的邻域像素添加至队列之中当作种子点，并将当前的像素块的信息作为邻域像素的初始值；
计算参考图像中的匹配代价，再通过聚合代价计算深度值，进行深度过滤，初始化深度图；
优化深度图和非线性深度，恢复像素点的深度信息，实现三维稠密点云的重建，获得三维重建完成的三维模型。
5.根据权利要求4所述的基于多目视觉的三维重建方法，其特征在于，进行三维稠密点云重建过程中，根据像素块间颜色的相近度建立优先队列；
根据优先队列深度估计图像的稀疏特征点，对各种子点进行非线性深度优化。
6.一种基于多目视觉的三维重建系统，其特征在于，用于通过如权利要求1-5任一项所述的基于多目视觉的三维重建方法实现目标物的三维重建，所述方法包括如下步骤：
二维图像采集模块，对于待重建三维目标，所述二维图像采集模块用于通过相机拍摄三维目标在不同视角下的多张二维图像；
特征提取与匹配模块，对于多张二维图像，所述特征提取与匹配模块用于通过SIFT算法提取图像特征点并进行特征点匹配，得到二维图像之间的对应关系；
相机重定位模块，所述相机重定位模块用于求解相机运动情况并对相机重定位；
稀疏点云重建模块，所述稀疏点云重建模块用于通过BA算法进行稀疏点云重建，得到稀疏点云；
三维稠密点云重建模块，所述三维稠密点云重建模块用于基于稀疏点云、通过深度图融合算法进行三维稠密点云重建，得到三维目标的三维模型。
7.根据权利要求6所述的基于多目视觉的三维重建系统，其特征在于，所述特征提取与匹配模块用于通过SIFT算法提取图像特征点并进行特征点匹配时，计算关键点描述子，基于关键点描述子进行特征点匹配；
基于关键点描述子进行特征匹配时，所述特征提取与匹配模块用于执行如下：
对于特征点基于关键点描述子计算特征点/>与其它特征点/>的距离，并对所有距离排序，两个特征点之间的距离越近时特征相似度越大，将与/>距离最近的/>作为与/>相匹配的特征点，得到与特征点/>匹配的特征点；
其中，m＝1,2,…,M，n＝1,2,…,N。
8.根据权利要求6所述的基于多目视觉的三维重建系统，其特征在于，当相机为双目相机时，所述相机重定位模块用于通过ICP算法或PnP算法求解相机的运动情况；
当相机为单目相机时，所述相机重定位模块用于通过对极几何原理求解相机运动情况。
9.根据权利要求6所述的基于多目视觉的三维重建系统，其特征在于，所述三维稠密点云重建模块用于执行如下以实现基于稀疏点云、通过深度图融合算法进行三维稠密点云重建：
以一张参考图像和多张原始图像为输入；
对于参考图像，筛选用于与参考图像进行匹配的原始影像，使用极线搜索和块匹配技术确定参考图像中的某个像素出现在其他图中的位置；
根据获得的某像素点在每幅图中的位置信息，利用三角化，确定其深度信息，将满足NCC的两个像素点作为种子点进行排序，建立优先队列等级；
从初始的稀疏特征点开始进行深度估计，对每个种子点进行非线性深度优化，将满足条件的邻域像素添加至队列之中当作种子点，并将当前的像素块的信息作为邻域像素的初始值；
计算参考图像中的匹配代价，再通过聚合代价计算深度值，进行深度过滤，初始化深度图；
优化深度图和非线性深度，恢复像素点的深度信息，实现三维稠密点云的重建，获得三维重建完成的三维模型。
10.根据权利要求9所述的基于多目视觉的三维重建系统，其特征在于，
进行三维稠密点云重建过程中，所述三维稠密点云重建模块用于根据像素块间颜色的相近度建立优先队列；
所述三维稠密点云重建模块用于根据优先队列深度估计图像的稀疏特征点，对各种子点进行非线性深度优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311148909.7A CN117315138A (zh) | 2023-09-07 | 2023-09-07 | 基于多目视觉的三维重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311148909.7A CN117315138A (zh) | 2023-09-07 | 2023-09-07 | 基于多目视觉的三维重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117315138A true CN117315138A (zh) | 2023-12-29 |
Family
ID=89283949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311148909.7A Pending CN117315138A (zh) | 2023-09-07 | 2023-09-07 | 基于多目视觉的三维重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117315138A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118212366A (zh) * | 2024-05-21 | 2024-06-18 | 中国科学院空天信息创新研究院 | 基于多重遥感影像的运动目标三维重建方法及其装置 |
-
2023
- 2023-09-07 CN CN202311148909.7A patent/CN117315138A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118212366A (zh) * | 2024-05-21 | 2024-06-18 | 中国科学院空天信息创新研究院 | 基于多重遥感影像的运动目标三维重建方法及其装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109461180B (zh) | 一种基于深度学习的三维场景重建方法 | |
| CN110163953B (zh) | 三维人脸重建方法、装置、存储介质和电子装置 | |
| CN110176032B (zh) | 一种三维重建方法及装置 | |
| US20170330375A1 (en) | Data Processing Method and Apparatus | |
| CN108010123B (zh) | 一种保留拓扑信息的三维点云获取方法 | |
| CN107507277B (zh) | 三维点云重构方法和装置、服务器及可读存储介质 | |
| CN108776989B (zh) | 基于稀疏slam框架的低纹理平面场景重建方法 | |
| CN110853151A (zh) | 一种基于视频的三维立体点集恢复方法 | |
| CN111524233B (zh) | 一种静态场景动态目标的三维重建方法 | |
| CN107767339B (zh) | 一种双目立体图像拼接方法 | |
| US20220148297A1 (en) | Image fusion method based on fourier spectrum extraction | |
| CN109215118B (zh) | 一种基于图像序列的增量式运动结构恢复优化方法 | |
| Abrams et al. | The episolar constraint: Monocular shape from shadow correspondence | |
| EP3216006B1 (en) | An image processing apparatus and method | |
| CN105809664B (zh) | 生成三维图像的方法和装置 | |
| CN117315138A (zh) | 基于多目视觉的三维重建方法及系统 | |
| CN111429571B (zh) | 一种基于时空图像信息联合相关的快速立体匹配方法 | |
| CN111105451B (zh) | 一种克服遮挡效应的驾驶场景双目深度估计方法 | |
| CN116977596A (zh) | 一种基于多视角图像的三维建模系统及方法 | |
| CN117456114B (zh) | 基于多视图的三维图像重建方法及系统 | |
| CN114935316B (zh) | 基于光学跟踪与单目视觉的标准深度图像生成方法 | |
| Mahmoud et al. | Fast 3d structure from motion with missing points from registration of partial reconstructions | |
| CN112116653B (zh) | 一种多张rgb图片的物体姿态估计方法 | |
| CN112200850B (zh) | 一种基于成熟特征点的orb提取方法 | |
| CN114119891A (zh) | 一种机器人单目半稠密地图三维重建方法和重建系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |