CN111882668B - 一种多视角立体对象重建方法与系统 - Google Patents
一种多视角立体对象重建方法与系统 Download PDFInfo
- Publication number
- CN111882668B CN111882668B CN202010754650.0A CN202010754650A CN111882668B CN 111882668 B CN111882668 B CN 111882668B CN 202010754650 A CN202010754650 A CN 202010754650A CN 111882668 B CN111882668 B CN 111882668B
- Authority
- CN
- China
- Prior art keywords
- reconstruction
- sparse
- points
- dimensional
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000004140 cleaning Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 7
- 238000011084 recovery Methods 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000010485 coping Effects 0.000 claims description 2
- 238000009826 distribution Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 239000002689 soil Substances 0.000 claims 1
- 239000000428 dust Substances 0.000 description 3
- 239000004576 sand Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种利用多视角图像对三维物体进行重建的方法，包括：步骤1、特征点检测与匹配，步骤2、稀疏点云重建，步骤3、稠密点云重建，步骤4、表面重建，步骤5、表面清理，步骤6、纹理贴图。该发明还公开了一种利用多视角图像对三维物体进行重建的系统。该方法和系统可以利用物体的多视角图像，对该物体的立体对象进行重建，使得最终得到的带有纹理信息的三维模型可以用于零件定位和异常检测要求的复杂应用场景。
Description
技术领域
本发明涉及计算摄像学及三维重建领域，尤其涉及一种利用多视角图像进行立体对象重建的方法及系统。
背景技术
多视角三维重建是借用一系列由已知参数的摄像机拍摄的图像来从中恢复物体三维信息的过程。其关键步骤有图像特征的提取与匹配，运动恢复结构，稠密匹配与多视角立体视觉，表面计算与重建，纹理贴图。
立体对象重建是一种恢复被观测对象三维模型的过程，与工程实践结合十分紧密，目前在处理医学影像来辅助诊断，智能化工业检测，古建筑信息保存等领域已经有较多成果得到了应用。但实际上现有的许多基于多目视觉的三维重建方法面对大规模复杂场景的三维信息恢复仍然存在诸多问题，例如在存在视觉干扰的情况下，无法精确重建出可用于零部件定位和异常检测的高精度立体对象，其效率也得不到保证。
目前已有的方法各有优劣，在其适用的特定的应用场景中在精度和效率上表现较好，有些适用于大规模场景，有些则适用于高精度的小规模场景，但多数需要依靠规整的数据才能够保证立体对象重建的效率和精度。然而面对场景特点复杂，视觉数据存在大量的环境噪音的大规模工业场景，在没有经过任何预处理的非规整数据和应用场景的复杂环境带来的各种约束下，现有的理论上较优的算法应用起来也非常困难。比如说，面对由于部分遮挡导致的几何结构丢失，半透明或反射物体重建困难，原生数据质量较低等问题，重建过程产生的误差和效率往往不可控。
优秀的多视角立体对象重建方法与系统应该分析场景以及数据的特点，并据此选用适合场景的规模及精度要求的各关键阶段的算法，在此基础上做一定的数据结构等的调整，使得各过程能够相互衔接相互配合最终得到正确的满足场景需求的完整三维模型。不仅如此，对于某些由于环境或者被观测物体本身引入的视觉噪声，需要进行特定的处理以在最大程度上排除这些干扰因素的影响，提高最终得到的三维模型的质量。
发明内容
为解决现有方法在复杂的大规模工业场景下效率和误差受到极大影响的问题，本发明提供了一种多视角立体对象重建方法与系统，针对复杂工业场景，合理选择各个阶段的关键算法，并针对非朗伯面和小面积遮挡两类视觉干扰因素进行针对性的处理，使得本发明适配于零部件定位和异常检测的复杂工业场景，面对视觉干扰信息依然能够保证最终重建的结果的质量。
本发明的有益效果是：本多视角立体对象重建方法可以从一组多视角图像中，重建得到带有纹理信息的高精度多视角立体对象，其精度足以应对零部件定位以及异常检测要求的复杂工业场景。本发明中所述的表面清理步骤，去除了由于非朗伯面或小面积遮挡产生的错误的三维点以及与主体不相交的孤立网格，可以解决现有方法面对工业场景下的非规整数据以及复杂场景导致的几何结构丢失，半透明或反射物体重建困难，重建误差和效率不可控的问题。同时，本发明在纹理贴图阶段，使用了全局的颜色调整和局部的泊松图像编辑，去除了由于不同纹理图像光照差异导致的缝隙。
附图说明
图1是以轨旁检测为例的复杂工业环境所面对的视觉干扰因素示意图。
图2是本发明中所述表面清理步骤处理前后效果示意图。
图3是本发明一种实施实例的多视角立体对象重建方法的流程示意图。
具体实施方式
以下结合图1-3对发明的技术方案作进一步详细说明。
如图3所示，该实施例提供了一种多视角立体对象重建方法，具体包括：
步骤1、特征点检测与匹配，获取被观测物体的多视角图片数据，进行特征点的检测与匹配，得到多视角图片中的特征点和图像间被匹配的特征点对。
该步骤1中，具体包括一下步骤：
步骤1.1、以无序图像为输入，构建尺度空间，即将原始图像与一个可变尺度的2维高斯函数进行卷积；
步骤1.2、将图像金字塔化，并结合金字塔化的图像和尺度空间，得到高斯拉普拉斯变换图像；
步骤1.3、将相邻的图像做差，得到高斯差；
步骤1.4、接着在像素点的26个邻域中搜索寻找极值点，得到离散空间上的极值点运用二阶泰勒展开式进行特征点的亚像素定位；
步骤1.4、去除边缘的点后，生成特征描述子和特征匹配点；
步骤1.5、根据最近邻搜索的结果匹配特征点对，设置筛选条件排除错误匹配，至此完成图像特征点的检测与匹配。
步骤2、稀疏点云重建，利用特征点对的匹配结果，估计摄像机的姿态，同时计算稀疏三维点的位置信息，据此完成被观测物体稀疏点云的重建，该阶段获得的稀疏三维点能够辨别出被观测物体的轮廓；
该步骤2中，通过运动恢复结构，获取包含被观测物体三维信息的稀疏点云。
给定一组匹配特征点，匹配特征点对应的三维齐次坐标为X＝[x，y，z，1]T，现已知第i个相机的投影矩阵公式为
Pi＝Ki[Ri，ti]＝[Pi1，Pi2，Pi3]T
其中，Ki是第i个相机的内参矩阵，Ri是第i个相机的旋转矩阵，ti是第i个相机的平移向量，Pi1，Pi2，Pi3分别是投影矩阵Pi的第一列，第二列和第三列。
该稀疏三维点投影到第i个视角的像平面上的齐次坐标为Xi＝[xi，yi，1]T，故通过投影方程xi＝PiX，在等式的两侧同时叉乘xi可得公式：
xi×(PiX)＝0
通过变换可得约束如下，每个稀疏三维点X在空间中的三维齐次坐标需要两对匹配点来获得：
[xiPi3-Pi1，yiPi3-Pi2]TX＝0
步骤3、稠密点云重建，以被观测对象的稀疏三维点作为输入，通过估计深度图，对稀疏点云重建时获得的稀疏特征进行逐个视角的单独重建，最终完成稠密点云的重建，得到稠密三维点；
该步骤3中，基于物体的稀疏三维点获取点数更多，点更加密集的稠密三维点。该步骤具体包括：
步骤3.1、给定一组稀疏三维点f，对稀疏特征进行逐视角的单独重建。接着根据一定的规则进行全局视角V的选择：
其中，f表示在运动恢复结构过程中得到的稀疏点，FR表示视角，FV表示候选的领域视角。ωN与ωS分别为衡量三角量测夹角和图像尺度相似程度的度量函数；
步骤3.2、进行特征的处理并获得当前稀疏三维点fi投影到参考图像上的距离D，并对其进行优化此时将当前重建的稀疏三维点fi加入到队列Q中，作为种子点。
步骤3.3、进行区域生长的过程，从邻域像素Ni中选出点fj(fj∈Ni)加入队列Q，直至优先权队列Q中的所有点完成重建。
步骤4、表面重建，对空间进行划分并构建符号距离场，最后通过面绘制算法生成物体的表面，得到被观测物体的网格模型；
该步骤4中，给定一组稠密点X，表面重建首先进行基于八叉树的空间划分，并根据点的深度Si确定在八叉树中的深度l，接着为每一个三维点Xi，以法向量为X轴，任意取Y轴，构建以样本点为中心的局部坐标系，在此局部坐标系中X轴上的坐标值Fx(x)即为Xi的符号距离。最后，运用Marching Cube算法生成表面获得代表物体表面的三角面片集合F。
步骤5、表面清理，去除表面重建中由于小面积遮挡引起的对遮挡物体的误重建结果，得到清理后的被观测物体的网格模型；
如图1所示，列车在寒冷天气时，车身上存在挂冰，这是一种典型的非朗伯面，对立体对象的重建有干扰，非朗伯面及小面积遮挡常存在于复杂工业环境中。
如图2所示，其中，图2(a)是步骤4中得到的表面清理之前的网格模型。受到挂冰以及扬沙尘土等小面积遮挡物的影响，该网格模型表面存在错误的三维点以及与主体不相交的误重建结果。图2(b)是经过表面清理后的网格模型，被观测物体表面的误重建结果被清除，提升了立体对象重建的精度。
该步骤5中，通过表面清理，去除环境噪声导致的退化的三角网格及与主体不相交的孤立网格，这两种网格是扬沙尘土等小面积遮挡导致的错误重建结果。表面清理操作首先对目前得到的三角网格模型F进行遍历，删除一些退化的三角形Ft∈F，记三角形Ft的三边为a、b、c，则该三角形的特点为存在两条边特别长，一条边特别短的情况，即a，b＞＞c。此外，表面清理操作还将遍历三角网格模型F中每个独立的部分P，统计每个部分Pi的顶点个数Ni，并将预先设置的阈值T比较，若Ni＜T，则删除该部分，以这种方式去除扬沙，粉尘，小面积遮挡等因素导致的重建结果中的多余网格。
步骤6、纹理贴图，以表面清理后的网格模型为输入，结合2D图像完成纹理的重建，在平滑网格模型的基础上增加纹理的信息，得到带有纹理信息的立体对象，能够应对零件定位和异常检测要求的应用场景。
该步骤6中，包括以下步骤：
步骤6.1、给定一组稠密三维点X以及清理后的三角网格模型，其中三角网格模型由三角面片集合Faces构成，纹理贴图首先进行可视信息的计算。
步骤6.2、根据三角面片集合Faces建立马尔科夫随机场并寻找一个配置l＝[l0，l1…]，使得能量函数E(l)取得最小值：
其中，Fi表示第i个面片，li表示第i个面片的标签，即所对应的视角，Edata表示数据项的能量，Esmooth表示平滑项的能量，Edges表示连接两个三角面片的边的集合。
步骤6.3、得到每个面片的标签li后，进行纹理图像的坐标的计算和纹理图像的创建。
得到创建的纹理图像后，若直接将从不同视角得到的纹理图像拼接后显示，则由于不同视角上相机曝光或者光度的差异性将导致纹理图像上存在明显的缝隙，部分光照强部分光照弱形成的分界线。基于此问题，将在最后进行全局的颜色调整以及泊松图像编辑进行去缝的操作，为每一个顶点vi求得其调整量gi。全局的颜色校正重点考虑缝隙上的顶点，且对缝隙上的顶点根据其标签个数进行拆分，即若顶点vi的视角标签为
其中li n为该顶点在其所属的第n个视角上的标签，
个数为标签个数，则顶点vi将被拆分为
个顶点：
其中v的上标li n代表其对应的视角的标签，
为vi拆分后的第n+1个顶点，拆分后的每个顶点有其调整量。颜色调整求得每个调整量的值使得缝隙被自然得过渡：
其中，gi为顶点vi的调整量，
为顶点vi被拆分后，顶点
所对应的调整量。
该实例还提供了一种多视角立体对象重建系统包括：包括多视角图像数据获取单元，特征点检测与匹配单元，稀疏重建单元，稠密重建单元，表面重建单元，表面清理单元，纹理贴图单元；
多视角图像数据获取单元，从多视角相机阵列获取被观测物体的多视角图像数据；
特征点检测与匹配单元，利用SIFT角点检测算法，结合最近邻搜索和最近邻距离比两大约束，完成图像特征点的提取与匹配。
稀疏重建单元，利用图片的匹配结果，估计摄像机的姿态，同时计算稀疏三维点的位置信息，据此完成被观测物体稀疏点云的重建，获得能够观测物体轮廓的稀疏点云模型。
其中，稀疏重建单元，采用增量式的运动恢复结构方法，根据图像连接图，选取一对合适的相机进行初始化的构建，利用RANSAC的三角量测重建稀疏三维点的坐标，对结果进行进一步的滤波以排除偏离真实值较多的点。利用捆绑调整进行全局的优化。不断选取与当前场景关联最为密切的新视角并重建，利用捆绑调整优化，直到所有视角被重建完成。
稠密重建单元，以稀疏重建单元获得的稀疏三维点作为输入，通过估计深度图，对稀疏点云重建时获得的稀疏特征进行逐个视角的单独重建，完成稠密点云的重建，得到稠密点云模型。
其中：稠密重建单元，以包含物体三维信息的稀疏三维点为输入，首先将为每一幅图像选择它的邻域图像构成图像对，并选出全局的视角和局部的参考视角，为每一幅图像计算深度图并进行深度图的融合。对于每一个视角，首先将对视角中的稀疏特征进行重建，接着利用筛选得到的全局视角和局部视角，将当前的稀疏三维点投影至视角对应的像平面上并进行深度的估计，重建完成的稀疏三维点将加入一个优先权队列中，作为区域生长的种子点。通过不断处理优先权队列中的点，来完成当前视角的稠密重建。如此循环操作，直到所有的图像对都已经被处理完，并以稠密三维的形式保存重建的结果。
表面重建单元，以稠密点云单元获得的稠密三维点作为输入，对空间进行划分并构建符号距离场，最后通过面绘制算法生成物体的表面，得到被观测物体的网格模型；
其中：表面重建单元，首先利用非均匀划分的八叉树法，基于物体的空间分布，把物体的内部空间划分为不重叠的细小实体，接着利用Fssr重建方法，计算八叉树中各个叶节点的符号距离，构建符号距离场，最后利用基于八叉树的Marching Cube算法进行面的绘制，生成物体的表面。
表面清理单元，以表面重建单元获得的网格模型作为输入，去除表面重建中由于小面积遮挡引起的对遮挡物体的误重建结果，并进一步去除由于视觉干扰产生的错误三维点及与主体不相交的独立部分，得到清理后的被观测物体的网格模型；
其中：表面清理单元，通过光度一致性约束使得在重建中油污挂冰等非朗伯面被放弃，重建的核心放在被重建对象上。对于小面积遮挡，清除被观测物体表面置信度不高的点且删去与被观测物体不相交的孤立网格。消除对遮挡物体的误重建。
纹理贴图单元，以表面清理后的网格模型为输入，结合2D图像完成纹理的重建，在平滑网格模型的基础上增加纹理的信息，得到带有纹理信息的立体对象，能够应对零件定位和异常检测要求的复杂应用场景。
其中，纹理贴图单元，选择视角创建纹理图像，计算纹理坐标，将纹理信息映射到二维平面上。其次，利用全局的颜色调整以及泊松图像编辑去除图像中因为不同视角上光度的差异性产生的明显缝隙。
该实施例提供的一种多视角立体对象重建系统，可用于实现一种多视角立体对象重建方法。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所述技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为本发明由所提交的权利要求书确定的专利保护范围。
Claims (9)
1.一种多视角立体对象重建方法，包括如下步骤：
步骤1、特征点检测与匹配，获取被观测物体的多视角图片数据，进行特征点的检测与匹配，得到多视角图片中的特征点和图像间被匹配的特征点对；
步骤2、稀疏点云重建，利用特征点对的匹配结果，估计摄像机的姿态，同时计算稀疏三维点的位置信息，据此完成被观测物体稀疏点云的重建，该阶段获得的稀疏三维点能够辨别出被观测物体的轮廓；
步骤3、稠密点云重建，以被观测对象的稀疏三维点作为输入，通过估计深度图，对稀疏点云重建时获得的稀疏特征进行逐个视角的单独重建，最终完成稠密点云的重建，得到稠密三维点；
步骤3.1、给定一组稀疏三维点f，对稀疏特征进行逐视角的单独重建；接着根据一定的规则进行全局视角V的选择：
其中，f表示在运动恢复结构过程中得到的稀疏点，FR表示视角，FV表示候选的邻域视角；ωN与ωS分别为衡量三角量测夹角和图像尺度相似程度的度量函数；
步骤3.2、进行特征的处理并获得当前稀疏三维点fi投影到参考图像上的距离D，并对其进行优化，此时将当前重建的稀疏三维点fi加入到队列Q中，作为种子点；
步骤3.3、进行区域生长的过程，从邻域像素Ni中选出点fj，加入队列Q，fj∈Ni；直至优先权队列Q中的所有点完成重建；步骤4、表面重建，对空间进行划分并构建符号距离场，最后通过面绘制算法生成物体的表面，得到被观测物体的网格模型；
步骤5、表面清理，去除表面重建中由于小面积遮挡引起的对遮挡物体的误重建结果，并进一步去除由于视觉干扰产生的错误三维点及与主体不相交的独立部分，得到清理后的被观测物体的网格模型；
步骤6、纹理贴图，以表面清理后的网格模型为输入，结合2D图像完成纹理的重建，在平滑网格模型的基础上增加纹理的信息，得到带有纹理信息的立体对象，能够应对零件定位和异常检测要求的复杂应用场景。
2.如权利要求1所述的多视角立体对象重建方法，其特征在于，步骤1具体包括：
步骤1.1、以无序图像为输入，构建尺度空间，即将原始图像与一个可变尺度的2维高斯函数进行卷积；
步骤1.2、将图像金字塔化，并结合金字塔化的图像和尺度空间，得到高斯拉普拉斯变换图像；
步骤1.3、将相邻的图像做差，得到高斯差；
步骤1.4、接着在像素点的26个邻域中搜索寻找极值点，得到离散空间上的极值点，运用二阶泰勒展开式进行特征点的亚像素定位；
步骤1.4、去除边缘的点后，生成特征描述子和特征匹配点；
步骤1.5、根据最近邻搜索的结果匹配特征点对，设置筛选条件排除错误匹配，至此完成图像特征点的检测与匹配。
3.如权利要求1所述的多视角立体对象重建方法，其特征在于，在步骤2中，稀疏三维点投影到第i个视角的像平面上的齐次坐标为Xi＝[xi,yi,1]T，每个稀疏三维点X在空间中的三维坐标需要两对匹配点通过以下算法获得：
[xiPi3-Pi1,yiPi3-Pi2]TX＝0
其中X＝[x,y,z,1]T为给定的匹配点的三维坐标，Pi＝Ki[Ri,ti]＝[Pi1,Pi2,Pi3]T为已知的第i个相机的投影公式；Ki是第i个相机的内参矩阵，Ri是第i个相机的旋转矩阵，ti是第i个相机的平移向量，Pi1,Pi2,Pi3分别是投影矩阵Pi的第一列，第二列和第三列。
4.如权利要求1所述的多视角立体对象重建方法，其特征在于，步骤5中，表面清理的过程去除了环境噪声导致的退化的三角网格及与主体不相交的孤立网格。
5.如权利要求1所述的多视角立体对象重建方法，其特征在于，在步骤6中，该步骤具体包括：
步骤6.1、给定一组稠密三维点X以及清理后的三角网格模型，其中三角网格模型由三角面片集合Faces构成，纹理贴图首先进行可视信息的计算；
步骤6.2、根据三角面片集合Faces建立马尔科夫随机场并寻找一个配置l＝[l0,l1...]，使得能量函数E(l)取得最小值：
其中，Fi表示第i个面片，li表示第i个面片的标签，即所对应的视角，Edata表示数据项的能量，Esmooth表示平滑项的能量，Edges表示连接两个三角面片的边的集合；
步骤6.3、得到每个面片的标签li后，进行纹理图像的坐标的计算和纹理图像的创建。
6.一种多视角立体对象重建系统，包括：多视角图像数据获取单元，特征点检测与匹配单元，稀疏重建单元，稠密重建单元，表面重建单元，表面清理单元，纹理贴图单元，其特征在于：
多视角图像数据获取单元，从多视角相机阵列获取被观测物体的多视角图像数据；
特征点检测与匹配单元，利用SIFT角点检测算法，结合最近邻搜索和最近邻距离比两大约束，完成图像特征点的提取与匹配；
稀疏重建单元，利用图片的匹配结果，估计摄像机的姿态，同时计算稀疏三维点的位置信息，据此完成被观测物体稀疏点云的重建，获得能够观测物体轮廓的稀疏点云模型；
稠密重建单元，以稀疏重建单元获得的稀疏三维点作为输入，通过估计深度图，对稀疏点云重建时获得的稀疏特征进行逐个视角的单独重建，完成稠密点云的重建，得到稠密点云模型；
稠密重建单元给定一组稀疏三维点f，对稀疏特征进行逐视角的单独重建；接着根据一定的规则进行全局视角V的选择：
其中，f表示在运动恢复结构过程中得到的稀疏点，FR表示视角，FV表示候选的邻域视角；ωN与ωS分别为衡量三角量测夹角和图像尺度相似程度的度量函数；
进行特征的处理并获得当前稀疏三维点fi投影到参考图像上的距离D，并对其进行优化，此时将当前重建的稀疏三维点fi加入到队列Q中，作为种子点；
进行区域生长的过程，从邻域像素Ni中选出点fj，加入队列Q，fj∈Ni；直至优先权队列Q中的所有点完成重建；表面重建单元，以稠密点云单元获得的稠密三维点作为输入，对空间进行划分并构建符号距离场，最后通过面绘制算法生成物体的表面，得到被观测物体的网格模型；
表面清理单元，以表面重建单元获得的网格模型作为输入，去除表面重建中由于小面积遮挡引起的对遮挡物体的误重建结果，并进一步去除由于视觉干扰产生的错误三维点及与主体不相交的独立部分，得到清理后的被观测物体的网格模型；
纹理贴图单元，以表面清理后的网格模型为输入，结合2D图像完成纹理的重建，在平滑网格模型的基础上增加纹理的信息，得到带有纹理信息的立体对象，能够应对零件定位和异常检测要求的复杂应用场景。
7.如权利要求6所述的多视角立体对象重建系统，其特征在于，稀疏重建单元，采用增量式的运动恢复结构方法，根据图像连接图，选取一对合适的相机进行初始化的构建，利用RANSAC的三角量测重建稀疏三维点的坐标，对结果进行进一步的滤波以排除偏离真实值较多的点；利用捆绑调整进行全局的优化；不断选取与当前场景关联最为密切的新视角并重建，利用捆绑调整优化，直到所有视角被重建完成。
8.如权利要求6所述的多视角立体对象重建系统，其特征在于，表面重建单元，首先利用非均匀划分的八叉树法，基于物体的空间分布，把物体的内部空间划分为不重叠的细小实体，接着利用Fssr重建方法，计算八叉树中各个叶节点的符号距离，构建符号距离场，最后利用基于八叉树的Marching Cube算法进行面的绘制，生成物体的表面。
9.如权利要求6所述的多视角立体对象重建系统，其特征在于，表面清理单元，通过光度一致性约束使得在重建中包括油污挂冰的非朗伯面被放弃，重建的核心放在被重建对象上；对于小面积遮挡，清除被观测物体表面置信度不高的点且删去与被观测物体不相交的孤立网格；消除对遮挡物体的误重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010754650.0A CN111882668B (zh) | 2020-07-30 | 2020-07-30 | 一种多视角立体对象重建方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010754650.0A CN111882668B (zh) | 2020-07-30 | 2020-07-30 | 一种多视角立体对象重建方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111882668A CN111882668A (zh) | 2020-11-03 |
| CN111882668B true CN111882668B (zh) | 2022-06-24 |
Family
ID=73204704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010754650.0A Active CN111882668B (zh) | 2020-07-30 | 2020-07-30 | 一种多视角立体对象重建方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111882668B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465984A (zh) * | 2020-11-12 | 2021-03-09 | 西北工业大学 | 一种基于双层过滤的单目相机序列图像三维重构方法 |
| CN112819774A (zh) * | 2021-01-28 | 2021-05-18 | 上海工程技术大学 | 基于三维重建技术的大型构件外形误差检测方法及其应用 |
| CN113284251B (zh) * | 2021-06-11 | 2022-06-03 | 清华大学深圳国际研究生院 | 一种自适应视角的级联网络三维重建方法及系统 |
| CN113327315A (zh) * | 2021-06-11 | 2021-08-31 | 武汉天远视科技有限责任公司 | 多层次细节模型生成方法和装置 |
| CN113808273B (zh) * | 2021-09-14 | 2023-09-12 | 大连海事大学 | 一种船行波数值模拟的无序式增量稀疏点云重构方法 |
| CN114820923B (zh) * | 2022-03-23 | 2024-08-13 | 清华大学 | 基于可微分投影的高精度多视角点云重建方法及装置 |
| CN115186600A (zh) * | 2022-06-09 | 2022-10-14 | 大连海事大学 | 一种船行波数值模拟的稠密重建方法 |
| CN117274512B (zh) * | 2023-11-23 | 2024-04-26 | 岭南现代农业科学与技术广东省实验室河源分中心 | 植物多视角图像的处理方法及系统 |
| CN118052952B (zh) * | 2024-04-16 | 2024-07-26 | 中国建筑一局(集团)有限公司 | 一种隧道掌子面结构面全景图重建方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6639596B1 (en) * | 1999-09-20 | 2003-10-28 | Microsoft Corporation | Stereo reconstruction from multiperspective panoramas |
| CN108447116A (zh) * | 2018-02-13 | 2018-08-24 | 中国传媒大学 | 基于视觉slam的三维场景重建方法和装置 |
| CN108648270A (zh) * | 2018-05-12 | 2018-10-12 | 西北工业大学 | 基于eg-slam的无人机实时三维场景重建方法 |
| CN109872397A (zh) * | 2019-02-18 | 2019-06-11 | 北京工业大学 | 一种基于多目立体视觉的飞机零件的三维重建方法 |
| CN111009007A (zh) * | 2019-11-20 | 2020-04-14 | 华南理工大学 | 一种指部多特征全面三维重建方法 |
-
2020
- 2020-07-30 CN CN202010754650.0A patent/CN111882668B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6639596B1 (en) * | 1999-09-20 | 2003-10-28 | Microsoft Corporation | Stereo reconstruction from multiperspective panoramas |
| CN108447116A (zh) * | 2018-02-13 | 2018-08-24 | 中国传媒大学 | 基于视觉slam的三维场景重建方法和装置 |
| CN108648270A (zh) * | 2018-05-12 | 2018-10-12 | 西北工业大学 | 基于eg-slam的无人机实时三维场景重建方法 |
| CN109872397A (zh) * | 2019-02-18 | 2019-06-11 | 北京工业大学 | 一种基于多目立体视觉的飞机零件的三维重建方法 |
| CN111009007A (zh) * | 2019-11-20 | 2020-04-14 | 华南理工大学 | 一种指部多特征全面三维重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于SFM和CMVS/PMVS的建筑物点云重构方法研究;张平 等;《苏州科技学院学报(自然科学版)》;20150930;第32卷(第3期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111882668A (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111882668B (zh) | 一种多视角立体对象重建方法与系统 | |
| CN111063021B (zh) | 一种空间运动目标的三维重建模型建立方法及装置 | |
| CN113178009B (zh) | 一种利用点云分割和网格修补的室内三维重建方法 | |
| Hirschmuller | Stereo processing by semiglobal matching and mutual information | |
| CN109242954B (zh) | 基于模板变形的多视角三维人体重建方法 | |
| Franco et al. | Exact polyhedral visual hulls | |
| Furukawa et al. | Accurate, dense, and robust multiview stereopsis | |
| CN108335352B (zh) | 一种面向多视图大规模三维重建场景的纹理映射方法 | |
| US8791941B2 (en) | Systems and methods for 2-D to 3-D image conversion using mask to model, or model to mask, conversion | |
| Liu et al. | Continuous depth estimation for multi-view stereo | |
| CN110223383A (zh) | 一种基于深度图修补的植物三维重建方法及系统 | |
| Zhang et al. | Critical regularizations for neural surface reconstruction in the wild | |
| CN102074020B (zh) | 对视频进行多体深度恢复和分割的方法 | |
| WO2008112802A2 (en) | System and method for 2-d to 3-d image conversion using mask to model, or model to mask, conversion | |
| CN103559737A (zh) | 一种对象全景建模方法 | |
| Li et al. | Dense surface reconstruction from monocular vision and LiDAR | |
| CN111462030A (zh) | 多图像融合的立体布景视觉新角度构建绘制方法 | |
| CN107862674B (zh) | 深度图像融合方法及系统 | |
| CN112637582B (zh) | 模糊边缘驱动的单目视频虚拟视图三维模糊表面合成方法 | |
| Liu et al. | High-quality textured 3D shape reconstruction with cascaded fully convolutional networks | |
| Wang et al. | TerrainFusion: Real-time digital surface model reconstruction based on monocular SLAM | |
| Fua et al. | Reconstructing surfaces from unstructured 3d points | |
| Hung et al. | Multipass hierarchical stereo matching for generation of digital terrain models from aerial images | |
| Rothermel | Development of a SGM-based multi-view reconstruction framework for aerial imagery | |
| Rothermel et al. | A median-based depthmap fusion strategy for the generation of oriented points |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |