CN113192179A - 一种基于双目立体视觉的三维重建方法 - Google Patents
一种基于双目立体视觉的三维重建方法 Download PDFInfo
- Publication number
- CN113192179A CN113192179A CN202110462726.7A CN202110462726A CN113192179A CN 113192179 A CN113192179 A CN 113192179A CN 202110462726 A CN202110462726 A CN 202110462726A CN 113192179 A CN113192179 A CN 113192179A
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- target object
- points
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000003702 image correction Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000007619 statistical method Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G06T5/70—
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Abstract
本发明涉及三维重建领域、计算机视觉领域，具体涉及一种基于双目立体视觉的三维重建方法。首先将待重建目标物体的三维信息从整个场景中抠取出，降低了重建的工作量，提高效率；然后将提取的三维信息中包含的噪声点剔除，不影响后续重建质量；并将三维信息中的边界特征点提取出，保留后续重建曲面模型的特征；最后将剔除噪点和边界点剩余的三维信息点进行精简，提高重建效率。
Description
技术领域
本发明涉及三维重建领域、计算机视觉领域，具体涉及一种基于双目立体视觉的三维重建方法。
背景技术
三维重建是指利用计算机或机器等获取三维世界的三维信息的过程。目前，在三维重建技术的研究领域中，主要的三维重建建模方法包括以下三种：基于三维软件的建模、基于传感设备的建模和基于双目立体视觉的建模方法。其中，基于三维软件(如3DMAX等)的建模是指使用一些基本的现有几何模型，经过一些细节、形态上的修改重建三维世界中物体或相应场景的三维模型。基于传感设备的建模是指使用激光扫描仪扫描重建物体的表面，直接得到重建物体表面分布均匀的三维点云。而基于双目立体视觉的建模方法是仿照人眼的双目感知世界的过程，是使用一组相同规格的相机代替人的两只眼睛，在一定的位置拍摄同一场景得到略有差异的两幅图片，并使用计算机计算两幅图片中同名点的视差，进而得到该点在三维世界中的三维信息。基于双目立体视觉的建模方法成本低、操作简单、速度快、不受限于建模场景的复杂性，且精度更高。采用基于双目立体视觉的建模方法进行重建的需求更广泛，研究其对促进三维重建领域的发展有着十分重要的意义。
三维重建中往往不需要将整个场景进行重建，也即场景中目标物体重建的难点之一在于如何从整个场景中分割出待重建的目标物体，将目标物体分割出。除此之外，对于初始目标物体三维信息也需要处理，也即对初始目标物体信息中包含的噪声点的滤除和冗余信息的精简，从而保证后续重建地质量。
发明内容
发明目的
本发明提供了一种基于双目立体视觉的三维重建方法，其目的在于解决从整个场景中分割出待重建的目标物体这一技术难点，对初始目标物体信息中包含的噪声点的滤除和冗余信息的精简，从而保证后续重建的质量。
技术方案
一种基于双目立体视觉的三维重建方法，其特征在于：具体步骤如下：
步骤一、相机标定：通过数学计算，利用标定板，获得双目视觉系统中两台相机各自的内参数以及两台相机之间的姿态参数；
步骤二、采集图像对：使用两台规格相同的相机模组组合成的双目立体视觉系统对同一场景进行拍摄，获得初始的图像对；
步骤三、图像校正：两台相机成像平面共面，对应点极线水平且共线，针对步骤二中获得的初始图像对，使用步骤一中相机标定得到的内参数和姿态参数消除图像的畸变，获得待匹配的图像对；
步骤四、立体匹配：为参考图像中每个像素点搜索在目标图像中的同名点，并输出视差图；
步骤五、获取目标物体的三维点云：在参考图像中使用基于迭代的图割(GrubCut)算法抠取场景中待重建的目标物体，得到待重建目标物体的掩码(mask)区域，将步骤四中获得的视差图结合此mask区域求得视差图中待重建目标物体的区域，然后根据视差图中待重建目标物体区域的视差值并利用步骤一中标定得到的相机参数求得待重建目标物体的包含噪点的初始三维点云；
步骤六、点云去噪：对获得的初始三维点云使用基于统计滤波去噪算法对其进行去噪，得到更精准的待重建目标物体三维点云；
步骤七、基于特征提取的点云精简：针对步骤六中去噪后的点云，提取点云的边界特征点，并对非边界特征点实现基于栅格的点云精简；
步骤八、三角剖分：将步骤七中提取的点云边界特征点结合非边界特征点精简后的点做三角剖分，完成待重建目标物体的曲面模型；
步骤九、保存模型：将步骤八中得到的重建物体的曲面模型保存成多边形文件格式(Polygon File Format，PLY)，方便后续可视化、维护等操作。
步骤一中相机的内参数包括相机的焦距、主点坐标及畸变系数。相机的姿态参数包括相机之间的旋转矩阵、平移向量。
步骤三中，图像校正包括立体校正和畸变校正；其中，立体校正对初始图像对进行透视变换，使图像对的极线水平且共线；畸变校正使成像过程符合小孔成像模型；经过立体校正和畸变校正为立体匹配提供图像对。
步骤四中，使用基于深度学习的自适应聚合网络(Adaptive AggregationNetwork for Efficient Stereo Matching，AANet)方法完成立体匹配工作。
步骤五中，将待重建的目标物体的mask区域抠取出，在参考图像中将重建目标物体使用矩形框进行框选，算法利用图像中的颜色和边界信息将对目标物体进行初始抠取，手动指定特殊区域的前景和背景区域；不断指定前景区域和背景区域获得新的参考图像中目标物体的mask区域；最终将获得的视差图结合此mask区域，获得待重建目标物体在视差图中的区域，并根据视差图中待重建目标物体区域的视差值求得待重建目标物体的初始三维点云。
获得待重建目标物体的初始三维点云时，仅在视差图中相应的mask区域利用三角测量原理计算对应的三维坐标，其他区域不做考虑；计算场景中目标物体表面的三维坐标，首先假设目标物体的三维点为Pw＝(Xw,Yw,Zw)，在两台相机的两成像平面上的投影点分别为pl＝(xl,yl)、pr＝(xr,yr)；计算三维坐标使用的方法如公式(1)所示：
其中，基线B为两台相机光心的距离，f为相机的焦距，d为视差值。
步骤六中，对得到的包含噪点的初始点云进行去噪，点云数据中包含偏离目标物体主体的噪声点，通过对三维点云数据进行统计分析，计算测试点Ci与其K邻域点之间的距离的期望是μ，标准差是σ，并得到点云数据中每个点与其K邻域点之间距离的平均距离
服从正偏态分布；定义标准距离阈值Lth，表示为公式(2)：
Lth＝μ+tσ(t∈N) (2)
其中，t为标准差的倍数；
基于统计滤波的点云去噪算法思想是比较测试点Ci与K个邻域点的平均距离
和标准距离阈值Lth二者之间的大小，确定该测试点是否应该滤除。具体规则如公式(3)所示：
步骤七中针对去噪后的点云，先提取点云的边界特征点，并对非边界特征点实现基于栅格的点云精简。
对非边界特征点实现基于栅格的点云精简算法：假设点云中一点p，其编号为number，并且设置该点的bool属性Canceled为false，根据目标物体的点云求解三个坐标轴方向的最大、小值，点云非边界点精简算法的具体步骤为：
(1)对目标物体的点云进行栅格化；
(2)设置近邻点之间的最小值为valuedis；
(3)遍历目标点云中Canceled为false的所有点，获得当前点所在栅格的M个近邻点，依次判断M近邻点中的点与当前点之间的距离和valuedis的大小关系，如果两者之间的距离小于valuedis，则将当前点的该近邻点的属性Canceled改为true，并且目标点云中的总数目减一；
(4)统计所有属性Canceled为false的点即为最终精简的点云。
优点及效果
1.本发明方法将待重建目标物体的三维信息从整个场景中抠取出，降低了重建的工作量，提高效率。
2.将提取的三维信息中包含的噪声点剔除，不影响后续重建质量。
3.三维信息中的边界特征点提取出，保留后续重建曲面模型的特征。
4.将剔除噪点和边界点剩余的三维信息点进行精简，提高重建效率。
附图说明
图1为本发明提供的基于双目立体视觉的三维重建整体框架示意图；
图2为本发明提供的双目立体视觉三角测量原理示意图；
图3为本发明提供的点云K近邻平均距离的概率分布直方示意图；
图4为本发明提供的近邻数数目的取值对滤除的点和程序运行时间的影响示意图；
图5为本发明提供的非边界特征点云精简算法流程示意图；
图6为本发明提供的三角剖分流程示意图；
图7为本发明提供的基于双目立体视觉三维重建方法的各阶段结果示意图。
具体实施方式
一种基于双目立体视觉的三维重建方法，其特征在于：方法包括：
步骤一：相机标定：通过数学计算，利用标定板，获得双目视觉系统中两台相机各自的内参数以及两台相机之间的姿态参数。标定的参数用于后续图像校正，及获取目标物体三维点云的过程中由视差计算点云中点的三维坐标。
步骤二：采集图像对：使用两台规格相同的相机模组组合成的双目立体视觉系统对同一场景进行拍摄，获得初始的图像对。
步骤三：图像校正：图像校正分为立体校正和畸变校正。针对初始图像对使用标定得到的参数进行图像校正获得待匹配的图像对。
步骤四：立体匹配：为参考图像中每个像素点搜索在目标图像中的同名点，并输出视差图。
步骤五：获取目标物体的三维点云：在参考图像中使用基于迭代的GrubCut算法抠取场景中待重建的目标物体，得到待重建目标物体的mask区域，将步骤四中获得的视差图结合此mask区域求得视差图中待重建目标物体的区域，然后根据视差图中待重建目标物体区域的视差值并利用标定得到的相机参数求得待重建目标物体的初始三维点云(包含噪点)。
步骤六：点云去噪：对获得的初始三维点云使用基于统计滤波去噪算法对其进行去噪，得到更精准的待重建目标物体三维点云。
步骤七：基于特征提取的点云精简：针对步骤六中去噪后的点云，提取点云的边界特征点，并对非边界特征点实现基于栅格的点云精简。
步骤八：三角剖分：将步骤七中提取的点云边界特征点结合非边界特征点精简后的点做三角剖分，完成待重建目标物体的曲面模型。
步骤九：保存模型：将步骤八中得到的重建物体的曲面模型保存成PLY文件格式，方便后续可视化、维护等操作。
进一步地，权利中给出基于双目立体视觉的三维重建方法，其特征在于：对基于双目立体视觉三维重建方法的整个流程进行详细介绍。
进一步地，步骤一中相机的内参数包括相机的焦距、主点坐标及畸变系数。相机的姿态参数包括相机之间的旋转矩阵、平移向量。
进一步地，步骤三中，图像校正包括立体校正和畸变校正。其中，立体校正是对初始图像对进行透视变换使得图像对的极线水平且共线；畸变校正是使得成像过程符合小孔成像模型。经过立体校正和畸变校正为立体匹配提供图像对。
进一步地，步骤四中，使用基于深度学习的方法——AANet，完成立体匹配工作，在保证得到较好视差图的情况下提升立体匹配的效率。
进一步地，步骤五中，将待重建的目标物体的mask区域抠取出，用户需要在参考图像中将重建目标物体使用矩形框框选，算法利用图像中的颜色和边界信息将对目标物体进行初始抠取，为了抠取完整的目标物体用户手动指定特殊区域的前景和背景区域，通过这种迭代的方式不断指定前景区域和背景区域获得更完美的参考图像中目标物体的mask区域。最终将获得的视差图结合此mask区域，获得待重建目标物体在视差图中的区域，并根据视差图中待重建目标物体区域的视差值求得待重建目标物体的初始三维点云。
进一步地，获得待重建目标物体的初始三维点云时，仅在视差图中相应的mask区域利用三角测量原理计算对应的三维坐标，其他区域不做考虑。计算场景中目标物体表面的三维坐标，首先假设目标物体的三维点为Pw＝(Xw,Yw,Zw)，在两台相机的两成像平面上的投影点分别为pl＝(xl,yl)、pr＝(xr,yr)。计算三维坐标使用的方法如公式(1)所示：
其中，基线B为两台相机光心的距离，f为相机的焦距，d为视差值。
进一步地，步骤六中，对得到的包含噪点的初始点云进行去噪，点云数据中主要包含偏离目标物体主体的噪声点，通过对三维点云数据进行统计分析，计算测试点Ci与其K邻域点之间的距离的期望是μ，标准差是σ，并得到点云数据中每个点与其K邻域点之间距离的平均距离
服从正偏态分布。定义标准距离阈值Lth，表示为公式(2)：
Lth＝μ+tσ(t∈N) (2)
其中，t为标准差的倍数。
基于统计滤波的点云去噪算法思想是比较测试点Ci与K个邻域点的平均距离
和标准距离阈值Lth二者之间的大小，确定该测试点是否应该滤除。具体规则如公式(3)所示：
进一步地，步骤七中针对去噪后的点云，首先提取点云的边界特征点，并对非边界特征点实现基于栅格的点云精简。
进一步地，对非边界特征点实现基于栅格的点云精简算法。假设点云中一点p，其编号为number，并且设置该点的bool属性Canceled为false(也就是说每个点最初都不应该被删除)，根据目标物体的点云求解三个坐标轴方向的最大、小值，点云非边界点精简算法的具体步骤为：
(1)对目标物体的点云进行栅格化；
(2)设置近邻点之间的最小值为valuedis；
(3)遍历目标点云中Canceled为false的所有点，获得当前点所在栅格的M个近邻点，依次判断M近邻点中的点与当前点之间的距离和valuedis的大小关系，如果两者之间的距离小于valuedis，则将当前点的该近邻点的属性Canceled改为true，并且目标点云中的总数目减一；
(4)统计所有属性Canceled为false的点即为最终精简的点云。
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好的理解本发明。
如图1所示，本发明公开了一种基于双目立体视觉的三维重建方法。首先对搭建的双目视觉系统中相机进行内外参数的标定，拍摄图像对，使用标定的内参数对图像对进行立体校正和畸变校正，校正后的图像对使用基于深度学习的立体匹配——AANet进行立体匹配得到视差图；然后在参考图像中使用基于迭代的GrubCut算法抠取场景中待重建的目标物体，并得到mask区域，将视差图与此mask区域结合求视差图对应的mask区域的目标物体的初始三维信息；接着使用基于统计滤波的去噪算法滤除初始三维信息中的噪声点，对滤除噪声点后的三维信息提取边界特征点，针对剩余的三维信息实现基于栅格的精简算法删除冗余的三维信息；最终结合边界特征点和非边界点精简后的三维信息进行三角剖分，得到待重建目标物体的曲面模型并保存。
(1)相机标定；使用两个相同规格的相机模组搭建的双目立体视觉系统拍摄10对棋盘格图像对，拍摄棋盘格标定板时使其每次处于不同的姿态，并使棋盘格位于图像的中心位置，通过拍摄的图像对进行数学计算，求得两台相机各自的焦距f，主点坐标(cx,cy)、畸变系数(k1,k2,k3,p1,p2)及两台相机之间的姿态参数——旋转矩阵R、平移向量T。
(2)获取待匹配的图像对；具体包括以下的步骤：
(2.1)使用双目视觉系统，针对需要重建目标物体的整个场景进行图像对的采集。
(2.2)图像校正利用相机标定得到的内外参数，首先为每个相机模组计算立体校正的映射矩阵，然后计算畸变校正和立体校正的映射变换，最终使用像素重映射的方法，将初始的图像对中各个像素按照一定的规则映射到另外一张图像的对应位置上，得到图像校正后的图像对。
(3)立体匹配；使用AANet整体框架，对待匹配的双目图像对，首先通过权值共享的金字塔网络分别提取1/3，1/6和1/12分辨率的特征；然后针对三个分辨率的左右特征图分别做Correlation操作，得到多尺度的3D匹配代价集；接着使用6个堆叠的AAModules(包括ISA和CSA)进行代价聚合，其中ISA(Adaptive Intra-Scale Aggregation)是同尺度聚合，CSA(Adaptive Cross-Scale Aggregation)是跨尺度聚合；最终使用softargmin计算视差，得到对应参考图像的视差图。
(4)获取目标物体的三维点云；首先使用基于迭代的GrubCut算法将待重建的目标物体的mask区域抠取出，用户需要在参考图像中指定一个粗略的目标框将重建目标框选，算法利用图像中的颜色和边界信息将对目标物体进行初始抠取，为了抠取完整的目标物体用户手动指定特殊区域的前景和背景区域，通过这种迭代的方式不断指定前景区域和背景区域获得更完美的参考图像中目标物体的mask区域。最终将立体匹配获得的视差图结合此mask区域，得到视差图中待重建目标物体的区域，使用视差图中待重建目标物体区域的视差值并采用如图2所示的双目立体视觉三角测量原理计算对应的三维坐标，其他区域不做考虑。
计算场景中目标物体表面的三维坐标点，首先假设目标物体的三维点为Pw＝(Xw,Yw,Zw)，在两台相机的两成像平面上的投影点分别为pl＝(xl,yl)、pr＝(xr,yr)。计算的三维信息点坐标表示为：
其中，基线B为两台相机光心的距离，f为相机的焦距，d为视差值。
(5)点云去噪；(4)中得到的目标物体的初始三维点云中主要包含偏离目标物体主体的噪声点，以下将对三维点云数据进行统计分析。假设点云集合Cnum＝{C1,C2,C3,...,Ci,...,Cnum}，其中(i∈N,num∈N)，Ci＝(xi,yi,zi)为其中的测试点，与Ci最近的K个点Cj＝(xj,yj,zj)称为k邻域，邻域点Cj与测试点Ci的距离dl表示为：
测试点Ci与K个邻域点Cj的平均距离
表示为：
假设测试点Ci与K个邻域点Cj的平均距离
服从正态分布(又称为高斯分布)，其中期望μ、标准差σ分别表示为：
定义标准距离阈值Lth，表示为：
Lth＝μ+tσ(t∈N)
其中，t为标准差的倍数。
基于统计滤波的点云去噪算法思想是比较测试点Ci与K个邻域点的平均距离
和标准距离阈值Lth二者之间的大小，确定该测试点是否应该滤除。具体规则是：
基于以上的去噪规则，使用得到的目标物体的初始点云进行分析，去噪阈值中参数t的数值大小不仅影响滤除的点数，而且影响滤除噪点的程度。本发明以拍摄的场景得到的初始点云为例，得到点云K近邻平均距离
的概率分布直方图如图3所示，并计算点云K近邻平均距离的中位数、众数及平均数，三者之间的关系是：中位数<平均数且众数<平均数，也就得到测试点Ci与K个邻域点Cj的平均距离
服从正偏态分布。据此，结合正态分布的3σ准则，参数t的最适合取值为1。
另外，近邻点K的选取主要影响滤除噪点的点数和程序的运行时间，本发明选取K分别为20、50、100、200、400，t＝1进行实验。如图4所示为近邻数数目的选取对滤除的点和程序运行时间的影响，其中蓝色条形图是不同的K值对应的滤除点的个数，红色折线图是不同的K值对应的程序运行时间，当K取100时，滤除噪点的数量以及程序的运行时间都比较合适，故最终选取参数近邻点数K＝100。
(6)基于特征提取的点云精简；具体包括以下的步骤：
(6.1)针对去噪后的三维点云提取边界特征点；本发明边界提取算法使用的是PCL中的pcl::BoundaryEstimation提取三维点云的边界。算法中先使用pcl::NormalEstimation计算法线，并求取每个采样点的近邻点作为局部参考平面，用最小二乘法拟合当前采样点和近邻点的微切平面，并将当前采样点和近邻点都投影至微切平面，然后通过采样点与近邻点的投影点的连线的最大夹角与设定的夹角阈值大小的比较结果，判断是否为边界特征点。
(6.2)三维点云栅格化；三维点云的最小长方体包围盒的长、宽、高表示为如下的式子：
式子中xmax、xmin、ymax、ymin、zmax、zmin分别是点云中X、Y、Z方向坐标值的最大、最小值，可得点云长方体包围盒的表面积为：
S＝(Lx*Ly+Lx*Lz+Ly*Lz)*2
假设点云中点的总个数为N，点云中一点p的近邻点的个数为M，小立方体的边长为cube_size，由立方体栅格中包含的点云数量应该近似等于点的M近邻数目的设定值，可得式子：
进一步化简得小立方体边长为如下的式子：
(6.3)基于栅格的非边界点云精简算法；基于栅格的非边界点精简算法流程图如图5所示。假设点云中一点p，其编号为number，并且设置该点的bool属性Canceled为false(也就是说每个点最初都不应该被删除)，根据目标物体的点云求解三个坐标轴方向的最大、小值，点云非边界点精简算法的具体步骤为：
①对目标物体的点云按照(6.2)的方法进行栅格化；
②设置近邻点之间的最小值为valuedis；
③遍历目标点云中Canceled为false的所有点，获得当前点所在栅格的M个近邻点，依次判断M近邻点中的点与当前点之间的距离和valuedis的大小关系，如果两者之间的距离小于valuedis，则将当前点的该近邻点的属性Canceled改为true，并且目标点云中的总数目减一；
④统计所有属性Canceled为false的点即为最终精简的点云。
(7)三角剖分；将三维边界点和非边界点精简后的点做相加运算，然后采用三角剖分的方法将目标物体表面拓扑结构恢复。本发明使用贪婪投影的三角剖分方式进行三角剖分，三角剖分流程如图6所示，其具体操作是先将三维点云投影到局部二维平面内，然后在二维平面内进行三角化，最后将二维平面的三角化结果返回至三维空间，便得到最终的目标物体三角网格曲面模型。
(8)保存模型；为了方便三维数据(点云、模型)的共享，实现不同点云处理程序之间相互交互的功能，有必要将获得的三维模型转化为标准格式并存储，本发明将三维模型存储为PLY格式，这样方便可视化、修改等操作。
如图7所示为使用本发明提供的基于双目立体视觉三维重建方法的各阶段结果示意图。
以上所述仅为本发明的优选实施方式，但本发明的保护范围并不局限于此。任何领域的技术人员在本发明公开的技术范围内，均可对其进行适当的改变或变化，而这种改变或变化都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种基于双目立体视觉的三维重建方法，其特征在于：具体步骤如下：
步骤一、相机标定：通过数学计算，利用标定板，获得双目视觉系统中两台相机各自的内参数以及两台相机之间的姿态参数；
步骤二、采集图像对：使用两台规格相同的相机模组组合成的双目立体视觉系统对同一场景进行拍摄，获得初始的图像对；
步骤三、图像校正：两台相机成像平面共面，对应点极线水平且共线，针对步骤二中获得的初始图像对，使用步骤一中相机标定得到的内参数和姿态参数消除图像的畸变，获得待匹配的图像对；
步骤四、立体匹配：为参考图像中每个像素点搜索在目标图像中的同名点，并输出视差图；
步骤五、获取目标物体的三维点云：在参考图像中使用基于迭代的图割算法抠取场景中待重建的目标物体，得到待重建目标物体的掩码区域，将步骤四中获得的视差图结合此掩码区域求得视差图中待重建目标物体的区域，然后根据视差图中待重建目标物体区域的视差值并利用步骤一中标定得到的相机参数求得待重建目标物体的包含噪点的初始三维点云；
步骤六、点云去噪：对获得的初始三维点云使用基于统计滤波去噪算法对其进行去噪，得到更精准的待重建目标物体三维点云；
步骤七、基于特征提取的点云精简：针对步骤六中去噪后的点云，提取点云的边界特征点，并对非边界特征点实现基于栅格的点云精简；
步骤八、三角剖分：将步骤七中提取的点云边界特征点结合非边界特征点精简后的点做三角剖分，完成待重建目标物体的曲面模型；
步骤九、保存模型：将步骤八中得到的重建物体的曲面模型保存成多边形文件格式，方便后续可视化、维护等操作。
2.根据权利要求1所述的一种基于双目立体视觉的三维重建方法，其特征在于：所述步骤一中相机的内参数包括相机的焦距、主点坐标及畸变系数。相机的姿态参数包括相机之间的旋转矩阵、平移向量。
3.根据权利要求1所述的一种基于双目立体视觉的三维重建方法，其特征在于：所述步骤三中，图像校正包括立体校正和畸变校正；其中，立体校正对初始图像对进行透视变换，使图像对的极线水平且共线；畸变校正使成像过程符合小孔成像模型；经过立体校正和畸变校正为立体匹配提供图像对。
4.根据权利要求1所述的一种基于双目立体视觉的三维重建方法，其特征在于：所述步骤四中，使用基于深度学习的自适应聚合网络方法完成立体匹配工作。
5.根据权利要求1所述的一种基于双目立体视觉的三维重建方法，其特征在于：所述步骤五中，将待重建的目标物体的掩码区域抠取出，在参考图像中将重建目标物体使用矩形框进行框选，算法利用图像中的颜色和边界信息将对目标物体进行初始抠取，手动指定特殊区域的前景和背景区域；不断指定前景区域和背景区域获得新的参考图像中目标物体的掩码区域；最终将获得的视差图结合此掩码区域，获得待重建目标物体在视差图中的区域，并根据视差图中待重建目标物体区域的视差值求得待重建目标物体的初始三维点云。
6.根据权利要求5所述的一种基于双目立体视觉的三维重建方法，其特征在于：获得待重建目标物体的初始三维点云时，仅在视差图中相应的掩码区域利用三角测量原理计算对应的三维坐标，其他区域不做考虑；计算场景中目标物体表面的三维坐标，首先假设目标物体的三维点为Pw＝(Xw,Yw,Zw)，在两台相机的两成像平面上的投影点分别为pl＝(xl,yl)、pr＝(xr,yr)；计算三维坐标使用的方法如公式(1)所示：
其中，基线B为两台相机光心的距离，f为相机的焦距，d为视差值。
7.根据权利要求1所述的一种基于双目立体视觉的三维重建方法，其特征在于：所述步骤六中，对得到的包含噪点的初始点云进行去噪，点云数据中包含偏离目标物体主体的噪声点，通过对三维点云数据进行统计分析，计算测试点Ci与其K邻域点之间的距离的期望是μ，标准差是σ，并得到点云数据中每个点与其K邻域点之间距离的平均距离
服从正偏态分布；定义标准距离阈值Lth，表示为公式(2)：
Lth＝μ+tσ(t∈N) (2)
其中，t为标准差的倍数；
基于统计滤波的点云去噪算法思想是比较测试点Ci与K个邻域点的平均距离
和标准距离阈值Lth二者之间的大小，确定该测试点是否应该滤除；具体规则如公式(3)所示：
8.根据权利要求1所述的一种基于双目立体视觉的三维重建方法，其特征在于：所述步骤七中针对去噪后的点云，先提取点云的边界特征点，并对非边界特征点实现基于栅格的点云精简。
9.根据权利要求8所述的一种基于双目立体视觉的三维重建方法，其特征在于：对非边界特征点实现基于栅格的点云精简算法：假设点云中一点p，其编号为number，并且设置该点的bool属性Canceled为false，根据目标物体的点云求解三个坐标轴方向的最大、小值，点云非边界点精简算法的具体步骤为：
(1)对目标物体的点云进行栅格化；
(2)设置近邻点之间的最小值为valuedis；
(3)遍历目标点云中Canceled为false的所有点，获得当前点所在栅格的M个近邻点，依次判断M近邻点中的点与当前点之间的距离和valuedis的大小关系，如果两者之间的距离小于valuedis，则将当前点的该近邻点的属性Canceled改为true，并且目标点云中的总数目减一；
(4)统计所有属性Canceled为false的点即为最终精简的点云。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110462726.7A CN113192179B (zh) | 2021-04-28 | 2021-04-28 | 一种基于双目立体视觉的三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110462726.7A CN113192179B (zh) | 2021-04-28 | 2021-04-28 | 一种基于双目立体视觉的三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113192179A true CN113192179A (zh) | 2021-07-30 |
| CN113192179B CN113192179B (zh) | 2024-03-26 |
Family
ID=76979996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110462726.7A Active CN113192179B (zh) | 2021-04-28 | 2021-04-28 | 一种基于双目立体视觉的三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113192179B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989445A (zh) * | 2021-12-29 | 2022-01-28 | 国网瑞嘉(天津)智能机器人有限公司 | 三维场景重建方法、装置、系统及计算机可读存储介质 |
| CN114185071A (zh) * | 2021-12-10 | 2022-03-15 | 武汉市虎联智能科技有限公司 | 一种基于物体识别和空间位置感知的定位系统及方法 |
| CN114299318A (zh) * | 2021-12-24 | 2022-04-08 | 电子科技大学 | 一种快速点云数据处理和目标图像匹配的方法及系统 |
| CN114295516A (zh) * | 2021-11-18 | 2022-04-08 | 煤炭科学研究总院 | 物料的密度测量方法及其装置 |
| WO2023060927A1 (zh) * | 2021-10-14 | 2023-04-20 | 五邑大学 | 一种3d光栅检测方法、装置、计算机设备及可读存储介质 |
| CN116320357A (zh) * | 2023-05-17 | 2023-06-23 | 浙江视觉智能创新中心有限公司 | 一种3d结构光相机系统、方法、电子设备和可读存储介质 |
| CN117408913A (zh) * | 2023-12-11 | 2024-01-16 | 浙江托普云农科技股份有限公司 | 待测物体点云去噪方法、系统及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129708A (zh) * | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
| CN110288699A (zh) * | 2019-06-26 | 2019-09-27 | 电子科技大学 | 一种基于结构光的三维重建方法 |
| CN111107337A (zh) * | 2018-10-29 | 2020-05-05 | 曜科智能科技（上海）有限公司 | 深度信息补全方法及其装置、监控系统和存储介质 |
| CN112347882A (zh) * | 2020-10-27 | 2021-02-09 | 中德（珠海）人工智能研究院有限公司 | 一种智能分拣控制方法和智能分拣控制系统 |
| CN112562082A (zh) * | 2020-08-06 | 2021-03-26 | 长春理工大学 | 一种三维人脸重建方法及系统 |
-
2021
- 2021-04-28 CN CN202110462726.7A patent/CN113192179B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102129708A (zh) * | 2010-12-10 | 2011-07-20 | 北京邮电大学 | 增强现实环境中快速多层次虚实遮挡处理方法 |
| CN111107337A (zh) * | 2018-10-29 | 2020-05-05 | 曜科智能科技（上海）有限公司 | 深度信息补全方法及其装置、监控系统和存储介质 |
| CN110288699A (zh) * | 2019-06-26 | 2019-09-27 | 电子科技大学 | 一种基于结构光的三维重建方法 |
| CN112562082A (zh) * | 2020-08-06 | 2021-03-26 | 长春理工大学 | 一种三维人脸重建方法及系统 |
| CN112347882A (zh) * | 2020-10-27 | 2021-02-09 | 中德（珠海）人工智能研究院有限公司 | 一种智能分拣控制方法和智能分拣控制系统 |
Non-Patent Citations (2)
| Title |
|---|
| 李辉: "基于虚拟双目视觉的玉米叶片三维重建方法", 《科技通报》, 27 June 2016 (2016-06-27), pages 96 - 101 * |
| 林琴 等: "基于双目视觉的人脸三维重建", 《智能系统学报》, 31 August 2018 (2018-08-31), pages 1 - 9 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023060927A1 (zh) * | 2021-10-14 | 2023-04-20 | 五邑大学 | 一种3d光栅检测方法、装置、计算机设备及可读存储介质 |
| CN114295516A (zh) * | 2021-11-18 | 2022-04-08 | 煤炭科学研究总院 | 物料的密度测量方法及其装置 |
| CN114185071A (zh) * | 2021-12-10 | 2022-03-15 | 武汉市虎联智能科技有限公司 | 一种基于物体识别和空间位置感知的定位系统及方法 |
| CN114299318A (zh) * | 2021-12-24 | 2022-04-08 | 电子科技大学 | 一种快速点云数据处理和目标图像匹配的方法及系统 |
| CN113989445A (zh) * | 2021-12-29 | 2022-01-28 | 国网瑞嘉(天津)智能机器人有限公司 | 三维场景重建方法、装置、系统及计算机可读存储介质 |
| CN113989445B (zh) * | 2021-12-29 | 2022-03-01 | 国网瑞嘉(天津)智能机器人有限公司 | 三维场景重建方法、装置、系统及计算机可读存储介质 |
| CN116320357A (zh) * | 2023-05-17 | 2023-06-23 | 浙江视觉智能创新中心有限公司 | 一种3d结构光相机系统、方法、电子设备和可读存储介质 |
| CN117408913A (zh) * | 2023-12-11 | 2024-01-16 | 浙江托普云农科技股份有限公司 | 待测物体点云去噪方法、系统及装置 |
| CN117408913B (zh) * | 2023-12-11 | 2024-02-23 | 浙江托普云农科技股份有限公司 | 待测物体点云去噪方法、系统及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113192179B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113192179B (zh) | 一种基于双目立体视觉的三维重建方法 | |
| CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
| CN110363858B (zh) | 一种三维人脸重建方法及系统 | |
| CN111968238A (zh) | 基于动态融合算法的人体彩色三维重建方法 | |
| CN108010123B (zh) | 一种保留拓扑信息的三维点云获取方法 | |
| CN107369204B (zh) | 一种从单幅照片恢复出场景基本三维结构的方法 | |
| CN111107337B (zh) | 深度信息补全方法及其装置、监控系统和存储介质 | |
| CN110853151A (zh) | 一种基于视频的三维立体点集恢复方法 | |
| CN115205489A (zh) | 一种大场景下的三维重建方法、系统及装置 | |
| CN110910431B (zh) | 一种基于单目相机多视点三维点集恢复方法 | |
| CN111274943A (zh) | 一种检测方法、装置、电子设备及存储介质 | |
| CN110567441B (zh) | 基于粒子滤波的定位方法、定位装置、建图及定位的方法 | |
| CN205451195U (zh) | 一种基于多摄像机的实时三维点云重建系统 | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| CN114463521B (zh) | 一种面向空地影像数据融合的建筑目标点云快速生成方法 | |
| CN113902781A (zh) | 三维人脸重建方法、装置、设备及介质 | |
| CN112164145A (zh) | 基于点云数据快速提取室内三维线段结构的方法 | |
| CN117372647A (zh) | 一种建筑用三维模型的快速构建方法及系统 | |
| CN110969650B (zh) | 一种基于中心投影的强度图像与纹理序列间的配准方法 | |
| CN112465984A (zh) | 一种基于双层过滤的单目相机序列图像三维重构方法 | |
| CN114998532B (zh) | 一种基于数字图像重建的三维影像视觉传达优化方法 | |
| CN113284249B (zh) | 一种基于图神经网络的多视角三维人体重建方法及系统 | |
| CN113129348B (zh) | 一种基于单目视觉的道路场景中车辆目标的三维重建方法 | |
| WO2020055406A1 (en) | Methods, devices, and computer program products for improved 3d mesh texturing | |
| CN114782357A (zh) | 一种用于变电站场景的自适应分割系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |