CN114255181A - 一种基于双目视觉的电缆管道内部场景的三维重建方法 - Google Patents

一种基于双目视觉的电缆管道内部场景的三维重建方法 Download PDF

Info

Publication number
CN114255181A
CN114255181A CN202111506890.XA CN202111506890A CN114255181A CN 114255181 A CN114255181 A CN 114255181A CN 202111506890 A CN202111506890 A CN 202111506890A CN 114255181 A CN114255181 A CN 114255181A
Authority
CN
China
Prior art keywords
dimensional
point
scene
triangle
dimensional reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111506890.XA
Other languages
English (en)
Inventor
陈诚
丁亚杰
高辉
胥峥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yancheng Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Yancheng Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yancheng Power Supply Co of State Grid Jiangsu Electric Power Co Ltd filed Critical Yancheng Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority to CN202111506890.XA priority Critical patent/CN114255181A/zh
Publication of CN114255181A publication Critical patent/CN114255181A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于双目视觉的电缆管道内部场景的三维重建方法，包括以下步骤：步骤(1)：采用一种二阶半全局立体匹配方法，获得场景的视差图；步骤(2)：结合视差图和相机参数得到场景的三维点云，然后通过引导滤波以消除噪声点来平滑点云；步骤(3)：利用快速点定位的Delaunay三角剖分方法重建点云表面，提高地下电缆管道内部的三维模型的可视性。本发明提供一种基于双目视觉的电缆管道内部场景的三维重建方法，以快速、准确地实现地下电缆管道内部场景的精细化三维重建，结合基于二阶半光滑度约束的半全局立体匹配方法，基于引导滤波的点云平滑方法，快速点定位的Delaunay三角剖分方法，提高对场景三维重建的效率和精度。

Description

一种基于双目视觉的电缆管道内部场景的三维重建方法
技术领域
本发明属于图像处理以及计算机视觉技术领域，特别涉及一种基于双目视觉的电缆管道内部场景的三维重建方法。
背景技术
双目视觉是一种将双目视差信息转换成深度信息的方法，它通过模拟人类视觉，匹配图像对的对应像素以获得视差图，然后就可以获得三维场景中点的三维坐标。它在三维重建、工业检查、机器人导航和虚拟现实等方面中具有广泛的应用。一般的双目视觉方法是通过对极几何把问题转换到欧氏几何的条件下，然后再运用三角测量的方法估计深度信息。包括图像获取、相机标定、特征提取与匹配、相机校正、立体匹配和三维建模六个步骤。然而通过双目视觉技术获取的场景三维信息仍然不够精确，无法实现高精度的三维重建任务。此外，重建结果中也应当包含与原场景相对应的细节纹理映射。
早期的立体匹配是基于特征点匹配实现的，得到的稀疏视差图需要通过插值计算来转换为密集视差图。但插值过程比较复杂，特征的提取以及定位的好坏对匹配结果的影响比较大。当前稀疏的立体匹配更多应用于SLAM中的相机位姿估计等任务。为了避免插值计算带来的误差以及复杂过程，大多数现有的用于恢复三维场景信息的方法是直接获得密集的视差图。当前立体匹配算法的研究主要集中于匹配策略、匹配代价计算以及代价聚集等方面。立体匹配方法根据代价聚集方式的不同分为全局方法、局部方法以及半全局方法。全局方法对于遮挡和弱纹理区域有较好的鲁棒性，但是算法复杂度高也更加耗时。局部方法与全局方法相比速度更快但是准确性较差。半全局方法聚集了来自多个方向的匹配代价，实现精度和效率的平衡，广泛应用于三维重建的任务中。半全局匹配方法采用单像素互信息作为匹配代价，沿着多个方向进行一维能量最小化来近似替代二维全局能量最小化。
三角剖分是在三维空间中将离散的、无序的点云划分成网格，通常是将点云投影至二维平面，形成平面区域内离散的点集，进而构建这个点集的不规则三角网。在所有生成三角网格的方法中Delaunay三角剖分方法最优，其避免了病态三角形的出现。常见的构建Delaunay三角网格的方法有分治法、逐点插入法以及三角网生长法。三角网生长法由于效率较低已经逐渐被淘汰。分治法递归的划分点集，自下而上地逐级合并生成最终的三角网。该方法效率最高，但由于其运用了递归，运行过程会占用大量内存，不能处理大量的数据。逐点插入法构建了一个包含所有点的凸多边形并生成初始三角网，然后逐一插入剩余的点。这种方法占用内存小，可以处理大量数据。但是随着三角形的增加，随着插入点数目的增多运行效率会逐渐降低。
目前，现有的三维重建方法在时间效率和精度方面都有待提高。
发明内容
为了解决上述问题，本发明提供一种基于双目视觉的电缆管道内部场景的三维重建方法，以快速、准确地实现地下电缆管道内部场景的精细化三维重建，结合基于二阶半光滑度约束的半全局立体匹配方法，基于引导滤波的点云平滑方法，快速点定位的Delaunay三角剖分方法，提高对场景三维重建的效率和精度。
针对上述现有技术存在的不足，本发明提供一种基于双目视觉的电缆管道内部场景的三维重建方法，所述电缆管道内部场景的三维重建方法包括以下步骤：
步骤(1)：采用一种二阶半全局立体匹配方法，获得场景的视差图；
步骤(2)：结合视差图和相机参数得到场景的三维点云，然后通过引导滤波以消除噪声点来平滑点云；
步骤(3)：利用快速点定位的Delaunay三角剖分方法重建点云表面，提高地下电缆管道内部的三维模型的可视性。
具体地，步骤(1)中，获得匹配代价的具体方法为：
具有视差值d的匹配点对之间的Census度量表示为Ccensus(p,d)，它是通过计算T(p)和T(pd)之间的汉明距离而获得的：
Ccensus(p,d)＝Hamming[T(p),T(pd)]，
式中，T(p)表示对当前匹配像素p的Census度量；
具有视差d的匹配点对的梯度度量表示为Cgradient(p,d)：
Figure BDA0003403476590000021
式中，
Figure BDA0003403476590000022
由Sobel算子在水平和垂直方向上计算梯度特征得到，表示像素点p的梯度值；
像素p在方向为r上角度方向先验表示为：
Figure BDA0003403476590000031
式中，a表示为在像素p、p-r以及p+r组成的三角形区域中的p与p-r的边长，b为p与p+r的边长，c为p+r与p-r的边长；
像素p在方向r上的视差平滑度约束P3r(·)的定义如下：
Figure BDA0003403476590000032
式中，τ是防止视差平滑度约束陷入局部最小值的阈值；
最终的二阶差异度约束定义为：
Figure BDA0003403476590000033
式中d为像素p的视差，d'为像素p-r的视差，P1和P2为两个惩罚系数，其中P2＞P1；对于视差平滑度较大的像素使用P2，使其适应倾斜或弯曲的表面；对于视差平滑度小的像素使用P1，以保留边缘的不连续性；
单个像素在特定方向上的路径成本定义如下：
Figure BDA0003403476590000034
式中，
Figure BDA0003403476590000035
Lr(p,d)表示单个像素在r方向上的路径成本，d是像素p的视差，而C(p,d)代表上述Ccensus(p,d)和Cgradient(p,d)的总和。
具体地，步骤(2)中，对三维点云进行平滑处理的方法为：利用局部线性滤波方法引导滤波可有效去除三维点云噪声点并保留细节特征，具体方法为：
引导滤波中引导图像G，输出图像O和输入图像I之间的关系如下：
Figure BDA0003403476590000036
式中，像素q是像素p的邻域像素，权重Wpq(G)有如下定义：
Figure BDA0003403476590000041
式中，μk和
Figure BDA0003403476590000042
是窗口wk中所有像素灰度值的均值和方差，|w|是窗口的大小，ε是调整参数；
将引导滤波用于三维点云的去噪平滑，原始点云和平滑后的点云在深度上满足局部线性关系；
经过引导滤波后，所有顶点均沿其法线方向移动，定义如下：
V′←V+d·n，
式中，V是点云中的一个顶点，V′是通过引导滤波平滑后的顶点，d是加权因子。顶点V的法线方向n通过局部曲面拟合计算；
建立一个平面来估计顶点V的局部几何形状，定义如下：
F(x,y,z)＝Ax+By+Cz+D＝0，
式中，A、B、C和D是平面参数，x、y、z为空间点的坐标；
采用KD-tree算法选择顶点V附近的十个点作为邻域空间点，并通过最小二乘法估计平面参数，获得更新的法线方向，公式如下：
Figure BDA0003403476590000043
加权因子d由中心点和局部邻域点之间的深度相似性确定；深度相似度是指投影到中心法线方向的距离矢量，定义如下：
Figure BDA0003403476590000044
式中，SV是以顶点V为中心的一个领域点集，p和q是顶点V的领域点，s是集合SV的大小，＜n,V-p＞和＜n,V-q＞表示p和q两个点和顶点V之间的深度相似度，μv和σv分别表示集合SV中所有点的深度相似度的均值和方差。
具体地，步骤(3)中，基于投影的Delaunay三角剖分的方法为：先使用基于法线方向的正交投影将三维点云映射到二维平面；通过方向搜索的方式按照空间相邻的原则逐点插入，快速定位待插入点所在的三角形；最后，根据投影点在平面上的拓扑连接关系，确定原始三维点之间的拓扑连接，将平面三角形网格映射到三维空间生成三维模型；之后，执行纹理映射以恢复三维模型的表面特征。
与现有技术相比，本发明的有益效果是：(1)本发明使用二阶半全局立体匹配方法，提高了时间效率和弱纹理区域的鲁棒性，得到了精度更高的视差图；(2)本发明通过引导滤波，对点云进行平滑处理，有效去除了噪声点并保留细节特征；(3)本发明通过快速点定位的Delaunay三角剖分，重建了点云表面，并提高了三维模型的可视性。
附图说明
图1为本发明一种基于双目视觉的电缆管道内部场景的三维重建方法工作流程图；
图2为本发明中像素p的角度方向示意图；
图3为本发明中基于方向搜索的插入点快速定位方法示意图；
图4为本发明中方向搜索方法图。
具体实施方式
下面结合附图对本发明一种基于双目视觉的电缆管道内部场景的三维重建方法的具体实施方式做详细阐述。
本发明提供了一种基于双目视觉的电缆管道内部场景的三维重建方法，引入了Census度量、梯度度量、基于多方向角的二阶平滑度约束的立体匹配成本聚合、引导滤波和快速点定位Delaunay三角剖分。一方面，能够提高时间效率和弱纹理区域的鲁棒性，另一方面，能够提高三维模型的可视性；该方法检测速度快，识别精度高，能够很好的实现地下电缆管道内部场景的精细化三维重建。
如图1所示，本发明的电缆管道内部场景的三维重建方法，具体包括以下步骤：
步骤(1)：采用一种二阶半全局立体匹配方法，得到更具鲁棒性的视差图；
Census度量用于反映匹配点域的局部结构特征，使用Census度量和梯度度量作为匹配代价，获得匹配代价的具体方法为：
具有视差值d的匹配点对之间的Census度量表示为Ccensus(p,d)，它是通过计算T(p)和T(pd)之间的汉明距离而获得的：
Ccensus(p,d)＝Hamming[T(p),T(pd)]，
式中，T(p)表示对当前匹配像素p的Census度量；
具有视差d的匹配点对的梯度度量表示为Cgradient(p,d)：
Figure BDA0003403476590000061
式中，
Figure BDA0003403476590000062
由Sobel算子在水平和垂直方向上计算梯度特征得到，表示像素点p的梯度值；
Census变换和梯度度量都是单个像素的成本度量，在受到噪声和光照的影响时，容易出现误匹配的情况，增加基于多方向角的二阶平滑度约束的立体匹配成本聚合方法，通过约束多个角度方向上视差差异以适应倾斜或者弯曲的表面。如图2所示，像素p的方向r表示为由像素p、p-r以及p+r组成的三角形区域；
像素p在方向为r上角度方向先验表示为：
Figure BDA0003403476590000063
式中，a表示为在像素p、p-r以及p+r组成的三角形区域中的p与p-r的边，b为p与p+r的边，c为p+r与p-r的边；
像素p在方向r上的视差平滑度约束P3r(p)的定义如下：
Figure BDA0003403476590000064
式中，τ是防止视差平滑度约束陷入局部最小值的阈值；
最终的二阶差异度约束定义为：
Figure BDA0003403476590000065
其中d为像素p的视差，d'为像素p-r的视差。P1和P2为两个惩罚系数，其中P2＞P1；对于视差差异度较大的像素使用P2，使其适应倾斜或弯曲的表面；对于视差差异度小的像素使用P1，以保留边缘的不连续性；
最终的匹配成本还需要聚合当前像素受多个方向像素影响后的代价，在当前像素周围选择八个方向，并使用动态编程方法计算每个方向上的匹配成本；最后，视差由“获胜者全胜”的规则确定；单个像素在特定方向上的路径成本定义如下：
Figure BDA0003403476590000071
式中，
Figure BDA0003403476590000072
Lr(p,d)表示单个像素在r方向上的路径成本，d是像素的视差，而C(p,d)代表上述Ccensus(p,d)和Cgradient(p,d)的总和。
步骤(2)：结合视差图和相机参数得到三维点云，然后通过引导滤波以消除噪声点来平滑点云，具体方法为：
利用局部线性滤波方法引导滤波去除三维点云噪声点并保留细节特征，引导滤波中引导图像G，输出图像O和输入图像I之间的关系如下：
Figure BDA0003403476590000073
式中，像素q是像素p的邻域像素，权重Wpq(G)有如下定义：
Figure BDA0003403476590000074
式中，μk和
Figure BDA0003403476590000075
是窗口wk中所有像素灰度值的均值和方差，|w|是窗口的大小，ε是调整参数；
将引导滤波用于三维点云的去噪平滑，原始点云和平滑后的点云在深度上满足局部线性关系；经过引导滤波后，所有顶点均沿其法线方向移动，定义如下：
V′←V+d·n，
式中，V是点云中的一个顶点，V′是通过引导滤波平滑后的顶点，d是加权因子；顶点V的法线方向n通过局部曲面拟合计算，建立一个平面来估计顶点V的局部几何形状，定义如下：
F(x,y,z)＝Ax+By+Cz+D＝0，
式中，A、B、C和D是平面参数，x、y、z为空间点的坐标；
采用KD-tree算法选择顶点V附近的十个点作为邻域空间点，并通过最小二乘法估计平面参数，获得更新的法线方向，公式如下：
Figure BDA0003403476590000081
加权因子d由中心点和局部邻域点之间的深度相似性确定；深度相似度是指投影到中心法线方向的距离矢量，定义如下：
Figure BDA0003403476590000082
式中，SV是以顶点V为中心的一个领域点集，p和q是顶点V的领域点，S是集合SV的大小，＜n,V-p＞和＜n,V-q＞表示p和q两个点和顶点V之间的深度相似度，μv和σv分别表示集合SV中所有点的深度相似度的均值和方差。
步骤(3)：如图3所示，利用基于快速点定位的Delaunay三角剖分方法重建点云表面，提高三维模型的可视性；
基于投影的Delaunay三角剖分的具体方法如下：
先使用基于法线方向的正交投影将三维点云映射到二维平面；通过方向搜索的方式按照空间相邻的原则逐点插入，快速定位待插入点所在的三角形，以确定点之间的拓扑连接关系。最后，根据投影点在平面上的拓扑连接关系，确定原始三维点之间的拓扑连接，得到的三角形网格为重建的表面模型，执行纹理映射以恢复三维模型的表面特征；
通过方向搜索的方式按照空间相邻的原则逐点插入，实现快速的定位待插入点所在的三角形具体方法为：
在进行方向搜索插入点定位的过程中，我们以G表示三角形的重心，M表示待插入点。以最新生成的三角形为初始三角形。从初始三角形开始，通过G与M的相对位置来确定搜索方向。当G与M在某条边的不同侧时，下一个搜索的三角形为这条边相邻的三角形。当G与M都在三角形三条边的同一侧时停止搜索，该三角形即为包含插入点的三角形。图4显示了这种方向搜索方法，其中，P为待插入点，S为初始三角形，T为目标三角形。在定位过程中，三角形的顶点按顺时针排列，因此三角形的重心总是在边的右侧，只需要判断待插入点是否在边的左侧即可。对于某些特殊情况的处理：a)待插入点在三角形某一边上：当作待插入点在三角形内；b)待插入点是三角形的顶点：不插入该点；c)待插入点在三角形某条边的延长线上：视为待插入点与重心在该边的同一侧，继续检测下一条边。
最后应该说明的是，结合上述实施例仅说明本发明的技术方案而非对其限制。所属领域的普通技术人员应当理解到，本领域技术人员可以对本发明的具体实施方式进行修改或者等同替换，但这些修改或变更均在申请待批的权利要求保护范围之中。

Claims (6)

1.一种基于双目视觉的电缆管道内部场景的三维重建方法，其特征在于，所述电缆管道内部场景的三维重建方法包括以下步骤：
步骤(1)：采用一种二阶半全局立体匹配方法，获得场景的视差图；
步骤(2)：结合所述视差图和相机参数得到场景的三维点云，然后通过引导滤波以消除噪声点来平滑点云；
步骤(3)：利用快速点定位的Delaunay三角剖分方法重建点云表面，提高三维模型的可视性。
2.根据权利要求1所述的一种基于双目视觉的电缆管道内部场景的三维重建方法，其特征在于，步骤(1)中所述的二阶半全局立体匹配方法使用Census度量和梯度度量作为匹配代价。
3.根据权利要求1所述的一种基于双目视觉的电缆管道内部场景的三维重建方法，其特征在于，步骤(2)中通过局部线性滤波方法引导滤波去除三维点云中的噪声保留细节特征。
4.根据权利要求1所述的一种基于双目视觉的电缆管道内部场景的三维重建方法，其特征在于，步骤(3)中使用改进的基于投影的所述Delaunay三角剖分的方法。
5.根据权利要求4所述的一种基于双目视觉的电缆管道内部场景的三维重建方法，其特征在于，所述改进的基于投影的Delaunay三角剖分的方法为：所述快速点定位的Delaunay三角剖分方法使用基于法线方向的正交投影将三维点云映射到二维平面，通过方向搜索的方式按照空间相邻的原则逐点插入，快速地定位待插入点所在的三角形，根据投影点在平面上的拓扑连接关系，确定原始三维点之间的拓扑连接，将平面三角形网格映射到三维空间生成三维模型，最后执行纹理映射以恢复所述三维模型的表面特征。
6.根据权利要求5所述的一种基于双目视觉的电缆管道内部场景的三维重建方法，其特征在于，通过所述方向搜索的方式按照空间相邻的原则逐点插入，在进行方向搜索插入点定位的过程中，我们以G表示三角形的重心，M表示待插入点，以最新生成的三角形为初始三角形，从初始三角形开始，通过G与M的相对位置来确定搜索方向，当G与M在某条边的不同侧时，下一个搜索的三角形为这条边相邻的三角形；当G与M都在三角形三条边的同一侧时停止搜索，该三角形即为包含插入点的三角形。
CN202111506890.XA 2021-12-10 2021-12-10 一种基于双目视觉的电缆管道内部场景的三维重建方法 Pending CN114255181A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111506890.XA CN114255181A (zh) 2021-12-10 2021-12-10 一种基于双目视觉的电缆管道内部场景的三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111506890.XA CN114255181A (zh) 2021-12-10 2021-12-10 一种基于双目视觉的电缆管道内部场景的三维重建方法

Publications (1)

Publication Number Publication Date
CN114255181A true CN114255181A (zh) 2022-03-29

Family

ID=80794636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111506890.XA Pending CN114255181A (zh) 2021-12-10 2021-12-10 一种基于双目视觉的电缆管道内部场景的三维重建方法

Country Status (1)

Country Link
CN (1) CN114255181A (zh)

Similar Documents

Publication Publication Date Title
Wolff et al. Point cloud noise and outlier removal for image-based 3D reconstruction
CN106910242B (zh) 基于深度相机进行室内完整场景三维重建的方法及系统
Kolev et al. Turning mobile phones into 3D scanners
US8711143B2 (en) System and method for interactive image-based modeling of curved surfaces using single-view and multi-view feature curves
Seitz et al. A comparison and evaluation of multi-view stereo reconstruction algorithms
KR101928575B1 (ko) 삼차원 장면의 불연속 평면 재구성
EP2751777B1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
CN113178009B (zh) 一种利用点云分割和网格修补的室内三维重建方法
CN109960402B (zh) 一种基于点云和视觉特征融合的虚实注册方法
CN111833393A (zh) 一种基于边缘信息的双目立体匹配方法
KR20170068462A (ko) 에지를 이용한 3차원 모델 생성
Branch et al. Automatic hole-filling of triangular meshes using local radial basis function
Li et al. Dense surface reconstruction from monocular vision and LiDAR
US9147279B1 (en) Systems and methods for merging textures
Cross et al. Surface reconstruction from multiple views using apparent contours and surface texture
CN111462030A (zh) 多图像融合的立体布景视觉新角度构建绘制方法
Xu et al. Survey of 3D modeling using depth cameras
Wang et al. Plane-based optimization of geometry and texture for RGB-D reconstruction of indoor scenes
Fua et al. Taking advantage of image-based and geometry-based constraints to recover 3-D surfaces
Xu et al. 3D reconstruction method based on second-order semiglobal stereo matching and fast point positioning Delaunay triangulation
Shivakumar et al. Real time dense depth estimation by fusing stereo with sparse depth measurements
Branch et al. A hole-filling algorithm for triangular meshes using local radial basis function
Rothermel et al. Fast and robust generation of semantic urban terrain models from UAV video streams
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及系统
Lui et al. An Iterative 5-pt Algorithm for Fast and Robust Essential Matrix Estimation.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination