CN112053432A - 一种基于结构光与偏振的双目视觉三维重建方法 - Google Patents

一种基于结构光与偏振的双目视觉三维重建方法 Download PDF

Info

Publication number
CN112053432A
CN112053432A CN202010965813.XA CN202010965813A CN112053432A CN 112053432 A CN112053432 A CN 112053432A CN 202010965813 A CN202010965813 A CN 202010965813A CN 112053432 A CN112053432 A CN 112053432A
Authority
CN
China
Prior art keywords
point
camera
pixel
projector
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010965813.XA
Other languages
English (en)
Other versions
CN112053432B (zh
Inventor
王昌健
鄢新章
卢光辉
蔡洪斌
张登凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Beishimei Medical Technology Co ltd
Original Assignee
Chengdu Beishimei Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Beishimei Medical Technology Co ltd filed Critical Chengdu Beishimei Medical Technology Co ltd
Priority to CN202010965813.XA priority Critical patent/CN112053432B/zh
Publication of CN112053432A publication Critical patent/CN112053432A/zh
Application granted granted Critical
Publication of CN112053432B publication Critical patent/CN112053432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及计算机视觉领域，具体涉及一种基于结构光与偏振的双目视觉三维重建方法。具体技术方案为：采用投影仪将计算机生成的正弦条纹图像投影到被测物体上；左相机和右相机采集被测物体表面被高度所调制的正弦条纹图像，并发送至计算机；所述计算机将含有高度调制信息的正弦条纹图像进行数据处理，通过质量图导向先求解相位值，再根据所述投影仪、左右相机和被测物体之间的几何关系求出被测物体表面的初步点云坐标，并基于偏振的方法计算高反光区域点云坐标；最后将初步点云坐标和高反光区域点云坐标进行配准后得到的完整点云来重建被测物体的三维模型。本发明解决了现有的基于结构光的三维重建方法不能很好的处理高反光区域的重建问题。

Description

一种基于结构光与偏振的双目视觉三维重建方法
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于结构光与偏振的双目视觉三维重建方法。
背景技术
基于视觉的三维重建技术是计算机视觉领域中的一个重要研究方向，而基于结构光的三维重建技术是主动视觉法中被广泛应用的一种，它有着非接触，精度高，速度快，成本低等优点。常见的基于结构光的三维重建方法不能很好的处理高反光区域的重建问题，因此，本发明提出一种基于结构光与偏振的双目视觉三维重建方法。
发明内容
针对现有技术的不足，本发明提供了一种基于结构光与偏振的双目视觉三维重建方法，以精确地获取被测物体的三维信息，并有效地解决高反光区域的三维信息不准确的问题。
为实现以上目的，本发明通过以下技术方案予以实现：
本发明公开了一种基于结构光与偏振的双目视觉三维重建方法，采用投影仪将计算机生成的正弦条纹图像投影到被测物体上；左相机和右相机采集被测物体表面被高度所调制的正弦条纹图像，并发送至计算机；所述计算机将含有高度调制信息的正弦条纹图像进行数据处理，通过质量图导向先求解相位值，再根据所述投影仪、左右相机和被测物体之间的几何关系求出被测物体表面的初步点云坐标，并基于偏振的方法计算高反光区域点云坐标；最后将初步点云坐标和高反光区域点云坐标进行配准后得到的完整点云来重建被测物体的三维模型。
优选的，一种基于结构光与偏振的双目视觉三维重建方法，包括以下步骤：
步骤1.通过系统标定获得左、右相机和投影仪的内外参数；
步骤2.确定标签集f，对每个投影仪图像上的像素点P，在左、右相机视图中检测到的点之间形成的点对集合；
步骤3.计算部分绝对相位，通过计算投影仪图像每个像素点的最小代价，确定投影仪像素点在左、右相机上的匹配点，并根据投影仪像素点绝对相位偏移计算左、右相机的部分绝对相位图；
步骤4.填充缺省相位，采用质量图引导的缺省相位填充方法，得到完整的绝对相位；
步骤5.初步计算点云，通过三角测量得到被扫描物体的三维坐标；
步骤6.通过偏振的方法计算高反光区域点云；
步骤7.将步骤5得到的初步点云和步骤6得到的高反光区域点云进行配准，得到完整点云；
步骤8.根据步骤7计算出的点云进行三维重建。
优选的，步骤1中，系统标定的主要步骤包括：
步骤1.1.对左、右相机进行标定：基于相机的针孔成像原理建立投影成像模型，设空间中一点的世界坐标为(XW,YW,ZW)，其在相机平面对应点的图像坐标为(u,v)，具体公式如下：
Figure BDA0002682264030000021
其中，s为尺寸因子，fx＝f/dx，fy＝f/dy，f代表焦距，dx、dy分别代表u轴和v轴上的尺度因子，单位为像素；R和T分别代表旋转矩阵和平移矩阵；W为空间中一点在世界坐标系下的齐次坐标；M1和M2分别代表内外参数矩阵；Mc为相机的投影矩阵；
步骤1.2.对投影仪进行标定：方法与步骤1.1相同，计算得到投影仪投影矩阵Mp。
优选的，步骤2中，确定标签集f的主要步骤包括：
步骤2.1.确定可能的标签集：根据投影仪图像上的像素P，确定左、右相机上的与点P相关的极限约束行，然后分别在左、右相机中的极限约束行中求出与点P包裹相位相同的像素点，再根据这些点的二维像素坐标、包裹相位值和亮度值，利用三角测量求出这些像素点的三维空间坐标；
步骤2.2.优化标签集：利用深度约束算法和左右点的布局纹理特征来优化标签集，删除纹理特征差异大的匹配点。
优选的，步骤3中，计算部分绝对相位的主要步骤包括：
步骤3.1.定义数据函数Edata(f)：计算标签集f中左、右相机像素点对应空间点之间的距离，设置阈值α后，作为数据函数Edata(f)，公式如下：
Figure BDA0002682264030000031
其中，pm表示投影仪图像上一点，{Lm,Rm}表示pm对应的标签集。P3d(Lm)表示左相机像素点对应的空间点，P3d(Rm)表示右相机像素点对应的空间点；
步骤3.2.定义平滑函数Esmooth1(f)：根据步骤2获取标签集fm和fn中左相机像素点二维坐标，求出二维像素点距离，并设置阈值β，以最小化遮挡误差；同理，计算相邻投影仪像素点pm和pn在右相机中对应点的距离，并设置阈值β，公式如下：
Figure BDA0002682264030000032
其中，pm，pn表示投影仪图像上相邻的两个像素点，{Lm,Rm}、{Ln,Rn}表示pm、pn对应的标签集；p2d(Lm)和p2d(Ln)分别表示投影仪相邻像素点pm和pn在左相机对应像素点；p2d(Rm)和p2d(Rn)分别表示投影仪相邻像素点pm和pn在右相机对应像素点；
步骤3.3.定义平滑函数Esmooth2(f)：投影仪上的每个点pm，根据步骤2获取标签集fm中左、右相机像素点的相位和亮度，对相位误差和亮度误差分别进行归一化后加权求和，设置比例参数λ后作为平滑函数Esmooth2(f)，公式如下：
Figure BDA0002682264030000041
其中，
Figure BDA0002682264030000044
和
Figure BDA0002682264030000045
分别代表左相机对应像素点的相位值，
Figure BDA0002682264030000046
和
Figure BDA0002682264030000047
分别代表左、右相机对应像素点的亮度值，w1和w2是控制相位误差和亮度误差比例的权重因子，△I是左、右相机的平均亮度误差灵敏度；
步骤3.4.定义标签集f的代价函数：公式如下：
E(f)＝Edata(f)+Esmooth1(f)+Esmooth2(f) (5)
步骤3.5.定义消息构造函数：公式如下：
Figure BDA0002682264030000042
步骤3.6.确定匹配点：任意选择一个初始像素后，根据代价函数和消息构造函数生成消息并迭代传递，达到一定迭代次数后，对每个像素点收到的消息求和，并找到最小代价确定投影仪像素点在左、右相机上对应匹配点；
步骤3.7.计算部分绝对相位：公式如下：
Figure BDA0002682264030000048
优选的，步骤4中，填充缺省相位的主要步骤包括：
步骤4.1.基于二阶差分计算质量图，对任意一点(i,j)，二阶差分D的公式为：
Figure BDA0002682264030000043
其中，H，V，D1，D2的公式为：
Figure BDA0002682264030000051
其中，wrap为相邻两点之间的绝对相位关系函数，若令相邻两点相位之差为Difference，则当Difference>π时返回Difference-2π；当Difference<-π时返回Difference+2π；
因此，点(i,j)的质量值
Figure BDA0002682264030000052
步骤4.2.根据质量图填充缺省相位。
优选的，步骤5中，初步计算点云的主要步骤包括：
步骤5.1.根据步骤1得到的相机和投影仪的投影矩阵Mc和Mp，以及步骤4得到的绝对相位图计算每个相机平面点对应在投影仪平面像素点纵坐标vp，公式如下：
φ(uc,vc)＝2πvp (14)
其中，φ(uc,vc)代表相机平面点(uc,vc)的绝对相位；
步骤5.2.根据Mc、Mp和vp计算得到待测物体的三维坐标(XW,YW,ZW)，公式如下：
Figure BDA0002682264030000053
其中，(uc,vc)代表相机平面点的像素坐标，vp代表对应的投影仪平面像素纵坐标。
优选的，步骤6中，计算高反光区域点云的主要步骤包括：
步骤6.1.计算偏振度，公式如下：
Figure BDA0002682264030000054
其中，Imin(x,y)、Imin(x,y)是采集到的光照强度的最大值和最小值；
步骤6.2.计算天顶角，公式如下：
Figure BDA0002682264030000061
Figure BDA0002682264030000062
其中，(x,y)为像素坐标，η是反射系数，设为1.5，θ(x,y)为(x,y)处的天顶角；
步骤6.3.计算方位角，公式如下：
Figure BDA0002682264030000063
其中，
Figure BDA0002682264030000065
为不同的偏振角度，
Figure BDA0002682264030000066
φ(x,y)是(x,y)处的相位值，且φ(x,y)与方位角
Figure BDA0002682264030000067
的关系，公式如下：
Figure BDA0002682264030000064
步骤6.4.消除方位角的π/2歧义性，利用相机得到的先验深度信息来消除π/2歧义性，公式如下：
E({fp})＝∑p∈PD(fp)+∑p,q∈NV(fp,fq) (21)
其中，fp是像素P的二值标签，当fp＝1表示漫反射作主导，当fp＝0表示镜面反射作主导，P是所有像素的集合，N是所有相邻像素的集合；
步骤6.5.计算高反光区域点云，通过计算得到的方位角和天顶角确定目标物体表面的法线向量
Figure BDA0002682264030000068
并假设物体表面连续可积，则可通过法线梯度场的曲面积分得到物体表面高度，公式如下：
Figure BDA0002682264030000069
Figure BDA00026822640300000610
其中，p、q分别表示目标表面法线
Figure BDA00026822640300000611
分别在x、y坐标轴上的坐标分量，Z(x,y)表示目标表面高度。
优选的，步骤6.4中，D(fp)的计算公式为：
Figure BDA0002682264030000071
其中，φp是从偏振图片中计算出来的值，
Figure BDA0002682264030000073
则是从先验深度信息中估计出来的值，g(φp,φq)为计算两个相位角(φp,φq)之间距离的函数，公式如下：
g(φp,φq)＝min(|φp-φq+π|,|φp-φq|,|φp-φq-π|) (23)。
优选的，步骤7中，点云配准的主要步骤为：
步骤7.1.采用体素网格法进行点云滤波；
步骤7.2.计算点特征直方图，公式如下：
Figure BDA0002682264030000074
其中，SPFH(pq)为目标点pq简化的点特征直方图，而FPFH(pq)为SPFH(pq)及其邻近点的加权SPFH之和，其中wk表示p与pk的几何距离；
步骤7.3.基于采样一致性的粗配准；
步骤7.4.ICP精配准，公式如下：
Figure BDA0002682264030000072
其中，n表示对应点的对数，R为旋转矩阵，T为平移矩阵。
本发明具备以下有益效果：
本发明基于相机和投影仪的几何成像模型，利用张正友平面标定法进行系统标定，得到相机和投影仪的投影矩阵。其次，根据左右相机极线约束和相同包裹相位条件计算标签集，并利用深度约束算法和左右点的局部纹理特征优化标签集。接着，利用LoopyBelief Propagation算法计算得到具有最小代价的标签，根据对应投影仪像素点的绝对相位偏移计算得到左右相机部分绝对相位图。然后，采用质量图引导的缺省相位填充方法，从而得到完整的绝对相位图。之后，基于三角测量原理初步计算得到点云。再者，采用基于偏振的方法计算高反光区域的点云，并通过左右一致性检查来进一步优化高反光区域的点云。接下来，将初步计算得到的点云与高反光区域点云滤波后进行配准，从而得到完整的点云。最后，根据点云进行三维重建。最终精确地获取到了被测物体的三维信息，并有效地解决高反光区域的三维信息不准确的问题。
附图说明
图1为本发明流程图；
图2为实现图1所示流程的硬件图；
图3为通过自适应深度约束算法求深度值；
图中：投影仪1、左相机2、右相机3、计算机4。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
若未特别指明，实施举例中所用的技术手段为本领域技术人员所熟知的常规手段。
参考图2，本发明公开了一种基于结构光与偏振的双目视觉三维重建方法，包括与计算机4相连的投影仪1、左相机2和右相机3，所述投影仪1将计算机4生成的正弦条纹图像投影到被测物体上；所述左相机2和右相机3采集被测物体表面被高度所调制的正弦条纹图像，并发送至所述计算机4；所述计算机4将含有高度调制信息的正弦条纹图像进行数据处理，通过质量图导向先求解相位值，再根据所述投影仪1、左右相机(2、3)和被测物体之间的几何关系求出被测物体表面的初步点云坐标，并基于偏振的方法计算高反光区域点云坐标；最后将初步点云坐标和高反光区域点云坐标进行配准后得到的完整点云来重建被测物体的三维模型。其中左右相机(2、3)均为双目偏振摄像机。
参考图1所示，具体包括以下步骤：
步骤1.系统标定。通过系统标定获得左、右相机和投影仪的内外参数，以便后续根据相机平面二维图像信息计算获取被测物的三维信息。
该步骤主要包括：
步骤1.1.对左、右相机进行标定，本发明采用张正友平面标定法基于相机针孔模型进行标定。
该步骤主要包括：
步骤1.1.1.建立针孔模型，设空间中一点的世界坐标为(XW,YW,ZW)，其在相机平面对应点的图像坐标为(u,v)，则基于相机的针孔成像原理建立投影成像模型，具体公式如下：
Figure BDA0002682264030000091
其中，s为尺寸因子，fx＝f/dx，fy＝f/dy，f代表焦距，dx、dy分别代表u轴和v轴上的尺度因子，单位为像素；R和T分别代表旋转矩阵和平移矩阵；W为空间中一点在世界坐标系下的齐次坐标；M1和M2分别代表内外参数矩阵；Mc为相机的投影矩阵。
步骤1.1.2.基于张正友平面标定法进行系统标定。多次采集不同方位的棋盘格标定板图像，并根据采集的图像提取标定点，并代入公式(1)的模型计算出相机的内外部参数，得到相机投影矩阵Mc。
步骤1.2.对投影仪进行标定：投影仪的标定方法与相机的相同，最终计算得到投影仪投影矩阵Mp。
步骤2.确定标签集f，标签集表示对于每个投影仪图像上的像素点P，在左、右相机视图中检测到的点之间形成的点对集合。例如：对于左相机中检测到的点L1,L2,L3和右相机中检测到的点R1,R2，一种可能的标签集为：{(L1，R1),(L1，R2),(L2，R1),(L2，R2),(L3，R1),(L3，R2)}。本发明先确定可能的标签集后，再进行优化筛选，以降低后续步骤的计算数据量。
确定标签集f的主要步骤包括：
步骤2.1.确定可能的标签集：根据投影仪图像上的像素P，确定左、右相机上的与点P相关的极限约束行，然后分别在左、右相机中的极限约束行中求出与点P包裹相位相同的像素点，包裹相位从三幅连续的向移正弦条纹强度图中提取得到。记录这些点的二维像素坐标、包裹相位值和亮度值，利用三角测量求出这些像素点的三维空间坐标。
步骤2.2.优化标签集：利用深度约束算法和左右点的布局纹理特征来优化标签集f，减少一些无关的待匹配点，加快后续的处理速度。
该步骤主要包括：
步骤2.2.1.自适应深度约束算法减少待匹配点，通过设定待匹配像素邻域内初始的深度体积值
Figure BDA0002682264030000101
可以将区间范围之外的待匹配点过滤掉，本发明使用自适应的深度约束来满足不同被测物体的实际测量需求。
主要步骤为：
步骤2.2.1.1.通过增加深度冗余ΔZmotion来更新
Figure BDA0002682264030000102
将区间范围之外的待匹配点过滤掉。
步骤2.2.1.2.在更新过后的范围里寻找新的
Figure BDA0002682264030000103
和
Figure BDA0002682264030000104
重复2.2.1.1步骤直到得到一个最终的深度体积。
步骤2.2.1.3，利用深度体积求出搜索区间范围。从图3中可以求出P点的深度值，如以下公式所示：
Pz＝Focal*Bl/(xrect-x”rect) (2)
其中，Pz是P点的深度值，Focal是左右相机的焦距，Bl是左右相机之间的距离，xrect和x”rect分别是P点在左相机和右相机上的水平坐标。
再利用公式(3)计算左右相机搜索的区间范围，通过缩小搜索范围进而加快匹配速度。
Figure BDA0002682264030000111
步骤2.2.2.利用纹理相似性优化待匹配点，先计算左右待匹配点的纹理特征，然后删除纹理特征差异大的待匹配点。
主要步骤为：
步骤2.2.2.1.计算左右待匹配点的纹理误差，本文使用了相位误差和亮度误差作为纹理误差的来源，如公式(4)所示：
D＝w1[(φ2-φ1)/2π]2+w2[(I2-△I2-I1)/(255/2)]2 (4)
其中，D代表左右待匹配点的纹理误差，φ2和φ1分别代表左右待匹配点的相位值，I2和I1分别代表左右待匹配点的亮度值，△I2为左右两个相机在成像灵敏度差异方面的平均值，w1和w2是控制相位误差和亮度误差比例的权重因子，[(φ2-φ1)/2π]和[(I2-△I2-I1)/(255/2)]是为了将不同等级的相位误差和亮度误差归一化。
步骤2.2.2.2.通过上一步计算出纹理误差后，将纹理特征差异大的待匹配点删除，减少后续计算量。
步骤3.计算部分绝对相位，利用Loopy Belief Propagation算法计算投影仪图像每个像素点的最小代价，以此确定投影仪像素点在左、右相机上的匹配点，并根据投影仪像素点绝对相位偏移计算左、右相机的部分绝对相位图。
该步骤主要包括：
步骤3.1.定义标签集f的代价函数，由步骤2得，投影仪图像每个点P对应一个标签集f。如公式(5)，标签集f的代价函数由数据函数Edata(f)、平滑函数Esmooth1(f)和Esmooth2(f)求和得到公式如下：
E(f)＝Edata(f)+Esmooth1(f)+Esmooth2(f) (5)
步骤3.1.1.定义数据函数Edata(f)：对于投影仪图像的每个点pm，根据步骤2获取标签集f中左右相机像素点对应空间点三维坐标，根据公式(6)，计算标签集f中左右相机像素点对应空间点之间的距离，设置阈值α后，作为数据函数Edata(f)，公式如下：
Figure BDA0002682264030000123
其中，pm表示投影仪图像上一点，{Lm,Rm}表示pm对应的标签集。P3d(Lm)表示左相机像素点对应的空间点，P3d(Rm)表示右相机像素点对应的空间点。
步骤3.1.2.定义平滑函数Esmooth1(f)：对于投影仪上的每个点pm(除边界点外)，都有一个邻域Ν(pm)，包含上下左右四个像素点。已知pm的相邻点pn，根据步骤2获取标签集fm和fn中左相机像素点二维坐标，求出二维像素点距离，并设置阈值β，以最小化遮挡误差；同理，计算相邻投影仪像素点pm和pn在右相机中对应点的距离，并设置阈值β。将左右相机对应像素点的距离求和后作为平滑函数Esmooth1(f)，公式如下：
Figure BDA0002682264030000121
其中，pm、pn表示投影仪图像上相邻的两个像素点，{Lm,Rm}、{Ln,Rn}表示pm、pn对应的标签集；p2d(Lm)和p2d(Ln)分别表示投影仪相邻像素点pm和pn在左相机对应像素点；p2d(Rm)和p2d(Rn)分别表示投影仪相邻像素点pm和pn在右相机对应像素点。
步骤3.1.3.定义平滑函数Esmooth2(f)：对于投影仪上的每个点pm，根据步骤2获取标签集fm中左右相机像素点的相位和亮度，对相位误差和亮度误差分别进行归一化后加权求和，设置比例参数λ后作为平滑函数Esmooth2(f)，公式如下：
Figure BDA0002682264030000122
其中，公式(8)可以调节w1和w2以控制相位误差和亮度误差的比例。
Figure BDA0002682264030000132
和
Figure BDA0002682264030000133
分别代表左相机对应像素点的相位值，
Figure BDA0002682264030000134
和
Figure BDA0002682264030000135
分别代表左、右相机对应像素点的亮度值，w1和w2是控制相位误差和亮度误差比例的权重因子，△I是左、右相机的平均亮度误差灵敏度。
步骤3.2.定义消息构造函数：像素点pm传递给pn的消息构造由像素点pm对应的数据函数值Edata(fm)、平滑函数值Esmooth1(f)、平滑函数值Esmooth2(f)以及像素点pm邻域中除pn以外的其他像素点传递的消息求和得到。因此，两个相邻像素点pm和pn之间传递的消息构造如公式(9)所示：
Figure BDA0002682264030000131
步骤3.3.确定匹配点：任意选择一个初始像素后，根据步骤3.1中的代价函数和步骤3.2中的消息构造函数生成消息并迭代传递，达到不少于M次迭代次数后，M＞5，对每个像素点收到的消息求和，并找到最小代价确定投影仪像素点在左、右相机上对应匹配点。
步骤3.4.计算部分绝对相位：左右相机像素点的绝对相位由其包裹相位
Figure BDA0002682264030000136
和使用最小代价确定的投影仪像素点绝对相位偏移kp计算得到，公式如下：
Figure BDA0002682264030000137
步骤4.填充缺省相位，采用质量图引导的缺省相位填充方法，得到完整的绝对相位；
主要步骤包括：
步骤4.1.生成质量图。本发明基于二阶差分计算质量图，对任意一点(i,j)，其二阶差分D的公式为：
Figure BDA0002682264030000141
其中，H，V，D1，D2的公式为：
Figure BDA0002682264030000142
其中，wrap为相邻两点之间的绝对相位关系函数，若令相邻两点相位之差为Difference，则当Difference>π时返回Difference-2π；当Difference<-π时返回Difference+2π。
因此，点(i,j)的质量值
Figure BDA0002682264030000143
步骤4.2.根据质量图填充缺省相位。
该步骤主要包括：
步骤4.2.1，首先将质量值按照从高到低的顺序排序。
步骤4.2.2，从最高的质量值开始，确定这个质量值的相邻两个像素点A1和A2。当A1和A2没有进行相位展开，判断A1和A2质量值大小，如果
Figure BDA0002682264030000144
则以A1为基准，对A2进行相位展开，并把这两个相位合并到一个群组；当A1和A2中有一个像素已经进行相位展开，假设A1已经完成了相位展开，那么它是有群组M的，则以A1为基准，对A2进行相位展开，并且将A2加入到M群组中；当A1和A2都已完成相位展开，假设A1所在的群组为M，A2所在的群组为N，像素数目分别为m和n，如果m≥n，则以M为基准，将N进行变换后合并。
步骤4.2.3，循环操作，直至展开整个相位图。
步骤5.初步计算点云，通过三角测量得到被扫描物体的三维坐标。
该步骤主要包括：
步骤5.1.根据步骤1得到的相机和投影仪的投影矩阵Mc和Mp，公式如下：
Figure BDA0002682264030000151
步骤5.2.根据步骤4得到的绝对相位图计算每个相机平面点对应在投影仪平面像素点纵坐标vp，公式如下：
φ(uc,vc)＝2πvp (14)
其中，φ(uc,vc)代表相机平面点(uc,vc)的绝对相位。
步骤5.3.根据Mc、Mp和vp计算得到待测物体的三维坐标(XW,YW,ZW)，公式如下：
Figure BDA0002682264030000152
其中，(uc,vc)代表相机平面点的像素坐标，vp代表对应的投影仪平面像素纵坐标。
步骤6.计算高反光区域点云。本发明采用基于偏振的方法计算高反光区域点云，并通过左右一致性检查来进一步优化高反光区域的点云。
该步骤主要包括：
步骤6.1.计算每个像素点的法向量。在基于偏振的方法中，可在三维坐标系中通过方位角和天顶角来确定唯一的法向量。
该步骤主要包括：
步骤6.1.1.计算偏振度，偏振度是用来衡量偏振光的偏振程度，公式如下：
Figure BDA0002682264030000153
其中，Imax(x,y)、Imin(x,y)是采集到的光照强度的最大值和最小值，ρ(x,y)是偏振度。
步骤6.1.2.计算天顶角，漫反射区域的天顶角的计算如公式(17)所示，镜面反射区域的天顶角的计算如公式(18)所示：
Figure BDA0002682264030000161
Figure BDA0002682264030000162
其中，(x,y)为像素坐标，η是反射系数，此处设为1.5，θ(x,y)为(x,y)处的天顶角。
步骤6.1.3.计算方位角，公式如下：
Figure BDA0002682264030000163
其中，
Figure BDA0002682264030000166
为不同的偏振角度，
Figure BDA0002682264030000167
φ(x,y)是(x,y)处的相位值，且φ(x,y)与方位角
Figure BDA0002682264030000168
的关系，公式如下：
Figure BDA0002682264030000164
步骤6.1.4.消除方位角的π/2歧义性，公式(20)中，方位角的求解存在π/2歧义性，本发明利用相机得到的先验深度信息来消除π/2歧义性，公式如下：
E({fp})＝∑p∈PD(fp)+∑p,q∈NV(fp,fq) (21)
其中，fp是像素P的二值标签，当fp＝1表示漫反射作主导，当fp＝0表示镜面反射作主导，P是所有像素的集合，N是所有相邻像素的集合。
进一步的，D(fp)的定义如下：
对于纹理较好的区域，从偏振中计算出来的方位角应该和从先验深度信息中恢复出来的形状相似。假设P+是从先验深度信息中恢复的可靠像素点集，它将被使用来消除π/2歧义性，对于任意一个像素p∈P+，计算公式为：
Figure BDA0002682264030000165
其中，φp是从偏振图片中计算出来的值，
Figure BDA0002682264030000169
则是从先验深度信息中估计出来的值，g(φp,φq)为计算两个相位角(φp,φq)之间距离的函数，公式如下：
g(φp,φq)＝min(|φp-φq+π|,|φp-φq|,|φp-φq-π|) (23)。
对于纹理较少的区域，只能从统计先验数据上来求D(fp)。假设
Figure BDA0002682264030000171
是没有可靠深度信息的像素集合，对于任意像素p∈P-，公式为：
Figure BDA0002682264030000172
其中，0<ρp<1是先验的漫反射作主导的概率。ρp可以根据先验的目标材质或者光照条件来进行设定。
同时，V(fp,fq)是利用相邻像素的归一化来进行平滑的，公式如下：
Figure BDA0002682264030000173
其中，
Figure BDA0002682264030000174
是用来进行归一化的。
步骤6.2.通过左右一致性检查优化。本发明采用左右一致性检查筛选待计算表面深度的像素点。首先由步骤3得到左右相机图像中点的匹配关系，再根据左右一致性检查原则筛选点的匹配关系，从而减少待计算表面深度的像素点。具体地，左右一致性检查包含：1)、一一对应的一致性；2)、只有一个候选匹配点的区域才是正确的区域。
步骤6.3.计算高反光区域点云。通过上述步骤计算得到的方位角和天顶角确定目标物体表面的法线向量
Figure BDA0002682264030000175
并假设物体表面连续可积，则可通过法线梯度场的曲面积分得到物体表面高度，公式如下：
Figure BDA0002682264030000176
Figure BDA0002682264030000177
其中，p、q分别表示目标表面法线
Figure BDA0002682264030000178
在x、y坐标轴上的坐标分量，Z(x,y)表示目标表面高度。
步骤7.点云配准。将步骤5得到的初步点云和步骤6得到的高反光区域点云进行配准，从而得到完整点云。
该步骤主要包括为：
步骤7.1.体素滤波。点云中通常存在一些噪音点和离群点，为了保证后续点云配准的效果，本发明采取体素网格法进行点云滤波。
步骤7.2.计算FPFH特征。本发明借助FPFH特征分析不同点云之间的关联，该方法根据具有法线信息的点云，计算点特征直方图，具体计算公式如下：
Figure BDA0002682264030000181
其中，SPFH(pq)为目标点pq简化的点特征直方图，而FPFH(pq)为SPFH(pq)及其临近点的加权SPFH之和，其中wk表示p与pk的几何距离。
步骤7.3.基于采样一致性的粗配准。粗配准可以使待配准的点云位置尽可能地靠近，从而减少配准时的平移和旋转误差，本发明采用了基于采样一致性的粗配准。
主要步骤如下：
步骤7.3.1.从源点集P中选取m个样本点，并在目标点集Q中找到与P中样本点的快速点特征直方图相似的点，从找到的点中随机选取一些点，这些随机选取点与样本点形成一一对应关系。
步骤7.3.2.计算对应点的刚体变换矩阵，然后通过求解对应点变换后的距离误差和函数来判断当前配准变换的性能，以确定最佳变换。
步骤7.4.ICP精配准。本发明采用基于ICP算法的精配准，该方法从两待配准点云中建立相对应的点集P与Q，然后计算所有对应点的欧式距离平方的平均值，通过不断迭代使这个平均值最小，从而完成精配准。迭代的目标函数为：
Figure BDA0002682264030000182
其中，n表示对应点的对数，R为旋转矩阵，T为平移矩阵。
步骤8.根据步骤7计算出的点云进行三维重建。
以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (10)

1.一种基于结构光与偏振的双目视觉三维重建方法，其特征在于：
采用投影仪将计算机生成的正弦条纹图像投影到被测物体上；左相机和右相机采集被测物体表面被高度所调制的正弦条纹图像，并发送至计算机；所述计算机将含有高度调制信息的正弦条纹图像进行数据处理，通过质量图导向先求解相位值，再根据所述投影仪、左右相机和被测物体之间的几何关系求出被测物体表面的初步点云坐标，并基于偏振的方法计算高反光区域点云坐标；最后将初步点云坐标和高反光区域点云坐标进行配准后得到的完整点云来重建被测物体的三维模型。
2.根据权利要求1所述的一种基于结构光与偏振的双目视觉三维重建方法，其特征在于：包括以下步骤：
步骤1.通过系统标定获得左、右相机和投影仪的内外参数；
步骤2.确定标签集f，对每个投影仪图像上的像素点P，在左、右相机视图中检测到的点之间形成的点对集合；
步骤3.计算部分绝对相位，通过计算投影仪图像每个像素点的最小代价，确定投影仪像素点在左、右相机上的匹配点，并根据投影仪像素点绝对相位偏移计算左、右相机的部分绝对相位图；
步骤4.填充缺省相位，采用质量图引导的缺省相位填充方法，得到完整的绝对相位；
步骤5.初步计算点云，通过三角测量得到被扫描物体的三维坐标；
步骤6.通过偏振的方法计算高反光区域点云；
步骤7.将步骤5得到的初步点云和步骤6得到的高反光区域点云进行配准，得到完整点云；
步骤8.根据步骤7计算出的点云进行三维重建。
3.根据权利要求2所述的一种基于结构光与偏振的双目视觉三维重建方法，其特征在于：步骤1中，系统标定的主要步骤包括：
步骤1.1.对左、右相机进行标定：基于相机的针孔成像原理建立投影成像模型，设空间中一点的世界坐标为(XW,YW,ZW)，其在相机平面对应点的图像坐标为(u,v)，具体公式如下：
Figure FDA0002682264020000021
其中，s为尺寸因子，fx＝f/dx，fy＝f/dy，f代表焦距，dx、dy分别代表u轴和v轴上的尺度因子，单位为像素；R和T分别代表旋转矩阵和平移矩阵；W为空间中一点在世界坐标系下的齐次坐标；M1和M2分别代表内外参数矩阵；Mc为相机的投影矩阵；
步骤1.2.对投影仪进行标定：方法与步骤1.1相同，计算得到投影仪投影矩阵Mp。
4.根据权利要求2所述的一种基于结构光与偏振的双目视觉三维重建方法，其特征在于：步骤2中，确定标签集f的主要步骤包括：
步骤2.1.确定可能的标签集：根据投影仪图像上的像素P，确定左、右相机上的与点P相关的极限约束行，然后分别在左、右相机中的极限约束行中求出与点P包裹相位相同的像素点，再根据这些点的二维像素坐标、包裹相位值和亮度值，利用三角测量求出这些像素点的三维空间坐标；
步骤2.2.优化标签集：利用深度约束算法和左右点的布局纹理特征来优化标签集，删除纹理特征差异大的匹配点。
5.根据权利要求2所述的一种基于结构光与偏振的双目视觉三维重建方法，其特征在于：步骤3中，计算部分绝对相位的主要步骤包括：
步骤3.1.定义数据函数Edata(f)：计算标签集f中左、右相机像素点对应空间点之间的距离，设置阈值α后，作为数据函数Edata(f)，公式如下：
Figure FDA0002682264020000022
其中，pm表示投影仪图像上一点，{Lm,Rm}表示pm对应的标签集。P3d(Lm)表示左相机像素点对应的空间点，P3d(Rm)表示右相机像素点对应的空间点；
步骤3.2.定义平滑函数Esmooth1(f)：根据步骤2获取标签集fm和fn中左相机像素点二维坐标，求出二维像素点距离，并设置阈值β，以最小化遮挡误差；同理，计算相邻投影仪像素点pm和pn在右相机中对应点的距离，并设置阈值β，公式如下：
Figure FDA0002682264020000031
其中，pm，pn表示投影仪图像上相邻的两个像素点，{Lm,Rm}、{Ln,Rn}表示pm、pn对应的标签集；p2d(Lm)和p2d(Ln)分别表示投影仪相邻像素点pm和pn在左相机对应像素点；p2d(Rm)和p2d(Rn)分别表示投影仪相邻像素点pm和pn在右相机对应像素点；
步骤3.3.定义平滑函数Esmooth2(f)：投影仪上的每个点pm，根据步骤2获取标签集fm中左、右相机像素点的相位和亮度，对相位误差和亮度误差分别进行归一化后加权求和，设置比例参数λ后作为平滑函数Esmooth2(f)，公式如下：
Figure FDA0002682264020000032
其中，
Figure FDA0002682264020000033
和
Figure FDA0002682264020000034
分别代表左相机对应像素点的相位值，
Figure FDA0002682264020000035
和
Figure FDA0002682264020000036
分别代表左、右相机对应像素点的亮度值，w1和w2是控制相位误差和亮度误差比例的权重因子，△I是左、右相机的平均亮度误差灵敏度；
步骤3.4.定义标签集f的代价函数：公式如下：
E(f)＝Edata(f)+Esmooth1(f)+Esmooth2(f) (5)
步骤3.5.定义消息构造函数：公式如下：
Figure FDA0002682264020000041
步骤3.6.确定匹配点：任意选择一个初始像素后，根据代价函数和消息构造函数生成消息并迭代传递，达到一定迭代次数后，对每个像素点收到的消息求和，并找到最小代价确定投影仪像素点在左、右相机上对应匹配点；
步骤3.7.计算部分绝对相位：公式如下：
Figure FDA0002682264020000042
6.根据权利要求2所述的一种基于结构光与偏振的双目视觉三维重建方法，其特征在于：步骤4中，填充缺省相位的主要步骤包括：
步骤4.1.基于二阶差分计算质量图，对任意一点(i,j)，二阶差分D的公式为：
Figure FDA0002682264020000043
其中，H，V，D1，D2的公式为：
Figure FDA0002682264020000044
其中，wrap为相邻两点之间的绝对相位关系函数，若令相邻两点相位之差为Difference，则当Difference>π时返回Difference-2π；当Difference<-π时返回Difference+2π；
因此，点(i,j)的质量值
Figure FDA0002682264020000045
步骤4.2.根据质量图填充缺省相位。
7.根据权利要求2所述的一种基于结构光与偏振的双目视觉三维重建方法，其特征在于：步骤5中，初步计算点云的主要步骤包括：
步骤5.1.根据步骤1得到的相机和投影仪的投影矩阵Mc和Mp，以及步骤4得到的绝对相位图计算每个相机平面点对应在投影仪平面像素点纵坐标vp，公式如下：
φ(uc,vc)＝2πvp (14)
其中，φ(uc,vc)代表相机平面点(uc,vc)的绝对相位；
步骤5.2.根据Mc、Mp和vp计算得到待测物体的三维坐标(XW,YW,ZW)，公式如下：
Figure FDA0002682264020000051
其中，(uc,vc)代表相机平面点的像素坐标，vp代表对应的投影仪平面像素纵坐标。
8.根据权利要求2所述的一种基于结构光与偏振的双目视觉三维重建方法，其特征在于：步骤6中，计算高反光区域点云的主要步骤包括：
步骤6.1.计算偏振度，公式如下：
Figure FDA0002682264020000052
其中，Imax(x,y)、Imin(x,y)是采集到的光照强度的最大值和最小值；
步骤6.2.计算天顶角，公式如下：
Figure FDA0002682264020000053
Figure FDA0002682264020000054
其中，(x,y)为像素坐标，η是反射系数，设为1.5，θ(x,y)为(x,y)处的天顶角；
步骤6.3.计算方位角，公式如下：
Figure FDA0002682264020000055
其中，
Figure FDA0002682264020000056
为不同的偏振角度，
Figure FDA0002682264020000057
φ(x,y)是(x,y)处的相位值，且φ(x,y)与方位角
Figure FDA0002682264020000061
的关系，公式如下：
Figure FDA0002682264020000062
步骤6.4.消除方位角的π/2歧义性，利用相机得到的先验深度信息来消除π/2歧义性，公式如下：
E({fp})＝∑p∈PD(fp)+∑p,q∈NV(fp,fq) (21)
其中，fp是像素P的二值标签，当fp＝1表示漫反射作主导，当fp＝0表示镜面反射作主导，P是所有像素的集合，N是所有相邻像素的集合；
步骤6.5.计算高反光区域点云，通过计算得到的方位角和天顶角确定目标物体表面的法线向量
Figure FDA0002682264020000063
并假设物体表面连续可积，则可通过法线梯度场的曲面积分得到物体表面高度，公式如下：
Figure FDA0002682264020000064
Figure FDA0002682264020000065
其中，p、q分别表示目标表面法线
Figure FDA0002682264020000066
分别在x、y坐标轴上的坐标分量，Z(x,y)表示目标表面高度。
9.根据权利要求8所述的一种基于结构光与偏振的双目视觉三维重建方法，其特征在于：步骤6.4中，D(fp)的计算公式为：
Figure FDA0002682264020000067
其中，φp是从偏振图片中计算出来的值，
Figure FDA0002682264020000068
则是从先验深度信息中估计出来的值，g(φp,φq)为计算两个相位角(φp,φq)之间距离的函数，公式如下：
g(φp,φq)＝min(|φp-φq+π|,|φp-φq|,|φp-φq-π|) (23)。
10.根据权利要求2所述的一种基于结构光与偏振的双目视觉三维重建方法，其特征在于：步骤7中，点云配准的主要步骤为：
步骤7.1.采用体素网格法进行点云滤波；
步骤7.2.计算点特征直方图，公式如下：
Figure FDA0002682264020000071
其中，SPFH(pq)为目标点pq简化的点特征直方图，而FPFH(pq)为SPFH(pq)及其邻近点的加权SPFH之和，其中wk表示p与pk的几何距离；
步骤7.3.基于采样一致性的粗配准；
步骤7.4.ICP精配准，公式如下：
Figure FDA0002682264020000072
其中，n表示对应点的对数，R为旋转矩阵，T为平移矩阵。
CN202010965813.XA 2020-09-15 2020-09-15 一种基于结构光与偏振的双目视觉三维重建方法 Active CN112053432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010965813.XA CN112053432B (zh) 2020-09-15 2020-09-15 一种基于结构光与偏振的双目视觉三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010965813.XA CN112053432B (zh) 2020-09-15 2020-09-15 一种基于结构光与偏振的双目视觉三维重建方法

Publications (2)

Publication Number Publication Date
CN112053432A true CN112053432A (zh) 2020-12-08
CN112053432B CN112053432B (zh) 2024-03-26

Family

ID=73602845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010965813.XA Active CN112053432B (zh) 2020-09-15 2020-09-15 一种基于结构光与偏振的双目视觉三维重建方法

Country Status (1)

Country Link
CN (1) CN112053432B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052898A (zh) * 2021-04-08 2021-06-29 四川大学华西医院 基于主动式双目相机的点云和强反光目标实时定位方法
CN113108721A (zh) * 2021-04-09 2021-07-13 四川大学 基于多光束自适应互补匹配的高反光物体三维测量方法
CN113205593A (zh) * 2021-05-17 2021-08-03 湖北工业大学 一种基于点云自适应修复的高反光表面结构光场三维重建方法
CN113223135A (zh) * 2021-04-15 2021-08-06 中山大学 一种基于特殊复合平面镜虚像成像的三维重建装置和方法
CN113483664A (zh) * 2021-07-20 2021-10-08 科派股份有限公司 一种基于线结构光视觉的屏风板自动上料系统及方法
CN113505626A (zh) * 2021-03-15 2021-10-15 南京理工大学 一种快速三维指纹采集方法与系统
CN114299597A (zh) * 2022-03-11 2022-04-08 安徽云森物联网科技有限公司 一种用于多目人脸活体检测系统的测试装置与测试方法
CN114972653A (zh) * 2022-06-14 2022-08-30 陕西师范大学 基于天顶角定位的单目偏振三维重构成像方法
CN115049864A (zh) * 2022-06-27 2022-09-13 中国电子科技集团公司第十四研究所 一种基于阴影图像处理的目标三维重建方法
CN115252992A (zh) * 2022-07-28 2022-11-01 北京大学第三医院（北京大学第三临床医学院） 基于结构光立体视觉的气管插管导航系统
CN116592794A (zh) * 2023-07-17 2023-08-15 南京理工大学 一种基于偏振结构光的快速三维重建方法
CN116883471A (zh) * 2023-08-04 2023-10-13 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
WO2024113260A1 (zh) * 2022-11-30 2024-06-06 电子科技大学 一种双目偏振三维重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108362228A (zh) * 2018-02-11 2018-08-03 西安知象光电科技有限公司 一种基于双光机的光刀光栅混合式三维测量装置及测量方法
CN111121722A (zh) * 2019-12-13 2020-05-08 南京理工大学 结合激光点阵和偏振视觉的双目三维成像方法
CN111242990A (zh) * 2020-01-06 2020-06-05 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于连续相位稠密匹配的360°三维重建优化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108362228A (zh) * 2018-02-11 2018-08-03 西安知象光电科技有限公司 一种基于双光机的光刀光栅混合式三维测量装置及测量方法
CN111121722A (zh) * 2019-12-13 2020-05-08 南京理工大学 结合激光点阵和偏振视觉的双目三维成像方法
CN111242990A (zh) * 2020-01-06 2020-06-05 西南电子技术研究所（中国电子科技集团公司第十研究所） 基于连续相位稠密匹配的360°三维重建优化方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
刘陈龙等: "改进的区域解相算法及其在三维重建中的应用", 科学技术与工程, vol. 15, no. 13, pages 98 *
吴庆尉: "基于结构光投影的煤块和液膜三维形貌测量研究", 中国优秀硕士学位论文全文数据库 工程科技I辑, no. 6, pages 15 - 16 *
平茜茜等: "基于偏振双目视觉的无纹理高反光目标三维重构", 红外与毫米波学报, vol. 36, no. 4, pages 432 - 435 *
张颖: "基于双目视觉的图像匹配技术研究", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 1, pages 17 *
杜英魁等: "弱纹理环境双目视觉稠密视差鲁棒估计方法", 光学精密工程, vol. 25, no. 4, pages 556 *
高鹰: "漫反射偏振三维成像关键技术研究", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 4, pages 25 - 29 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505626A (zh) * 2021-03-15 2021-10-15 南京理工大学 一种快速三维指纹采集方法与系统
CN113052898B (zh) * 2021-04-08 2022-07-12 四川大学华西医院 基于主动式双目相机的点云和强反光目标实时定位方法
CN113052898A (zh) * 2021-04-08 2021-06-29 四川大学华西医院 基于主动式双目相机的点云和强反光目标实时定位方法
CN113108721A (zh) * 2021-04-09 2021-07-13 四川大学 基于多光束自适应互补匹配的高反光物体三维测量方法
CN113108721B (zh) * 2021-04-09 2022-02-15 四川大学 基于多光束自适应互补匹配的高反光物体三维测量方法
CN113223135A (zh) * 2021-04-15 2021-08-06 中山大学 一种基于特殊复合平面镜虚像成像的三维重建装置和方法
CN113205593A (zh) * 2021-05-17 2021-08-03 湖北工业大学 一种基于点云自适应修复的高反光表面结构光场三维重建方法
CN113483664A (zh) * 2021-07-20 2021-10-08 科派股份有限公司 一种基于线结构光视觉的屏风板自动上料系统及方法
CN114299597A (zh) * 2022-03-11 2022-04-08 安徽云森物联网科技有限公司 一种用于多目人脸活体检测系统的测试装置与测试方法
CN114972653A (zh) * 2022-06-14 2022-08-30 陕西师范大学 基于天顶角定位的单目偏振三维重构成像方法
CN114972653B (zh) * 2022-06-14 2023-06-30 陕西师范大学 基于天顶角定位的单目偏振三维重构成像方法
CN115049864A (zh) * 2022-06-27 2022-09-13 中国电子科技集团公司第十四研究所 一种基于阴影图像处理的目标三维重建方法
CN115252992A (zh) * 2022-07-28 2022-11-01 北京大学第三医院（北京大学第三临床医学院） 基于结构光立体视觉的气管插管导航系统
CN115252992B (zh) * 2022-07-28 2023-04-07 北京大学第三医院（北京大学第三临床医学院） 基于结构光立体视觉的气管插管导航系统
WO2024113260A1 (zh) * 2022-11-30 2024-06-06 电子科技大学 一种双目偏振三维重建方法
CN116592794A (zh) * 2023-07-17 2023-08-15 南京理工大学 一种基于偏振结构光的快速三维重建方法
CN116592794B (zh) * 2023-07-17 2023-11-24 南京理工大学 一种基于偏振结构光的快速三维重建方法
CN116883471A (zh) * 2023-08-04 2023-10-13 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN116883471B (zh) * 2023-08-04 2024-03-15 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法

Also Published As

Publication number Publication date
CN112053432B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN112053432B (zh) 一种基于结构光与偏振的双目视觉三维重建方法
US11961244B2 (en) High-precision dynamic real-time 360-degree omnidirectional point cloud acquisition method based on fringe projection
CN110443836B (zh) 一种基于平面特征的点云数据自动配准方法及装置
CN106709947B (zh) 一种基于rgbd相机的三维人体快速建模系统
CN107767442B (zh) 一种基于Kinect和双目视觉的脚型三维重建与测量方法
Nehab et al. Efficiently combining positions and normals for precise 3D geometry
US6686921B1 (en) Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
Zhu et al. Reliability fusion of time-of-flight depth and stereo geometry for high quality depth maps
Wang et al. Estimation of multiple directional light sources for synthesis of augmented reality images
Maître et al. Using models to improve stereo reconstruction
US8217961B2 (en) Method for estimating 3D pose of specular objects
Aliaga et al. A self-calibrating method for photogeometric acquisition of 3D objects
US9147279B1 (en) Systems and methods for merging textures
JP2024507089A (ja) 画像のコレスポンデンス分析装置およびその分析方法
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
Aliaga et al. Photogeometric structured light: A self-calibrating and multi-viewpoint framework for accurate 3d modeling
JP5761750B2 (ja) 画像処理方法および装置
WO2024032233A1 (zh) 基于双目视觉的立体摄影测量方法
CN116295113A (zh) 一种融合条纹投影的偏振三维成像方法
CN116883590A (zh) 一种三维人脸点云优化方法、介质及系统
CN115701871A (zh) 一种点云融合的方法、装置、三维扫描设备及存储介质
Fu et al. High dynamic range structured light 3-D measurement based on region adaptive fringe brightness
CN110969650B (zh) 一种基于中心投影的强度图像与纹理序列间的配准方法
CN117474753A (zh) 一种基于双目结构光系统的点云拼接方法及相关产品
d'Angelo et al. Image-based 3D surface reconstruction by combination of photometric, geometric, and real-aperture methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant