CN115307576A - 一种结构光测量中的阶梯边界补偿方法及装置 - Google Patents

一种结构光测量中的阶梯边界补偿方法及装置 Download PDF

Info

Publication number
CN115307576A
CN115307576A CN202210921452.8A CN202210921452A CN115307576A CN 115307576 A CN115307576 A CN 115307576A CN 202210921452 A CN202210921452 A CN 202210921452A CN 115307576 A CN115307576 A CN 115307576A
Authority
CN
China
Prior art keywords
point
boundary
phase
sides
light intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210921452.8A
Other languages
English (en)
Other versions
CN115307576B (zh
Inventor
徐静
胡昌平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210921452.8A priority Critical patent/CN115307576B/zh
Publication of CN115307576A publication Critical patent/CN115307576A/zh
Application granted granted Critical
Publication of CN115307576B publication Critical patent/CN115307576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Abstract

本发明提出一种结构光测量中的阶梯边界补偿方法及装置，属于三维测量领域。其中，所述方法包括：利用结构光测量设备中的投影仪对具有阶梯形状的待测对象投射多张相移编码条纹图像和一张白图像，相机采集图像后，得到相机像平面上每一点的初始相位；根据采集的白图像，在相机像平面上识别待测对象的阶梯边界；根据阶梯边界的光强变化计算阶梯边界中每个点的散焦核及边界法向；对阶梯边界各点的两侧邻域进行拟合以确定两侧光强均值、相位圆频率及两侧相位差，对阶梯边界的待修复区域每一点的初始相位进行修正，以实现对阶梯边界的补偿。本发明解算效率高，边界点云恢复效果好，能大幅改善基于结构光的阶差测量、阶梯件测量和边缘质量检测效果。

Description

一种结构光测量中的阶梯边界补偿方法及装置
技术领域
本发明属于三维测量领域，特别提出一种结构光测量中的阶梯边界补偿方法及装置。
背景技术
在结构光三维测量中，由于光学系统本身的成像特性，投影仪和相机成像时会产生散焦效应，造成某一像素点的信息与周边像素点发生耦合。当待测对象没有光学特性突变时，耦合引起的误差一般可以忽略。但在光学特性突变处，耦合会在边界处引起较大的误差。对于阶梯形待测对象，在阶梯两侧会出现相位的跃变或因投影仪被遮挡产生阴影。相位的跃变或阴影在耦合下都会引起误差，且二者的误差形式不完全相同。在阶差测量任务中，该误差会使得阶差的测量值不准而产生误差。常见的处理方法包括旋转视角测量，但旋转视角涉及到点云拼接问题，会引入新的误差；另一种常用方法是对散焦进行辨识后使用反卷积方法进行恢复，但反卷积方法属于高通滤波，容易产生伪影，引入新的误差。因此，对于阶差测量任务，需要一种不通过反卷积完成阶梯处信息重建的方法。
发明内容
本发明的目的是克服已有技术的不足之处，提出一种结构光测量中的阶梯边界补偿方法及装置。本发明具有解算效率高，边界点云恢复效果好的特点，能大幅改善基于结构光的阶差测量、阶梯件测量和边缘质量检测效果。
本发明第一方面实施例提出一种结构光测量中的阶梯边界补偿方法，包括：
利用结构光测量设备中的投影仪对具有阶梯形状的待测对象投射多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位；
根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的阶梯边界；
根据所述阶梯边界的光强变化计算所述阶梯边界中每个点的散焦核及边界法向；
根据所述散焦核，对所述阶梯边界的各点的两侧邻域进行拟合以确定两侧光强均值、两侧相位圆频率及两侧相位差；
根据所述阶梯边界，确定待修复区域，利用所述边界法向、所述两侧光强均值、两侧相位圆频率及两侧相位差，对所述待修复区域每一点的初始相位进行修正，以实现对所述阶梯边界的补偿。
在本发明的一个具体实施例中，所述方法还包括：
根据相机像平面上每一点修正后的相位，使用结构光三维重建方法计算每个点对应的三维坐标，得到待测对象的三维点云；其中，所述待修复区域外的各点的修正后的相位与该点的所述初始相位一致。
在本发明的一个具体实施例中，所述通过结构光测量设备中的投影仪对具有阶梯形状的待测对象投射多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位，包括：
1)通过投影仪对待测对象依次投射8张相移编码条纹图像以及1张白图像；
对于投影仪像平面上任一点(up,vp)，设置第k张投影图像在该点的输出光强Ipk(up,vp)为：
Figure BDA0003777846160000021
Figure BDA0003777846160000022
Ip8(up,vp)＝255
其中，up,vp分别为投影仪平面上任一点的像素横、纵坐标；I′p为平均投影光强，I″p为投影光强变化幅度，Tp为多周期条纹波长，T0为单周期条纹波长；k＝0,1,2…7时投影为相移编码条纹图像，k＝8时投影为白图像；
2)利用相机依次捕获投影仪投射的8张相移编码条纹图像以及1张白图像；
对于相机像平面上任一点(uc,vc)，捕获该点对应第k张投影图像的光强记为Ick(uc,vc),k＝0,1,…,8，则该点初始相位
Figure BDA0003777846160000023
计算表达式如下：
Figure BDA0003777846160000024
Figure BDA0003777846160000025
Figure BDA0003777846160000026
其中，
Figure BDA0003777846160000027
为多周期条纹中间参数
Figure BDA0003777846160000028
为单周期条纹相位中间参数，round为四舍五入取整函数。
在本发明的一个具体实施例中，所述根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的阶梯边界，包括：
1)根据每个点的初始相位
Figure BDA0003777846160000031
通过结构光三维重建方法计算该点对应的三维坐标(x(uc,vc),y(uc,vc),z(uc,vc))，其中x(uc,vc),y(uc,vc),z(uc,vc)分别为该点对应三维点云的x,y,z坐标；
2)根据每个点对应的三维坐标，识别构成待测对象阶梯边界的像素点；
其中，所述阶梯边界包括第一类边界和第二类边界；
构成第一类边界的像素点集合B1和构成第二类边界的像素点集合B2，表达式分别如下：
Figure BDA0003777846160000032
Figure BDA0003777846160000033
其中，p为相邻点连续性阈值。
在本发明的一个具体实施例中，所述根据所述阶梯边界的光强变化计算所述阶梯边界中每个点的散焦核及边界法向，包括：
对边界像素点集合B＝B1∪B2中任意一点(ub,vb)∈B，计算该点在对应所述白图像的光强图像中的光强梯度▽Ic8(ub,vb)和边界法向n(ub,vb)＝(nu(ub,vb) nv(ub,vb))T：
Figure BDA0003777846160000034
Figure BDA0003777846160000035
其中，
Figure BDA0003777846160000036
为Ic8(uc,vc)关于uc的偏导数，
Figure BDA0003777846160000037
为Ic8(uc,vc)关于vc的偏导数；nu(ub,vb)和nu(ub,vb)为n(ub,vb)的两个坐标分量；
使用标准差为σg的高斯滤波器对所述对应所述白图像的光强图像进行滤波获得滤波后的图像记为Icg，计算集合B中任意一点(ub,vb)∈B在所述滤波后的图像Icg的光强梯度▽Icg(ub,vb)以及散焦核大小σ(ub,vb)：
Figure BDA0003777846160000041
Figure BDA0003777846160000042
其中，
Figure BDA0003777846160000043
为Icg(uc,vc)关于uc的偏导数，
Figure BDA0003777846160000044
为Icg(uc,vc)关于vc的偏导数。
在本发明的一个具体实施例中，所述根据所述散焦核，对所述阶梯边界的各点的两侧邻域进行拟合以确定两侧光强均值、两侧相位圆频率及两侧相位差，包括：
1)分别获取集合B中每个点(ub,vb)∈B左右两侧拟合区域构成的像素点集合：
Figure BDA0003777846160000045
Figure BDA0003777846160000046
其中，E1为集合B中所有点左侧拟合区域的像素点集合，E2为集合B右侧拟合区域的像素点集合，r为设定的拟合区域选取范围；
2)根据相机像平面上任一点(uc,vc)对应所述白图像的光强Ic8(uc,vc)，分别计算集合E1,E2中对应的光强均值η1,η2；
3)分别在集合E1和E2中线性拟合相位，得到分别对应的圆频率ω1,ω2；根据线性拟合结果分别外推集合E1和E2边界点的相位
Figure BDA0003777846160000047
4)计算集合E1和E2的相位差
Figure BDA0003777846160000048
在本发明的一个具体实施例中，所述根据所述阶梯边界，确定待修复区域，利用所述边界法向、所述两侧光强均值、两侧相位圆频率及两侧相位差，对所述待修复区域每一点的初始相位进行修正，包括：
1)确定第一类待修复区域，对第一类待修复区域中的每一点的相位进行修正；具体步骤如下：
1-1)根据第一类边界获取第一类待修复区域的像素点集合记为F1：
Figure BDA0003777846160000051
1-2)对于F1中任意一点(uc,vc)∈F1，沿该点像素坐标横轴方向在集合B中搜索边界点(ub,vb)∈B，计算两点之间距离
Figure BDA0003777846160000052
1-3)计算(uc,vc)∈F＝F1∪F2修正后的相位
Figure BDA0003777846160000053
Figure BDA0003777846160000054
其中，λ1＝nu(ub,vb)ω1σ(ub,vb)；
2)确定第二类待修复区域，对第二类待修复区域中的每一点的相位进行修正；具体步骤如下：
2-1)根据第二类边界选取第二类待修复区域的像素点集合记为F2：
Figure BDA0003777846160000055
2-2)对于F2中任意一点(uc,vc)∈F2，沿该点像素坐标横轴方向在集合B中搜索边界点(ub,vb)∈B，计算两点之间距离
Figure BDA0003777846160000056
2-3)计算(uc,vc)∈F＝F1∪F2修正后的相位
Figure BDA0003777846160000057
当uc-ub≥0时：
Figure BDA0003777846160000058
当uc-ub＜0时：
Figure BDA0003777846160000059
其中，λ1＝nu(ub,vb)ω1σ(ub,vb),λ2＝nu(ub,vb)ω2σ(ub,vb),α＝(ω1-ω2)dnu(ub,vb)-δ；
Figure BDA0003777846160000061
Figure BDA0003777846160000062
Figure BDA0003777846160000063
Figure BDA0003777846160000064
其中，u是积分参数。
本发明第二方面实施例提出一种结构光测量中的阶梯边界补偿装置，包括：
初始相位获取模块，用于利用结构光测量设备中的投影仪对具有阶梯形状的待测对象投射多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位；
阶梯边界识别模块，用于根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的阶梯边界；
散焦核计算模块，用于根据所述阶梯边界的光强变化计算所述阶梯边界中每个点的散焦核及边界法向；
阶梯边界邻域拟合模块，用于根据所述散焦核，对所述阶梯边界的各点的两侧邻域进行拟合以确定两侧光强均值、两侧相位圆频率及两侧相位差；
阶梯边界补偿模块，用于根据所述阶梯边界，确定待修复区域，利用所述边界法向、所述两侧光强均值、两侧相位圆频率及两侧相位差，对所述待修复区域每一点的初始相位进行修正，以实现对所述阶梯边界的补偿。
本发明第三方面实施例提出一种电子设备，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述一种结构光测量中的阶梯边界补偿方法。
本发明第四方面实施例提出一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述一种结构光测量中的阶梯边界补偿方法。
本发明的特点及有益效果在于：
本发明基于成熟的相移结构光测量技术，使用基于高斯函数的点扩散函数模型描述散焦效应，以此建立散焦在阶梯边界引起的相位误差模型，再通过在线标定方法获得误差模型的各个参数，最后将相位误差模型导出的误差代入解算的相位，可获得修正后的相位。本发明能够适用于各种现有单目或双目相移结构光设备，通过建立阶梯边界下的误差模型，并使用标定的方法计算模型所需参数，使用所述参数和误差模型计算各点的相位误差从而实现相位修正。本发明能够在不产生伪影的前提下有效解决阶梯边界测量不准确的问题，解算效率高，边界点云恢复效果好的特点，能大幅改善基于结构光的阶差测量、阶梯件测量和边缘质量检测效果，使阶梯边缘质量检测或阶差测量更精确，具有较高的应用价值。
附图说明
图1为本发明实施例中的一种结构光测量中的阶梯边界补偿方法的整体流程图。
图2为本发明一个具体实施例中第一类边界的示意图。
图3为本发明一个具体实施例中第二类边界的示意图。
具体实施方式
本发明提出一种结构光测量中的阶梯边界补偿方法及装置，下面结合附图和具体实施例对本发明进一步详细说明如下。以下实施例用于说明本发明，但不限于本发明的范围。
本发明第一方面实施例提出一种结构光测量中的阶梯边界补偿方法，包括：
在本发明的一个具体实施例中，所述一种结构光测量中的阶梯边界补偿方法整体流程如图1所示，包括以下步骤：
1)使用结构光测量设备对具有阶梯形状特征的待测对象进行投射和图像采集，利用相机采集到的投影图像，计算相机像平面上任一点(uc,vc)的初始相位
Figure BDA0003777846160000071
其中，投影图像中包含多张相移编码条纹图像以及1张白图像；uc,vc分别为相机像素横、纵坐标。
本实施例的结构光测量设备无特殊要求。在本发明的一个具体实施例中，使用单投影仪单相机系统搭建的结构光系统，投影仪型号为DLP6500，相机型号为JAI-GO5000M。系统示意图如图2所示，其中1为投影仪，2为相机，3为具有阶梯形状特征的待测对象(本实施例是一具有阶梯形状的工件)。其中所述相机分辨率为2560×2048，所述投影仪分辨率为1920×1080。
在本发明的一个具体实施例中，具体步骤如下：
1-1)通过投影仪对待测对象依次投射8张相移编码条纹图像以及1张白图像。对于投影仪像平面上任一点(up,vp)，设置第k张投影图像在该点的输出光强Ipk(up,vp)为：
Figure BDA0003777846160000081
Figure BDA0003777846160000082
Ip8(up,vp)＝255
其中，up,vp分别为投影仪平面上任一点的像素横、纵坐标；I′p为平均投影光强，I″p为投影光强变化幅度，Tp为多周期条纹波长，T0为单周期条纹波长；；k＝0,1,2…7时投影为相移编码条纹图像，k＝8时投影为白图像。
在本发明一个具体实施例中，设置平均投影光强I′p＝127，投影光强变化幅度I″p＝127，多周期条纹波长Tp＝40，单周期条纹波长T0＝1920。
1-2)通过相机依次捕获投影仪投射的8张相移编码条纹图像以及1张白图像。对于相机像平面上任一点(uc,vc)，捕获该点对应第k张投影图像的光强记为Ick(uc,vc),k＝0,1,…,8，则该点初始相位
Figure BDA0003777846160000083
可以计算为：
Figure BDA0003777846160000084
Figure BDA0003777846160000085
Figure BDA0003777846160000086
其中，
Figure BDA0003777846160000087
为多周期条纹中间参数
Figure BDA0003777846160000088
为单周期条纹相位中间参数，round为四舍五入取整函数。
2)使用结构光测量设备中的相机采集待测对象的图像，在相机像平面上识别待测对象的阶梯边界。具体步骤如下：
2-1)在本发明的一个实施例中，根据每个点的初始相位
Figure BDA0003777846160000089
通过结构光三维重建方法计算该点对应的三维坐标(x(uc,vc),y(uc,vc),z(uc,vc))，其中x(uc,vc),y(uc,vc),z(uc,vc)分别为该点对应三维点云的x,y,z坐标。
2-2)根据每个点对应的三维坐标，识别构成待测对象阶梯边界的像素点。
本实施例中，所述阶梯边界包括第一类边界和第二类边界。
在本发明的一个具体实施例中，第一类边界如图2所示，投影仪1投射的条纹部分被具有阶梯形状特征的待测对象3的阶梯遮挡，相机捕获图像上有效区域4(有效区域为是能实现测量的部分，即图中灰色加粗部分)不连续，中间有不含投影的区域(即无效区域)，有效区域与无效区域交界的端点处形成第一类边界。第二类边界如图3所示，相机2接收条纹的部分被具有阶梯形状特征的待测对象3的阶梯遮挡，相机捕获图像上有效区域4连续(即图中灰色加粗部分)，没有无效区域，但中间有相位跃变，在相邻有效区域交界的端点处形成第二类边界。
则构成第一类边界的像素点集合B1以及构成第二类边界的像素点集合B2，表达式分别如下：
Figure BDA0003777846160000091
Figure BDA0003777846160000092
其中，p为相邻点连续性阈值，视具体测量设备而定；在本实施例中，参数p＝2。
3)通过阶梯边界的光强变化在线计算散焦核大小σ以及边界法向n。
对边界像素点集合B＝B1∪B2中任意一点(ub,vb)∈B，计算该点在对应所述白图像的光强图像中的光强梯度▽Ic8(ub,vb)和边界法向n(ub,vb)＝(nu(ub,vb) nv(ub,vb))T：
Figure BDA0003777846160000093
Figure BDA0003777846160000094
其中，
Figure BDA0003777846160000095
为Ic8(uc,vc)关于uc的偏导数，
Figure BDA0003777846160000096
为Ic8(uc,vc)关于vc的偏导数；nu(ub,vb)和nu(ub,vb)为n(ub,vb)的两个坐标分量。
使用标准差为σg的高斯滤波器对所述对应所述白图像的光强图像进行滤波获得滤波后的图像记为Icg，计算集合B中任意一点(ub,vb)∈B在所述滤波后的图像Icg的光强梯度▽Icg(ub,vb)以及散焦核大小σ(ub,vb)：
Figure BDA0003777846160000101
Figure BDA0003777846160000102
其中，
Figure BDA0003777846160000103
为Icg(uc,vc)关于uc的偏导数，
Figure BDA0003777846160000104
为Icg(uc,vc)关于vc的偏导数。
4)在集合B中各点邻域通过拟合确定两侧光强η1,η2、两侧相位圆频率ω1,ω2及两侧相位差，具体如下：
4-1)分别获取集合B中每个点(ub,vb)∈B左右两侧拟合区域构成的像素点集合：
Figure BDA0003777846160000105
Figure BDA0003777846160000106
其中，E1为集合B中所有点左侧拟合区域的像素点集合，E2为集合B右侧拟合区域的像素点集合。
r为设定的拟合区域选取范围，本发明一个具体实施例中r＝3σ(ub，vb)+5。
4-2)根据相机像平面上任一点(uc,vc)对应第k＝8张投影图像(即白图像)的光强Ic8(uc,vc)，分别计算集合E1,E2中对应的光强均值η1,η2。
4-3)分别在集合E1和E2中线性拟合相位，得到分别对应的圆频率ω1,ω2。根据线性拟合结果分别外推集合E1和E2边界点的相位
Figure BDA0003777846160000107
4-4)计算集合E1和E2的相位差
Figure BDA0003777846160000108
5)根据阶梯边界确定待修复区域，利用步骤4)得到的结果，对待修复区域每一点的初始相位进行修正；具体步骤如下：
5-1)确定第一类待修复区域，对第一类待修复区域中的每一点的相位进行修正；具体步骤如下：
5-1-1)根据第一类边界获取第一类待修复区域的像素点集合记为F1：
Figure BDA0003777846160000111
5-1-2)对于F1中任意一点(uc,vc)∈F1，沿该点像素坐标横轴方向在集合B中搜索边界点(ub,vb)∈B(该点为唯一点)，计算两点之间距离
Figure BDA0003777846160000112
5-1-3)计算(uc,vc)∈F＝F1∪F2修正后的相位
Figure BDA0003777846160000113
Figure BDA0003777846160000114
其中，λ1＝nu(ub,vb)ω1σ(ub,vb)；
5-2)确定第二类待修复区域，对第二类待修复区域中的每一点的相位进行修正；具体步骤如下：
5-2-1)根据第二类边界选取第二类待修复区域的像素点集合记为F2：
Figure BDA0003777846160000115
5-2-2)对于F2中任意一点(uc,vc)∈F2，沿该点像素坐标横轴方向在集合B中搜索边界点(ub,vb)∈B(该点为唯一点)，计算两点之间距离
Figure BDA0003777846160000116
5-2-3)计算(uc,vc)∈F＝F1∪F2修正后的相位
Figure BDA0003777846160000117
当uc-ub≥0时：
Figure BDA0003777846160000118
当uc-ub＜0时：
Figure BDA0003777846160000119
其中，λ1＝nu(ub,vb)ω1σ(ub,vb),λ2＝nu(ub,vb)ω2σ(ub,vb),α＝(ω1-ω2)dnu(ub,vb)-δ。
Figure BDA0003777846160000121
Figure BDA0003777846160000122
Figure BDA0003777846160000123
Figure BDA0003777846160000124
其中，u为积分参数。
至此，本实施例即完成了对于阶梯边界的补偿。
进一步地，本实施例方法还包括以下步骤：
5-3)对剩余点的相位进行修正；
本实施例中，对于集合F1与F2外任意一点
Figure BDA0003777846160000125
该点的相位保持不变：
Figure BDA0003777846160000127
6)根据每个点修正后相位
Figure BDA0003777846160000126
使用结构光三维重建方法计算每个点对应的三维坐标，得到待测对象的三维点云。
为实现上述实施例，本发明第二方面实施例提出一种结构光测量中的阶梯边界补偿装置，包括：
初始相位获取模块，用于利用结构光测量设备中的投影仪对具有阶梯形状的待测对象投射多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位；
阶梯边界识别模块，用于根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的阶梯边界；
散焦核计算模块，用于根据所述阶梯边界的光强变化计算所述阶梯边界中每个点的散焦核及边界法向；
阶梯边界邻域拟合模块，用于根据所述散焦核，对所述阶梯边界的各点的两侧邻域进行拟合以确定两侧光强均值、两侧相位圆频率及两侧相位差；
阶梯边界补偿模块，用于根据所述阶梯边界，确定待修复区域，利用所述边界法向、所述两侧光强均值、两侧相位圆频率及两侧相位差，对所述待修复区域每一点的初始相位进行修正，以实现对所述阶梯边界的补偿。
需要说明的是，前述对一种结构光测量中的阶梯边界补偿方法的实施例解释说明也适用于本实施例的一种结构光测量中的阶梯边界补偿装置，在此不再赘述。根据本发明实施例提出的一种结构光测量中的阶梯边界补偿装置，通过利用结构光测量设备中的投影仪对具有阶梯形状的待测对象投射多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位；根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的阶梯边界；根据所述阶梯边界的光强变化计算所述阶梯边界中每个点的散焦核及边界法向；根据所述散焦核，对所述阶梯边界的各点的两侧邻域进行拟合以确定两侧光强均值、两侧相位圆频率及两侧相位差；根据所述阶梯边界，确定待修复区域，利用所述边界法向、所述两侧光强均值、两侧相位圆频率及两侧相位差，对所述待修复区域每一点的初始相位进行修正，以实现对所述阶梯边界的补偿，以实现对所述阶梯边界的补偿。由此可实现在不产生伪影的前提下有效解决阶梯边界测量不准确的问题，解算效率高，边界点云恢复效果好的特点，能大幅改善基于结构光的阶差测量、阶梯件测量和边缘质量检测效果，使阶梯边缘质量检测或阶差测量更精确，具有较高的应用价值。
为实现上述实施例，本发明第三方面实施例提出一种电子设备，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述一种结构光测量中的阶梯边界补偿方法。
为实现上述实施例，本发明第四方面实施例提出一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述一种结构光测量中的阶梯边界补偿方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例的一种结构光测量中的阶梯边界补偿方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种结构光测量中的阶梯边界补偿方法，其特征在于，包括：
利用结构光测量设备中的投影仪对具有阶梯形状的待测对象投射多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位；
根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的阶梯边界；
根据所述阶梯边界的光强变化计算所述阶梯边界中每个点的散焦核及边界法向；
根据所述散焦核，对所述阶梯边界的各点的两侧邻域进行拟合以确定两侧光强均值、两侧相位圆频率及两侧相位差；
根据所述阶梯边界，确定待修复区域，利用所述边界法向、所述两侧光强均值、两侧相位圆频率及两侧相位差，对所述待修复区域每一点的初始相位进行修正，以实现对所述阶梯边界的补偿。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据相机像平面上每一点修正后的相位，使用结构光三维重建方法计算每个点对应的三维坐标，得到待测对象的三维点云；其中，所述待修复区域外的各点的修正后的相位与该点的所述初始相位一致。
3.根据权利要求1所述的方法，其特征在于，所述通过结构光测量设备中的投影仪对具有阶梯形状的待测对象投射多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位，包括：
1)通过投影仪对待测对象依次投射8张相移编码条纹图像以及1张白图像；
对于投影仪像平面上任一点(up,vp)，设置第k张投影图像在该点的输出光强Ipk(up,vp)为：
Figure FDA0003777846150000011
Figure FDA0003777846150000012
Ip8(up,vp)＝255
其中，up,vp分别为投影仪平面上任一点的像素横、纵坐标；I′p为平均投影光强，I″p为投影光强变化幅度，Tp为多周期条纹波长，T0为单周期条纹波长；k＝0,1,2…7时投影为相移编码条纹图像，k＝8时投影为白图像；
2)利用相机依次捕获投影仪投射的8张相移编码条纹图像以及1张白图像；
对于相机像平面上任一点(uc,vc)，捕获该点对应第k张投影图像的光强记为Ick(uc,vc),k＝0,1,…,8，则该点初始相位
Figure FDA0003777846150000021
计算表达式如下：
Figure FDA0003777846150000022
Figure FDA0003777846150000023
Figure FDA0003777846150000024
其中，
Figure FDA0003777846150000025
为多周期条纹中间参数
Figure FDA0003777846150000026
为单周期条纹相位中间参数，round为四舍五入取整函数。
4.根据权利要求3所述的方法，其特征在于，所述根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的阶梯边界，包括：
1)根据每个点的初始相位
Figure FDA0003777846150000027
通过结构光三维重建方法计算该点对应的三维坐标(x(uc,vc),y(uc,vc),z(uc,vc))，其中x(uc,vc),y(uc,vc),z(uc,vc)分别为该点对应三维点云的x,y,z坐标；
2)根据每个点对应的三维坐标，识别构成待测对象阶梯边界的像素点；
其中，所述阶梯边界包括第一类边界和第二类边界；
构成第一类边界的像素点集合B1和构成第二类边界的像素点集合B2，表达式分别如下：
Figure FDA0003777846150000028
Figure FDA0003777846150000029
其中，p为相邻点连续性阈值。
5.根据权利要求4所述的方法，其特征在于，所述根据所述阶梯边界的光强变化计算所述阶梯边界中每个点的散焦核及边界法向，包括：
对边界像素点集合B＝B1∪B2中任意一点(ub,vb)∈B，计算该点在对应所述白图像的光强图像中的光强梯度
Figure FDA0003777846150000031
和边界法向n(ub,vb)＝(nu(ub,vb)nv(ub,vb))T：
Figure FDA0003777846150000032
Figure FDA0003777846150000033
其中，
Figure FDA0003777846150000034
为Ic8(uc,vc)关于uc的偏导数，
Figure FDA0003777846150000035
为Ic8(uc,vc)关于vc的偏导数；nu(ub,vb)和nu(ub,vb)为n(ub,vb)的两个坐标分量；
使用标准差为σg的高斯滤波器对所述对应所述白图像的光强图像进行滤波获得滤波后的图像记为Icg，计算集合B中任意一点(ub,vb)∈B在所述滤波后的图像Icg的光强梯度
Figure FDA0003777846150000036
以及散焦核大小σ(ub,vb)：
Figure FDA0003777846150000037
Figure FDA0003777846150000038
其中，
Figure FDA0003777846150000039
为Icg(uc,vc)关于uc的偏导数，
Figure FDA00037778461500000310
为Icg(uc,vc)关于vc的偏导数。
6.根据权利要求5所述的方法，其特征在于，所述根据所述散焦核，对所述阶梯边界的各点的两侧邻域进行拟合以确定两侧光强均值、两侧相位圆频率及两侧相位差，包括：
1)分别获取集合B中每个点(ub,vb)∈B左右两侧拟合区域构成的像素点集合：
Figure FDA00037778461500000311
Figure FDA00037778461500000312
其中，E1为集合B中所有点左侧拟合区域的像素点集合，E2为集合B右侧拟合区域的像素点集合，r为设定的拟合区域选取范围；
2)根据相机像平面上任一点(uc,vc)对应所述白图像的光强Ic8(uc,vc)，分别计算集合E1,E2中对应的光强均值η1,η2；
3)分别在集合E1和E2中线性拟合相位，得到分别对应的圆频率ω1,ω2；根据线性拟合结果分别外推集合E1和E2边界点的相位
Figure FDA0003777846150000041
4)计算集合E1和E2的相位差
Figure FDA0003777846150000042
7.根据权利要求6所述的方法，其特征在于，所述根据所述阶梯边界，确定待修复区域，利用所述边界法向、所述两侧光强均值、两侧相位圆频率及两侧相位差，对所述待修复区域每一点的初始相位进行修正，包括：
1)确定第一类待修复区域，对第一类待修复区域中的每一点的相位进行修正；具体步骤如下：
1-1)根据第一类边界获取第一类待修复区域的像素点集合记为F1：
Figure FDA0003777846150000043
1-2)对于F1中任意一点(uc,vc)∈F1，沿该点像素坐标横轴方向在集合B中搜索边界点(ub,vb)∈B，计算两点之间距离
Figure FDA0003777846150000044
1-3)计算(uc,vc)∈F＝F1∪F2修正后的相位
Figure FDA0003777846150000045
Figure FDA0003777846150000046
其中，λ1＝nu(ub,vb)ω1σ(ub,vb)；
2)确定第二类待修复区域，对第二类待修复区域中的每一点的相位进行修正；具体步骤如下：
2-1)根据第二类边界选取第二类待修复区域的像素点集合记为F2：
Figure FDA0003777846150000047
2-2)对于F2中任意一点(uc,vc)∈F2，沿该点像素坐标横轴方向在集合B中搜索边界点(ub,vb)∈B，计算两点之间距离
Figure FDA0003777846150000051
2-3)计算(uc,vc)∈F＝F1∪F2修正后的相位
Figure FDA0003777846150000052
当uc-ub≥0时：
Figure FDA0003777846150000053
当uc-ub＜0时：
Figure FDA0003777846150000054
其中，λ1＝nu(ub,vb)ω1σ(ub,vb),λ2＝nu(ub,vb)ω2σ(ub,vb),α＝(ω1-ω2)dnu(ub,vb)-δ；
Figure FDA0003777846150000055
Figure FDA0003777846150000056
Figure FDA0003777846150000057
Figure FDA0003777846150000058
其中，u是积分参数。
8.一种结构光测量中的阶梯边界补偿装置，其特征在于，包括：
初始相位获取模块，用于利用结构光测量设备中的投影仪对具有阶梯形状的待测对象投射多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位；
阶梯边界识别模块，用于根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的阶梯边界；
散焦核计算模块，用于根据所述阶梯边界的光强变化计算所述阶梯边界中每个点的散焦核及边界法向；
阶梯边界邻域拟合模块，用于根据所述散焦核，对所述阶梯边界的各点的两侧邻域进行拟合以确定两侧光强均值、两侧相位圆频率及两侧相位差；
阶梯边界补偿模块，用于根据所述阶梯边界，确定待修复区域，利用所述边界法向、所述两侧光强均值、两侧相位圆频率及两侧相位差，对所述待修复区域每一点的初始相位进行修正，以实现对所述阶梯边界的补偿。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7任一项所述的方法。
CN202210921452.8A 2022-08-02 2022-08-02 一种结构光测量中的阶梯边界补偿方法及装置 Active CN115307576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210921452.8A CN115307576B (zh) 2022-08-02 2022-08-02 一种结构光测量中的阶梯边界补偿方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210921452.8A CN115307576B (zh) 2022-08-02 2022-08-02 一种结构光测量中的阶梯边界补偿方法及装置

Publications (2)

Publication Number Publication Date
CN115307576A true CN115307576A (zh) 2022-11-08
CN115307576B CN115307576B (zh) 2024-04-09

Family

ID=83859659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210921452.8A Active CN115307576B (zh) 2022-08-02 2022-08-02 一种结构光测量中的阶梯边界补偿方法及装置

Country Status (1)

Country Link
CN (1) CN115307576B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108592824A (zh) * 2018-07-16 2018-09-28 清华大学 一种基于景深反馈的变频条纹投影结构光测量方法
WO2019008330A1 (en) * 2017-07-04 2019-01-10 Optoscale As MOTION COMPENSATION IN PHASE SHIFT STRUCTURED LIGHT LIGHT FOR MEASURING DIMENSIONS OF OBJECTS LIKELY TO MOVE FREELY
CN109186476A (zh) * 2018-10-26 2019-01-11 广东工业大学 一种彩色结构光三维测量方法、装置、设备及存储介质
WO2022052313A1 (zh) * 2020-09-11 2022-03-17 苏州中科全象智能科技有限公司 3d结构光系统的标定方法、电子设备及存储介质
CN114322823A (zh) * 2021-12-02 2022-04-12 合肥工业大学 一种三维测量系统和相位误差补偿方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019008330A1 (en) * 2017-07-04 2019-01-10 Optoscale As MOTION COMPENSATION IN PHASE SHIFT STRUCTURED LIGHT LIGHT FOR MEASURING DIMENSIONS OF OBJECTS LIKELY TO MOVE FREELY
CN108592824A (zh) * 2018-07-16 2018-09-28 清华大学 一种基于景深反馈的变频条纹投影结构光测量方法
CN109186476A (zh) * 2018-10-26 2019-01-11 广东工业大学 一种彩色结构光三维测量方法、装置、设备及存储介质
WO2022052313A1 (zh) * 2020-09-11 2022-03-17 苏州中科全象智能科技有限公司 3d结构光系统的标定方法、电子设备及存储介质
CN114322823A (zh) * 2021-12-02 2022-04-12 合肥工业大学 一种三维测量系统和相位误差补偿方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
丁一飞;王永红;胡悦;黄安琪;但西佐;: "样本块匹配光栅投影阶梯标定方法", 中国测试, no. 08, 31 August 2016 (2016-08-31) *
刘飞;何春桥;申爱民;李佳鑫;赖俊霖;: "结构光饱和区域分区投射优化补偿方法", 光学学报, no. 06, 30 January 2018 (2018-01-30) *
王顺;徐静珠;张益昕;张旭苹;谢飞;: "结构光光条中心点信度评价方法与应用", 光学学报, no. 11, 10 November 2011 (2011-11-10) *

Also Published As

Publication number Publication date
CN115307576B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
JP6109357B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20200334840A1 (en) Three-Dimensional Scanning System and Scanning Method Thereof
JP6270361B2 (ja) 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
CN108168464B (zh) 针对条纹投影三维测量系统离焦现象的相位误差校正方法
CN110956603B (zh) 深度图像边缘飞点的检测方法、装置及电子设备
JP2023505663A (ja) 文字分割方法、装置、および、コンピュータ可読記憶媒体
JP2009259036A (ja) 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、及び画像処理システム
CN109405735B (zh) 三维扫描系统和三维扫描方法
CN109986201A (zh) 焊缝的跟踪检测方法、装置、存储介质以及激光焊接设备
CN104200456B (zh) 一种用于线结构光三维测量的解码方法
TWI583192B (zh) 影像處理裝置
CN115307576A (zh) 一种结构光测量中的阶梯边界补偿方法及装置
Berger et al. Automatic removal of externally attached fiducial markers in cone beam C-arm CT
US10598611B2 (en) X-ray phase imaging apparatus and method of detecting defect of material containing fibers
CN115290003B (zh) 一种结构光测量中的反射率边界补偿方法及装置
CN114739322B (zh) 一种三维测量方法、设备和存储介质
KR101465996B1 (ko) 선택적 큰 주기를 이용한 고속 3차원 형상 측정 방법
CN103186890A (zh) Ct重建图像环状伪影的去除方法
CN103955610B (zh) 一种医学影像计算机辅助分析方法
JP2004294439A (ja) 非接触測定システム及び方法
Che et al. 3D measurement of discontinuous objects with optimized dual-frequency grating profilometry
JP2004354064A (ja) 光学系測定画像による磁気ヘッドの欠陥検査方法および欠陥検査装置
Sun et al. High-accuracy vanishing-constraints-based calibration of fringe projection vision sensor
KR20130053113A (ko) 원형 선재의 표면 결함 검출 방법 및 장치
JP2717407B2 (ja) カメラ歪測定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant