CN115290003B - 一种结构光测量中的反射率边界补偿方法及装置 - Google Patents
一种结构光测量中的反射率边界补偿方法及装置 Download PDFInfo
- Publication number
- CN115290003B CN115290003B CN202210922628.1A CN202210922628A CN115290003B CN 115290003 B CN115290003 B CN 115290003B CN 202210922628 A CN202210922628 A CN 202210922628A CN 115290003 B CN115290003 B CN 115290003B
- Authority
- CN
- China
- Prior art keywords
- point
- boundary
- reflectivity
- image
- light intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002310 reflectometry Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000005259 measurement Methods 0.000 title claims abstract description 37
- 230000010363 phase shift Effects 0.000 claims abstract description 26
- 230000008859 change Effects 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000011084 recovery Methods 0.000 abstract description 4
- 239000000463 material Substances 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001808 coupling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出一种结构光测量中的反射率边界补偿方法及装置，属于三维测量领域。其中，所述方法包括：利用结构光测量设备中的投影仪对待测对象投射多张相移编码条纹图像和一张白图像，相机采集图像后，得到相机像平面上每一点的初始相位；根据相机采集的白图像，在相机像平面上识别待测对象的反射率边界，计算反射率边界中每个点的散焦核及边界法向；对反射率边界的各点的两侧邻域进行拟合以确定两侧光强均值及相位圆频率；根据反射率边界确定待修复区域，对待修复区域每一点的初始相位进行修正，以实现对所述反射率边界的补偿。本发明解算效率高，边界点云恢复效果好，能大幅改善基于结构光的阶差测量和边缘质量检测效果。
Description
技术领域
本发明属于三维测量领域，特别提出一种结构光测量中的反射率边界补偿方法及装置。
背景技术
在结构光三维测量中，由于光学系统本身的成像特性，投影仪和相机成像时会产生散焦效应，造成某一像素点的信息与周边像素点发生耦合。当待测对象没有光学特性突变时，耦合引起的误差一般可以忽略。但在光学特性突变处，耦合会在边界处引起较大的误差。在测量任务中常需要获得阶差、边缘质量等信息，当待测对象由两种或多种材料拼接形成时，在边界处就会产生所述耦合效应，在边界处造成较大误差，导致所述测量信息获取不正确。
在工程上，一般的处理方法是识别边界的影响区域并将其直接去除，但此种方法会丢失边界信息，在特定任务中不能使用；另一种常用方法是对散焦进行辨识后使用反卷积方法进行恢复，但反卷积方法属于高通滤波，容易产生伪影，引入新的误差。因此，对于依赖边界测量的任务，需要一种不通过反卷积完成边界处信息重建的方法。
发明内容
本发明的目的是克服已有技术的不足之处，提出一种结构光测量中的反射率边界补偿方法及装置。本发明具有解算效率高，边界点云恢复效果好的特点，能大幅改善基于结构光的阶差测量和边缘质量检测效果。
本发明第一方面实施例提出一种结构光测量中的反射率边界补偿方法，包括：
利用结构光测量设备中的投影仪对待测对象投影多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位；
根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的反射率边界；
根据所述反射率边界的光强变化计算所述反射率边界中每个点的散焦核及边界法向；
根据所述散焦核，对所述反射率边界的各点的两侧邻域进行拟合以确定两侧光强均值及相位圆频率；
根据所述反射率边界，确定待修复区域，利用所述边界法向和所述两侧光强均值及相位圆频率，对所述待修复区域每一点的初始相位进行修正，以实现对所述反射率边界的补偿。
在本发明的一个具体实施例中，所述方法还包括：
根据相机像平面上每一点修正后的相位，使用结构光三维重建方法计算每个点对应的三维坐标，得到待测对象的三维点云；其中，所述待修复区域外的各点的修正后的相位与该点的所述初始相位一致。
在本发明的一个具体实施例中，所述通过结构光测量设备中的投影仪对待测对象投射多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位，包括：
1)通过投影仪对待测对象依次投射8张相移编码条纹图像以及1张白图像；
对于投影仪像平面上任一点(up，vp)，设置第k张投影图像在该点的输出光强Ipk(up，vp)为：
Ip8(up，vp)＝255
其中，up，vp分别为投影仪平面上任一点的像素横、纵坐标；I′p为平均投影光强，I″p为投影光强变化幅度，Tp为多周期条纹波长，T0为单周期条纹波长；k＝0，1，2...7时投影为相移编码条纹图像，k＝8时投影为白图像；
2)利用相机依次捕获投影仪投射的8张相移编码条纹图像以及1张白图像；
对于相机像平面上任一点(uc，vc)，捕获该点对应第k张投影图像的光强记为Ick(uc，vc)，k＝0，1，…，8，则该点初始相位计算表达式如下：
其中，为多周期条纹中间参数/>为单周期条纹相位中间参数，round为四舍五入取整函数。
在本发明的一个具体实施例中，所述根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的反射率边界，包括：
根据相机像平面上任一点(uc,vc)对应投影的白图像的光强Ic8(uc,vc)，组成一张对应所述白图像的光强图像；
使用高斯滤波器对所述光强图像进行预处理后，使用canny算子提取所述光强图像的边缘区域，将所述边缘区域对应相机像平面上的点组成集合B，即为所述待测对象的反射率边界。
在本发明的一个具体实施例中，所述根据所述反射率边界的光强变化计算所述反射率边界中每个点的散焦核及边界法向，包括：
对于集合B中任意一点(ub,vb)∈B，计算该点在对应所述白图像的光强图像中的光强梯度和边界法向n(ub,vb)＝(nu(ub,vb) nv(ub,vb))T：
其中，为Ic8(uc,vc)关于uc的偏导数，/>为Ic8(uc,vc)关于vc的偏导数；其中nu(ub,vb)和nu(ub,vb)为n(ub,vb)的两个坐标分量；
使用标准差为σg的高斯滤波器对所述对应所述白图像的光强图像进行滤波获得滤波后的图像记为Icg，计算集合B中任意一点(ub,vb)∈B在所述滤波后的图像Icg的光强梯度以及散焦核大小σ(ub,vb)：
其中，为Icg(uc,vc)关于uc的偏导数，/>为Icg(uc,vc)关于vc的偏导数。
在本发明的一个具体实施例中，所述根据所述散焦核，对所述反射率边界的各点的两侧邻域进行拟合以确定两侧光强均值及相位圆频率，包括：
1)分别获取集合B中每个点(ub，vb)∈B左右两侧拟合区域构成的像素点集合：
其中，E1为集合B中所有点左侧拟合区域的像素点集合，E2为集合B右侧拟合区域的像素点集合；r为设定的拟合区域选取范围；
2)根据相机像平面上任一点(uc,vc)对应所述白图像的光强Ic8(uc,vc)，分别计算集合E1,E2中对应的光强均值η1,η2；
3)在集合E1,E2的并集E＝E1∪E2中通过线性拟合计算相位圆频率ω。
在本发明的一个具体实施例中，根据所述反射率边界，确定待修复区域，利用所述边界法向和所述两侧光强均值及相位圆频率，对所述待修复区域每一点的初始相位进行修正，包括：
1)获取待测对象的待修复区域的像素点集合记为F：
2)对于任意一点(uc,vc)∈F，沿该点像素坐标横轴方向在集合B中搜索任一边界点(ub,vb)∈B，计算两者之间距离
计算(uc,vc)∈F修正后的相位
其中，λ＝nu(ub,vb)ωσ(ub,vb)，u为积分参数。
本发明第二方面实施例一种结构光测量中的反射率边界补偿装置，包括：
初始相位获取模块，用于利用结构光测量设备中的投影仪对待测对象投射多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位；
反射率边界识别模块，用于根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的反射率边界；
散焦核计算模块，用于根据所述反射率边界的光强变化计算所述反射率边界中每个点的散焦核及边界法向；
反射率边界邻域拟合模块，用于根据所述散焦核，对所述反射率边界的各点的两侧邻域进行拟合以确定两侧光强均值及相位圆频率；
反射率边界补偿模块，用于根据所述反射率边界，确定待修复区域，利用所述边界法向和所述两侧光强均值及相位圆频率，对所述待修复区域每一点的初始相位进行修正，以实现对所述反射率边界的补偿。
本发明第三方面实施例一种电子设备，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述一种结构光测量中的反射率边界补偿方法。
本发明第四方面实施例一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述一种结构光测量中的反射率边界补偿方法。
本发明的特点及有益效果在于：
本发明基于成熟的相移结构光测量技术，使用基于高斯函数的点扩散函数模型描述散焦效应，以此建立散焦在反射率变化边界引起的相位误差模型，再通过在线标定方法获得误差模型的各个参数，最后将相位误差模型导出的误差代入解算的相位，可获得修正后的相位。本发明能够适用于各种现有单目或双目相移结构光设备，能够在不产生伪影的前提下有效解决反射率边界测量不准确的问题，解算效率高，边界点云恢复效果好的特点，能大幅改善基于结构光的阶差测量和边缘质量检测效果，具有较高的应用价值。
附图说明
图1为本发明实施例中一种结构光测量中的反射率边界补偿方法的整体流程图。
图2为本发明一个具体实施例中使用单投影仪单相机搭建的结构光系统示意图。
具体实施方式
本发明提出一种结构光测量中的反射率边界补偿方法及装置，下面结合附图和具体实施例对本发明进一步详细说明如下。以下实施例用于说明本发明，但不限于本发明的范围。
本发明第一方面实施例提出一种结构光测量中的反射率边界补偿方法，包括：
利用结构光测量设备中的投影仪对待测对象投射多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位；
根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的反射率边界；
根据所述反射率边界的光强变化计算所述反射率边界中每个点的散焦核及边界法向；
根据所述散焦核，对所述反射率边界的各点的两侧邻域进行拟合以确定两侧光强均值及相位圆频率；
根据所述反射率边界，确定待修复区域，利用所述边界法向和所述两侧光强均值及相位圆频率，对所述待修复区域每一点的初始相位进行修正，以实现对所述反射率边界的补偿。
在本发明一个具体实施例中，所述一种结构光测量中的反射率边界补偿方法，整体流程如图1所示，包括以下步骤：
1)使用结构光测量设备对具有反射率突变边界的待测对象进行投影和图像采集，利用相机采集到的投影图像，计算相机像平面上任一点(uc,vc)的初始相位其中，投影图像中包含多张相移编码条纹图像以及1张白图像；uc,vc分别为相机平面上任一点的横、纵坐标。
需要说明的是，本实施例中所述具有反射率突变边界表示待测对象上存在一条曲线，曲线两侧反射率不相等。
本实施例对结构光测量设备无特殊要求。在本发明的一个具体实施例中，使用单投影仪单相机搭建的结构光系统，其中投影仪型号为DLP6500，相机型号为JAI-GO5000M。该系统示意图如图2所示，其中1为投影仪，2为相机，3和4组成具有反射率突变边界的待测对象(本实施例为两块不同材料的板铆接得到的一个工件)，其中3为该待测对象的低反射率部分，4为该待测对象的高反射率部分，3和4的交界处即为反射率边界。本实施例中，所述相机分辨率为2560×2048，所述投影仪分辨率为1920×1080。
在本发明的一个具体实施例中，具体步骤如下：
1-1)通过投影仪对待测对象依次投射8张相移编码条纹图像以及1张白图像。
对于投影仪像平面上任一点(up,vp)，设置第k张投影图像在该点的输出光强Ipk(up，vp)为：
Ip8(up，vp)＝255
其中，up，vp分别为投影仪平面上任一点的像素横、纵坐标；I′p为平均投影光强，I″p为投影光强变化幅度，Tp为多周期条纹波长，T0为单周期条纹波长；k＝0，1，2...7时投影为相移编码条纹图像，k＝8时投影为白图像。
在本发明一个具体实施例中，设置平均投影光强I′p＝127，投影光强变化幅度I″p＝127，多周期条纹波长Tp＝40，单周期条纹波长T0＝1920。
1-2)通过相机依次捕获投影仪投射的8张相移编码条纹图像以及1张白图像。对于相机像平面上任一点(uc，vc)，捕获该点对应第k张投影图像的光强记为Ick(uc，vc)，k＝0，1，…，8，则该点初始相位可以计算为：
其中，为多周期条纹中间参数，/>为单周期条纹相位中间参数，round为四舍五入取整函数。
2)根据结构光测量设备中的相机捕获的的投影仪投影的白图像，在相机像平面上识别待测对象的反射率边界。
在本发明的一个实施例中，通过使用结构光测量设备中的相机捕获投影仪投射的白图像，得到相机像平面上任一点(uc，vc)对应第k＝8张投影图像(即白图像)的光强Ic8(uc，vc)以组成一张对应第k＝8张投影图像的光强图像，利用该光强图像识别反射率边界。具体地，首先使用高斯滤波器对该光强图像进行预处理，再使用canny算子提取该图像的边缘区域，将该边缘区域对应相机像平面上的点组成集合B，即为待测对象的反射率边界。
3)通过反射率边界的光强变化在线计算反射率边界中每个点的散焦核大小σ以及边界法向n。
在本发明的一个具体实施例中，对于集合B中任意一点(ub,vb)∈B，计算该点在对应所述白图像的光强图像中的光强梯度和边界法向n(ub,vb)＝(nu(ub,vb) nv(ub,vb))T：
其中，为Ic8(uc,vc)关于uc的偏导数，/>为Ic8(uc,vc)关于vc的偏导数；nu(ub,vb)和nu(ub,vb)为n(ub,vb)的两个坐标分量。
使用标准差为σg的高斯滤波器对所述对应所述白图像的光强图像进行滤波获得滤波后的图像记为Icg，计算集合B中任意一点(ub,vb)∈B在所述滤波后的图像Icg的光强梯度以及散焦核大小σ(ub,vb)：
其中，为Icg(uc,vc)关于uc的偏导数，/>为Icg(uc,vc)关于vc的偏导数。
4)根据步骤3)得到的散焦核，对反射率边界的各点的两侧邻域分别拟合以确定两侧光强均值η1,η2、相位圆频率ω；具体步骤如下：
4-1)分别获取集合B中每个点(ub，vb)∈B左右两侧拟合区域构成的像素点集合：
其中，E1为集合B中所有点左侧拟合区域的像素点集合，E2为集合B右侧拟合区域的像素点集合。
r为设定的拟合区域选取范围，本实施例中r＝3σ(ub,vb)+5。
4-2)根据相机像平面上任一点(uc,vc)对应第k＝8张投影图像(即白图像)的光强Ic8(uc,vc)，分别计算集合E1,E2中对应的光强均值η1,η2。
4-3)在集合E1,E2的并集E＝E1∪E2中通过线性拟合计算相位圆频率ω。
5)根据反射率边界，确定待修复区域，利用步骤4)得到的两侧光强均值及相位圆频率，对待修复区域每一点的初始相位进行修正；具体步骤如下：
5-1)获取待测对象的待修复区域的像素点集合记为F：
5-2)对于任意一点(uc,vc)∈F，沿该点像素坐标横轴方向在集合B中搜索任一边界点(ub,vb)∈B，计算两者之间距离
5-3)计算(uc,vc)∈F修正后的相位
对于任意一点(uc,vc)∈F，沿该点像素坐标横轴方向在集合B中搜索边界点(ub,vb)∈B(该点为唯一点)，计算两者之间距离
计算(uc,vc)∈F修正后的相位
其中，λ＝nu(ub,vb)ωσ(ub,vb)，u为积分参数。
至此，本实施例即完成了对于反射率边界的补偿。
进一步地，本实施例方法还包括以下步骤：
5-4)对于集合F外任意一点其修正后的相位保持不变：
6)根据相机像平面上每一点修正后的相位使用结构光三维重建方法计算每个点对应的三维坐标，得到待测对象的三维点云。
为实现上述实施例，本发明第二方面实施例提出一种结构光测量中的反射率边界补偿装置，包括：
初始相位获取模块，用于利用结构光测量设备中的投射仪对待测对象投影多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位；
反射率边界识别模块，用于根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的反射率边界；
散焦核计算模块，用于根据所述反射率边界的光强变化计算所述反射率边界中每个点的散焦核及边界法向；
反射率边界邻域拟合模块，用于根据所述散焦核，对所述反射率边界的各点的两侧邻域进行拟合以确定两侧光强均值及相位圆频率；
反射率边界补偿模块，用于根据所述反射率边界，确定待修复区域，利用所述边界法向和所述两侧光强均值及相位圆频率，对所述待修复区域每一点的初始相位进行修正，以实现对所述反射率边界的补偿。
需要说明的是，前述对一种结构光测量中的反射率边界补偿方法的实施例解释说明也适用于本实施例的一种结构光测量中的反射率边界补偿装置，在此不再赘述。根据本发明实施例提出的一种结构光测量中的反射率边界补偿装置，通过利用结构光测量设备中的投影仪对待测对象投射多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位；根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的反射率边界；根据所述反射率边界的光强变化计算所述反射率边界中每个点的散焦核及边界法向；根据所述散焦核，对所述反射率边界的各点的两侧邻域进行拟合以确定两侧光强均值及相位圆频率；根据所述反射率边界，确定待修复区域，利用所述边界法向和所述两侧光强均值及相位圆频率，对所述待修复区域每一点的初始相位进行修正，以实现对所述反射率边界的补偿。由此可实现在不产生伪影的前提下有效解决反射率边界测量不准确的问题，解算效率高，边界点云恢复效果好的特点，能大幅改善基于结构光的阶差测量和边缘质量检测效果，具有较高的应用价值。
为实现上述实施例，本发明第三方面实施例提出一种电子设备，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述一种结构光测量中的反射率边界补偿方法。
为实现上述实施例，本发明第四方面实施例提出一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述一种结构光测量中的反射率边界补偿方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例的一种结构光测量中的反射率边界补偿方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (5)
1.一种结构光测量中的反射率边界补偿方法，其特征在于，包括：
利用结构光测量设备中的投影仪对待测对象投影多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位；
根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的反射率边界；
根据所述反射率边界的光强变化计算所述反射率边界中每个点的散焦核及边界法向；
根据所述散焦核，对所述反射率边界的各点的两侧邻域进行拟合以确定两侧光强均值及相位圆频率；
根据所述反射率边界，确定待修复区域，利用所述边界法向和所述两侧光强均值及相位圆频率，对所述待修复区域每一点的初始相位进行修正，以实现对所述反射率边界的补偿；
其中，通过所述结构光测量设备中的投影仪对待测对象投射多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位，包括：
1)通过投影仪对待测对象依次投射8张相移编码条纹图像以及1张白图像；
对于投影仪像平面上任一点(up,vp)，设置第k张投影图像在该点的输出光强Ipk(up,vp)为：
Ip8(up,vp)＝255
其中，up,vp分别为投影仪平面上任一点的像素横、纵坐标；I′p为平均投影光强，I″p为投影光强变化幅度，Tp为多周期条纹波长，T0为单周期条纹波长；k＝0,1,2…7时投影为相移编码条纹图像，k＝8时投影为白图像；
2)利用相机依次捕获投影仪投射的8张相移编码条纹图像以及1张白图像；
对于相机像平面上任一点(uc,vc)，捕获该点对应第k张投影图像的光强记为Ick(uc,vc),k＝0,1,…,8，则该点初始相位计算表达式如下：
其中，为多周期条纹中间参数，/>为单周期条纹相位中间参数，round为四舍五入取整函数；
所述根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的反射率边界，包括：
根据相机像平面上任一点(uc,vc)对应投影的白图像的光强Ic8(uc,vc)，组成一张对应所述白图像的光强图像；
使用高斯滤波器对所述光强图像进行预处理后，使用canny算子提取所述光强图像的边缘区域，将所述边缘区域对应相机像平面上的点组成集合B，即为所述待测对象的反射率边界；
所述根据所述反射率边界的光强变化计算所述反射率边界中每个点的散焦核及边界法向，包括：
对于集合B中任意一点(ub,vb)∈B，计算该点在对应所述白图像的光强图像中的光强梯度和边界法向n(ub,vb)＝(nu(ub,vb)nv(ub,vb))T：
其中，为Ic8(uc,vc)关于uc的偏导数，/>为Ic8(uc,vc)关于vc的偏导数；其中nu(ub,vb)和nu(ub,vb)为n(ub,vb)的两个坐标分量；
使用标准差为σg的高斯滤波器对所述对应所述白图像的光强图像进行滤波获得滤波后的图像记为Icg，计算集合B中任意一点(ub,vb)∈B在所述滤波后的图像Icg的光强梯度以及散焦核大小σ(ub,vb)：
其中，为Icg(uc,vc)关于uc的偏导数，/>为Icg(uc,vc)关于vc的偏导数；
所述根据所述散焦核，对所述反射率边界的各点的两侧邻域进行拟合以确定两侧光强均值及相位圆频率，包括：
1)分别获取集合B中每个点(ub，vb)∈B左右两侧拟合区域构成的像素点集合：
其中，E1为集合B中所有点左侧拟合区域的像素点集合，E2为集合B右侧拟合区域的像素点集合；r为设定的拟合区域选取范围；
2)根据相机像平面上任一点(uc,vc)对应所述白图像的光强Ic8(uc,vc)，分别计算集合E1,E2中对应的光强均值η1,η2；
3)在集合E1,E2的并集E＝E1∪E2中通过线性拟合计算相位圆频率ω；
根据所述反射率边界，确定待修复区域，利用所述边界法向和所述两侧光强均值及相位圆频率，对所述待修复区域每一点的初始相位进行修正，包括：
1)获取待测对象的待修复区域的像素点集合记为F：
2)对于任意一点(uc,vc)∈F，沿该点像素坐标横轴方向在集合B中搜索任一边界点(ub,vb)∈B，计算两者之间距离
计算(uc,vc)∈F修正后的相位
其中，λ＝nu(ub,vb)ωσ(ub,vb)，u为积分参数。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据相机像平面上每一点修正后的相位，使用结构光三维重建方法计算每个点对应的三维坐标，得到待测对象的三维点云；其中，所述待修复区域外的各点的修正后的相位与该点的所述初始相位一致。
3.一种结构光测量中的反射率边界补偿装置，其特征在于，包括：
初始相位获取模块，用于利用结构光测量设备中的投影仪对待测对象投射多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位；
反射率边界识别模块，用于根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的反射率边界；
散焦核计算模块，用于根据所述反射率边界的光强变化计算所述反射率边界中每个点的散焦核及边界法向；
反射率边界邻域拟合模块，用于根据所述散焦核，对所述反射率边界的各点的两侧邻域进行拟合以确定两侧光强均值及相位圆频率；
反射率边界补偿模块，用于根据所述反射率边界，确定待修复区域，利用所述边界法向和所述两侧光强均值及相位圆频率，对所述待修复区域每一点的初始相位进行修正，以实现对所述反射率边界的补偿；
其中，通过所述结构光测量设备中的投影仪对待测对象投射多张相移编码条纹图像和一张白图像，利用所述结构光测量设备中相机采集所述图像，得到相机像平面上每一点的初始相位，包括：
1)通过投影仪对待测对象依次投射8张相移编码条纹图像以及1张白图像；
对于投影仪像平面上任一点(up,vp)，设置第k张投影图像在该点的输出光强Ipk(up,vp)为：
Ip8(up,vp)＝255
其中，up,vp分别为投影仪平面上任一点的像素横、纵坐标；I′p为平均投影光强，I″p为投影光强变化幅度，Tp为多周期条纹波长，T0为单周期条纹波长；k＝0,1,2…7时投影为相移编码条纹图像，k＝8时投影为白图像；
2)利用相机依次捕获投影仪投射的8张相移编码条纹图像以及1张白图像；
对于相机像平面上任一点(uc,vc)，捕获该点对应第k张投影图像的光强记为Ick(uc,vc),k＝0,1,…,8，则该点初始相位计算表达式如下：
其中，为多周期条纹中间参数/>为单周期条纹相位中间参数，round为四舍五入取整函数；
所述根据所述相机采集的所述白图像，在所述相机像平面上识别所述待测对象的反射率边界，包括：
根据相机像平面上任一点(uc,vc)对应投影的白图像的光强Ic8(uc,vc)，组成一张对应所述白图像的光强图像；
使用高斯滤波器对所述光强图像进行预处理后，使用canny算子提取所述光强图像的边缘区域，将所述边缘区域对应相机像平面上的点组成集合B，即为所述待测对象的反射率边界；
所述根据所述反射率边界的光强变化计算所述反射率边界中每个点的散焦核及边界法向，包括：
对于集合B中任意一点(ub,vb)∈B，计算该点在对应所述白图像的光强图像中的光强梯度和边界法向n(ub,vb)＝(nu(ub,vb)nv(ub,vb))T：
其中，为Ic8(uc,vc)关于uc的偏导数，/>为Ic8(uc,vc)关于vc的偏导数；其中nu(ub,vb)和nu(ub,vb)为n(ub,vb)的两个坐标分量；
使用标准差为σg的高斯滤波器对所述对应所述白图像的光强图像进行滤波获得滤波后的图像记为Icg，计算集合B中任意一点(ub,vb)∈B在所述滤波后的图像Icg的光强梯度以及散焦核大小σ(ub,vb)：
其中，为Icg(uc,vc)关于uc的偏导数，/>为Icg(uc,vc)关于vc的偏导数；
所述根据所述散焦核，对所述反射率边界的各点的两侧邻域进行拟合以确定两侧光强均值及相位圆频率，包括：
1)分别获取集合B中每个点(ub，vb)∈B左右两侧拟合区域构成的像素点集合：
其中，E1为集合B中所有点左侧拟合区域的像素点集合，E2为集合B右侧拟合区域的像素点集合；r为设定的拟合区域选取范围；
2)根据相机像平面上任一点(uc,vc)对应所述白图像的光强Ic8(uc,vc)，分别计算集合E1,E2中对应的光强均值η1,η2；
3)在集合E1,E2的并集E＝E1∪E2中通过线性拟合计算相位圆频率ω；
根据所述反射率边界，确定待修复区域，利用所述边界法向和所述两侧光强均值及相位圆频率，对所述待修复区域每一点的初始相位进行修正，包括：
1)获取待测对象的待修复区域的像素点集合记为F：
2)对于任意一点(uc,vc)∈F，沿该点像素坐标横轴方向在集合B中搜索任一边界点(ub,vb)∈B，计算两者之间距离
计算(uc,vc)∈F修正后的相位
其中，λ＝nu(ub,vb)ωσ(ub,vb)，u为积分参数。
4.一种电子设备，其特征在于，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述权利要求1-2任一项所述的方法。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1-2任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210922628.1A CN115290003B (zh) | 2022-08-02 | 2022-08-02 | 一种结构光测量中的反射率边界补偿方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210922628.1A CN115290003B (zh) | 2022-08-02 | 2022-08-02 | 一种结构光测量中的反射率边界补偿方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115290003A CN115290003A (zh) | 2022-11-04 |
| CN115290003B true CN115290003B (zh) | 2024-04-09 |
Family
ID=83826841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210922628.1A Active CN115290003B (zh) | 2022-08-02 | 2022-08-02 | 一种结构光测量中的反射率边界补偿方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115290003B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6754370B1 (en) * | 2000-08-14 | 2004-06-22 | The Board Of Trustees Of The Leland Stanford Junior University | Real-time structured light range scanning of moving scenes |
| CN108592824A (zh) * | 2018-07-16 | 2018-09-28 | 清华大学 | 一种基于景深反馈的变频条纹投影结构光测量方法 |
| CN109084701A (zh) * | 2018-08-06 | 2018-12-25 | 清华大学 | 一种基于结构光的运动物体测量误差补偿方法 |
| CN113607087A (zh) * | 2021-07-29 | 2021-11-05 | 苏州瑞威盛科技有限公司 | 一种面结构光三维成像技术中的相位非线性误差补偿方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9319649B2 (en) * | 2014-02-13 | 2016-04-19 | Disney Enterprises, Inc. | Projector drift corrected compensated projection |
-
2022
- 2022-08-02 CN CN202210922628.1A patent/CN115290003B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6754370B1 (en) * | 2000-08-14 | 2004-06-22 | The Board Of Trustees Of The Leland Stanford Junior University | Real-time structured light range scanning of moving scenes |
| CN108592824A (zh) * | 2018-07-16 | 2018-09-28 | 清华大学 | 一种基于景深反馈的变频条纹投影结构光测量方法 |
| CN109084701A (zh) * | 2018-08-06 | 2018-12-25 | 清华大学 | 一种基于结构光的运动物体测量误差补偿方法 |
| CN113607087A (zh) * | 2021-07-29 | 2021-11-05 | 苏州瑞威盛科技有限公司 | 一种面结构光三维成像技术中的相位非线性误差补偿方法 |
Non-Patent Citations (3)
| Title |
|---|
| 分离物体三维测量的彩色结构光编码新方法;麻珂;张启灿;;中国激光;20101110(第11期);全文 * |
| 结构光光条中心点信度评价方法与应用;王顺;徐静珠;张益昕;张旭苹;谢飞;;光学学报;20111110(第11期);全文 * |
| 结构光饱和区域分区投射优化补偿方法;刘飞;何春桥;申爱民;李佳鑫;赖俊霖;;光学学报;20180130(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115290003A (zh) | 2022-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9097514B2 (en) | Device and method for inspecting tyre shape | |
| Xu et al. | TLS-based composite structure deformation analysis validated with laser tracker | |
| Xing et al. | Correction of projector nonlinearity in multi-frequency phase-shifting fringe projection profilometry | |
| US20140376802A1 (en) | Wafer Inspection Using Free-Form Care Areas | |
| CN112288732A (zh) | 一种点胶的检测方法、装置、设备及系统 | |
| CN105627942A (zh) | 一种机器视觉检测物体表面微变形的成像装置及其方法 | |
| US11928805B2 (en) | Information processing apparatus, information processing method, and storage medium for defect inspection and detection | |
| US9984454B2 (en) | System, method and computer program product for correcting a difference image generated from a comparison of target and reference dies | |
| CN105354816A (zh) | 一种电子元件定位方法及装置 | |
| CN115290003B (zh) | 一种结构光测量中的反射率边界补偿方法及装置 | |
| CN116703871A (zh) | 一种基于绝缘子stl模型的爬电距离测量方法及系统 | |
| CN115307576B (zh) | 一种结构光测量中的阶梯边界补偿方法及装置 | |
| CN109000560B (zh) | 基于三维相机检测包裹尺寸的方法、装置以及设备 | |
| US11156450B2 (en) | Method, device and electronic apparatus for estimating physical parameter by discrete chirp fourier transform | |
| CN103955610B (zh) | 一种医学影像计算机辅助分析方法 | |
| TWI489511B (zh) | A measurement method, an image processing device, and a charged particle beam device | |
| CN107421637B (zh) | 基于ccd探测的扭曲光束表征仪 | |
| CN115876108B (zh) | 内径测量方法、装置及计算机可读存储介质 | |
| KR20200016991A (ko) | 오버레이 계측에서 높은 정확도를 달성하기 위한 이미징 기술의 진폭 및 위상 비대칭 추정 | |
| CN113393481B (zh) | 基于边缘检测的快速相位展开方法、装置、设备及介质 | |
| TWI479126B (zh) | 光編碼器之組裝與評估之自動光學檢測裝置及其方法 | |
| Koren et al. | Measuring MTF with wedges: pitfalls and best practices | |
| TWI590191B (zh) | 光學圖像的缺陷補償方法 | |
| CN118351097A (zh) | 一种胶路质量检测方法、装置、电子设备及存储介质 | |
| Wang et al. | Adaptive Extraction Method for Phase Foreground Region in Laser Interferometry of Gear |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |