CN114459384A - 一种基于多角度正弦条纹光场融合的相移轮廓术 - Google Patents

一种基于多角度正弦条纹光场融合的相移轮廓术 Download PDF

Info

Publication number
CN114459384A
CN114459384A CN202210186741.8A CN202210186741A CN114459384A CN 114459384 A CN114459384 A CN 114459384A CN 202210186741 A CN202210186741 A CN 202210186741A CN 114459384 A CN114459384 A CN 114459384A
Authority
CN
China
Prior art keywords
sub
phase
aperture
light field
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210186741.8A
Other languages
English (en)
Inventor
徐亦新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing Xiangjing Intelligent Equipment Co ltd
Original Assignee
Jiaxing Xiangjing Intelligent Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiaxing Xiangjing Intelligent Equipment Co ltd filed Critical Jiaxing Xiangjing Intelligent Equipment Co ltd
Priority to CN202210186741.8A priority Critical patent/CN114459384A/zh
Publication of CN114459384A publication Critical patent/CN114459384A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

基于光场的三维测量由于有较好的精度、速度和检测范围成为工业三维检测的主流技术之一，和正弦条纹相位移轮廓术结合可以有效提高检测精度。本发明提出了一种基于多角度正弦条纹光场融合的相移轮廓术，该方法首先基于微透镜阵列的光场成像系统收集一组或者多组正弦相移条纹，图像校准后计算出每个子孔径图像的绝对相位，基于相位贡献权重的选择融合的子孔径，然后结合了角度、距离和相似度的融合相位，相位映射到高度后通过矫正填充到点云数据，最后通过多角度的点云融合填充到点云矩阵，进一步，提出了与之对应的微透阵列校准标定、相机标定和相位‑高度映射标定方法。

Description

一种基于多角度正弦条纹光场融合的相移轮廓术
技术领域
本发明涉及三维光学检测技术领域，尤其涉及一种基于多角度正弦条纹光场融合的相移轮廓术，可以针对漫反射表面极微小对象进行高速高精度的三维检测。
背景技术
为了更好地实现工业生产中的质量过程控制，光学检测系统是许多制造和质量控制过程中的一个关键部分。前沿制造领域目前对光学检测系统提出了挑战性的要求，即高吞吐量并能检测微小缺陷、可适应复杂检测表面，以及移动物体的精确三维高度测量。光场三维测量由于微米级的测高精度、毫米级的测高范围和较快的检测速度成为工业三维检测的主流方案之一。
传统光场用自然光或均匀光照明下采集的光场图像进行三维重建，称为被动光场。被动光场技术对环境无特殊要求，系统也较为简单，但对于弱纹理表面的结构重建不够理想，如果采用结构光照明技术向物体和场景的表面投射含有深度编码信息的结构光 ，则可以无视表面纹理而产生主动编码，从而改善三维重建的效果。
在实际的工业三维检测领域，由于不同的光入射角度和不同表面的反射率导致图像局部过亮或过暗，检测目标之间的阴影遮挡等问题容易产生检测死角和错误数据，基于单目视觉下的光场获取的信息不够全面，可能造成较大的测量误差。
发明内容
本发明要实现工业三维高速高精度的检测，首先投影一组或者多组相移条纹，基于微镜阵列的光场成像系统进行拍照，每个子孔径经过图像校准之后计算出相对相位和绝对相位，基于相位贡献权重的子孔径选择算法选择待融合的子孔径，结合角度、距离和相似度的子孔径融合相位，相位映射到高度后通过矫正填充到点云数据，最后通过多角度的点云阵列形成最终点云矩阵，进一步，提出了与之对应的微镜阵列校准标定、相机标定和相位-高度映射标定方法，具体如下。
S1、本发明提供的一种正弦条纹光场投影及拍摄装置，采用投影机构投影一组或者多组正弦条纹到被测物表面，光线反射后透过一个微透镜阵列被面阵相机收集，此时相机不仅收集了每一条光线的光强信息，还收集每一条光线的角度信息，得到多个不同角度的子孔径条纹光图像，基于双平面模型对四维光场进行参数化，一个四维光场可以参数化为Lux，其中x = (x, y)T, u =(u, v)T分别代表光场的空间坐标和角度坐标，该公式的表征为光线在两个平面的横截面。
S2、本本发明提出一种子孔径图像进行校准的方法，由于微透镜阵列于CCD平面不可能完全平行，子孔径图像会产生一定的偏移，需要提前进行图像校准以获得校准参数，基于校准参数对图像进行修正便于后续处理。
S3、本发明采用正弦相移法进行相位求解，多幅条纹图像之间存在的相关性可以有效地降低噪声的影响，提高了相位获取的精确度和准确性，假设投影了N幅正弦条纹图像, 令Ii(x,y) 表示在像素坐标(x, y)第i幅条纹图像的光强。
Figure 690544DEST_PATH_IMAGE001
其中，a和b分别是记录光场的背景辐射强度和调制辐射强度，
Figure 427556DEST_PATH_IMAGE002
是受物体高度调制的相位信息,
Figure 419783DEST_PATH_IMAGE003
是第i幅条纹的相位移，通过条纹分析技术可以解调出相对相位,公式如下。
Figure 849627DEST_PATH_IMAGE004
通过反切运算后相对相位的值域为(-π，π)。如果相位超过一个相位周期，只能够得到被压缩在一个相位周期内的相位，这里需要对相位进行展开求得绝对相位
Figure 825673DEST_PATH_IMAGE005
，相位展开需要确定条纹级次K, 如下公式。
Figure 461316DEST_PATH_IMAGE006
其中，如果投影的是一组正弦相移条纹，即只有一组频率，可以使用基于空间的相位展开算法; 如果投影的是多组正弦相移条纹，即存在一组以上的频率，可以使用基于时间的相位展开算法。
其中，在计算绝对相位的过程中，可以计算出每个像素点的置信度，作为后续衡量像素点质量的一个评判依据，置信度的公式如下。
Figure 104787DEST_PATH_IMAGE007
S4、本发明提出一种基于相位贡献权重的子孔径选择算法，目的是避免全部的子孔径参与融合造成数据处理太慢导致的检测速度降低，模型基于中心子孔径开始，具体步骤如下。
1. 遍历中心子孔径，找出所有无效的相位inf像素点集合P，无效的像素点条件满足A或者B，公式如下。
Figure 908795DEST_PATH_IMAGE008
Figure 637717DEST_PATH_IMAGE009
Figure 310006DEST_PATH_IMAGE010
其中A代表绝对相位为inf的像素集合，B代表置信度大于某个阈值M1的像素集合，(x,y)代表子孔径的像素坐标，(u,v)代表子孔径的角度坐标。
2. 构造子孔径标志位矩阵C，初始值为0，遍历P中每一个位置坐标，并判断该像素位置经过坐标映射f (x, y)后在其它子孔径中像素点(x’,y’)是否合法，公式如下。
Figure 807984DEST_PATH_IMAGE011
Figure 314052DEST_PATH_IMAGE012
Figure 999111DEST_PATH_IMAGE013
3. 统计每一个子孔径的融合权重，融合权重通过S中求和的倒数阶来衡量，最终选用的子孔径可以是权重分布靠前的固定数量的或者选择大于某个权重阈值筛选，公式如下。
Figure 475091DEST_PATH_IMAGE014
S5、本发明提出一种结合了角度、距离和相似度的子孔径融合算法，分别基于子孔径的角度、距离和相似度建立相应的核函数，对中心子孔径的绝对相位进行重构，得到更好的成像质量，同时融合后可以在一定程度上抑制目标之间阴影遮挡，具体步骤如下。
1.基于子孔径的角度特性构建核函数K1，构建双边卷积窗口，公式如下。
Figure 827575DEST_PATH_IMAGE015
其中，uc, vc代表中心角坐标，
Figure 770124DEST_PATH_IMAGE016
是输入参数。
2. 基于亮度方差构建核函数K2，如果像素点的相位无效，需要该像素位置(x, y)映射的世界坐标在所有子孔径位置(x’,y’)的亮度平均值替代，公式如下。
Figure 676900DEST_PATH_IMAGE017
其中
Figure 97517DEST_PATH_IMAGE018
代表点(x’,y’)的绝对相位平均值，
Figure 163562DEST_PATH_IMAGE019
是输入参数。
3. 基于绝对相位图构建核函数K3，用于衡量绝对相位的相似度。
Figure 11432DEST_PATH_IMAGE020
其中ux，uy代表(x,y)处的相位平均值，
Figure 936663DEST_PATH_IMAGE021
，
Figure 629812DEST_PATH_IMAGE022
代表方差，
Figure 956888DEST_PATH_IMAGE023
代表协方差，C1,C2,C3是常数。
4. 把上面的所有核函数融合为K。
Figure 333250DEST_PATH_IMAGE024
5. 考虑子孔径有不同的角度，子孔径图像会存在一定的像素偏移，在融合的时候结合考虑不同子孔径领域的影响，公式如下。
Figure 745776DEST_PATH_IMAGE025
其中Wd是点p所在的领域窗口，D(p, q)是距离核函数。
Figure 977038DEST_PATH_IMAGE026
Figure 158620DEST_PATH_IMAGE027
其中是输入参数。
6. 最终融合相位计算公式如下。
Figure 613872DEST_PATH_IMAGE028
其中如果把输入数据由相位换成置信度，可以求出融合后的置信度
Figure 107171DEST_PATH_IMAGE029
。
Figure 673281DEST_PATH_IMAGE030
S6、高度融合后得到一个单视角下的绝对相位数据，然后进行高度映射，基于标定参数得到一个三维点云数据。
S7、本发明提出了一种基于多角度正弦条纹光场融合的相移轮廓术，可以进一步避免检测目标之间的遮挡带来的检测误差，采用一个同轴或者近似同轴的投影，在侧面安装多个不同角度的光场成像系统，这些多角度的光场成像系统可以进行同步曝光，同时收集多个角度的光场信息，根据步骤S1 ~ S6计算出每个视角下的三维点云数据和置信度信息，然后按照映射关系填充到一个整体的三维点云矩阵中，如果对于多个视角下同时存在的点，选取置信度最好的视角的高度进行填充；如果不存在重复的点，可以直接填充。
其中，步骤S2包含了步骤S8、为了能够校准微镜阵列的图像，需要提前对于微镜阵列进行校准标定，具体包括需要使用相机对透过微镜阵列对固定位置的色卡进行多次取像，然后对于这些图像进行求平均得到一个子孔径图像阵列，首先对于图像进行二值化，然后通过提取子孔径图像的边缘特征点，对于同一行/同一列的子孔径特征点进行直线拟合，通过拟合后的直线计算出每个子孔径的旋转矩阵和平移矩阵作为每个子孔径图像的校准参数。
其中，步骤S4包含了步骤S9、为了能够在子孔径图像之间进行坐标映射以及高度的准确位置填充，需要提前进行相机标定，相机标定包括标定相机的内参和外参，最终每一个子孔径都会生成一套映射参数；如果有多个视角，需要对于同一位置的相机标定板进行同步曝光取像，每个视角下都会生成一套子孔径映射参数。
附图说明
图1为本发明提供的一种基于正弦条纹光场融合的相移轮廓术流程图。
图2为本发明提供的一种正弦条纹光场投影及拍摄装置示意图。
图3为本发明提供的一种微透镜阵列图像校准流程图。
图4为本发明提供的一种基于多角度正弦条纹光场融合的相移轮廓术的相机标定示意图。
图5为本发明提供的一种基于多角度正弦条纹光场融合的相移轮廓术的相位-高度映射标定示意图。
图6为本发明提供的一种基于多角度正弦条纹光场融合的相移轮廓术流程图。
附图标记说明。
S1 ~ S2：正弦条纹光场融合的相移轮廓术流程图；20：投影机构；21：基于微透镜阵列的光场成像系统；210：相机；211：微透镜阵列；22：正弦条纹；30 ~ 35：微透镜阵列图像校准流程图；40：相机标定板；41: 同轴或近似同轴的投影机构；42,43,44,45：多个不同角度的基于微透镜阵列的光场成像系统；50：相位-高度映射标定板；52,53,54,55：多个不同角度的基于微透镜阵列的光场成像系统；60 ~ 64：多角度正弦条纹光场融合的相移轮廓书流程图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明，以详细说明本发明的技术方案，主要流程见附图1。
S1、本发明提供的一种正弦条纹光场投影及拍摄装置，类似于附图2所示：具体采用投影机构投影20一组或者多组正弦条纹到被测物表面，光线反射后透过一个微透镜阵列211被面阵相机210收集，此时相机不仅收集了每一条光线的光强信息，还收集每一条光线的角度信息，得到多个不同角度的子孔径条纹光图像，基于双平面模型对四维光场进行参数化，一个四维光场可以参数化为Lux，其中x = (x, y)T, u =(u, v)T分别代表光场的空间坐标和角度坐标，该公式的表征为光线在两个平面的横截面。
S2、本发明提出一种子孔径图像进行校准的方法，由于微透镜阵列于CCD平面不可能完全平行，子孔径图像会产生一定的偏移，需要提前进行图像校准以获得校准参数，基于校准参数对图像进行修正便于后续处理。
S3、本发明采用正弦相移法进行相位求解，多幅条纹图像之间存在的相关性可以有效地降低噪声的影响，提高了相位获取的精确度和准确性，假设投影了N幅正弦条纹图像, 令Ii(x,y) 表示在像素坐标(x, y)第i幅条纹图像的光强。
Figure 178212DEST_PATH_IMAGE001
其中，a和b分别是记录光场的背景辐射强度和调制辐射强度，
Figure 804365DEST_PATH_IMAGE002
是受物体高度调制的相位信息, 是第
Figure 191484DEST_PATH_IMAGE003
幅条纹的相位移，通过条纹分析技术可以解调出相对相位, 公式如下。
Figure 889182DEST_PATH_IMAGE004
通过反切运算后相对相位的值域为(-π，π)。如果相位超过一个相位周期，只能够得到被压缩在一个相位周期内的相位，这里需要对相位进行展开求得绝对相位
Figure 45357DEST_PATH_IMAGE005
，相位展开需要确定条纹级次K, 如下公式。
Figure 311253DEST_PATH_IMAGE006
其中，如果投影的是一组正弦相移条纹，即只有一组频率，可以使用基于空间的相位展开算法; 如果投影的是多组正弦相移条纹，即存在一组以上的频率，可以使用基于时间的相位展开算法。
其中，在计算绝对相位的过程中，可以计算出每个像素点的置信度，作为后续衡量像素点质量的一个评判依据，置信度的公式如下。
Figure 920089DEST_PATH_IMAGE007
S4、本发明提出一种基于相位贡献权重的子孔径选择算法，目的是避免全部的子孔径参与融合造成数据处理太慢导致的检测速度降低，模型基于中心子孔径开始，具体步骤如下:
1. 遍历中心子孔径，找出所有无效的相位inf像素点集合P，无效的像素点条件满足A或者B，公式如下:
Figure 687057DEST_PATH_IMAGE008
Figure 697738DEST_PATH_IMAGE009
Figure 665694DEST_PATH_IMAGE010
其中A代表绝对相位为inf的像素集合，B代表置信度大于某个置信度阈值M1的像素集合, (x,y)代表子孔径的像素坐标，(u,v)代表子孔径的角度坐标；
2. 构造子孔径标志位矩阵C，初始值为0，遍历P中每一个位置坐标，并判断该像素位置经过坐标映射f (x, y)后在其它子孔径中像素点(x’,y’)是否合法，公式如下:
Figure 230667DEST_PATH_IMAGE011
Figure 676692DEST_PATH_IMAGE012
Figure 902399DEST_PATH_IMAGE013
3. 统计每一个子孔径的融合权重，融合权重通过S中求和的倒数阶来衡量，最终选用的子孔径可以是权重分布靠前的固定数量的或者选择大于某个权重阈值筛选，公式如下。
Figure 41257DEST_PATH_IMAGE014
S5、本发明提出一种结合了角度、距离和相似度的子孔径融合算法，分别基于子孔径的角度、距离和相似度建立相应的核函数，对中心子孔径的绝对相位进行重构，得到更好的成像质量，同时融合后可以在一定程度上抑制目标之间阴影遮挡，具体步骤如下:
1. 基于子孔径的角度特性构建核函数K1，构建双边卷积窗口，公式如下:
Figure 624685DEST_PATH_IMAGE015
其中，uc, vc代表中心角坐标，
Figure 343242DEST_PATH_IMAGE016
是输入参数；
2. 基于亮度方差构建核函数K2，如果像素点的相位无效，需要该像素位置(x,y)映射的世界坐标在所有子孔径位置(x’,y’)的亮度平均值替代，公式如下:
Figure 328516DEST_PATH_IMAGE017
其中
Figure 231750DEST_PATH_IMAGE031
代表点(x’,y’)的绝对相位平均值，
Figure 302474DEST_PATH_IMAGE019
是输入参数；
3. 基于绝对相位图构建核函数K3，用于衡量绝对相位的相似度；
Figure 355880DEST_PATH_IMAGE020
其中ux，uy代表(x,y)处的相位平均值，
Figure 664502DEST_PATH_IMAGE021
，
Figure 145162DEST_PATH_IMAGE022
代表方差，
Figure 31078DEST_PATH_IMAGE023
代表协方差，C1,C2,C3是常数；
4. 把上面的所有核函数融合为K；
Figure 888176DEST_PATH_IMAGE024
5. 考虑子孔径有不同的角度，子孔径图像会存在一定的像素偏移，在融合的时候结合考虑不同子孔径领域的影响，公式如下:
Figure 582462DEST_PATH_IMAGE025
其中Wd是点p所在的领域窗口，D(p, q)是距离核函数；
Figure 702865DEST_PATH_IMAGE026
其中
Figure 748182DEST_PATH_IMAGE027
是输入参数；
6. 最终融合相位计算公式如下:
Figure 736866DEST_PATH_IMAGE028
其中如果把输入数据由相位换成置信度，可以求出融合后的置信度
Figure 285659DEST_PATH_IMAGE032
。
Figure 373701DEST_PATH_IMAGE030
S6、高度融合后得到一个单视角下的绝对相位数据，然后进行高度映射，基于标定参数得到一个三维点云数据。
S7、本发明提出了一种基于多角度正弦条纹光场融合的相移轮廓术，可以进一步避免检测目标之间的遮挡带来的检测误差，如附图4所示：采用一个同轴或者近似同轴的投影41，在侧面安装多个不同角度的光场成像系统42,43,44,45，这些多角度的光场成像系统可以进行同步曝光，同时收集多个角度的光场信息，根据步骤S1 ~ S6计算出每个视角下的三维点云数据和置信度信息，然后按照映射关系填充到一个整体的三维点云矩阵中，如果对于多个视角下同时存在的点，选取置信度最好的视角的高度进行填充；如果不存在重复的点，可以直接填充。
其中，步骤S2包含了步骤S8、为了能够校准微镜阵列的图像，需要提前对于微镜阵列进行校准标定，如附图3所示，使用相机对透过微镜阵列对固定位置的色卡进行多次取像30，对于这些图像进行求平均得到一个子孔径图像阵列31，首先对于图像进行二值化32，然后通过提取子孔径图像的边缘特征点33，对于同一行/同一列的子孔径特征点进行直线拟合34，通过拟合后的直线计算出每个子孔径的旋转矩阵和平移矩阵作为每个子孔径图像的校准参数35。
其中，步骤S4包含了步骤S9、为了能够在子孔径图像之间进行坐标映射以及高度的准确位置填充，需要提前进行相机标定，类似于附图4所示：相机标定包括标定相机的内参和外参，最终每一个子孔径都会生成一套映射参数；如果有多个视角42,43,44,45，需要对于同一位置的相机标定板40进行同步曝光取像，每个视角下都会生成一套子孔径映射参数。
其中，步骤S4包含了步骤S9、为了能够对于每一条光线进行相位到高度的映射，需要进行相位-高度映射标定，考虑系统投影机构和成像系统的相对位置固定，只需要标定绝对相位和深度值的关系，类似于附图5所示：可以上下移动投影机构51，也可以上下移动标定块50，对于每一层高度的每一次投影，所有视角的光场成像系统52,53,54,55需要同步曝光取像，计算出相位然后根据线性/多次项拟合计算相位到高度的映射，线性拟合采用分段拟合的方式，分段数量n由可以由测高范围决定，中间范围内段数可以多写，两端段数可以相对少写，最终每个视角下都会生成一套相位到高度的映射参数。

Claims (3)

1.本发明要实现针对漫反射表面极微小对象的三维高速高精度检测，通过一种基于多角度正弦条纹光场融合的相移轮廓术，要实现该目的，具体如下：
S1、本发明提供的一种正弦条纹光场投影及拍摄装置，采用投影机构投影一组或者多组正弦条纹到被测物表面，光线反射后透过一个微透镜阵列被面阵相机收集，此时相机不仅收集了每一条光线的光强信息，还收集每一条光线的角度信息，得到多个不同角度的子孔径条纹光图像，基于双平面模型对四维光场进行参数化，一个四维光场可以参数化为Lux，其中x = (x, y)T, u =(u, v)T分别代表光场的空间坐标和角度坐标，该公式的表征为光线在两个平面的横截面；
S2、本本发明提出一种子孔径图像进行校准的方法，由于微透镜阵列于CCD平面不可能完全平行，子孔径图像会产生一定的偏移，需要提前进行图像校准以获得校准参数，基于校准参数对图像进行修正便于后续处理；
S3、本发明采用正弦相移法进行相位求解，多幅条纹图像之间存在的相关性可以有效地降低噪声的影响，提高了相位获取的精确度和准确性，假设投影了N幅正弦条纹图像, 令Ii(x,y) 表示在像素坐标(x, y)第i幅条纹图像的光强；
Figure 411028DEST_PATH_IMAGE001
其中，a和b分别是记录光场的背景辐射强度和调制辐射强度，
Figure 937825DEST_PATH_IMAGE002
是受物体高度调制的相位信息,
Figure 606703DEST_PATH_IMAGE003
是第i幅条纹的相位移，通过条纹分析技术可以解调出相对相位, 公式如下：
Figure 334488DEST_PATH_IMAGE004
通过反切运算后相对相位的值域为(-π，π)；
如果相位超过一个相位周期，只能够得到被压缩在一个相位周期内的相位，这里需要对相位进行展开求得绝对相位
Figure 823238DEST_PATH_IMAGE005
，相位展开需要确定条纹级次K, 如下公式：
Figure 917840DEST_PATH_IMAGE006
其中，如果投影的是一组正弦相移条纹，即只有一组频率，可以使用基于空间的相位展开算法; 如果投影的是多组正弦相移条纹，即存在一组以上的频率，可以使用基于时间的相位展开算法；
其中，在计算绝对相位的过程中，可以计算出每个像素点的置信度，作为后续衡量像素点质量的一个评判依据，置信度的公式如下：
Figure 441225DEST_PATH_IMAGE007
S4、本发明提出一种基于相位贡献权重的子孔径选择算法，目的是避免全部的子孔径参与融合造成数据处理太慢导致的检测速度降低，模型基于中心子孔径开始，具体步骤如下；
遍历中心子孔径，找出所有无效的相位inf像素点集合P，无效的像素点条件满足A或者B，公式如下：
Figure 74332DEST_PATH_IMAGE008
Figure 315957DEST_PATH_IMAGE009
Figure 856660DEST_PATH_IMAGE010
其中A代表绝对相位为inf的像素集合，B代表置信度大于某个阈值M1的像素集合, (x,y)代表子孔径的像素坐标，(u,v)代表子孔径的角度坐标；
构造子孔径标志位矩阵C，初始值为0，遍历P中每一个位置坐标，并判断该像素位置经过坐标映射f (x, y)后在其它子孔径中像素点(x’,y’)是否合法，公式如下：
Figure 828027DEST_PATH_IMAGE011
Figure 428773DEST_PATH_IMAGE012
Figure 360956DEST_PATH_IMAGE013
统计每一个子孔径的融合权重，融合权重通过S中求和的倒数阶来衡量，最终选用的子孔径可以是权重分布靠前的固定数量的或者选择大于某个权重阈值筛选，公式如下：
Figure 298826DEST_PATH_IMAGE014
S5、本发明提出一种结合了角度、距离和相似度的子孔径融合算法，分别基于子孔径的角度、距离和相似度建立相应的核函数，对中心子孔径的绝对相位进行重构，得到更好的成像质量，同时融合后可以在一定程度上抑制目标之间阴影遮挡，具体步骤如下：
基于子孔径的角度特性构建核函数K1，构建双边卷积窗口，公式如下：
Figure 796803DEST_PATH_IMAGE015
其中，uc, vc代表中心角坐标，
Figure 771712DEST_PATH_IMAGE016
是输入参数；
基于亮度方差构建核函数K2，如果像素点的相位无效，需要该像素位置(x, y)映射的世界坐标在所有子孔径位置(x’,y’)的亮度平均值替代，公式如下:
Figure 987930DEST_PATH_IMAGE017
其中
Figure 870435DEST_PATH_IMAGE018
代表点(x’,y’)的绝对相位平均值，
Figure 816395DEST_PATH_IMAGE019
是输入参数；
基于绝对相位图构建核函数K3，用于衡量绝对相位的相似度；
Figure 493363DEST_PATH_IMAGE020
其中ux，uy代表(x,y)处的相位平均值，
Figure 400140DEST_PATH_IMAGE021
，
Figure 86336DEST_PATH_IMAGE022
代表方差，
Figure 388267DEST_PATH_IMAGE023
代表协方差，C1,C2,C3是常数；
把上面的所有核函数融合为K
Figure 501716DEST_PATH_IMAGE024
考虑子孔径有不同的角度，子孔径图像会存在一定的像素偏移，在融合的时候结合考虑不同子孔径领域的影响，公式如下：
Figure 895788DEST_PATH_IMAGE025
其中Wd是点p所在的领域窗口，D(p, q)是距离核函数；
Figure 120096DEST_PATH_IMAGE026
其中
Figure 40648DEST_PATH_IMAGE027
是输入参数
最终融合相位计算公式如下：
Figure 324998DEST_PATH_IMAGE028
其中如果把输入数据由相位换成置信度，可以求出融合后的置信度
Figure 940788DEST_PATH_IMAGE029
Figure 968786DEST_PATH_IMAGE030
S6、高度融合后得到一个单视角下的绝对相位数据，然后进行高度映射，基于标定参数得到一个三维点云数据；
S7、本发明提出了一种基于多角度正弦条纹光场融合的相移轮廓术，可以进一步避免检测目标之间的遮挡带来的检测误差，采用一个同轴或者近似同轴的投影，在侧面安装多个不同角度的光场成像系统，这些多角度的光场成像系统可以进行同步曝光，同时收集多个角度的光场信息，根据步骤S1 ~ S6计算出每个视角下的三维点云数据和置信度信息，然后按照映射关系填充到一个整体的三维点云矩阵中，如果对于多个视角下同时存在的点，选取置信度最好的视角的高度进行填充；如果不存在重复的点，可以直接填充。
2.如权利要求1所述的方法，其特征在于，步骤S2 包括：
S8、校准微镜阵列的图像，需要提前对于微镜阵列进行校准标定，具体包括需要使用相机对透过微镜阵列对固定位置的色卡进行多次取像，然后对于这些图像进行求平均得到一个子孔径图像阵列，首先对于图像进行二值化，然后通过提取子孔径图像的边缘特征点，对于同一行/同一列的子孔径特征点进行直线拟合，通过拟合后的直线计算出每个子孔径的旋转矩阵和平移矩阵作为每个子孔径图像的校准参数。
3.如权利要求1所述的方法，其特征在于，步骤S4包括：
S9为了能够在子孔径图像之间进行坐标映射以及高度的准确位置填充，需要提前进行相机标定，相机标定包括标定相机的内参和外参，最终每一个子孔径都会生成一套映射参数；如果有多个视角，需要对于同一位置的相机标定板进行同步曝光取像，每个视角下都会生成一套子孔径映射参数；
为了能够对于每一条光线进行相位到高度的映射，需要进行相位-高度映射标定，考虑系统投影机构和成像系统的相对位置固定，只需要标定绝对相位和深度值的关系，可以上下移动投影机构，也可以上下移动标定块，对于每一层高度的每一次投影，所有视角的光场成像系统需要同步曝光取像，计算出相位然后根据线性/多次项拟合计算相位到高度的映射，线性拟合采用分段拟合的方式，分段数量n由可以由测高范围决定，中间范围内段数可以多写，两端段数可以相对少写，最终每个视角下都会生成一套相位到高度的映射参数。
CN202210186741.8A 2022-02-28 2022-02-28 一种基于多角度正弦条纹光场融合的相移轮廓术 Pending CN114459384A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210186741.8A CN114459384A (zh) 2022-02-28 2022-02-28 一种基于多角度正弦条纹光场融合的相移轮廓术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210186741.8A CN114459384A (zh) 2022-02-28 2022-02-28 一种基于多角度正弦条纹光场融合的相移轮廓术

Publications (1)

Publication Number Publication Date
CN114459384A true CN114459384A (zh) 2022-05-10

Family

ID=81416420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210186741.8A Pending CN114459384A (zh) 2022-02-28 2022-02-28 一种基于多角度正弦条纹光场融合的相移轮廓术

Country Status (1)

Country Link
CN (1) CN114459384A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972544A (zh) * 2022-07-28 2022-08-30 星猿哲科技(深圳)有限公司 深度相机外参自标定方法、装置、设备及存储介质
CN116500851A (zh) * 2023-06-30 2023-07-28 苏州华兴源创科技股份有限公司 3d成像系统及其标定方法、装置、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109579741A (zh) * 2018-11-01 2019-04-05 南京理工大学 一种基于多视角的全自动多模态三维彩色测量方法
CN110672039A (zh) * 2019-09-18 2020-01-10 南京理工大学 一种基于平面反射镜的物体全方位三维测量方法
CN111238403A (zh) * 2020-01-18 2020-06-05 武汉盛信鸿通科技有限公司 一种基于光场子孔径条纹图像的三维重建方法及装置
CN111473744A (zh) * 2020-06-03 2020-07-31 北京航空航天大学 一种基于散斑嵌入相移条纹的三维形貌视觉测量方法及系统
CN112712483A (zh) * 2021-01-14 2021-04-27 湖北工业大学 一种基于光场双色反射模型和全变分的高反光去除方法
CN113205593A (zh) * 2021-05-17 2021-08-03 湖北工业大学 一种基于点云自适应修复的高反光表面结构光场三维重建方法
CN113205592A (zh) * 2021-05-14 2021-08-03 湖北工业大学 一种基于相位相似性的光场三维重建方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109579741A (zh) * 2018-11-01 2019-04-05 南京理工大学 一种基于多视角的全自动多模态三维彩色测量方法
CN110672039A (zh) * 2019-09-18 2020-01-10 南京理工大学 一种基于平面反射镜的物体全方位三维测量方法
CN111238403A (zh) * 2020-01-18 2020-06-05 武汉盛信鸿通科技有限公司 一种基于光场子孔径条纹图像的三维重建方法及装置
CN111473744A (zh) * 2020-06-03 2020-07-31 北京航空航天大学 一种基于散斑嵌入相移条纹的三维形貌视觉测量方法及系统
CN112712483A (zh) * 2021-01-14 2021-04-27 湖北工业大学 一种基于光场双色反射模型和全变分的高反光去除方法
CN113205592A (zh) * 2021-05-14 2021-08-03 湖北工业大学 一种基于相位相似性的光场三维重建方法及系统
CN113205593A (zh) * 2021-05-17 2021-08-03 湖北工业大学 一种基于点云自适应修复的高反光表面结构光场三维重建方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972544A (zh) * 2022-07-28 2022-08-30 星猿哲科技(深圳)有限公司 深度相机外参自标定方法、装置、设备及存储介质
CN114972544B (zh) * 2022-07-28 2022-10-25 星猿哲科技(深圳)有限公司 深度相机外参自标定方法、装置、设备及存储介质
CN116500851A (zh) * 2023-06-30 2023-07-28 苏州华兴源创科技股份有限公司 3d成像系统及其标定方法、装置、设备和存储介质
CN116500851B (zh) * 2023-06-30 2023-09-08 苏州华兴源创科技股份有限公司 3d成像系统及其标定方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
Xu et al. Real-time 3D shape inspection system of automotive parts based on structured light pattern
CN111750806B (zh) 一种多视角三维测量系统及方法
CN110276808A (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN107167093B (zh) 一种激光线扫描与阴影莫尔的复合式测量系统及测量方法
CN107607040A (zh) 一种适用于强反射表面的三维扫描测量装置及方法
CN114459384A (zh) 一种基于多角度正弦条纹光场融合的相移轮廓术
CN110514143A (zh) 一种基于反射镜的条纹投影系统标定方法
CN113205593B (zh) 一种基于点云自适应修复的高反光表面结构光场三维重建方法
CN112053432A (zh) 一种基于结构光与偏振的双目视觉三维重建方法
CN110230998A (zh) 一种基于线激光和双目相机的快速精密三维测量方法和装置
CN106500625B (zh) 一种远心立体视觉测量方法
CN110864650A (zh) 基于条纹投影的平面度测量方法
CN109341668A (zh) 基于折射投影模型和光束追踪法的多相机测量方法
CN107860337A (zh) 基于阵列相机的结构光三维重建方法与装置
CN113446957B (zh) 基于神经网络标定和散斑追踪的三维轮廓测量方法及装置
CN112489109B (zh) 一种三维成像系统方法、装置及三维成像系统
CN109631798A (zh) 一种基于π相移方法的三维面形垂直测量方法
CN113091646A (zh) 基于条纹标定的三维形貌测量方法
CN114485477A (zh) 一种结冰三维外形在线测量方法及测量装置
CN114923665B (zh) 波浪三维高度场的图像重构方法及图像重构试验系统
CN113505626A (zh) 一种快速三维指纹采集方法与系统
CN103884294B (zh) 一种宽视场的红外光三维形貌测量的方法及其装置
CN106546193A (zh) 一种高反射物体表面三维测量方法和系统
CN109506629B (zh) 一种水下核燃料组件检测装置旋转中心标定的方法
CN109506562A (zh) 一种用于太阳翼展开锁定深度检测的双目视觉测量装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination