CN110895134B - 基于相移轮廓术在日光灯下进行高速三维形状测量的方法 - Google Patents

基于相移轮廓术在日光灯下进行高速三维形状测量的方法 Download PDF

Info

Publication number
CN110895134B
CN110895134B CN201911209797.5A CN201911209797A CN110895134B CN 110895134 B CN110895134 B CN 110895134B CN 201911209797 A CN201911209797 A CN 201911209797A CN 110895134 B CN110895134 B CN 110895134B
Authority
CN
China
Prior art keywords
phase
fluorescent lamp
projector
camera
shift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911209797.5A
Other languages
English (en)
Other versions
CN110895134A (zh
Inventor
郑东亮
韩静
张毅
王景
王兴国
于浩天
赵洋
林楚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201911209797.5A priority Critical patent/CN110895134B/zh
Publication of CN110895134A publication Critical patent/CN110895134A/zh
Application granted granted Critical
Publication of CN110895134B publication Critical patent/CN110895134B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于相移轮廓术在日光灯下进行高速三维形状测量的方法，对相机与投影仪进行标定，获得相机和投影仪的内参与外参；采用双四步相位轮廓测量技术，消除由日光灯所引起的相位误差，获得物体的理想相位信息；根据消除日光灯影响后的理想相位信息，获取物体在投影仪下的像素坐标，并结合相机和投影仪的内参与外参，将二维信息还原至真实的三维信息。本发明采用双四步相位轮廓测量技术，消除了由日光灯所引起的相位误差，提高了三维测量的精度。

Description

基于相移轮廓术在日光灯下进行高速三维形状测量的方法
技术领域
本发明属于计算机视觉领域，具体涉及一种基于相移轮廓术在日光灯下进行高速三维形状测量的方法。
背景技术
目前，相移轮廓测量法(PSP)通过灵活的设计条纹图案，结合像素与相位的一一对应关系，精确测量物体的三维形状。与传统的基于变化的单模式轮廓术相比，PSP更易于实现和保护边缘，因而PSP已经在逆向工程、先进制造、安全防护等领域取得了广泛的应用。为了获得正确的三维信息，必须确保主相位展开的准确性，在高速的三维测量中，理想状态下，PSP投射出的相移条纹的背景分量是不变的，但当PSP工作环境置于日光灯下时，日光灯的闪烁会导致相机所捕获的条纹出现变化的背景，进而导致不可忽略的相位误差。
发明内容
本发明的目的在于提供一种基于相移轮廓术在日光灯下进行高速三维形状测量的方法。
实现本发明目的的技术解决方案为：一种基于相移轮廓术在日光灯下进行高速三维形状测量的方法，包括以下步骤：
步骤一，对相机与投影仪进行标定，获得相机和投影仪的内参与外参；
步骤二，采用双四步相位轮廓测量技术，消除由日光灯所引起的相位误差，获得物体的理想相位信息；
步骤三，根据消除日光灯影响后的理想相位信息，获取物体在投影仪下的像素坐标，并结合相机和投影仪的内参与外参，将二维信息还原至真实的三维信息。
本发明与现有技术相比，其显著优点在于：采用双四步相位轮廓测量技术，消除了由日光灯所引起的相位误差，提高了三维测量的精度。
下面结合附图对本发明做进一步描述。
附图说明
图1是本发明方法所采用的实验装置图。
图2是本发明日光灯模型的相位频谱分析图。
图3是本发明平板模型相位误差消除前后的对比图。
图4是本发明平板模型误差消除前重建与误差消除后重建对比图。
图5是本发明标准球模型在灯亮与灯暗环境下对应的原始图像。
图6是本发明标准球模型误差消除前重建与误差消除后重建对比图。
具体实施方式
如图1所示，基于相移轮廓术在日光灯下进行高速三维形状测量的方法，包括以下步骤：
步骤一：对相机与投影仪进行标定，获得相机和投影仪的内参与外参；
将投影仪(DLP)当作一个逆向的相机，通过建立投影仪DMD图像和相机CCD图像的对应关系，将投影仪转换成一个成熟的相机标定，从而将单相机结构光三维测量系统转换成经典的双目视觉系统。
投影仪DMD图像获取的具体过程是先由计算机生成一组水平和垂直标准的十二步相移条纹加载到DLP中，采用圆形棋盘格作为标定靶，相机捕获由DLP投射在棋盘格上的相移条纹，提取棋盘格上每个圆所对应的亚像素级圆心坐标，利用四部相移法求解相对相位值，在通过格雷码解包裹获取绝对相位值，然后计算出对应的DMD图像坐标。最后采用经典的张正友标定法，即获得相机和投影仪的内参与外参。
步骤二：采集日光灯下的物体图像，采用双四步相位轮廓测量技术，消除由日光灯所引起的相位误差，获得物体的理想相位信息；
相机采集到的图像亮度主要受相机通光量和曝光时间共同决定，假设相机开始采集时刻为t1，采集的时间为tp，相机的采集帧率、传输时间、曝光时间分别为v、tr和te，其中tp＝1/v＝te+tr。则相机连续捕获的日光灯图像亮度可以表示为：
Figure BDA0002297838370000021
式中，n表示图像序列，N表示采集图像的数量，(x,y)是图像对应的空间坐标，f表示日光灯频闪的频率，d0表示日光灯的背景，d1表示振幅。
假设平板的表面反射率为α(x,y)，则当日光灯照射到物体表面被相机捕获后，其图像强度为
Figure BDA0002297838370000022
即
Figure BDA0002297838370000031
其中，
Figure BDA0002297838370000032
Figure BDA0002297838370000033
分别表示受物体表面调制后所对应的背景和振幅，以及第n次捕获图像的相位，γn＝γ+Δn，其中
Figure BDA0002297838370000034
称为初始相位值，随采集帧率变化v的相移量Δn具体可表示为：
Δn＝2π(n-1)f/ν (3)
由于相移量伴随着帧数变化而变化，这促使背景强度为变量。
为了更加准确的描述公式(2)，日光灯中所观察到的相位振幅应存在二阶谐波分量，其主要来源于交流电弧炉，相应的公式可描述为：
Figure BDA0002297838370000035
式中，
Figure BDA0002297838370000036
表示所捕获图像中二阶谐波的幅值。在日光灯打开时，光投射到物体(平板)上，相机以500帧/s的采集速度直接对平板做图像采集，图2中(a)-(e)为不同时刻相机成功捕获的原始图像；计算出每幅图像的平均强度如图2中(f)所示，500幅图像平均强度的FFT谱如图(g)与(h)所示，可以看出频谱图像的分布显示出零频、基频以及二次谐波分量，结果与式4日光灯分布相对应。
捕获的标准的N步相移模式可表示为
Figure BDA0002297838370000037
式中，N代表着相移条纹的数目，an代表着图像光强的背景分量，b表示图像的灰度调制，
Figure BDA0002297838370000038
为待计算的理想相位，δn为相移量且δn＝2π(n-1)/N；
对公式(5)，利用最小二乘法求解出理想相位为：
Figure BDA0002297838370000039
由于相机最终捕获的物体图像是投影仪投射在物体上的条纹图加上日光灯照射在物体上同时被物体调制后的结果，因而，相机所捕获的条纹图像可表示为：
Figure BDA0002297838370000041
式中，aC(x,y)＝α(x,y)[a(x,y)te+d0te]，bC(x,y)＝α(x,y)b(x,y)te，分别表示恒定的背景和条纹调制，
Figure BDA0002297838370000042
表示第n次捕获的变化背景，且
Figure BDA0002297838370000043
采用双四步相位轮廓测量技术，向物体连续投射两组相同的相移条纹，得到两组具有相同帧序列模式的条纹，对应相减可以得到四个易于求解的线性方程，求解方程组可以得到变化的背景分量，消除后便可直接计算出精确相位，具体方法为：
当向物体连续投射两组相同的相移条纹时，所捕获的二组条纹强度分布为：
Figure BDA0002297838370000044
Figure BDA0002297838370000045
从
Figure BDA0002297838370000046
减去
Figure BDA0002297838370000047
可以得到：
Figure BDA0002297838370000048
相应的矩阵形式为：
MX＝C (11)
其中,待求解系数
Figure BDA0002297838370000049
常数项
Figure BDA00022978383700000410
系数矩阵M可表示为：
Figure BDA00022978383700000411
在求解出M之后，如果M可逆，那么可得X＝M-1C，日光灯的强度可表示为
Figure BDA00022978383700000412
其中Dn＝[cosΔn,-sinΔn,cos2Δn,-sin2Δn]，在
Figure BDA0002297838370000051
减去
Figure BDA0002297838370000052
消除日光灯后得到理想相位可表示为
Figure BDA0002297838370000053
依据式16得到的理想相位，可以获取当前相位值所对应的DMD像素坐标。
步骤三：根据消除日光灯影响后的理想相位信息，获取物体在投影仪下所对应的像素坐标，并结合相机和投影仪的内参与外参，将二维信息还原至真实的三维信息。
实施例
为了验证本发明方案的有效性，进行如下仿真实验。
采用双四步相移算法对日光灯相位误差模型做消除，在灯亮、灯暗环境(灯暗可认为是理想环境)下，分别通过设置不同的相机采集帧率对平板做图像采集，图3展示了相机采集速度为500fps误差消除前后的相位分布，结果显示其消除后相位误差可基本与系统误差0.02rad保持一致，相应的其重建结果在图4。
选择标准球模型，图5(a)-(d)分别展示了在灯暗环境下捕获的相移条纹图像、第一组在日光灯下捕获的相移条纹图像、第二组在日光灯下捕获的相移条纹图像以及用于解包裹的格雷码条纹图像，标准球模型重建的结果分别对应着图6(a)-(c),代表着误差模型消除前、后以及理想模型，比较可知，采用双四步相位轮廓测量技术能显著消除有日光引起的相位误差。

Claims (2)

1.基于相移轮廓术在日光灯下进行高速三维形状测量的方法，其特征在于，包括以下步骤：
步骤一，对相机与投影仪进行标定，获得相机和投影仪的内参与外参；
步骤二，采用双四步相位轮廓测量技术，消除由日光灯所引起的相位误差，获得物体的理想相位信息；
步骤三，根据消除日光灯影响后的理想相位信息，获取物体在投影仪下的像素坐标，并结合相机和投影仪的内参与外参，将二维信息还原至真实的三维信息；
步骤二中，向物体连续投射两组相同的相移条纹，得到两组具有相同帧序列模式的条纹，对应相减得到四个线性方程，求解方程组即得到变化的背景分量，消除后便直接计算出物体的精确相位，具体方法为：
向物体连续投射两组相同的相移条纹，所捕获的二组条纹强度分布表示为：
Figure FDA0003058674870000011
Figure FDA0003058674870000012
其中，
Figure FDA0003058674870000013
和
Figure FDA0003058674870000014
分别表示二组条纹强度分布，aC、bC分别表示恒定的背景和条纹调制，
Figure FDA0003058674870000015
表示第n次捕获的变化背景，
Figure FDA0003058674870000016
为待计算的理想相位，δn为相移量；
从
Figure FDA0003058674870000017
减去
Figure FDA0003058674870000018
得到：
Figure FDA0003058674870000019
其中，γ为初始相位值，Δn为相移量，
Figure FDA00030586748700000110
分别表示受物体表面调制后所对应的背景和振幅；
相应的矩阵形式为：
MX＝C (13)
其中，待求解系数
Figure FDA00030586748700000111
常数项
Figure FDA00030586748700000112
系数矩阵M表示为：
Figure FDA0003058674870000021
在求解出M之后，如果M可逆，那么求得X＝M-1C，将日光灯的强度即表示为：
Figure FDA0003058674870000022
其中，Dn＝[cosΔn，-sinΔn，cos2Δn，-sin2Δn]，在
Figure FDA0003058674870000023
减去
Figure FDA0003058674870000024
即得消除日光灯后的理想相位，表示为：
Figure FDA0003058674870000025
2.根据权利要求1所述的基于相移轮廓术在日光灯下进行高速三维形状测量的方法，其特征在于，步骤一中，首先由计算机生成一组水平和垂直标准的十二步相移条纹加载到投影仪中，采用圆形棋盘格作为标定靶，由相机捕获投影仪投射在棋盘格上的相移条纹，提取棋盘格上每个圆所对应的亚像素级圆心坐标，利用四步 相移法求解相对相位值，在通过格雷码解包裹获取绝对相位值，然后计算出对应的DMD图像坐标；最后采用经典的张正友标定法，即获得相机和投影仪的内参与外参。
CN201911209797.5A 2019-12-01 2019-12-01 基于相移轮廓术在日光灯下进行高速三维形状测量的方法 Active CN110895134B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911209797.5A CN110895134B (zh) 2019-12-01 2019-12-01 基于相移轮廓术在日光灯下进行高速三维形状测量的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911209797.5A CN110895134B (zh) 2019-12-01 2019-12-01 基于相移轮廓术在日光灯下进行高速三维形状测量的方法

Publications (2)

Publication Number Publication Date
CN110895134A CN110895134A (zh) 2020-03-20
CN110895134B true CN110895134B (zh) 2021-06-29

Family

ID=69788410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911209797.5A Active CN110895134B (zh) 2019-12-01 2019-12-01 基于相移轮廓术在日光灯下进行高速三维形状测量的方法

Country Status (1)

Country Link
CN (1) CN110895134B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114264664A (zh) * 2021-12-22 2022-04-01 上海理工大学 一种基于明暗场和结构光检测的缺陷检测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067548A (zh) * 2007-06-08 2007-11-07 东南大学 基于直线相位的光栅自校正方法
CN101109616A (zh) * 2007-08-02 2008-01-23 华中科技大学 一种三频外差相移解相方法
JP2009145068A (ja) * 2007-12-11 2009-07-02 Olympus Corp 表面形状の測定方法および干渉計
CN105091750A (zh) * 2015-07-30 2015-11-25 河北工业大学 一种基于双四步相移的投影仪标定方法
CN108362226A (zh) * 2018-03-02 2018-08-03 西北工业大学 提高图像过曝区域相位测量精度的双四步相移法
WO2019117453A1 (ko) * 2017-12-15 2019-06-20 주식회사 내일해 측정 대상 물체의 3차원 형상 정보를 생성하는 방법, 결함 검출 방법 및 결함 검출 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067548A (zh) * 2007-06-08 2007-11-07 东南大学 基于直线相位的光栅自校正方法
CN101109616A (zh) * 2007-08-02 2008-01-23 华中科技大学 一种三频外差相移解相方法
JP2009145068A (ja) * 2007-12-11 2009-07-02 Olympus Corp 表面形状の測定方法および干渉計
CN105091750A (zh) * 2015-07-30 2015-11-25 河北工业大学 一种基于双四步相移的投影仪标定方法
WO2019117453A1 (ko) * 2017-12-15 2019-06-20 주식회사 내일해 측정 대상 물체의 3차원 형상 정보를 생성하는 방법, 결함 검출 방법 및 결함 검출 장치
CN108362226A (zh) * 2018-03-02 2018-08-03 西北工业大学 提高图像过曝区域相位测量精度的双四步相移法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Phase error analysis and compensation;BING PAN ET AL;《OPTICS LETTERS》;20090215;第34卷(第4期);全文 *
双步相移光栅投影测量轮廓术;郑东亮等;《光学学报》;20120531;第32卷(第5期);正文第1-4节 *

Also Published As

Publication number Publication date
CN110895134A (zh) 2020-03-20

Similar Documents

Publication Publication Date Title
CN106705855B (zh) 一种基于自适应光栅投影的高动态性能三维测量方法
CN107607060B (zh) 一种应用于光栅三维投影测量中的相位误差补偿方法
Chen et al. Adaptive pixel-to-pixel projection intensity adjustment for measuring a shiny surface using orthogonal color fringe pattern projection
Felipe-Sese et al. Simultaneous in-and-out-of-plane displacement measurements using fringe projection and digital image correlation
CN110207614B (zh) 一种基于双远心相机匹配的高分辨高精度测量系统及方法
CN107063128A (zh) 一种双频相移三维测量方法及系统
CN107917679B (zh) 一种高亮、过暗区域动态检测、补偿的方法
ATE266188T1 (de) Verfahren und system zum messen des reliefs eines gegenstandes
CN110310237A (zh) 去除图像摩尔纹、显示面板子像素点亮度测量、Mura缺陷修复的方法及系统
Li et al. Lens distortion elimination for improving measurement accuracy of fringe projection profilometry
CN113358063B (zh) 一种基于相位加权融合的面结构光三维测量方法及系统
CN109341527A (zh) 一种自动阴影补偿的结构光投影三维测量系统及方法
CN106091988B (zh) 一种高温锻件三维尺寸测量精度的补偿方法
CN109682814B (zh) 一种用tof深度相机修正空间频域成像中组织体表面光照度的方法
CN111047586B (zh) 一种基于机器视觉的像素当量测量方法
CN112097670B (zh) 高反光物体三维面型测量方法和测量设备
CN109474814A (zh) 投影仪的二维校准方法、投影仪以及校准系统
CN113063371A (zh) 面向正弦条纹的非线性自矫正结构光三维测量方法及系统
US20180180407A1 (en) Image processing apparatus and image processing method
CN112848281B (zh) 一种光固化3d打印机光补偿方法
CN110895134B (zh) 基于相移轮廓术在日光灯下进行高速三维形状测量的方法
CN102798354B (zh) 基于二进制条纹叠加的正弦光栅生成方法
JPH09218022A (ja) ワークの拡散面の輪郭決定方法
CN110160468A (zh) 一种针对运动对象的散焦光栅投影三维测量方法
CN116734771B (zh) 基于主动式Gamma校正的电路板元器件几何检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant