CN104236482B - 结合几何标定的相位测量轮廓术系统非线性校正方法 - Google Patents
结合几何标定的相位测量轮廓术系统非线性校正方法 Download PDFInfo
- Publication number
- CN104236482B CN104236482B CN201410459772.1A CN201410459772A CN104236482B CN 104236482 B CN104236482 B CN 104236482B CN 201410459772 A CN201410459772 A CN 201410459772A CN 104236482 B CN104236482 B CN 104236482B
- Authority
- CN
- China
- Prior art keywords
- gray value
- structure light
- phase
- light image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种结合几何标定的相位测量轮廓术系统非线性校正方法。用相位测量轮廓术对标靶进行扫描，得到准确相位、平均亮度和亮度调制，分别利用准确相位和平均亮度对投影装置和摄像装置进行标定，根据准确相位和拍摄的结构光图像获取投影装置的非线性响应，建立灰度查找表，在投射结构光图案进行三维扫描前，利用该查找表对图案的灰度值进行预补偿，从而达到对测量系统进行非线性校正的目的。本发明可用于相位测量轮廓术系统的几何标定和非线性校正。本发明把测量系统的几何标定与非线性校正有机结合起来，具有操作简便，校正精度和执行效率高的优点。
Description
技术领域
本发明涉及光学三维传感技术，特别是涉及结构光三维测量系统的非线性校正方法。
背景技术
相位测量轮廓术（phase measuring profilometry，简称PMP）是一种应用广泛的非接触式光学三维测量技术，它具有精度高和可靠性高的优点。在实际应用中，当投影图案较少时，摄像头-投影机系统的非线性将造成严重的相位误差，而另一方面，三维扫描的实时性要求投影图案的数目尽可能少。Zhongwei Li等在论文“Li Z, Shi Y, Wang C, etal. Accurate calibration method for a structured light system[J]. OpticalEngineering, 2008, 47(5): 053604-053604-9”中介绍了相位测量轮廓术几何标定和非线性校正的方法。其中非线性校正方法首先向均匀平面投射4步相移的正弦结构光图案，得到受非线性影响的畸变相位，计算相位误差，然后把畸变相位和相位误差均量化为256级，建立从畸变相位到相位误差的查找表，在实际测量中，利用该查找表对畸变相位进行事后补偿，达到非线性校正的目的。上述方法存在以下缺点：首先，该方法没有把系统的几何标定和非线性校正有机结合起来，需要另外在均匀平面上投射结构光图案以获得准确相位和畸变相位；其次，非线性校正的精度受查找表量化级数影响；第三，由于相位误差与图案数目相关，所以该方法根据4步相移图案建立的查找表仅能用于4步相移的PMP，应用范围受到限制；第四，该非线性校正方法是对畸变相位进行补偿，畸变相位中随机噪声较大，校正精度容易受随机噪声的影响。Chao Zuo等在论文“Zuo C, Chen Q, Gu G, et al. High-speed three-dimensional profilometry for multiple objects with complex shapes[J]. Optics express, 2012, 20(17): 19493-19510”中提出了通过投射和捕捉一系列纯色灰度图案获取投影机的亮度非线性响应，根据该非线性响应建立灰度查找表，利用该查找表对投影图案进行预补偿，达到非线性校正的目的。该方法存在以下不足：首先，该方法不能与系统几何标定过程有机结合，需要投射大量纯色灰度图案，所以效率不高；其次，因为纯色灰度图案与PMP图案具有不同的光场，所以该方法建立的灰度查找表并不能精确反映投影PMP图案时投影机的非线性响应。如何把PMP系统的几何标定和非线性校正有机结合起来，仅利用几何标定过程中拍摄的结构光图像来获取投影设备的非线性响应，精确高效地完成的非线性校正，应用本发明提及的方案就可以解决这一关键技术问题。
发明内容
本发明的目的是针对目前结构光系统非线性校正方案不能与几何标定有机结合、执行效率低、校正精度低的缺点，提出一种与几何标定相结合的非线性校正方法，该方法操作简便，能达到较高的校正精度和执行效率。
本发明的目的是采用下述技术方案来实现的：
使用投影装置向三维标靶依次投射基频和高频的正弦结构光图案，并用摄像装置进行同步拍摄，根据拍摄图像分别计算出低频相位和高频截断相位，采用时间相位展开得到准确的绝对相位，同时计算出结构光图像的直流分量和亮度调制；把准确相位用于投影装置的几何标定，即利用相位计算出标靶特征点在投影装置坐标系中的对应点坐标，利用该对应关系计算出世界坐标系到投影装置坐标系的转换矩阵；把结构光图像的直流分量用于摄像装置的几何标定，即通过对结构光图像的直流分量进行特征点检测，计算出标靶特征点在摄像装置坐标系中的对应点坐标，利用该对应关系计算出世界坐标系到摄像装置坐标系的转换矩阵；对拍摄图像进行规范化处理，即把拍摄的结构光图像减去其直流分量，再点除亮度调制后，找出图像的最小和最大灰度值，采用min-max标准化方法把图像灰度值规范到[0,1]区间，最后把灰度值等比例拉伸到与投影图案灰度值相同的范围；通过对结构光图像的亮度调制进行阈值分割确定拍摄图像中具有高信噪比的有效区域；根据准确相位计算出有效区域内每个像素点在投影图案中对应点的灰度值，建立从规范化结构光图像到投影图案的灰度值查找表，即把规范化结构光图像的灰度值作为查找表索引，对每一个索引，找到结构光图像所有具有该索引灰度值的像素点，取这些像素点在投影图案中对应点的平均灰度值作为查找表输出；在投射结构光图案进行三维扫描前，利用该查找表对图案的灰度值进行预补偿，从而达到对测量系统进行非线性校正的目的。
本发明与现有技术相比有如下优点：
因为本发明的非线性校正过程与系统几何标定有机结合起来，除了几何标定所用的PMP图案，不需要投射额外的编码图案，简化了系统非线性校正的过程，提高了校正的效率；由于本发明方法依据拍摄的PMP图像建立灰度查找表，所以该查找表准确反映了实际PMP扫描时的光场条件，提高了校正精度。
附图说明
图1为本发明相位测量轮廓术系统非线性校正方法的工作流程图。
具体实施方式
下面结合附图、工作原理对本发明作进一步详细说明。
采用的装置有1台CASIOXJ-M140投影机，投影机缓存帧大小为像素，灰度量化等级为8bit，投影机最大输出频率为150帧/s；1个Prosilica GC650工业摄像头，分辨率为像素，灰度量化等级为8bit，摄像头最大捕捉频率为62帧/s；一个用于摄像头和投影机几何标定的立体标靶。1台具有Core i3 3530 CPU，4GB内存的计算机，由计算机对结构光投影和拍摄过程进行控制。附图1为本实施例非线性校正方法流程图。本实例具体实施步骤如下：
（1）用基频和高频的正弦结构光图案对三维标靶进行扫描，根据PMP算法获得准确相位、结构光图像的直流分量和亮度调制。
PMP原理在论文“Liu K, Wang Y, Lau D L, et al. Dual-frequency patternscheme for high-speed 3-D shape measurement[J]. Opt. Express, 2010, 18(5):5229-5244”中有详细介绍，现简述如下：
用投影机向三维标靶投射正弦结构光图案，投射的图案表示为：
（1）
其中，为垂直方向扫描图案在处的灰度值，f为结构光图案的空间频率，N为每个方向相移总数，n为相移系数，和为常数，满足。本实例正弦结构光图案的参数为，相移总数N=40，空间频率分别取f=1、2、10、32。
用摄像头同步捕捉结构光图像，在系统没有非线性畸变的理想条件下，拍摄到的图像表示为：
（2）
其中，、、和分别表示拍摄图像序列在处的亮度值、平均亮度值、亮度调制和相位。
最后，利用拍摄到的结构光图像序列，解码得到摄像头图像每个像素对应的平均亮度值、亮度调制和相位。解码公式为：
（3）
（4）
（5）
其中，把基频结构光图像带入公式（3）和（4）分别计算出和，用公式（5）分别计算出基频相位和未展开的高频相位，然后通过时间相位展开法用基频相位依次对高频相位进行展开，最终得到展开后的准确相位。多频相位展开的具体方法在技术报告“Yalla VG, Hassebrook L G. Very high resolution 3D surface scanning using multi-frequency phase measuring profilometry[C]//Defense and Security.International Society for Optics and Photonics, 2005: 44-53”中有详细介绍。
（2）利用相位和平均亮度分别对投影机和摄像头进行标定。
把准确相位用于投影装置的几何标定，即利用相位计算出标靶特征点在投影装置坐标系中的对应点坐标，利用该对应关系计算出世界坐标系到投影装置坐标系的转换矩阵；把结构光图像的直流分量用于摄像装置的几何标定，即通过对进行特征点检测，计算出标靶特征点在摄像装置坐标系中的对应点坐标，利用该对应关系计算出世界坐标系到摄像装置坐标系的转换矩阵。PMP系统几何标定的具体方法在论文“Li, J.,Hassebrook, L. G., & Guan, C. (2003). Optimized two-frequency phase-measuring-profilometry light-sensor temporal-noise sensitivity. JOSA A, 20(1), 106-115”中有详细介绍。本领域的技术人员不难理解投影机和摄像头的标定方法。
（3）根据准确相位和拍摄的结构光图像建立灰度查找表。
对拍摄图像进行规范化处理，即把拍摄的结构光图像减去其直流分量，再点除亮度调制后，找出图像的最小和最大灰度值，采用min-max标准化方法把图像灰度值规范到[0,1]区间，最后把灰度值等比例拉伸到[0,255]。规范化处理过程可以用下面两个式子表示：
（6）
（7）
其中，和分别表示图像的最小和最大灰度值，表示规范化处理后的图像在处的灰度值。
通过对结构光图像的亮度调制进行阈值分割确定拍摄图像中具有高信噪比的有效区域。摄像头图像中某像素点值的大小能反映该点相位是否有效。值较大区域对应有效测量区域，而值接近于0的区域则对应信噪比较低的区域或背景阴影区域。故用作为滤波器过滤掉无效区域，即设定一个阈值，这里取值为，把摄像头坐标区域判定为有效测量区域。
根据准确相位计算出有效区域内每个像素点在投影图案中对应点的灰度值，计算公式如下：
（8）
其中，；表示准确的绝对相位；表示拍摄图像的空间频率，这里分别取f=1、2；表示在投影图案中对应点的灰度值。
建立从规范化结构光图像到投影图案的灰度值查找表，即把规范化结构光图像的灰度值作为查找表索引，对每一个索引i，找到结构光图像所有具有该索引灰度值i的像素点，表示为坐标集合；取在投影图案中对应点的平均灰度值作为查找表输出，该查找表可以表示为：
（9）
其中，表示索引为i时的查找表输出，函数表示取平均值运算。
（4）用灰度查找表对投影图案进行预补偿，完成非线性校正。
预补偿后的投影图案可以表示为：
（10）
其中，表示预补偿后的投影图案在处的灰度值，实际三维扫描过程中投射，就达到了非线性校正的目的。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种结合几何标定的相位测量轮廓术系统非线性校正方法，其特征在于使用投影装置向三维标靶依次投射基频和高频的正弦结构光图案，并用摄像装置进行同步拍摄，根据拍摄图像分别计算出基频相位和高频截断相位，采用时间相位展开得到准确的绝对相位，同时计算出结构光图像的直流分量和灰度值，把准确的绝对相位用于投影装置的几何标定，把结构光图像的直流分量用于摄像装置的几何标定，把结构光图像的灰度值规范化到与投影图案灰度值相同的范围，在拍摄图像中确定具有高信噪比的有效区域，根据所述准确的绝对相位计算出有效区域内每个像素点在投影图案中对应点的灰度值，建立从规范化结构光图像到投影图案的灰度值查找表，在投射结构光图案进行三维扫描前，利用该查找表对图案的灰度值进行预补偿，从而达到对测量系统进行非线性校正的目的。
2.按照权利要求1所述的方法，其特征在于所说的把准确的绝对相位用于投影装置的几何标定，是指利用相位计算出标靶特征点在投影装置坐标系中的对应点坐标，利用该对应关系计算出世界坐标系到投影装置坐标系的转换矩阵。
3.按照权利要求1所述的方法，其特征在于所说的把结构光图像的直流分量用于摄像装置的几何标定，是指通过对结构光图像的直流分量进行特征点检测，计算出标靶特征点在摄像装置坐标系中的对应点坐标，利用该对应关系计算出世界坐标系到摄像装置坐标系的转换矩阵。
4.按照权利要求1所述的方法，其特征在于所说的把结构光图像的灰度值规范化到与投影图案灰度值相同的范围，是指把拍摄的结构光图像减去其直流分量，再点除灰度值后，找出图像的最小和最大灰度值，采用min-max标准化方法把图像灰度值规范到[0,1]区间，最后把灰度值等比例拉伸到与投影图案灰度值相同的范围。
5.按照权利要求1所述的方法，其特征在于所说的在拍摄图像中确定具有高信噪比的有效区域，是通过对正弦结构光图像的灰度值进行阈值分割来确定有效区域。
6.按照权利要求1所述的方法，其特征在于所说的建立从规范化结构光图像到投影图案的灰度值查找表，是指把规范化结构光图像的灰度值作为查找表索引，对每一个索引，找到结构光图像所有具有该索引灰度值的像素点，取这些像素点在投影图案中对应点的平均灰度值作为查找表输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410459772.1A CN104236482B (zh) | 2014-09-11 | 2014-09-11 | 结合几何标定的相位测量轮廓术系统非线性校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410459772.1A CN104236482B (zh) | 2014-09-11 | 2014-09-11 | 结合几何标定的相位测量轮廓术系统非线性校正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104236482A CN104236482A (zh) | 2014-12-24 |
| CN104236482B true CN104236482B (zh) | 2016-09-28 |
Family
ID=52225033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410459772.1A Active CN104236482B (zh) | 2014-09-11 | 2014-09-11 | 结合几何标定的相位测量轮廓术系统非线性校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104236482B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104697469B (zh) * | 2015-03-30 | 2017-11-10 | 四川大学 | 利用谐波幅值判定饱和的高动态三维测量方法 |
| CN106595522B (zh) * | 2016-12-15 | 2018-11-09 | 东南大学 | 一种光栅投影三维测量系统的误差校正方法 |
| CN107917679B (zh) * | 2017-07-20 | 2020-04-24 | 重庆大学 | 一种高亮、过暗区域动态检测、补偿的方法 |
| CN108759719B (zh) * | 2018-05-22 | 2020-03-17 | 成都天拓众成科技有限公司 | 互质双频相位展开方法及装置 |
| CN110673428B (zh) * | 2018-07-03 | 2021-06-18 | 杭州海康机器人技术有限公司 | 一种结构光补偿方法、装置及设备 |
| CN109357636B (zh) * | 2018-12-10 | 2019-12-17 | 电子科技大学 | 一种基于黑色件结构光扫描的相位放大计算方法 |
| CN111649696B (zh) * | 2020-06-12 | 2021-07-06 | 珠海博明传感器技术有限公司 | 一种结构光测量系统高精度校准方法 |
| CN111988577A (zh) * | 2020-08-31 | 2020-11-24 | 华通科技有限公司 | 一种基于图像增强的视频监控方法 |
| CN112229342B (zh) * | 2020-09-14 | 2022-06-03 | 桂林电子科技大学 | 一种相位测量轮廓术中投影光栅的快速自校正方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101865671A (zh) * | 2010-06-03 | 2010-10-20 | 合肥思泰光电科技有限公司 | 一种投影三维测量方法 |
| CN102829736A (zh) * | 2012-09-12 | 2012-12-19 | 河北工业大学 | 一种三维指纹传感系统 |
| CN103727898A (zh) * | 2014-01-21 | 2014-04-16 | 成都天拓众成科技有限公司 | 利用查找表修正非线性畸变的快速三维测量系统及方法 |
-
2014
- 2014-09-11 CN CN201410459772.1A patent/CN104236482B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101865671A (zh) * | 2010-06-03 | 2010-10-20 | 合肥思泰光电科技有限公司 | 一种投影三维测量方法 |
| CN102829736A (zh) * | 2012-09-12 | 2012-12-19 | 河北工业大学 | 一种三维指纹传感系统 |
| CN103727898A (zh) * | 2014-01-21 | 2014-04-16 | 成都天拓众成科技有限公司 | 利用查找表修正非线性畸变的快速三维测量系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| Accurate calibration method for a structured light system;Li Z, Shi Y, Wang C等;《Optical Engineering》;20080531;第47卷(第5期);053604-1-053604-9 * |
| High-speed three-dimensional profilometry for multiple objects with complex shapes;Zuo C, Chen Q, Gu G等;《Optics express》;20120813;第20卷(第17期);050501-1-050501-3 * |
| Nonlinearity calibrating algorithm for structured light illumination;Liu K, Wang S, Lau D L等;《Optical Engineering》;20140507;第53卷(第5期);19493-19510 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104236482A (zh) | 2014-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104236482B (zh) | 结合几何标定的相位测量轮廓术系统非线性校正方法 | |
| CN106705855B (zh) | 一种基于自适应光栅投影的高动态性能三维测量方法 | |
| CN106550228B (zh) | 获取三维场景的深度图的设备 | |
| Chen et al. | Adaptive pixel-to-pixel projection intensity adjustment for measuring a shiny surface using orthogonal color fringe pattern projection | |
| US9857166B2 (en) | Information processing apparatus and method for measuring a target object | |
| CN104697469B (zh) | 利用谐波幅值判定饱和的高动态三维测量方法 | |
| CN104315996B (zh) | 用二进制编码策略实现傅里叶变换轮廓术的方法 | |
| CN106091986B (zh) | 一种适用于光亮表面的三维测量方法 | |
| CN102721376A (zh) | 一种大视场三维视觉传感器的标定方法 | |
| Barone et al. | 3D acquisition and stereo-camera calibration by active devices: A unique structured light encoding framework | |
| CN103925889B (zh) | 一种基于最小二乘法的高光物体表面相位快速恢复方法 | |
| Zhongdong et al. | 3D laser scanner system using high dynamic range imaging | |
| Dvoynishnikov et al. | Phase triangulation method with spatial modulation frequency optimization | |
| Lu et al. | Accurate and robust calibration method based on pattern geometric constraints for fringe projection profilometry | |
| CN104111038A (zh) | 利用相位融合算法修复饱和产生的相位误差的方法 | |
| CN105157614A (zh) | 基于二值相移图案的三维测量方法 | |
| CN104729428A (zh) | 基于同轴结构光的镜面零件三维形貌测量系统及测量方法 | |
| KR20140101223A (ko) | 3차원 형상 측정 장치 및 측정 방법 | |
| Chen et al. | Analysis and reduction of phase errors caused by nonuniform surface reflectivity in a phase-shifting measurement system | |
| Qi et al. | Invalid-point removal based on epipolar constraint in the structured-light method | |
| Zhou et al. | Fast phase-measuring profilometry through composite color-coding method | |
| Wang et al. | Highly reflective surface measurement based on dual stereo monocular structured light system fusion | |
| Falie et al. | Distance errors correction for the time of flight (ToF) cameras | |
| CN104132628B (zh) | 用相位计算实现线结构光三维测量的方法 | |
| Chen et al. | Dynamic 3D surface profilometry using a novel colour pattern encoded with a multiple triangular model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |