CN113916153B - 一种主被动结合的结构光三维测量方法 - Google Patents
一种主被动结合的结构光三维测量方法 Download PDFInfo
- Publication number
- CN113916153B CN113916153B CN202111187222.5A CN202111187222A CN113916153B CN 113916153 B CN113916153 B CN 113916153B CN 202111187222 A CN202111187222 A CN 202111187222A CN 113916153 B CN113916153 B CN 113916153B
- Authority
- CN
- China
- Prior art keywords
- matching
- frequency
- phase
- pixel
- binocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000691 measurement method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000005259 measurement Methods 0.000 claims abstract description 13
- 230000010363 phase shift Effects 0.000 claims abstract description 13
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 abstract description 3
- 230000009022 nonlinear effect Effects 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010587 phase diagram Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
Abstract
本发明公开了一种主被动结合的结构光三维测量方法，主要涉及三维测量领域。包括以下步骤：S1：系统标定获得几何参数；S2：设置条纹图像，根据条纹参数估计相位误差，将相位误差与匹配搜索空间关联，得到匹配搜索范围约束；S3：将S2步骤的条纹图像投影，对图片进行像素匹配并得出匹配结果；S4：以S3步骤得到的像素匹配结果为基础，利用高频条纹的高精度相位值进行亚像素插值，取误差最小的插值作为亚像素匹配结果；S5：根据双目三角化原理得到三维点云。本发明的有益效果在于：避免了相位误差累积、投影仪非线性效应等影响，双目匹配过程简单，计算量较小，可以与多频相移法并行化处理，提高了测量速度。
Description
技术领域
本发明涉及三维测量领域，具体是一种主被动结合的结构光三维测量方法。
背景技术
基于光学、非接触式的结构光三维测量技术因具有高精度、高分辨率的特点，已经被广泛应用于工业检测、逆向工程，医学美容，服饰鞋帽的三维建模等场景，其中，条纹结构光是一种典型的高精度三维重建技术，使用数字光处理等技术实现对投影仪的像素编码，然后对相机拍摄到的影像进行解码，利用结构光码值进行像素点匹配，最后使用标定好的几何关系计算出被测物的三维坐标。
条纹结构光通常具有高鲁棒的相移法，其编码由多张行或列方向以正弦分布的条纹图片完成。为了解决相移条纹的编码歧义性，还需要投影额外的图案，以多频相移法为例，实现稳定、无歧义的编码需要投影多组不同频率的正弦条纹，成倍地增加了测量时间；另外一种思路是使用两个相机进行立体匹配来解决编码的歧义性，得到低频条纹的绝对相位后对高频相位进行展开，然而无法避免相位误差累积进而产生错误测量值；若直接对高频条纹进行匹配，频率不能过大，限制了精度的提升，并且伴随着条纹边界误匹配的问题。
发明内容
本发明的目的在于提供一种主被动结合的结构光三维测量方法，它不需要标定投影仪或者相位深度映射关系，避免了相位误差累积、投影仪非线性效应等影响，双目匹配过程简单，计算量较小，可以与多频相移法并行化处理，提高了测量速度。
本发明为实现上述目的，通过以下技术方案实现：
一种主被动结合的结构光三维测量方法，包括测量设备，还包括以下步骤：
S1：使用高精度棋盘格标定板，放在双目相机共同视场范围内，将采集到的不同位置下的标定板图像进行控制点提取，再利用张氏标定法进行非线性求解，得到系统几何参数，完成双目标定；
S2：生成条纹图像，测出成像误差并与条纹频率、相移步数等参数关联，建立相位误差，将相位误差与匹配搜索空间关联，得到匹配搜索范围约束，完成初始化；
S3：将S2步骤的条纹图像投影，每个条纹频率使用相移法解码后，首先对图片进行畸变校正，然后根据S2步骤的匹配空间约束进行逐频率相位值匹配，得到粗匹配结果；
S4：以S3步骤得到的像素匹配结果为基础，利用高频条纹的高精度相位值进行插值，取误差最小的插值作为亚像素匹配结果；
S5：将S4步骤的双目匹配结果，代入标定参数，根据双目三角化原理得到三维点云。
进一步的，所述S3步骤中的像素匹配方法为：使用事先根据标定参数计算双目匹配的极线位置，将左右图像极线上、满足当前频率立体匹配搜索约束空间下相位值相似的像素点对保存，在下一频率的包裹相位计算完成后，再进行一次立体匹配，直到所有频率条纹相位值匹配完成。
进一步的，所述S3步骤中的条纹频率预设为由低到高，每一次迭代的匹配搜索范围得以减小，选择最后一次迭代得到的点对作为像素匹配的结果。
对比现有技术，本发明的有益效果在于：
1、本发明提出一种非传统的双目结构光主被动方法，基于相位值进行匹配，随着包裹相位频率的递增，双目匹配的搜索空间不断减少直至成功匹配，匹配成功率由多级不同频率的条纹相位决定，提高了稳定性；
2、不需要标定投影仪或者相位深度映射关系，三维坐标解算不仅仅依赖相位，避免了相位误差累积，投影仪非线性效应等影响；
3、使用误差估计约束了搜索范围，双目匹配过程简单，计算量较小，可以与多频相移法并行化处理，提高了测量速度。
附图说明
附图1是本发明的步骤S1的工作原理图。
附图2是本发明的步骤S1的工作原理图。
附图3是本发明的步骤S2的流程图。
附图4是本发明的步骤S3的流程图。
附图5是本发明的步骤S4的流程图。
附图6是本发明的测量设备的结构示意图。
附图中所示标号：
1、成像模块；2、投影模块；3、同步触发模块；4、计算单元。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。
本发明所述是一种主被动结合的结构光三维测量方法，主体结构包括测量设备，测量设备由成像模块1、投影模块2、同步触发模块3以及计算单元4组成，其中成像模块为两台工业相机及其镜头；投影模块为数字光栅投影仪；同步触发模块3实现投影模块2与成像模块1之间的帧同步(每投影一张图像，两相机分别采集一张图像)；计算单元4负责条纹相位解析以及双目匹配，进而三角化求解得到被测物体的三维点云；
还包括以下步骤：
S1：使用高精度棋盘格标定板，放在双目相机共同视场范围内，将采集到的不同位置下的标定板图像进行控制点提取，再利用张氏标定法进行非线性求解，得到系统几何参数，实现双目标定；
S2：考虑到相位误差影响立体匹配搜索空间和精度，生成条纹图像，本步骤预先测出成像误差并与条纹频率、相移步数等参数关联，建立相位误差，成像误差包括相机成像白噪声，以及投影仪底噪等误差，利用标定好的几何参数、测量范围等先验值将相位误差与匹配搜索空间关联，结合附图3的流程图，即可得到不同频率下相移条纹对应的立体匹配搜索空间，为后续的立体匹配方法提供约束条件，即匹配搜索范围约束，完成初始化；
S3：将S2步骤的条纹图像投影，每个条纹频率使用相移法解码后，首先对图片进行畸变校正，然后根据S2的匹配空间约束进行逐频率相位值匹配，具体的像素匹配方法为：使用事先根据标定参数计算双目匹配的极线位置，将左右图像极线上、满足当前频率立体匹配搜索约束空间下相位值相似的像素点对保存，在下一频率的包裹相位计算完成后，再进行一次立体匹配，条纹频率预设为由低到高，每一次迭代的匹配搜索范围得以减小，选择最后一次迭代得到的点对作为像素匹配的结果，完成双目粗匹配，并得到粗匹配结果；
S4：以S3步骤得到的像素匹配结果为基础，利用高频条纹的高精度相位值进行插值，具体为：以初匹配右像素坐标为中心，选取邻近点列坐标；根据极线方程插值得到邻近点的行坐标；使用相位图线性插值得到所选亚像素邻近点的相位值，将邻近点两两线性插值得到亚像素列坐标；遍历邻近点，取误差最小的坐标作为亚像素最终匹配结果；实现视差精细化；
S5：将S4步骤的双目匹配结果，代入标定参数，根据双目三角化原理得到三维点云。
本发明能满足工业界对三维测量传感器的稳定性、精度以及实时性的持续要求，提高了系统运行时的稳定性，避免了误差的影响，提高了测量速度。
Claims (2)
1.一种主被动结合的结构光三维测量方法，包括测量设备，其特征在于：还包括以下步骤：
S1：使用高精度棋盘格标定板，放在双目相机共同视场范围内，将采集到的不同位置下的标定板图像进行控制点提取，再利用张氏标定法进行非线性求解，得到几何参数，完成双目标定；
S2：生成条纹图像，测出成像误差并与条纹频率、相移步数参数关联，建立相位误差，将相位误差与匹配搜索空间关联，得到匹配搜索范围约束，完成初始化；
S3：将S2步骤的条纹图像投影，每个条纹频率使用相移法解码后，首先对图片进行畸变校正，然后根据S2步骤的匹配空间约束进行逐频率相位值匹配，得到粗匹配结果；
其中，像素匹配方法为：使用事先根据标定参数计算双目匹配的极线位置，将左右图像极线上、满足当前频率立体匹配搜索约束空间下相位值相似的像素点对保存，在下一频率的包裹相位计算完成后，再进行一次立体匹配，直到所有频率条纹相位值匹配完成；
S4：以S3步骤得到的像素匹配结果为基础，利用高频条纹的高精度相位值进行插值，取误差最小的插值作为亚像素匹配结果；
S5：将S4步骤的双目匹配结果，代入标定参数，根据双目三角化原理得到三维点云。
2.根据权利要求1所述一种主被动结合的结构光三维测量方法，其特征在于：所述S3步骤中的条纹频率预设为由低到高，每一次迭代的匹配搜索范围得以减小，选择最后一次迭代得到的点对作为像素匹配的结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111187222.5A CN113916153B (zh) | 2021-10-12 | 2021-10-12 | 一种主被动结合的结构光三维测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111187222.5A CN113916153B (zh) | 2021-10-12 | 2021-10-12 | 一种主被动结合的结构光三维测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113916153A CN113916153A (zh) | 2022-01-11 |
| CN113916153B true CN113916153B (zh) | 2023-11-28 |
Family
ID=79239569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111187222.5A Active CN113916153B (zh) | 2021-10-12 | 2021-10-12 | 一种主被动结合的结构光三维测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113916153B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008241483A (ja) * | 2007-03-27 | 2008-10-09 | Matsushita Electric Works Ltd | ３次元計測方法及びそれを用いた３次元形状計測装置 |
| WO2018103693A1 (zh) * | 2016-12-07 | 2018-06-14 | 西安知象光电科技有限公司 | 一种三维轮廓的光学混合检测方法 |
| WO2018171384A1 (zh) * | 2017-03-24 | 2018-09-27 | 南京理工大学 | 一种基于多模态复合编码和极线约束的高效三维图像获取方法 |
| CN109341536A (zh) * | 2018-09-25 | 2019-02-15 | 深圳市艾视铂智能技术有限公司 | 一种基于双目相机和结构光投影的精密三维视觉测量方法 |
| CN109798845A (zh) * | 2019-03-25 | 2019-05-24 | 青岛小优智能科技有限公司 | 一种基于激光光栅扫描的三维重建精度提升的方法与装置 |
| CN110487216A (zh) * | 2019-09-20 | 2019-11-22 | 西安知象光电科技有限公司 | 一种基于卷积神经网络的条纹投影三维扫描方法 |
| CN110567398A (zh) * | 2019-09-02 | 2019-12-13 | 武汉光发科技有限公司 | 双目立体视觉三维测量方法及系统、服务器及存储介质 |
| CN111207693A (zh) * | 2020-01-10 | 2020-05-29 | 西安交通大学 | 一种基于双目结构光的涡轮叶片陶瓷型芯的三维测量方法 |
| CN112595263A (zh) * | 2020-12-17 | 2021-04-02 | 天津大学 | 正弦光栅与散斑混合图案投影的双目视觉三维点云重建测量方法 |
-
2021
- 2021-10-12 CN CN202111187222.5A patent/CN113916153B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008241483A (ja) * | 2007-03-27 | 2008-10-09 | Matsushita Electric Works Ltd | ３次元計測方法及びそれを用いた３次元形状計測装置 |
| WO2018103693A1 (zh) * | 2016-12-07 | 2018-06-14 | 西安知象光电科技有限公司 | 一种三维轮廓的光学混合检测方法 |
| WO2018171384A1 (zh) * | 2017-03-24 | 2018-09-27 | 南京理工大学 | 一种基于多模态复合编码和极线约束的高效三维图像获取方法 |
| CN109341536A (zh) * | 2018-09-25 | 2019-02-15 | 深圳市艾视铂智能技术有限公司 | 一种基于双目相机和结构光投影的精密三维视觉测量方法 |
| CN109798845A (zh) * | 2019-03-25 | 2019-05-24 | 青岛小优智能科技有限公司 | 一种基于激光光栅扫描的三维重建精度提升的方法与装置 |
| CN110567398A (zh) * | 2019-09-02 | 2019-12-13 | 武汉光发科技有限公司 | 双目立体视觉三维测量方法及系统、服务器及存储介质 |
| CN110487216A (zh) * | 2019-09-20 | 2019-11-22 | 西安知象光电科技有限公司 | 一种基于卷积神经网络的条纹投影三维扫描方法 |
| CN111207693A (zh) * | 2020-01-10 | 2020-05-29 | 西安交通大学 | 一种基于双目结构光的涡轮叶片陶瓷型芯的三维测量方法 |
| CN112595263A (zh) * | 2020-12-17 | 2021-04-02 | 天津大学 | 正弦光栅与散斑混合图案投影的双目视觉三维点云重建测量方法 |
Non-Patent Citations (1)
| Title |
|---|
| 极线和级次双约束的光栅投影测量方法;王鹏;张宇倩;孙长库;周舵;;红外与激光工程(04);正文全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113916153A (zh) | 2022-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
| EP2751521B1 (en) | Method and system for alignment of a pattern on a spatial coded slide image | |
| CN104061879B (zh) | 一种连续扫描的结构光三维面形垂直测量方法 | |
| Zhao et al. | Calibration for stereo vision system based on phase matching and bundle adjustment algorithm | |
| CN107967697B (zh) | 基于彩色随机二元编码结构照明的三维测量方法和系统 | |
| CN104596439A (zh) | 一种基于相位信息辅助的散斑匹配三维测量方法 | |
| JP2008123141A (ja) | 対応点探索方法および３次元位置計測方法 | |
| TWI573984B (zh) | 圖像匹配系統及方法 | |
| CN107860337B (zh) | 基于阵列相机的结构光三维重建方法与装置 | |
| CN113205592B (zh) | 一种基于相位相似性的光场三维重建方法及系统 | |
| CN110692084B (zh) | 用于导出场景的拓扑信息的装置和机器可读存储介质 | |
| CN114111637A (zh) | 一种基于虚拟双目的条纹结构光三维重建方法 | |
| CN113763540A (zh) | 一种基于散斑条纹混合调制的三维重建方法及设备 | |
| WO2013012054A1 (ja) | 画像処理方法および装置 | |
| Tang et al. | An improved spatiotemporal correlation method for high-accuracy random speckle 3D reconstruction | |
| CN110375675B (zh) | 基于空间相位展开的双目光栅投影测量方法 | |
| Hoegg et al. | Real-time motion artifact compensation for PMD-ToF images | |
| CN104634323A (zh) | 一种多级摄像三维照相系统及方法 | |
| CN113916153B (zh) | 一种主被动结合的结构光三维测量方法 | |
| CN111462331B (zh) | 扩展对极几何并实时计算三维点云的查找表方法 | |
| CN116188688A (zh) | 三维重建方法、三维重建装置以及计算机可读存储介质 | |
| KR101766756B1 (ko) | 스테레오 비전 시스템의 렉티피케이션 장치 및 그 방법 | |
| CN111023999B (zh) | 一种基于空间编码结构光的稠密点云生成方法 | |
| CN114170321A (zh) | 一种基于测距的相机自标定方法及系统 | |
| Ding et al. | Recovering the absolute phase maps of three selected spatial-frequency fringes with multi-color channels |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |