CN114136236A - 一种结合极线约束的相位轮廓自适应投影测量方法 - Google Patents
一种结合极线约束的相位轮廓自适应投影测量方法 Download PDFInfo
- Publication number
- CN114136236A CN114136236A CN202010918425.6A CN202010918425A CN114136236A CN 114136236 A CN114136236 A CN 114136236A CN 202010918425 A CN202010918425 A CN 202010918425A CN 114136236 A CN114136236 A CN 114136236A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- projector
- gray
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003044 adaptive effect Effects 0.000 title claims description 15
- 238000000691 measurement method Methods 0.000 title claims description 12
- 229920006395 saturated elastomer Polymers 0.000 claims abstract description 33
- 238000005259 measurement Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000010363 phase shift Effects 0.000 claims abstract description 17
- 238000013213 extrapolation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 4
- 238000000649 phase profilometry Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种结合极线约束的相位轮廓自适应投影测量方法,预先投影一组水平相移条纹图和白图,拍照捕获对应的图像,查找图像中的饱和像素区域,并提取这些区域的边缘轮廓,对轮廓上的像素进行解相位求解绝对相位值;根据投影仪图像中绝对相位与坐标值的对应关系,找到饱和区域轮廓像素在投影仪图像中的水平坐标;根据标定好的相机和投影仪之间的极线约束关系,找到饱和区域轮廓像素在投影仪图像中的外极线;根据上述两个约束得到投影仪图像中的饱和区域轮廓,降低轮廓中像素的灰度,生成自适应调整的投影图像,对物体表面进行投影测量。本发明通过引入相机和投影仪之间的极线约束关系,实现减少相移条纹图的投影数量,提高测量速度。
Description
技术领域
本发明涉及光学三维测量技术领域,具体为一种结合极线约束的相位轮廓自适应投影测量方法。
背景技术
光学三维测量技术是一项常用的测量技术,其中的相位轮廓术因其速度快、成本低、非接触和精度高等优点成为应用最为广泛的三维测量技术之一,在工业检测、医疗、文物修复等领域都有相关的应用。相位轮廓术测量系统由相机、投影仪和计算机组成,在测量过程中,由投影仪将一系列相移条纹图投影到物体表面,再由相机采集经物体表面高度调制的条纹图像,计算机对相机采集的条纹图像进行解相位及三维重建,从而得到被测物体表面形貌信息的点云数据,实现对物体的三维测量。作为一种主动式光学三维测量技术,相位轮廓术受环境光的干扰较小。但是,由于需要采集经过物体表面反射的条纹图像,因此测量系统受物体表面反光率的影响较大。当物体表面的反光率分布不均匀时,相机采集到的图像会出现过亮或者过暗两种不理想的情况。过暗的图像部分信噪比较低,会增大三维测量的误差;而过亮的图像部分则是由于相机的灰度级范围是有限的,当光线超过相机的灰度响应范围时,相机采集到的图像中的灰度无法真实反映光线的亮暗程度,进而导致解出来的相位和三维信息出现偏差。自适应投影是一种常用的用来解决物体表面反光率范围大的测量方法,但是由于需要预先投影一系列的图像实现自适应地调整投影图像,使得测量过程的效率降低。
发明内容
针对上述自适应投影测量方法带来的测量效率降低的问题,本发明的目的在于提出一种结合极线约束的相位轮廓自适应投影测量方法,达到减少预先投影的条纹图的数量,提高自适应投影测量的效率。
为达到此目的,本发明采用以下技术方案:
一种结合极线约束的相位轮廓自适应投影测量方法,包括引入相机和投影仪之间极线约束以求解相机与投影仪像素间映射关系的自适应投影测量物体三维信息的过程:
步骤A:对相机和投影仪组成的测量系统进行标定,标定得到相机、投影仪各自的内外参数,以及相机和投影仪之间的极线约束;
步骤B:在测量对象上投影一组水平相移条纹图和一组不同灰度值的均匀灰度图,并由相机采集对应的物体表面图像;
步骤C:根据相机采集到的对应于灰度值为255的投影图像的均匀灰度图,查找图像中的饱和像素区域,并提取各区域的边缘轮廓;
步骤D:根据相机采集到的相移条纹图,应用相移算法和多频外插算法,求解饱和像素区域边缘轮廓上像素的绝对相位值;
步骤E:根据投影仪图像中绝对相位与图像坐标之间的对应关系,并根据步骤D中解出来的轮廓上像素的绝对相位值,计算相机图像饱和区域轮廓在投影仪图像中对应像素的水平方向坐标;
步骤F:根据步骤A中预先标定好的相机和投影仪之间的极线约束关系,以及步骤E中计算得到的相机图像饱和区域轮廓在投影仪图像中对应像素的水平坐标,得到投影仪图像中对应于相机饱和区域边缘的轮廓;
步骤G:根据相机的灰度响应模型,以相机采集到的一组均匀灰度图中对应于步骤C中所提取的各个饱和区域中的像素灰度值作为响应模型的输出参数,以均匀灰度图对应的灰度值作为输入参数,进行拟合求解相机灰度响应模型中的系数;
步骤H:根据步骤G中得到的各个饱和区域的相机响应模型的系数,以灰度值250作为预期的相机灰度值,求解对应的投影仪图像灰度值,并调整投影仪图像中对应区域内的像素灰度,以生成自适应调整后的投影图像。应用自适应调整的投影图像进行三维测量,重建物体的表面形貌。
优选的,在步骤B中所述的一组水平相移条纹图数量为12幅,对应于三个周期的四步相移条纹图;所述的一组不同灰度值的均匀灰度图数量为6幅,其图像的灰度值分别为90,120,150,180,210,255。
优选的,在步骤E中,依据的投影仪图像中绝对相位与图像坐标之间的对应关系,包括使用公式(1)和公式(2)作为投影仪图像中绝对相位与图像坐标之间的对应关系模型;
其中:
u、v为投影图像中的水平和垂直方向坐标;
Φv(x, y)、Φh(x, y)为投影条纹图中水平方向和垂直方向的绝对相位;
Nv、Nh为投影条纹图中水平方向和垂直方向上条纹的周期数;
W、H为投影图像的宽和高。
优选的,在步骤F中,根据预先标定好的相机和投影仪之间的极线约束关系以及相机图像饱和区域轮廓在投影仪图像中对应像素的水平坐标得到投影仪图像中对应于相机饱和区域边缘的轮廓,具体包括公式(1)和公式(3)所表示的两个约束关系;
其中:
u、v为投影仪图像中的水平和垂直方向的坐标;
a、b为相机中像素在投影仪图像中对应的极线的系数。
优选的,在步骤G中,根据相机的灰度响应模型进行拟合求解响应模型中的系数,具体包括公式(4)所示的相机灰度响应模型;
其中:
IC(xC, yC)为相机图像中(xC, yC)点处的灰度值;
IP(xP, yP)为投影仪图像中(xP, yP)点处的灰度值,投影图像中的(xP, yP)像素对应于相机图像中的(xC, yC)像素点;
a1(x, y)、a2(x, y)为相机灰度响应模型中的系数。
优选的,在步骤G中,根据相机的灰度响应模型进行拟合求解响应模型中的系数,具体包括公式(5)所示的拟合求解方程;
其中:
I1 P、I2 P、……为各个饱和区域中像素点对应的投影图像的像素灰度;
a1k、a2k为第k个饱和区域对应的相机响应模型的系数;
Ik1 C(xC, yC)、Ik2 C(xC, yC)、……为相机图像中第k个饱和区域中各像素的灰度值;
k表示相机图像中不同饱和区域的序号。
本发明的有益效果:
本发明引入了相机和投影仪之间的极线约束关系,在实现相机图像像素到投影仪图像像素的匹配时,相比一般的方法中需要投影水平和垂直两个方向的相移条纹图像,本发明方法只需要投影一个方向的相移条纹图像,减少了自适应投影测量中预投影图像的数量,提高了测量效率。
附图说明
图1是本发明的一个实施例的结合极线约束与相位约束的匹配原理图;
图2是本发明的一个实施例的被测对象图;
图3是本发明的一个实施例的饱和区域轮廓的提取结果图;
图4是本发明的一个实施例的对应于图3相机饱和区域轮廓图的投影仪图像中的轮廓;
图5是本发明的一个实施例的实现自适应灰度调整后的投影仪图像;
图6是本发明的一个实施例的实现流程图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
由于相位轮廓术在对具有较大反光率范围的物体表面进行测量时存在图像过亮或者过暗的问题,常采用自适应投影测量方法进行测量。但是自适应投影测量方法需要预先投影一系列的条纹图和均匀灰度图实现自适应调整投影图像,导致测量效率降低。因此,简化自适应投影测量方法中预投影的步骤和数量,提高测量过程的效率是必要的。本发明通过结合相机和投影仪之间的极线约束关系,减少预投影过程中需要投影的相移条纹图的数量,达到提高测量过程效率的目的。
一种结合极线约束的相位轮廓自适应投影测量方法,其特征在于:包括引入相机和投影仪之间极线约束以求解相机与投影仪像素间映射关系的自适应投影测量物体三维信息的过程:
步骤A:对相机和投影仪组成的测量系统进行标定,标定得到相机、投影仪各自的内外参数,以及相机和投影仪之间的极线约束。
本实施例中,将投影仪看作一个逆向的相机,采用与相机相同的标定模型,因此可以将相位轮廓测量系统中的相机和投影仪看作一个双目相机系统。标定时对相机和投影仪各自的内外参数进行标定,并且对相机和投影仪之间的本质矩阵和基本矩阵进行标定。
步骤B:在测量对象上投影一组水平相移条纹图和一组不同灰度值的均匀灰度图,并由相机采集对应的物体表面图像。
本实施例中,采用了四步相移算法和三频外插算法,需要投影的水平相移条纹图数量为12幅,三个条纹图周期选择的是11,12,13个像素。投影的一组均匀灰度图的灰度值分别为90,120,150,180,210,255,共六幅均匀灰度图。
步骤C:根据相机采集到的对应于灰度值为255的投影图像的均匀灰度图,查找图像中的饱和像素区域,并提取各区域的边缘轮廓。
本实施例中,按照公式(6)所示的模板函数查找图像中的饱和像素;
其中:
IC(x, y)为相机图像中(x, y)点处的灰度值。
本实施例中,对如附图2所示的工件表面进行自适应投影测量,被测对象表面具有较大范围的反光率,工件上的圆形铆钉部分具有较高的反光率,工件其他部分的反光率相对较低,附图2为投影灰度值255的均匀灰度图到物体表面后采集的图像,圆形铆钉区域出现过亮。对采集的图像中的饱和像素进行查找及边缘轮廓提取后,得到如附图3所示的轮廓图。
步骤D:根据相机采集到的相移条纹图,应用相移算法和多频外插算法,求解饱和像素区域边缘轮廓上像素的绝对相位值。
步骤E:根据投影仪图像中绝对相位与图像坐标之间的对应关系,并根据步骤D中解出来的轮廓上像素的绝对相位值,计算相机图像饱和区域轮廓在投影仪图像中对应像素的水平方向坐标。
本实施例中,依据的投影仪图像中绝对相位与图像坐标之间的对应关系,包括使用公式(1)和公式(2)作为投影仪图像中绝对相位与像素坐标之间的对应关系模型;
其中:
u、v为投影图像中的水平和垂直方向坐标;
Φv(x, y)、Φh(x, y)为投影条纹图中水平方向和垂直方向的绝对相位;
Nv、Nh为投影条纹图中水平方向和垂直方向上条纹的周期数;
W、H为投影图像的宽和高。
步骤F:根据步骤A中预先标定好的相机和投影仪之间的极线约束关系,以及步骤E中计算得到的相机图像饱和区域轮廓在投影仪图像中对应像素的水平坐标,得到投影仪图像中对应于相机饱和区域边缘的轮廓。
本实施例中,根据预先标定好的相机和投影仪之间的极线约束关系以及相机图像饱和区域轮廓在投影仪图像中对应像素的水平坐标得到投影仪图像中对应于相机饱和区域边缘的轮廓,其几何模型如附图1所示,其中具体包括公式(1)和公式(3)所表示的两个约束关系;
其中:
u、v为投影仪图像中的水平和垂直方向的坐标;
a、b为相机中像素在投影仪图像中对应的极线的系数。
本实施例中,对应于附图3所示相机图像中的饱和区域边缘轮廓,得到的投影仪图像中对应的轮廓如附图4所示。
步骤G:根据相机的灰度响应模型,以相机采集到的一组均匀灰度图中对应于步骤C中所提取的各个饱和区域中的像素灰度值作为响应模型的输出参数,以均匀灰度图对应的灰度值作为输入参数,进行拟合求解相机灰度响应模型中的系数。
本实施例中,根据相机的灰度响应模型进行拟合求解响应模型中的系数,具体包括公式(4)所示的相机灰度响应模型;
其中:
IC(xC, yC)为相机图像中(xC, yC)点处的灰度值;
IP(xP, yP)为投影仪图像中(xP, yP)点处的灰度值,投影图像中的(xP, yP)像素对应于相机图像中的(xC, yC)像素点;
a1(x, y)、a2(x, y)为相机灰度响应模型中的系数。
本实施例中,根据相机的灰度响应模型进行拟合求解响应模型中的系数,具体包括公式(5)所示的拟合求解方程;
其中:
I1 P、I2 P、……为各个饱和区域中像素点对应的投影图像的像素灰度;
a1k、a2k为第k个饱和区域对应的相机响应模型的系数;
Ik1 C(xC, yC)、Ik2 C(xC, yC)、……为相机图像中第k个饱和区域中各像素的灰度值;
k表示相机图像中不同饱和区域的序号。
步骤H:根据步骤G中得到的各个饱和区域的相机响应模型的系数,以灰度值250作为预期的相机灰度值,求解对应的投影仪图像灰度值,并调整投影仪图像中对应区域内的像素灰度,以生成自适应调整后的投影图像。应用自适应调整的投影图像进行三维测量,重建物体的表面形貌。
本实施例中,以灰度值250作为预期的相机灰度值,求解对应的投影仪图像灰度值,具体包括公式(7)所示求解模型;
其中:
Ik P(xP, yP)为投影仪图像中对应于第k个饱和区域轮廓内像素的灰度值;
Ik C(xC, yC)为相机图像中对应于第k个饱和区域轮廓内像素的灰度值;
a1k、a2k为第k个饱和区域对应的相机响应模型的系数;
本实施例中,对于所选测量对象按照上述操作步骤得到的自适应调整后的投影仪图像如附图5所示。
以上结合具体实例描述了本发明的技术原理。这些描述只是为了描述本发明的技术原理,而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释,本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其他具体实施方式,这些方式都将落入本发明的保护范围之内。
Claims (6)
1.一种结合极线约束的相位轮廓自适应投影测量方法,其特征在于:包括引入相机和投影仪之间极线约束以求解相机与投影仪像素间映射关系的自适应投影测量物体三维信息的过程:
步骤A:对相机和投影仪组成的测量系统进行标定,标定得到相机、投影仪各自的内外参数,以及相机和投影仪之间的极线约束;
步骤B:在测量对象上投影一组水平相移条纹图和一组不同灰度值的均匀灰度图,并由相机采集对应的物体表面图像;
步骤C:根据相机采集到的对应于灰度值为255的投影图像的均匀灰度图,查找图像中的饱和像素区域,并提取各区域的边缘轮廓;
步骤D:根据相机采集到的相移条纹图,应用相移算法和多频外插算法,求解饱和像素区域边缘轮廓上像素的绝对相位值;
步骤E:根据投影仪图像中绝对相位与图像坐标之间的对应关系,并根据步骤D中解出来的轮廓上像素的绝对相位值,计算相机图像饱和区域轮廓在投影仪图像中对应像素的水平方向坐标;
步骤F:根据步骤A中预先标定好的相机和投影仪之间的极线约束关系,以及步骤E中计算得到的相机图像饱和区域轮廓在投影仪图像中对应像素的水平坐标,得到投影仪图像中对应于相机饱和区域边缘的轮廓;
步骤G:根据相机的灰度响应模型,以相机采集到的一组均匀灰度图中对应于步骤C中所提取的各个饱和区域中的像素灰度值作为响应模型的输出参数,以均匀灰度图对应的灰度值作为输入参数,进行拟合求解相机灰度响应模型中的系数;
步骤H:根据步骤G中得到的各个饱和区域的相机响应模型的系数,以灰度值250作为预期的相机灰度值,求解对应的投影仪图像灰度值,并调整投影仪图像中对应区域内的像素灰度,以生成自适应调整后的投影图像,应用自适应调整的投影图像进行三维测量,重建物体的表面形貌。
2.根据权利要求1所述一种结合极线约束的相位轮廓自适应投影测量方法,其特征在于:在步骤B中所述的一组水平相移条纹图数量为12幅,对应于三个周期的四步相移条纹图;所述的一组不同灰度值的均匀灰度图数量为6幅,其图像的灰度值分别为90,120,150,180,210,255。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010918425.6A CN114136236A (zh) | 2020-09-04 | 2020-09-04 | 一种结合极线约束的相位轮廓自适应投影测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010918425.6A CN114136236A (zh) | 2020-09-04 | 2020-09-04 | 一种结合极线约束的相位轮廓自适应投影测量方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114136236A true CN114136236A (zh) | 2022-03-04 |
Family
ID=80438482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010918425.6A Pending CN114136236A (zh) | 2020-09-04 | 2020-09-04 | 一种结合极线约束的相位轮廓自适应投影测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114136236A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114877826A (zh) * | 2022-07-11 | 2022-08-09 | 南京信息工程大学 | 一种双目立体匹配三维测量方法、系统及存储介质 |
CN116295073A (zh) * | 2023-02-10 | 2023-06-23 | 南京航空航天大学 | 大型航空复合材料成型模具变形测量装置、方法及系统 |
-
2020
- 2020-09-04 CN CN202010918425.6A patent/CN114136236A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114877826A (zh) * | 2022-07-11 | 2022-08-09 | 南京信息工程大学 | 一种双目立体匹配三维测量方法、系统及存储介质 |
CN114877826B (zh) * | 2022-07-11 | 2022-10-14 | 南京信息工程大学 | 一种双目立体匹配三维测量方法、系统及存储介质 |
CN116295073A (zh) * | 2023-02-10 | 2023-06-23 | 南京航空航天大学 | 大型航空复合材料成型模具变形测量装置、方法及系统 |
CN116295073B (zh) * | 2023-02-10 | 2024-02-09 | 南京航空航天大学 | 大型航空复合材料成型模具变形测量装置、方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107607060B (zh) | 一种应用于光栅三维投影测量中的相位误差补偿方法 | |
CN109506589B (zh) | 一种基于结构光场成像的三维轮廓测量方法 | |
CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
CN112053432B (zh) | 一种基于结构光与偏振的双目视觉三维重建方法 | |
CN103383249B (zh) | 灰度条纹投影光强非线性校正方法及基于该方法的相位校正方法 | |
CN111028295A (zh) | 一种基于编码结构光和双目的3d成像方法 | |
CN107917679B (zh) | 一种高亮、过暗区域动态检测、补偿的方法 | |
CN107167073A (zh) | 一种线阵结构光三维快速测量装置及其测量方法 | |
CN109945802B (zh) | 一种结构光三维测量方法 | |
CN106705855A (zh) | 一种基于自适应光栅投影的高动态性能三维测量方法 | |
CN113358063B (zh) | 一种基于相位加权融合的面结构光三维测量方法及系统 | |
CN108168464A (zh) | 针对条纹投影三维测量系统离焦现象的相位误差校正方法 | |
CN109141291A (zh) | 一种快速相位解包裹算法 | |
CN111563952B (zh) | 基于相位信息与空间纹理特征实现立体匹配方法及系统 | |
CN104111038A (zh) | 利用相位融合算法修复饱和产生的相位误差的方法 | |
CN114136236A (zh) | 一种结合极线约束的相位轮廓自适应投影测量方法 | |
CN113091646B (zh) | 基于条纹标定的三维形貌测量方法 | |
CN113108721B (zh) | 基于多光束自适应互补匹配的高反光物体三维测量方法 | |
CN109087325A (zh) | 一种基于单目视觉的直接法点云三维重建及尺度确定方法 | |
CN110207620A (zh) | 一种通过不同频率确定数字光栅投影结构光级数的三维重建方法 | |
CN107990846A (zh) | 基于单帧结构光的主被动结合深度信息获取方法 | |
CN111928799A (zh) | 基于深度学习实现条纹图像对比度增强的三维测量方法 | |
CN111462246B (zh) | 一种结构光测量系统的设备标定方法 | |
CN116592792A (zh) | 一种使用散斑辅助相对相位立体匹配的测量方法和系统 | |
Sui et al. | Active stereo 3-d surface reconstruction using multistep matching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220304 |