CN108195313B - 一种基于光强响应函数的高动态范围三维测量方法 - Google Patents
一种基于光强响应函数的高动态范围三维测量方法 Download PDFInfo
- Publication number
- CN108195313B CN108195313B CN201711481545.9A CN201711481545A CN108195313B CN 108195313 B CN108195313 B CN 108195313B CN 201711481545 A CN201711481545 A CN 201711481545A CN 108195313 B CN108195313 B CN 108195313B
- Authority
- CN
- China
- Prior art keywords
- phase shift
- camera
- light intensity
- measured object
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于光强响应函数的高动态范围三维测量方法,该方法首先搭建系统,投影仪投射五幅不同亮度的黑白图像到被测物体上,相机同步拍摄被测物体反射的黑白图像,使用最小二乘法求解被测物体的光强响应函数,然后根据响应函数求出的被测物体的光强响应函数来生成多组三步相移光栅,并使用投影仪将多组三步相移光栅投射至被测物体,相机同步拍摄被测物体反射的相移光栅图像,将拍摄得到的相移光栅图像进行图像融合,计算绝对相位,最后结合步骤一得到的相机透视投影矩阵和投影仪透视投影矩阵,恢复出被测物体的三维形貌。本发明避免了传统多曝光法的图像数据冗余,三维重构计算量小,提高了测量效率。
Description
技术领域
本发明属于光学测量技术领域,特别是一种基于光强响应函数的高动态范围三维测量方法。
背景技术
基于结构光的三维测量技术上具有高精度、非接触等优点,被广泛应用在工业检测、快速逆向工程和医学研究等领域。尽管基于结构光的三维测量技术已经非常成熟,但是测量高动态范围的物体仍然是一个非常棘手的问题。由于工业相机的动态范围有限,在拍摄高动态范围的物体时,物体表面的高反光区域容易形成局部亮度饱和,使得其结构光信息丢失,导致三维重建精度降低,甚至无法完成三维重建。目前,针对由光强饱和引起的测量误差有两种解决方法,分别是去除光强饱和的像素点和抑制光强饱和的发生。
去除光强饱和的像素点是指,在进行计算前先将图像中的光强饱和像素点找出并去除,只用非饱和的像素点进行计算。以相移轮廓术为例,由于相移条纹的周期性,同一个像素点在多步相移图像中不会同时出现光强饱和的情况。根据相移算法,对任一像素点可以直接利用其非饱和光栅图像来求解相位(E.Hu,"Further study of the phase-recovering algorithm for saturated fringe patterns with a larger saturationcoefficient in the projection grating phase-shifting profilometry."Optik-International Journal for Light and Electron Optics 121.14(2010):1290-1294)。尽管上述方法可以有效地减小因图像饱和引起的相位误差,但是需要考虑的情况很多(如相移步数,饱和像素点在相移光栅图像中的序列等),每一种情况都对应一种不同的相位计算方法,为了得到各种情况下的相位,往往要考虑几十种相位计算方法,这导致相位求解过于复杂。此外,该方法要求每个像素点对应的非饱和相移图像的数量大于等于三幅,这极大限制了其测量的动态范围。
抑制光强饱和的发生是指,在拍摄图像时减小进入相机的光强来避免像素点出现饱和现象。比如针对被测物体表面的反射特性去调节投影光强的大小(Babaie,"Dynamicsrange enhancement in digital fringe projection technique."PrecisionEngineering 39(2015):243-251):增大暗区域的投影光强,减小高光区域的投影光强。此方法能有效测量高动态物体的三维形貌,但是存在两个问题:一方面,该方法需要精确求得相机像平面和投影仪像平面的齐次矩阵,对系统和算法的精度要求非常苛刻;另一方面,该方法需要反复迭代计算才能得到比较理想的高动态图像,测量效率不高。
发明内容
本发明的目的在于提供一种基于光强响应函数的高动态范围三维测量方法,实现高动态范围物体的高效三维形貌测量。
实现本发明目的的技术解决方案为:一种基于光强响应函数的高动态范围三维测量方法,过程如下:
步骤一,搭建系统,对相机和投影仪进行标定,得到相机透视投影矩阵MC和投影仪透视投影矩阵MP;
步骤二,投影仪投射五幅不同亮度的黑白图像到被测物体上,相机同步拍摄被测物体反射的黑白图像,使用最小二乘法求解被测物体的光强响应函数;
步骤三,根据步骤二求出的被测物体的光强响应函数来生成多组三步相移光栅,每组包含三幅低频相移光栅和三幅高频相移光栅;
步骤四,使用投影仪将步骤三生成的多组三步相移光栅投射至被测物体,相机同步拍摄被测物体反射的相移光栅图像,将拍摄得到的相移光栅图像进行图像融合,计算绝对相位;
步骤五,根据步骤四得到的绝对相位,结合步骤一得到的相机透视投影矩阵MC和投影仪透视投影矩阵MP,恢复出被测物体的三维形貌。
本发明与现有技术相比,其显著优点:利用光强响应函数生成最适合被测物体的相移光栅,避免了传统多曝光方法的图像数据冗余,三维重构计算量小,提高了测量效率。此外,本发明方法算法简单,对硬件要求小,简单的单目系统就可以实现高动态范围物体的测量。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明基于光强响应函数的高动态范围三维测量方法的流程示意图。
图2为本发明实施例中使用的测量对象及其场景图像,测量对象为图像中的具有局部高光的金属扳手。
图3为本发明实施例中对图2所示的测量对象拍摄的高频光栅图像,其中(a)为使用传统方法得到的第一幅高频光栅图像,(b)为使用传统方法得到的第二幅高频光栅图像,(c)为使用传统方法得到的第三幅高频光栅图像,(d)为使用本发明方法得到的第一幅高频光栅图像,(e)为使用本发明方法得到的第二幅高频光栅图像,(f)为使用本发明方法得到的第三幅高频光栅图像。
图4为本发明实施例中求解的绝对相位示意图,其中(a)为使用传统方法求解的绝对相位,(b)为使用本发明方法求解的绝对相位。
图5为本发明实施例获得的三维重建图像对比,其中(a)为使用传统方法重建获得的三维图像,(b)为(a)的局部放大图像,其中(c)为使用本发明方法重建获得的三维图像,(d)为(c)的局部放大图像。
具体实施方式
结合图1,本发明基于光强响应函数的高动态范围三维测量方法,步骤如下。
步骤一,搭建条纹投影系统,整个系统包含一台计算机,一台黑白相机和一台投影仪。系统搭建完成后分别对相机和投影仪进行标定:对于相机,可以利用张正友的标定算法(Z.Zhang,“A flexible new technique for camera calibration.”IEEE Transactionson pattern analysis and machine intelligence.22(11),1330-1334(2000))来进行标定,得到相机的透视投影矩阵MC;对于投影仪,可以利用张松的标定方法(S.Zhang,"Novelmethod for structured light system calibration."Optical Engineering 45.8(2006):083601-083601)来进行标定,得到投影仪的透视投影矩阵MP。
步骤二,投影仪投射五幅不同亮度的黑白图像到被测物体上,相机同步拍摄被测物体反射的黑白图像,使用最小二乘法求解被测物体的光强响应函数。
光强响应指的是被测物体在不同的光照条件下会得到光强不同的图像。光强响应函数就是这一过程的具体数学表达。为了获得光强响应函数,首先要考虑存在的各种光照因素。对于条纹投影系统,其光照因素有:(1)直接进入相机的环境光IA;(2)经被测物体反射进入相机的环境光IO;(3)经被测物体反射进入相机的投影仪光IP;(4)系统噪声IN。假设物体的反射率为ρ,相机的曝光时间为t,相机的响应系数为γ,则光强响应函数可表示为:
IC(x,y)=γt[ρIP(u,v)+ρIO+IA]+IN
其中IC为相机最终得到的光强,(x,y)为相机像平面坐标,(u,v)为投影仪像平面坐标。令
a(x,y)=γtρ
b(x,y)=γtρIO+γtIA+IN
则可将光强响应函数简化为
IC(x,y)=a(x,y)IP(u,v)+b(x,y)
为了求解出上式中的a(x,y)和b(x,y),首先用计算机生成五幅不同灰度的黑白图片,五幅黑白图像按以下方式生成:
n1<n2<n3<n4<n5
由于饱和像素会影响响应函数的线性关系,造成比较大的误差,因此要保证相机采集得到的五幅图像中不包含有饱和像素点,即:
步骤三,根据步骤二求出的被测物体的光强响应函数来生成多组三步相移光栅(每组包含三幅低频相移光栅和三幅高频相移光栅),组数n取决于a(x,y)的分布:
n=ceil(a(x,y)max)
其中,a(x,y)max为所有a(x,y)中的最大值;ceil为向大取整。对于第k(1≤k≤n)组光栅条纹,其表达式为:
步骤四,使用投影仪将步骤三生成的多组三步相移光栅投射至被测物体,相机同步拍摄被测物体反射的相移光栅图像,将拍摄得到的相移光栅图像进行图像融合,计算绝对相位。
首先,用投影仪将步骤三中生成的多组光栅条纹依次投影到被测物体上,相机同步采集被测物反射生成的相移光栅图像,相机同步拍摄的条纹图像可被表示为:
1≤k≤n
对于任一像素点(x,y),相机采集得到的n组相移光栅图像中对应的(x,y)只有一组光强是最合适的,最适合的相移光栅图像所在组数opt可以由下式得到:
opt=ceil(a(x,y))
将每个像素点最适合的那组图像中对应的光强取出,融合生成一组相移光栅图像,其表达式为
其中和为融合生成的低频相移光栅图像;和为融合生成的高频相移光栅图像;为第opt组中第一幅低频相移光栅图像像素点(x,y)的光强值 为第opt组中第二幅低频相移光栅图像像素点(x,y)的光强值 为第opt组中第三幅低频相移光栅图像像素点(x,y)的光强值 为第opt组中第一幅高频相移光栅图像像素点(x,y)的光强值 为第opt组中第二幅高频相移光栅图像像素点(x,y)的光强值 为第opt组中第三幅高频相移光栅图像像素点(x,y)的光强值
其中Round为求取最近整数,f为高频相位和低频相位的周期倍数。
步骤五,根据步骤四得到的绝对相位Φ(x,y),结合步骤一得到的相机透视投影矩阵MC和投影仪透视投影矩阵MP,恢复出被测物体的三维形貌(K.Liu,“Dual-frequencypattern scheme for high-speed 3-D shape measurement.”Optics express.18(5):5229-5244(2010))。
实施例
本实施例中,被测对象如图2所示为一个金属扳手。由于金属的镜面反射特性,直接投影相移光栅到扳手上时,会导致相机采集得到的图像中存在大量的光强饱和像素点,出现如图中3(a)至(c)所示的高光区域。由于饱和像素点丢失了相位信息,这导致通过相移算法解出的绝对相位在高光区域有很大的误差。如图4中(a)所示,可以看出直接使用饱和像素点解出的高光区域的绝对相位有很大的突变,这使得恢复出的高光区域的三维形貌存在很大的波纹,如图5中(a)和(b)所示。
将本发明方法融合得到的高频光栅投影到金属扳手上,相机采集得到的图像如图3中(d)至(f)所示,可以看出原有的饱和像素点已被全部去除,高光区域消失,同时相移光栅条纹的对比度和亮度都非常好。使用步骤四中的相移算法解出绝对相位,如图4(b)所示,相比于如图4中(a)传统方法解出的绝对相位,使用本发明方法解出的绝对相位连续、误差小。最后恢复出的三维形貌如图5中(c)和(d)所示,可以看出因光强饱和导致的波纹已经全部被去除。这说明利用本发明方法能够正确测量出高动态范围物体的三维形貌。
Claims (3)
1.一种基于光强响应函数的高动态范围三维测量方法,其特征在于过程如下:
步骤一,搭建系统,对相机和投影仪进行标定,得到相机透视投影矩阵MC和投影仪透视投影矩阵MP;
步骤二,投影仪投射五幅不同亮度的黑白图像到被测物体上,相机同步拍摄被测物体反射的黑白图像,使用最小二乘法求解被测物体的光强响应函数;
步骤三,根据步骤二求出的被测物体的光强响应函数来生成多组三步相移光栅,每组包含三幅低频相移光栅和三幅高频相移光栅;
步骤四,使用投影仪将步骤三生成的多组三步相移光栅投射至被测物体,相机同步拍摄被测物体反射的相移光栅图像,将拍摄得到的相移光栅图像进行图像融合,计算绝对相位;
步骤五,根据步骤四得到的绝对相位,结合步骤一得到的相机透视投影矩阵MC和投影仪透视投影矩阵MP,恢复出被测物体的三维形貌;
所述求解被测物体的光强响应函数过程如下:对于条纹投影系统,各种光照因素有:直接进入相机的环境光IA,经被测物体反射进入相机的环境光IO,经被测物体反射进入相机的投影仪光IP,系统噪声IN;
假设物体的反射率为ρ,相机的曝光时间为t,相机的响应系数为γ,则光强响应函数表示为:
IC(x,y)=γt[ρIP(u,v)+ρIO+IA]+IN
其中IC为相机最终得到的光强,(x,y)为相机像平面坐标,(u,v)为投影仪像平面坐标,令
a(x,y)=γtρ
b(x,y)=γtρIO+γtIA+IN
则可将光强响应函数简化为
IC(x,y)=a(x,y)IP(u,v)+b(x,y)
为了求解出上式中的a(x,y)和b(x,y),首先用计算机生成五幅不同灰度的黑白图片,五幅黑白图像按以下方式生成:
n1<n2<n3<n4<n5
由于饱和像素会影响响应函数的线性关系,造成比较大的误差,因此要保证相机采集得到的五幅图像中不包含有饱和像素点,即:
3.根据权利要求1所述的基于光强响应函数的高动态范围三维测量方法,其特征在于采集光栅条纹图像进行图像融合,计算绝对相位过程如下:首先,用投影仪将生成的多组光栅条纹依次投影到被测物体上,相机同步采集被测物反射生成的相移光栅图像,相机同步拍摄的条纹图像表示为:
1≤k≤n
对于任一像素点(x,y),相机采集得到的n组相移光栅图像中对应的(x,y)只有一组光强是最合适的,最适合的相移光栅图像所在组数opt可以由下式得到:
opt=ceil(a(x,y))
将每个像素点最适合的那组图像中对应的像素点光强取出,将n组相移光栅图像融合生成一组相移光栅图像,其表达式为
其中和为融合生成的低频相移光栅图像;和为融合生成的高频相移光栅图像;为第opt组中第一幅低频相移光栅图像像素点(x,y)的光强值为第opt组中第二幅低频相移光栅图像像素点(x,y)的光强值为第opt组中第三幅低频相移光栅图像像素点(x,y)的光强值为第opt组中第一幅高频相移光栅图像像素点(x,y)的光强值为第opt组中第二幅高频相移光栅图像像素点(x,y)的光强值为第opt组中第三幅高频相移光栅图像像素点(x,y)的光强值
其中Round为求取最近整数,f为高频相位和低频相位的周期倍数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711481545.9A CN108195313B (zh) | 2017-12-29 | 2017-12-29 | 一种基于光强响应函数的高动态范围三维测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711481545.9A CN108195313B (zh) | 2017-12-29 | 2017-12-29 | 一种基于光强响应函数的高动态范围三维测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108195313A CN108195313A (zh) | 2018-06-22 |
CN108195313B true CN108195313B (zh) | 2020-06-02 |
Family
ID=62586949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711481545.9A Active CN108195313B (zh) | 2017-12-29 | 2017-12-29 | 一种基于光强响应函数的高动态范围三维测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108195313B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109523627B (zh) * | 2018-10-24 | 2023-07-18 | 重庆大学 | 一种基于泰勒指数表达式型面结构光的三维重建方法 |
CN109900222B (zh) * | 2019-04-18 | 2021-07-02 | 盎锐(上海)信息科技有限公司 | 基于投影光栅建模的模型获取方法及装置 |
CN110360950B (zh) * | 2019-06-04 | 2021-07-06 | 重庆大学 | 五步相序黑白数字光栅编码方法 |
CN110595388B (zh) * | 2019-08-28 | 2021-04-16 | 南京理工大学 | 一种基于双目视觉的高动态实时三维测量方法 |
CN110887451B (zh) * | 2019-11-20 | 2021-08-03 | 浙江工业大学 | 一种基于相机响应曲线的条纹检测方法 |
CN111189417B (zh) * | 2020-01-15 | 2020-11-27 | 浙江大学 | 基于高频图案干涉的二进制光栅图像投影反光抑制方法 |
CN113280756A (zh) * | 2020-02-19 | 2021-08-20 | 华东交通大学 | 一种基于偏振态的单色黑白条纹结构光的图像质量提升方法 |
CN111415405A (zh) * | 2020-03-16 | 2020-07-14 | 苏州依诺维视智能科技有限公司 | 高反光表面工件的三维高精度视觉测量方法 |
CN112082508B (zh) * | 2020-08-10 | 2022-07-12 | 中国科学院深圳先进技术研究院 | 反光物体的三维测量方法、装置及终端设备 |
CN113532325B (zh) * | 2021-06-08 | 2023-05-05 | 深圳市格灵精睿视觉有限公司 | 动态步数解相方法、电子设备及计算机可读存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100520285C (zh) * | 2006-07-13 | 2009-07-29 | 黑龙江科技学院 | 投射多频光栅的物体表面三维轮廓的视觉测量方法 |
CN103697834A (zh) * | 2013-12-26 | 2014-04-02 | 南京理工大学 | 实时光学三维测量中动态场景无效点的自动识别与排除方法 |
CN103791856B (zh) * | 2014-01-21 | 2017-01-04 | 南京理工大学 | 基于四幅结构光图像的相位求解与去包裹方法 |
CN104019767B (zh) * | 2014-05-29 | 2017-04-19 | 南京理工大学 | 一种基于灰度直方图的自适应高动态范围三维测量方法 |
CN105066906B (zh) * | 2015-07-24 | 2018-06-12 | 南京理工大学 | 一种快速高动态范围三维测量方法 |
CN106770322A (zh) * | 2016-12-12 | 2017-05-31 | 盐城工学院 | 校准点深度检测方法及温控器外观检测方法 |
CN106705855B (zh) * | 2017-03-10 | 2018-12-14 | 东南大学 | 一种基于自适应光栅投影的高动态性能三维测量方法 |
-
2017
- 2017-12-29 CN CN201711481545.9A patent/CN108195313B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108195313A (zh) | 2018-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108195313B (zh) | 一种基于光强响应函数的高动态范围三维测量方法 | |
Song et al. | A high dynamic range structured light means for the 3D measurement of specular surface | |
Rao et al. | High dynamic range 3D shape determination based on automatic exposure selection | |
Zuo et al. | Phase shifting algorithms for fringe projection profilometry: A review | |
Liu et al. | A novel high dynamic range 3D measurement method based on adaptive fringe projection technique | |
Waddington et al. | Saturation avoidance by adaptive fringe projection in phase-shifting 3D surface-shape measurement | |
CN110702034A (zh) | 高反光表面三维面形测量方法、服务器及系统 | |
Wang et al. | Enhanced high dynamic range 3D shape measurement based on generalized phase-shifting algorithm | |
CN108596008B (zh) | 针对三维人脸测量的面部抖动补偿方法 | |
CN110595388B (zh) | 一种基于双目视觉的高动态实时三维测量方法 | |
CN112945089A (zh) | 一种基于条纹宽度调制的结构光编码方法 | |
Zhang et al. | High-dynamic-range 3D shape measurement based on time domain superposition | |
Suresh et al. | PMENet: phase map enhancement for Fourier transform profilometry using deep learning | |
Pei et al. | Profile measurement of non-Lambertian surfaces by integrating fringe projection profilometry with near-field photometric stereo | |
Zhou et al. | A 3D shape measurement method for high-reflective surface based on dual-view multi-intensity projection | |
Wang et al. | Nonlinear high-order harmonics correction for phase measuring profilometry | |
CN111462331B (zh) | 扩展对极几何并实时计算三维点云的查找表方法 | |
CN111473745A (zh) | 一种基于多频相移方案的发光表面微观三维测量方法 | |
CN116518880A (zh) | 一种基于傅里叶轮廓术的正则化解包裹方法及系统 | |
CN116295114A (zh) | 一种基于主辅双视角多灰度级投影的高反射表面结构光三维测量方法 | |
Zhang et al. | Accurate measurement of high-reflective surface based on adaptive fringe projection technique | |
CN115546285A (zh) | 基于点扩散函数解算的大景深条纹投影三维测量方法 | |
Li et al. | Lasers structured light with phase-shifting for dense depth perception | |
Wang et al. | An efficient high dynamic range 3D shape reconstruction method based on double phase-shifting profilometry | |
CN112325799A (zh) | 一种基于近红外光投影的高精度三维人脸测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |