CN113340236A - 一种高动态表面形貌测量方法 - Google Patents

Abstract

本发明涉及三维形貌测量方法技术领域，且公开了一种高动态表面形貌测量方法，包括以下步骤：S1：搭建三维形貌测量系统，所述测量系统包括：投影设备、摄像设备、待测物体，投影设备的光轴与摄像设备的光轴成一夹角，投影设备使用数字微镜投影装置(DMD投影仪)。本发明提出的基于三维形貌的测量方法，加入了环境光分量的考虑，使得本发明对现有的高动态表面测量具有更高的完整性、真实性和适应性；本发明构建的时域空域光场调制和解码重构框架，能够消除非饱和区域的环境光干扰，同时保证高动态反射表面的测量精度，测量准确度高。

Description

一种高动态表面形貌测量方法

技术领域

本发明涉及三维形貌测量方法技术领域，具体为一种高动态表面形貌测量方法。

背景技术

实际的结构光三维测量过程中，存在许多表面反射率变化范围大的物体，这些物体的反射光场中存在局部过曝或者曝光不足的区域，因此传统的结构光三维测量技术无法准确重建此类物体的三维形貌。针对这一问题，高动态范围测量技术(High DynamicRange,HDR)被广泛应用到了光学三维测量领域，常见的基于多重曝光的方法，通过调整孔径或曝光时间来改变相机感光度，存在孔径调整无法量化，相机曝光时间无法快速帧间调整的缺点，导致测量效率低，过程繁琐。为了减少曝光过程的人为干预，有学者提出曝光时间自动预测，全自动多曝光等技术，前者由于选择的是单一曝光时间，适应性不强，后者需要建立相机噪声水平和条纹图像调制度信息的关系，确定调制度阈值，计算过程较为繁琐。

其他的高动态反光表面测量方法，典型的有多级条纹亮度投影、自适应条纹、极化测量和光度立体法，多级条纹亮度投影与多重曝光类似，需要大量条纹图像，自适应条纹虽然只需要投影一组修正后的相移条纹，但是其在像素水平上大量的矩阵逆运算需要更多的时间来计算最优投影强度。而后两类方法由于系统结构复杂，三维重建计算量大，不适合在线测量环境。

发明内容

本发明的目的在于提供了一种高动态表面形貌测量方法。

为实现上述目的，本发明提供如下技术方案：一种高动态表面形貌测量方法，包括以下步骤：

S1：搭建三维形貌测量系统，所述测量系统包括：投影设备、摄像设备、待测物体，投影设备的光轴与摄像设备的光轴成一夹角，投影设备使用数字微镜投影装置(DMD投影仪)；

S2：设置投影设备的光场投影调制参数，包括投影光场的投影周期和投影曝光时间，其中投影周期恒定，投影曝光时间需要按时域正弦信号进行调制；

投影设备向待测物体投射经所述时域正弦信号调制后的相移光场序列；

摄像设备由投影设备的触发信号按照投影周期进行同步，在恒定相机曝光周期下，采集受到物体面形调制的反射光场图像；

S3，对采集的反射光场图像进行解码重构，分别生成饱和区域和非饱和区域的解码系数；

使用解码系数对采集光场图像进行融合，生成高动态范围的合成条纹图像；

S4：对获得的合成条纹图像进行相位解析，获得绝对相位分布；建立三维形貌测量系统的绝对相位值与高度值的转换关系；结合摄像设备的标定参量，将摄像设备图像平面上的像素坐标转换为世界坐标。

进一步地，S2，其具体包括：

S21：设置投影设备的光场投影调制参数，包括投影光场的投影周期和曝光时间，其中投影周期恒定，投影曝光时间需要按时域正弦信号进行调制；

光场投影调制参数包括投影曝光时间(Tm)和投影周期(Tp)。假设采样次数为M，时域正弦信号的调制幅度为ξ，采样点为θm，其中1≤m≤M，则投影曝光时间占投影周期的比值Pm＝Tm/Tp，其表达式为：

P_m＝(1-ξ)+ξsin(θ_m),0≤ξ≤0.5(1)

其中，调制幅度ξ确保投影曝光时间与投影周期的比值在[0,1]的取值范围内。

S22：投影设备向待测物体投射经所述时域正弦信号调制后的相移光场序列

其中，(x^p,y^p)为投影仪平面的像素坐标，A和B分别为条纹图像的平均强度和调制强度，φ为相位信息，δ_i＝2πi/N为相移量，N为相移步数，第i次相移i∈[0,N-1]。

S23：摄像设备由投影设备的触发信号按照投影周期进行同步，在恒定相机曝光周期下连续获取调制周期内M帧图像

第m帧条纹图像为：

其中i＝0,1,2,N-1表示相移步数，k代表相机的感光率，r(x,y)代表点(x,y)处的反射率，ηi(x,y)代表环境光分量，

进一步地，所述投影光场为正弦条纹图案，或者为二值条纹图案，包括二值方波条纹、脉冲宽度调制二值条纹、误差扩散二值编码条纹等。

进一步地，所述光场调制中时域正弦信号的采样点θm在正弦函数的单调递增区间[-π/2，π/2]中选取，数量成对出现且每一对关于零相位点对称，即

θ_2j-1+θ_2j＝0,j＝1,2,...,M/2 (4)

进一步地，摄像设备的采集曝光周期和投影设备的投影图案周期是一致的，两者均保持恒定，因此可使用投影设备的触发信号按照投影周期触发摄像设备，无需额外的触发源设备。

进一步地，投影设备利用了DMD投影仪的可变曝光投影特性实现光场投影曝光时间的调制，而投影过程中光场投影周期保持恒定，从而使得采集的反射光场图像

呈现正弦等级亮度变化。

进一步地，S3，其具体包括：

S31：在图像序列的非饱和区域(

其中相移步数i＝0,1,...,N-1，调制次数k＝1,2,...M)，通过归一化的调制系数来确定非饱和区域的解码系数，此时解码系数表达式如下：

其中，Imax是判断图像饱和的阈值。

通过将采集图像和归一化的调制系数经乘法运算和时间积分累加，由于采样点的对称性，正弦函数进行积分运算时相互叠加为零，消除了环境光的干扰：

上式即为去除环境光ηi干扰的高信噪比反射光场图像，Pm代表调制后的投射时间比值，ξ代表投射时间的调制幅度。

S32：在图像序列的饱和区域(

其中相移步数i＝0,1,...,N-1，调制次数k＝1,2,...M)，通过计算调制度I″_m来确定饱和区域的解码系数。第m个投影参数设置下的调制强度为：

通过选取最优调制度I″_m对应的反射光场灰度信息，取值为1，表示第m组反射光场对应像素位置具有最佳调制度，此时解码系数表达式为：

S33：使用解码系数Dm(x,y)和采集光场

进行融合，生成合成条纹图像{hi}，合成新的反射光场图像的公式为：

进一步地，所述饱和区域像素判断的灰度阈值Imax，8bit相机情况下灰度最大值为255，考虑噪声的影响，一般设置Imax略小于255，例如Imax＝250。

进一步地，所述S4，可使用傅里叶变换轮廓术或者相位测量轮廓术的原理对反射光场图像进行相位解析。

本发明提供了一种高动态表面形貌测量方法。具备以下有益效果：

(1)、本发明提出的基于三维形貌的测量方法，加入了环境光分量的考虑，使得本发明对现有的高动态表面测量具有更高的完整性、真实性和适应性；

(2)本发明构建的时域空域光场调制和解码重构框架，能够消除非饱和区域的环境光干扰，同时保证高动态反射表面的测量精度，测量准确度高；

(3)本发明采用恒定的投影周期和相机曝光时间，投影设备可直接用于触发摄像设备(无需额外的触发源进行同步)，且利用了DMD投影仪的可变曝光投影特性实现投影曝光时间的调制，无需添加任何其他硬件，实现方法简便、快速、成本低；

(4)本发明对各种高动态反射表面的三维形貌测量都具有普适性，满足所有基于正弦结构光数字投影的三维形貌测量技术，如傅里叶变换轮廓术以及相位测量轮廓术等；

(5)在进一步的技术方案中，生成合成图像利用4个调制点的图像数据信息即可。相较于传统的多曝光方法、多级亮度投影方法，本发明在确保测量结果精度的同时还减小了图像获取的数量，确保了测量效率。

附图说明

图1为本发明流程示意图；

图2为本发明设备位置示意图；

图3为本发明S2的一具体实施例的流程示意图；

图4为本发明S2的一具体实施例中光场投影曝光调制参数与时域正弦信号和采样点的关系示意图；

图5为本发明S22的一具体实施例的二值编码条纹的投影光场序列示意图；

图6为本发明步骤S22的一具体实施例采集的反射光场图像序列示意图；

图7为本发明S2的一具体实施例中投影设备触发和摄像设备曝光控制的时序图；

图8为本发明S3的一具体实施例的流程示意图；

图9为本发明S31和S32的一具体实施例中解码系数图像；

图10为本发明S33的一具体实施例中合成光场图像；

图11为本发明的一具体实施例的相位三维重建结果；

图中：101、投影设备，102、摄像设备，103、待测物体。

具体实施方式

如图1、2所示，本发明所述标定方法包括如下步骤：

S1：搭建三维形貌测量系统，所述测量系统包括：投影设备101、摄像设备101、待测物体103，投影设备101的光轴与摄像设备101的光轴成一夹角，投影设备101使用数字微镜投影装置(DMD投影仪)；

其中，投影设备101须为数字微镜投影装置(DMD投影仪)，需要利用DMD投影仪的可变曝光图案投影特性；使用计算机图像处理系统方便地生成的灰度条纹图案或者各类二值编码条纹图案并写入数字投影装置；摄像设备102可以为各类摄像机，包括电荷耦合器件、液晶器件、空间光调制器件、CMOS器件或数码相机；应用该测量系统测量物体的三维信息时，待测物体103放置于投影设备101和摄像设备102的公共视场范围内。

S2：设置投影设备101的光场投影调制参数，包括投影光场的投影周期和投影曝光时间，其中投影周期恒定，投影曝光时间需要按时域正弦信号进行调制；

投影设备101向待测物体103投射经所述时域正弦信号调制后的相移光场序列；

摄像设备101由投影设备101的触发信号按照投影周期进行同步，在恒定相机曝光周期下，采集受到物体面形调制的反射光场图像；

S3，对采集的反射光场图像进行解码重构，分别生成饱和区域和非饱和区域的解码系数；

使用解码系数对采集光场图像进行融合，生成高动态范围的合成条纹图像；

S4：对获得的合成条纹图像进行相位解析，获得绝对相位分布；建立三维形貌测量系统的绝对相位值与高度值的转换关系；结合摄像设备101的标定参量，将摄像设备101图像平面上的像素坐标转换为世界坐标。

图3为本发明S2的一具体实施例的流程示意图，如图3所示，在本实施例中，所述步骤S2，其具体包括：

S21：设置投影设备101的光场投影调制参数，包括投影光场的投影周期和曝光时间，其中投影周期恒定，投影曝光时间需要按时域正弦信号进行调制；

光场投影调制参数包括投影曝光时间(Tm)和投影周期(Tp)。假设采样次数为M，时域正弦信号的调制幅度为ξ，采样点为θm，其中1≤m≤M，则投影曝光时间占投影周期的比值Pm＝Tm/Tp，其表达式为：

P_m＝(1-ξ)+ξsin(θ_m),0≤ξ≤0.5 (1)

其中，调制幅度ξ确保投影曝光时间与投影周期的比值在[0,1]的取值范围内。由于投影曝光时间Tm不能超过投影周期Tp，因此需要设置时域正弦信号的调制幅度ξ。设置越多的采样点θm，可获得全场更佳的合成光场图像，但同时也会降低测量效率，一般情况建议采样次数M≤8。

为更清楚表述本发明S21中光场投影曝光调制参数与时域正弦信号和采样点的关系，下面对本实施的具体实施方式做进一步说明。

本实施例的光场投影曝光调制参数与时域正弦信号和采样点的关系如图4所示。其中，采样次数M＝4，选取两组对称的正弦采样点θm，即{-0.73rad,-0.34rad,0.34rad,0.73rad}，调制幅度ξ＝0.5，由式(1)可以计算得到光场投影曝光时间Tm相对于投影周期Tc的比值Pm为{0.1666,0.3333,0.6667,0.8334}。当投影周期Tc的为60ms时，可以计算得到投影曝光时间Tm为{10ms,20ms,40ms,50ms}。

S22：投影设备101向待测物体103投射经所述时域正弦信号调制后的相移光场序列

其中，(x^p,y^p)为投影仪平面的像素坐标，A和B分别为条纹图像的平均强度和调制强度，φ为相位信息，δ_i＝2πi/N为相移量，N为相移步数，第i次相移i∈[0,N-1]。

S23：摄像设备101由投影设备101的触发信号按照投影周期进行同步，在恒定相机曝光周期下连续获取调制周期内M帧图像

第m帧条纹图像为：

其中i＝0,1,2,N-1表示相移步数，k代表相机的感光率，r(x,y)代表点(x,y)处的反射率，ηi(x,y)代表环境光分量，

进一步地，所述投影光场为正弦条纹图案，或者为二值条纹图案，包括二值方波条纹、脉冲宽度调制二值条纹、误差扩散二值编码条纹等。

考虑到二值条纹图不受数字投影仪和成像系统非线性响应的影响同时充分利用了数字投影仪高速二值图形切换功能，提高了三维形貌测量的速度和精度。本实施例中使用了误差扩散二值编码条纹作为投影光场图案，在图4的光场投影参数设置下，由计算机生成三频四步的误差扩散二值编码图像，本实施例使用的二值编码条纹的投影光场序列如图5所示(仅给出中频投影光场示例)，分辨率为1140×912。经DLP Light Crafter 4500投影仪离焦后投射，投射时依据S21选取的正弦采样点对投影曝光时间进行调制，本例中投影曝光时间被依次设置为10ms，20ms，40ms和50ms，在恒定的投影周期(60ms)和曝光时间下进行捕获，根据预先设置的参数，即可采集到图6所示遵循正弦调制信号亮度变化的反射光场序列。

进一步地，所述光场调制中时域正弦信号的采样点θm在正弦函数的单调递增区间[-π/2，π/2]中选取，数量成对出现且每一对关于零相位点对称，即

θ_2j-1+θ_2j＝0,j＝1,2,...,M/2 (4)

本实施例设置采样次数M＝4，选取两组对称的正弦采样点θm，即{-0.73rad,-0.34rad,0.34rad,0.73rad}。

进一步地，摄像设备101的采集曝光周期和投影设备101的投影图案周期是一致的，两者均保持恒定，因此可使用投影设备101的触发信号按照投影周期触发摄像设备101，无需额外的触发源设备。

进一步地，投影设备101利用了DMD投影仪的可变曝光投影特性实现光场投影曝光时间的调制，而投影过程中光场投影周期保持恒定，从而使得采集的反射光场图像

呈现正弦等级亮度变化。

本实施例中投影仪触发和摄像机曝光控制的时序图如图8所示。光场投影时利用DMD数字投影仪的可变曝光图案投影特性，即在图案投影过程中存在明暗过渡状态，使用图4的光场调制参数对投影曝光时间Tm按照时域正弦信号进行调制，投影过程中投影仪的投影周期Tp恒定，始终等于投影曝光时间Tm与黑暗时间之和。同时，摄像机的采集曝光周期和投影仪的投影图案周期保持同步，使得采集的反射光场图像按照时域正弦调制信号的变化而变化。

图8为本发明S3的一具体实施例的流程示意图，如图8所示，在本实施例中S3，其具体包括：

S31：在图像序列的非饱和区域(

其中相移步数i＝0,1,...,N-1，调制次数k＝1,2,...M)，通过归一化的调制系数来确定非饱和区域的解码系数，此时解码系数表达式如下：

其中，Imax是判断图像饱和的阈值。

通过将采集图像和归一化的调制系数经乘法运算和时间积分累加，由于采样点的对称性，正弦函数进行积分运算时相互叠加为零，消除了环境光的干扰：

上式即为去除环境光ηi干扰的高信噪比反射光场图像，Pm代表调制后的投射时间比值，ξ代表投射时间的调制幅度。

S32：在图像序列的饱和区域(

其中相移步数i＝0,1,...,N-1，调制次数k＝1,2,...M)，通过计算调制度I″_m来确定饱和区域的解码系数。第m个投影参数设置下的调制强度为：

通过选取最优调制度I″_m对应的反射光场灰度信息，取值为1，表示第m组反射光场对应像素位置具有最佳调制度，此时解码系数表达式为：

S33：使用解码系数Dm(x,y)和采集光场

进行融合，生成合成条纹图像{hi}，合成新的反射光场图像的公式为：

在本实施例中合成反射光场图像的具体生成过程如下：

图9是依据公式(5)和(8)计算得到的解码系数图像；图10是依据公式(9)计算得到的合成光场图像(中频四步相移图像)。经过解码系数重构生成合成条纹图像{hi}后，既抑制了非饱和区域的环境光干扰，也为饱和区域选取了最优调制度对应的反射光场灰度信息。因此，使用合成条纹图像{hi}进行相位解析和三维重加，能够获得较好的全场测量精度。

进一步地，所述饱和区域像素判断的灰度阈值Imax，8bit相机情况下灰度最大值为255，考虑噪声的影响，一般设置Imax略小于255，例如Imax＝250。

本发明还包括S4，可使用傅里叶变换轮廓术或者相位测量轮廓术的原理对反射光场图像进行相位解析。本实施例使用了三个频率(分别为1/8/64)的相位测量轮廓方法，获取了绝对相位分布。建立三维形貌测量系统的绝对相位值与高度值的转换关系；结合摄像设备102的标定参量，将摄像设备102图像平面上的像素坐标转换为世界坐标。本实施例的物体三维测量结果如图11所示。

以上所述实施步骤和方法仅仅表达了本发明的一种实施方式，描述较为具体和详细，但不能因此而理解为对本发明专利范围的限制。在不脱离本发明专利构思的前提下，所作的变形和改进应当都属于本发明专利的保护范围。

Claims (9)

1.一种高动态表面形貌测量方法，其特征在于：包括以下步骤：

S1、搭建三维形貌测量系统，三维形貌测量系统包括：投影设备(101)、摄像设备(102)、待测物体(103)，投影设备(101)的光轴与摄像设备(102)的光轴成一夹角；

S2、设置投影设备(101)的光场投影调制参数，包括投影光场的投影周期和投影曝光时间，其中投影周期恒定，投影曝光时间需要按时域正弦信号进行调制；

投影设备(101)向待测物体(103)投射经所述时域正弦信号调制后的相移光场序列；

摄像设备(102)由投影设备(101)的触发信号按照投影周期进行同步，在恒定相机曝光周期下，采集受到物体面形调制的反射光场图像；

S3、对采集的反射光场图像进行解码重构，分别生成饱和区域和非饱和区域的解码系数；

使用解码系数对采集光场图像进行融合，生成高动态范围的合成条纹图像；

S4、对获得的合成条纹图像进行相位解析，获得绝对相位分布；建立三维形貌测量系统的绝对相位值与高度值的转换关系；结合摄像设备(102)的标定参量，将摄像设备(102)图像平面上的像素坐标转换为世界坐标。

2.根据权利要求1所述的一种高动态表面形貌测量方法，其特征在于：

S2包括以下步骤：

S21：设置投影设备(101)的光场投影调制参数，包括投影光场的投影周期和曝光时间，其中投影周期恒定，投影曝光时间需要按时域正弦信号进行调制；

光场投影调制参数包括投影曝光时间(Tm)和投影周期(Tp)；假设采样次数为M，时域正弦信号的调制幅度为ξ，采样点为θm，其中1≤m≤M，则投影曝光时间占投影周期的比值Pm＝Tm/Tp，其表达式为：

P_m＝(1-ξ)+ξsin(θ_m),0≤ξ≤0.5

其中，调制幅度ξ确保投影曝光时间与投影周期的比值在[0,1]的取值范围内；

S22：投影设备(101)向待测物体(103)投射经所述时域正弦信号调制后的相移光场序列

其中，(x^p,y^p)为投影仪平面的像素坐标，A和B分别为条纹图像的平均强度和调制强度，φ为相位信息，δ_i＝2πi/N为相移量，N为相移步数，第i次相移i∈[0,N-1]；

S23：摄像设备(102)由投影设备(101)的触发信号按照投影周期进行同步，在恒定相机曝光周期下连续获取调制周期内M帧图像

第m帧条纹图像为：

其中i＝0,1,2,N-1表示相移步数，k代表相机的感光率，r(x,y)代表点(x,y)处的反射率，ηi(x,y)代表环境光分量。

3.根据权利要求2所述的一种高动态表面形貌测量方法，其特征在于：光场调制中时域正弦信号的采样点θm在正弦函数的单调递增区间[-π/2，π/2]中选取，数量成对出现且每一对关于零相位点对称，即

θ_2j-1+θ_2j＝0,j＝1,2,...,M/2。

4.根据权利要求3所述的一种高动态表面形貌测量方法，其特征在于：摄像设备(102)的采集曝光周期和投影设备(101)的投影图案周期是一致的，两者均保持恒定，投影设备(101)的触发信号按照投影周期触发摄像设备(102)。

5.根据权利要求4所述的一种高动态表面形貌测量方法，其特征在于：投影设备(101)利用了DMD投影仪的可变曝光投影特性实现光场投影曝光时间的调制，而投影过程中光场投影周期保持恒定，从而使得采集的反射光场图像

呈现正弦等级亮度变化。

6.根据权利要求1所述的一种高动态表面形貌测量方法，其特征在于：S3，其具体包括：

S31：在图像序列的非饱和区域(

其中相移步数i＝0,1,...,N-1，调制次数k＝1,2,...M)，通过归一化的调制系数来确定非饱和区域的解码系数，此时解码系数表达式如下：

其中，Imax是判断图像饱和的阈值；

通过将采集图像和归一化的调制系数经乘法运算和时间积分累加，由于采样点的对称性，正弦函数进行积分运算时相互叠加为零，消除了环境光的干扰：

上式即为去除环境光ηi干扰的高信噪比反射光场图像，Pm代表调制后的投射时间比值，ξ代表投射时间的调制幅度；

S32：在图像序列的饱和区域(

其中相移步数i＝0,1,...,N-1，调制次数k＝1,2,...M)，通过计算调制度I″_m来确定饱和区域的解码系数；第m个投影参数设置下的调制强度为：

通过选取最优调制度I″_m对应的反射光场灰度信息，取值为1，表示第m组反射光场对应像素位置具有最佳调制度，此时解码系数表达式为：

S33：使用解码系数Dm(x,y)和采集光场

进行融合，生成合成条纹图像{hi}，合成新的反射光场图像的公式为：

7.根据权利要求6所述的一种高动态表面形貌测量方法，其特征在于：饱和区域像素判断的灰度阈值Imax，8bit相机情况下灰度最大值为255，考虑噪声的影响，设置Imax小于255。

8.根据权利要求1所述的一种高动态表面形貌测量方法，其特征在于：S4中可使用傅里叶变换轮廓术或者相位测量轮廓术的原理对反射光场图像进行相位解析。

9.根据权利要求1所述的一种高动态表面形貌测量方法，其特征在于：投影设备(101)使用数字微镜投影装置。

Images