CN111189414A - 一种实时单帧相位提取方法 - Google Patents

Abstract

本发明属于光学测量个人工智能领域，具体涉及一种实时单帧相位提取方法，具体包括如下步骤：1)搭建深度卷积对抗生成网络，确定训练的损失函数；2)搭建条纹投影测量系统；3)采集训练数据集合；4)计算所采集变形条纹图的相位真值；5)利用前述步骤中的损失函数和数据集对网络进行训练；6)实时单帧相位提取。本发明方法主要利用对抗生成网络，以变形条纹图作为输入，生成相应的相位图，解决现有单帧相位提取方法针对低频条纹和突变曲面相位提取精度差的问题。

Description

一种实时单帧相位提取方法

技术领域

本发明属于光学测量个人工智能领域，具体涉及一种实时单帧相位提取方法。

背景技术

相位提取在光学测量具有十分重要的应用，如干涉测量、摩尔测量、条纹投影结构光测量等。广泛使用的相位提取方法为相移法，优点是相位提取精度高；缺点是需要多帧图像，因而不能测量动态物体。单帧相位提取技术只需要一帧变形条纹图就可以计算得到相位，所以通常用来进行实时测量。

在条纹投影轮廓术中，最广泛使用单帧相位提取技术是傅立叶变换轮廓术。傅立叶变换轮廓术的好处是计算快，鲁棒性相对较好。缺点是其最低频相位提取的误差较大，对于复杂表面特别是有高度突变的曲面测量效果较差。其他的单帧相位提取方法有窗口傅立叶、希尔伯特变换、经验模式分解等方法。这些方法的优点是相位提取精度高，缺点是对噪声敏感，并且计算耗时，无法进行实时测量。因此在实际应用中，傅立叶变换轮廓术仍然是主流。

深度学习，特别是卷积神经网络在图像处理领域取得了巨大的成功。对抗生成网络，利用博弈论的思想，同时训练一个生成网络和一个鉴别网络，使得两个网络在对抗中达到平衡，以得到最优的生成效果。对抗生成网络为图像的生成提供了新的思路。

发明内容

本发明的目的在于提供一种实时单帧相位提取方法，解决现有单帧相位提取方法针对低频条纹和突变曲面相位提取精度差的问题。本发明方法主要利用对抗生成网络，以变形条纹图作为输入，生成相应的相位图。

本发明的实现过程如下：

一种实时单帧相位提取方法，包括如下步骤：

1)搭建深度卷积对抗生成网络，确定训练的损失函数；

2)搭建条纹投影测量系统；

3)采集变形条纹图的数据集；

4)计算步骤3)所采集变形条纹图的相位真值；

5)利用步骤1)中的损失函数、步骤3)所采集的数据集和步骤4)计算的相位真值对网络进行训练，最终得到训练好的网络；

6)利用步骤5)训练好的网络，进行实时单帧相位提取。

进一步，所述步骤1)中，首先确定整个网络的功能和拟模拟的函数；其次确定损失函数；最后搭建所述深度卷积对抗生成网络。

进一步，所述步骤1)包括如下步骤：

第一步：首先确定整个网络的功能和拟模拟的函数；

在条纹投影轮廓术中，一个物体为高为h的表面的条纹，在经过相机捕捉到后，变形条纹图的傅立叶级数形式为：

相似的在参考平面上：

其中，r(x,y)和r₀(x,y)是反射率，A_n是第n级傅立叶级数的系数，i是傅立叶级数，n是正整数，f₀是投射频率，

是高度h引起的相位调制，

是初始相位；

令r₀(x,y)＝r(x,y)，

其中，r(x,y)是反射率，g₀(x,y)是参考面上结构光图像的傅立叶表示，A_n是第n级傅立叶级数的系数，i是傅立叶级数，n是正整数，

是高度h引起的相位调制；

由欧拉公式，进一步得

令复数

则有：

g(x,y)＝f(z)

即，g(x,y)是复数z的函数，并且z是一个有界可导函数，所以可以用神经网络很好的模拟上述函数关系；

所以搭建神经网络的输出为z的是实部和虚部；

第二步：确定损失函数；

其生成网络损失函数由L₁损失，L_p毕达哥拉斯损失和L_GAN对抗损失组成：

Loss_G＝λ₁L₁+λ₂L_GAN+λ₃L_p

其中λ₁,λ₂,λ₃为各项系数，并且有：

L₁＝||T(x,y)_gen-T(x,y)_gt||₁,

其中T(x,y)_gen网络的输出，T(x,y)_gt表示真值，g(x,y)是复数z的函数，||...||₁是一范数；

和

为网络生成的z的实部和虚部；

表示求期望，D表示鉴别，G表示生成；

其鉴别器损失为L₁损失；

第三步：搭建所述深度卷积对抗生成网络；

在训练阶段，所述对抗生成网络以变形条纹图为输入；有两个输出，分别为z的实部和虚部

和

进一步，所述步骤2)中，通过数码成像器件和结构光投射器件搭建条纹投影测量系统，两种器件需要工作在同一波段，两者之间具有夹角α，基线距离d；所述结构光投射器件能够投射不同频率的初始相位的结构光图像。

进一步，所述同一波段为可见光波段或者近红外波段；所述夹角α的范围为0°～30°；所述夹角α、基线距离d根据系统需求确定。

进一步，所述步骤3)中，数码成像器件所采集的每一次数据采集，包含多种不同频率变形条纹图，其频率取值范围为[1，f_max]中选取，其中f_max的取值为结构光投射器沿基线方向分辨率的十分之一，每一种频率需要采集多组相位不同的图像，相位间隔为2π/s，其中s为每一种频率采集图像的张数，s大于等于3；然后更换不同类型的对象进行多次采集；所述不同类型为不同形状、不同角度、不同反射率、不同距离中任意一种。

进一步，所述步骤4)数码成像器件每一次采集中的每一组视为一个样本，利用相移法计算每一个样本的相位真值。

进一步，所述相移法计算每一个样本的相位真值的具体过程为：

数码成像器件采集到的第i张相移图像，可以表述为：

其中，a_c(x,y)为背景光强，b_c(x,y)为调制度，

为相位，s为相移步数。

利用相移法计算相位

进一步，所述步骤5)具体包括如下步骤：

第一步：利用步骤4)得到的相位真值

计算z的实部和虚部真值

和

第二步：以变形的条纹图作为输入，以对应的上述真值作为网络训练的输出，以损失函数最小作为优化目标，优化器选用自适应矩估计优化器，开始训练网络；训练过程中，编码网络和生成网络同时训练，统称相位提取网络；相位提取网络和鉴别网络交替训练；

第三步：当生成网络损失函数趋于收敛，不在下降时，停止优化，得到最优相位提取网络。

进一步，所述步骤6)具体包括如下步骤：

第一步：加载相位提取网络预训练的参数；

第二步：数码成像器件实时将采集到的变形条纹图输入训练好的最优相位提取网络，经过网络预测得到z的实部和虚部

和

以后，通过计算z的复角提取相位：

所述的数码成像器件可以是电荷耦合器件(CCD)也可以是互补金属氧化物导体(CMOS)器件,所述结构光投射器件包含但不限于基于数字光器件(DLP)、硅基液晶(LCOS)等数字光学器件，衍射光学元件(DOE)等方案形成的模拟光栅技术，微机电系统(MEMS)技术形成的扫描光栅技术方案。

本发明方法中，通过数码成像器件和结构光投射器件搭建条纹投影测量系统，两种器件需要工作在同一波段，两者之间具有夹角α，当夹角α为0°时，条纹投影测量系统为平行光轴系统。

本发明的积极效果：

(1)相比广泛使用的傅立叶变换轮廓术，本发明对低频变形条纹图、复杂曲面、复杂纹理变化有更好的适应性。

(2)相比窗口傅立叶、经验模式分解等单帧方法，本发明具有更高的计算速度，可以实时完成相位求取。

(3)相比希尔伯特变换和经验模式分解，本发明具有更好的鲁棒性，对噪声具有很好的适应性。

(4)相比直接从变形条纹图预测相位的方法，本方法通过构造等效函数的方法进行间接求取相位，使得神经网络等效模拟一个有界可导函数，求得相位精度更高。

(5)相比全卷积神经网络，本发明增加了毕达哥拉斯损失和对抗损失，细节更丰富，精度更高。

附图说明

图1为条纹投影测量系统，图中，1是成像系统，2是结构光投射系统，3是被测物，z是深度；

图2为示例网络结构。

具体实施方式

下面结合实施例对本发明做进一步说明。

为了解决现有单帧相位提取方法针对低频条纹和突变曲面相位提取精度差的问题，本发明提供一种实时单帧相位提取方法。本发明方法利用对抗生成网络，实现单帧条纹图相位的高精度提取。

为了更为详细的说明本发明方法，本方法给出如下实施例：

1)步骤1，确定神经网络模拟的数，搭建深度卷积对抗生成网络，确定训练的损失函数

在条纹投影轮廓术中，一个物体为高为h的表面的条纹，在经过相机捕捉到后，变形条纹图的傅立叶级数形式为：

相似的在参考平面上：

其中，r(x,y)和r₀(x,y)是反射率，A_n是第n级傅立叶级数的系数，i是傅立叶级数，n是正整数，f₀是投射频率，

是高度h引起的相位调制，

是初始相位；

令r₀(x,y)＝r(x,y)，

其中，r(x,y)是反射率，g₀(x,y)是参考面上结构光图像的傅立叶表示，A_n是第n级傅立叶级数的系数，i是傅立叶级数，n是正整数，

是高度h引起的相位调制；

由欧拉公式，进一步得

令复数

则有：

g(x,y)＝f(z).

即，g(x,y)是复数z的函数，并且z是一个有界可导函数，所以可以用神经网络很好的模拟上述函数关系；

如图2所示，示例网络结构为西蒙塔结构，每部分都包含了一个编码网络和一个解码网络。编码网络经过数层(根据图像的分辨率决定，建议3-6层)的卷积特征提取和降采样，解码网络结构上是编码网络的镜像。两部分的编码网络共享权值，解码网络拥有各自的权重值。在编码网络和解码网络之间，有跳跃快捷连接，即将编码网络中的特征直接复制、叠加到解码网络相应的层中。鉴别网络是全卷积网络，其输出为所鉴别内容的质量的系数。两个生成网络各自拥有一个鉴别网络。

其生成网络损失函数由L₁损失，L_p毕达哥拉斯损失和L_GAN对抗损失组成：

Loss_G＝λ₁L₁+λ₂L_GAN+λ₃L_p

其中λ₁,λ₂,λ₃为各项系数，并且有：

L₁＝||T(x,y)_gen-T(x,y)_gt||₁,

其中，T(x,y)_gen网络的输出，T(x,y)_gt表示真值，||...||₁是一范数。

和

为网络生成的z的实部和虚部。

表示求期望，D表示鉴别，G表示生成。

生成器的损失为L₁损失。

2)步骤2：搭建条纹投影测量系统，见图1

示例方案选用了红外波段作为工作波段。CMOS成像器件，光学镜头，投射器件均工作在红外波段。选用和投影系统的接近视场角的镜头；确定工作距离，调整镜头使得其在设计工作范围内对焦清晰；同步调整α和d，根据系统需求确定，通常α取在[10°,30°]内取值，使得两者拥有较大的清晰、重合视场。

3)步骤3：采集训练数据集

为了使得采集的数据具有多样性，需要采集不同反射率、不同频率、不同相位、不同α角的样本。

可以使用一下步骤完成：

第一步：固定α角，确定采集场景(被测物)，固定投射频率。变换投影相位采集一组相移结构图案。相位间隔为2π/s，其中s为每一种频率采集图像的张数。

第二步：固定α角，确定采集场景(被测物)，变换投射频率，采集一组相移图案。改变投射频率，重复上述步骤，直到选定的频率全部采集结束。本示例方案中选取的f分别为64Hz，16Hz，4Hz，1Hz。

第三步：固定α角，改变采集场景(被测物)，重复上述采集过程。

第四步：改变α角，重复上述采集过程。

4)步骤4：计算所采集变形条纹图的相位真值

相机采集到的第i张相移图像，可以表述为：

其中，a_c(x,y)为背景光强，b_c(x,y)为调制度，

为相位，s为相移步数。

利用相移法计算相位

5)步骤5：利用前述步骤中的损失函数和数据集对网络进行训练。

按以下步骤实现：

第一步：利用上述步骤得到的真值相位计算z的实部和虚部真值

和

第二步：以变形的条纹图作为输入，以对应的上述真值作为网络训练的输出，以损失函数最小作为优化目标，优化器选用自适应矩估计(Adam)优化器，开始训练网络。训练过程中，编码网络和生成网络同时训练，统称相位提取网络。相位提取网络和鉴别网络交替训练。

第三步：当生成网络损失函数趋于收敛，不在下降时，停止优化，得到最优相位提取网络。

6)步骤6：实时单帧相位提取

第一步：加载相位提取网络预训练的参数。此时，不在需要鉴别网络的参数，也不在需要计算损失。

第二步：相机实时将采集到的变形条纹图输入训练好的网络，经过网络预测得到z的实部和虚部

和

以后，通过计算z的复角得到相位：

以上内容是结合具体的优选实施方式对本发明所作出的进一步详细说明，不能认定本发明的具体实施仅限于这些说明。对于本发明所属领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以作出若干简单推演或替换，都应该视为属于本发明的保护范围。

Claims (10)

1.一种实时单帧相位提取方法，其特征在于，包括如下步骤：

1)搭建深度卷积对抗生成网络，确定训练的损失函数；

2)搭建条纹投影测量系统；

3)采集变形条纹图的数据集；

4)计算步骤3)所采集变形条纹图的相位真值；

5)利用步骤1)中的损失函数、步骤3)所采集的数据集和步骤4)计算的相位真值对网络进行训练，最终得到训练好的网络；

6)利用步骤5)训练好的网络，进行实时单帧相位提取。

2.根据权利要求1所述实时单帧相位提取方法，其特征在于：所述步骤1)中，首先确定整个网络的功能和拟模拟的函数；其次确定损失函数；最后搭建所述深度卷积对抗生成网络。

3.根据权利要求2所述实时单帧相位提取方法，其特征在于，所述步骤1)包括如下步骤：

第一步：首先确定整个网络的功能和拟模拟的函数；

在条纹投影轮廓术中，一个物体为高为h的表面的条纹，在经过相机捕捉到后，变形条纹图的傅立叶级数形式为：

相似的在参考平面上：

其中，r(x,y)和r₀(x,y)是反射率，A_n是第n级傅立叶级数的系数，i是傅立叶级数，n是正整数，f₀是投射频率，

是高度h引起的相位调制，

是初始相位；

令r₀(x,y)＝r(x,y)，

其中，r(x,y)是反射率，g₀(x,y)是参考面上结构光图像的傅立叶表示，A_n是第n级傅立叶级数的系数，i是傅立叶级数，n是正整数，

是高度h引起的相位调制；

由欧拉公式，进一步得

令复数

则有：

g(x,y)＝f(z)

即，g(x,y)是复数z的函数，并且z是一个有界可导函数，所以可以用神经网络很好的模拟上述函数关系；

所以搭建神经网络的输出为z的是实部和虚部；

第二步：确定损失函数；

其生成网络损失函数由L₁损失，L_p毕达哥拉斯损失和L_GAN对抗损失组成：

Loss_G＝λ₁L₁+λ₂L_GAN+λ₃L_p

其中λ₁,λ₂,λ₃为各项系数，并且有：

L₁＝||T(x,y)_gen-T(x,y)_gt||₁,

其中T(x,y)_gen网络的输出，T(x,y)_gt表示真值，g(x,y)是复数z的函数，||...||₁是一范数；

和

为网络生成的z的实部和虚部；

表示求期望，D表示鉴别，G表示生成；

其鉴别器损失为L₁损失；

第三步：搭建所述深度卷积对抗生成网络；

在训练阶段，所述对抗生成网络以变形条纹图为输入；有两个输出，分别为z的实部和虚部

和

4.根据权利要求1所述实时单帧相位提取方法，其特征在于：所述步骤2)中，通过数码成像器件和结构光投射器件搭建条纹投影测量系统，两种器件需要工作在同一波段，两者之间具有夹角α，基线距离d；所述结构光投射器件能够投射不同频率的初始相位的结构光图像。

5.根据权利要求4所述实时单帧相位提取方法，其特征在于：所述同一波段为可见光波段或者近红外波段；所述夹角α的范围为0°～30°；所述夹角α、基线距离d根据系统需求确定。

6.根据权利要求1所述实时单帧相位提取方法，其特征在于：所述步骤3)中，数码成像器件所采集的每一次数据采集，包含多种不同频率变形条纹图，其频率取值范围为[1，f_max]中选取，其中f_max的取值为结构光投射器沿基线方向分辨率的十分之一，每一种频率需要采集多组相位不同的图像，相位间隔为2π/s，其中s为每一种频率采集图像的张数，s大于等于3；然后更换不同类型的对象进行多次采集；所述不同类型为不同形状、不同角度、不同反射率、不同距离中任意一种。

7.根据权利要求1所述实时单帧相位提取方法，其特征在于：所述步骤4)数码成像器件每一次采集中的每一组视为一个样本，利用相移法计算每一个样本的相位真值。

8.根据权利要求7所述实时单帧相位提取方法，其特征在于：所述相移法计算每一个样本的相位真值的具体过程为：

数码成像器件采集到的第i张相移图像，可以表述为：

其中，a_c(x,y)为背景光强，b_c(x,y)为调制度，

为相位，s为相移步数。

利用相移法计算相位

9.根据权利要求8所述实时单帧相位提取方法，其特征在于：所述步骤5)具体包括如下步骤：

第一步：利用步骤4)得到的相位真值

计算z的实部和虚部真值

和

第二步：以变形的条纹图作为输入，以对应的上述真值作为网络训练的输出，以损失函数最小作为优化目标，优化器选用自适应矩估计优化器，开始训练网络；训练过程中，编码网络和生成网络同时训练，统称相位提取网络；相位提取网络和鉴别网络交替训练；

第三步：当生成网络损失函数趋于收敛，不在下降时，停止优化，得到最优相位提取网络。

10.根据权利要求9所述实时单帧相位提取方法，其特征在于：所述步骤6)具体包括如下步骤：

第一步：加载相位提取网络预训练的参数；

第二步：数码成像器件实时将采集到的变形条纹图输入训练好的最优相位提取网络，经过网络预测得到z的实部和虚部

和

以后，通过计算z的复角提取相位：

Images