CN114858094B - 一种针对动态物体的学习型单帧莫尔轮廓测量方法 - Google Patents

Abstract

本发明提供了一种针对动态物体的学习型单帧莫尔轮廓测量方法，通过虚拟测量建立大量的数据集，解决了现有技术存在的实际数据采集和打标签的问题。该方法首先对实际系统进行标定，然后根据实际系统的内参和外参矩阵，建立虚拟系统训练与物理测量系统的映射方法，即形成了数字孪生模型。一旦建立了数字孪生模型，把CAD模型输入到数字孪生模型当中，然后通过虚拟测量建立训练数据集，进而可以训练需要的CNN模型，并把它用于实际的物理系统。嫩发明可实现单帧高精度、高可靠投影莫尔相位解调，可进行动态物体三维测量，使用所产生的数据集训练的深度学习网络具有测量精度高，完备性好的优点。

Description

一种针对动态物体的学习型单帧莫尔轮廓测量方法

技术领域

本发明涉及光学精密测量技术领域，进一步涉及投影莫尔技术条纹分析领域，具体涉及一种针对动态物体的学习型单帧莫尔轮廓测量方法。

背景技术

投影莫尔是一种典型的结构光轮廓术，可以非接触地、全场地、高精度地实现物体表面形貌三维重建，并广泛地应用于很多领域，例如机械制造、实验力学和生物医疗。一直以来，相移技术和基于傅里叶变换的方法构成了条纹分析的主要方法。由于使用多帧条纹图补偿了测量噪音，相移算法非常可靠，然而，使用了多帧条纹图，相移技术严重制约了测量速度。因此，在相移投影莫尔系统中，其3D的重建速度比摄像机的帧率慢很多倍。而且，相移技术假定被测物体在条纹相移期间保持静止，否则最终的3D重建结果由于运动的伪影而发生畸变。在另一方面，基于傅里叶变换的方法单次拍摄下可以实现3D重建。然而该技术由于仅使用了一帧条纹图，不可避免的要受到谱泄露、噪音的影响。另外，在被测场景边缘处或表面出现了不连续时，基于傅里叶变换的方法在相位搜索时也会产生问题。总之，发展一种动态物体莫尔轮廓技术充满了挑战。

近年来，随着人工智能技术的进步，深度卷积神经网络为光电三维重建提供了新的途径。与传统的基于模型的3D重建方法相比，例如立体视觉，飞行时间法等，深度神经网络的方法即使在测量条件不足时，也能根据以前的知识实现特征预测(如，预测一张RGB图的深度)。该特点启发了研究者探索深度学习在条纹分析中的应用工作

尽管深度学习在条纹分析当中获得了成功，但是其本质上是一种数据驱动的方法，需要为神经网络输入大量的数据。遗憾的是，建立条纹分析的数据集非常麻烦，因为需要制作和扫描各种各样不同形状的物体。更重要的是，由于不同的测量系统具有不同的光学结构和摄像机-投影仪参数，深度神经网络只能应用于训练过的测量系统。这是由于监督学习模型的一般性误差决定的。例如，如果测量系统A和测量系统B的投影焦距不同，那么投影图案的宽度也不同。因此，使用测量系统A训练的CNN模型是否能正确地根据测量系统B的数据重建相图和3D场景是值得怀疑的。再者，深度学习神经网络是一种“黑箱”的方法。模型中成千上万个参数不能解释，由于结构的差异，如果在端到端的解决方案中，单纯通过计算机模拟产生用于网络训练的大量数据集，则其预测精度受限。而且，使用给定的测量系统训练的CNN无法调整后迁移到另一个系统中。现有技术因当前获得用于具体测量系统条纹分析的CNN模型唯一的途径是使用定制的训练集，而存在着专用数据集需要实际采集和打标签，建立繁琐，同时数据集不通用和预测精度受限的问题。

发明内容

本发明提供了一种针对动态物体的学习型单帧莫尔轮廓测量方法，以解决现有技术存在专用数据集需要实际采集和打标签，建立繁琐，同时数据集不通用和预测精度受限的问题。

为达到上述目的，本发明采用以下技术方案予以实现：一种学习型单帧莫尔轮廓测量方法，包括以下步骤：

步骤1：搭建投影莫尔测量系统，使用测量系统采集被测物体的数帧投影莫尔相移条纹图，利用随机相移技术确定各条纹图间的相移量，进而计算条纹图的背景和振幅；

步骤2：对测量系统进行标定；

步骤3：建立网络用训练高保真的条纹数据集模型；

步骤4：采用Hilbert变换搭建深度学习网络；

步骤5：改变物体CAD模型的位姿，利用条纹数据集模型制作训练用的数据集，对深度学习网络进行训练，得到深度学习网络模型；

步骤6：对被测物体使用训练好的深度学习网络模型进行测量。

上述步骤3的具体内容包括：在坐标系下，计算机里生成被测物体的CAD模型，即可获得被测物的高度信息z(x,y)，定义z(x,y)为：

其中a_i为幅值，f_i为频率，u_i与v_i为正弦波x方向与y方向上的偏导，用以控制当前正弦波的方向，上述所有参数均为随机数；

结合方程(7)，可得条纹图为：

结合公式(8)，可得网络用训练高保真的条纹数据集模型为：

上述步骤4中，所述深度学习网络输入为：

网络输出为三通道RGB图像，其中R通道条纹图为：

G通道为归一化相位分布，G通道条纹图为:

其中N～为归一化处理，

B通道条纹图为：

上述步骤6的具体内容为：

(1)对采集的条纹图进行归一化后可得：

(2)应用步骤5得到的深度学习网络模型，使公式(14)发生相移，得到的条纹图为：

(3)结合公式(14)、(15)可得包裹相位θ(x,y)为：

(4)对包裹相位θ(x,y)进行相位去包裹，可得相位分布

与现有技术相比，本发明的优点是：

1、本发明提出利用深度网络无需硬件地实现条纹图数字相移，然后用相移算法提取相位，把基于模型的分析方法和基于非模型的方法结合起来，互补不足，实现单帧高精度、高可靠投影莫尔相位解调，可进行动态物体三维测量。

2、本发明通过将测量物理系统与虚拟条纹生成系统对应起来，制作了与测量结构相关的数据集，保证了训练用数据集的高保真性。

3、本发明不同于现有方法，而是使用了理论CAD模型，无需额外求解数据标签，使用的数据标签没有测量误差，且可以容易的获得数据标签。

4、由于本方法产生的数据集是定制的，规模可以足够大，因此使用所产生的数据集训练的深度学习网络具有测量精度高，完备性好的特点。

附图说明

图1是莫尔装置的测量原理图；

图2是Hilbert变换网络图；

图3是数字相移网络图；

图4是相位归一化网络图；

图5是二分类判别网络图；

具体实施方式

下面将结合附图和实施对本发明进行详细地描述。

对此，本发明的方法，通过虚拟测量建立大量的数据集，绕过实际数据采集和打标签的麻烦，进而建立一种单帧莫尔测量方法，为发展动态物体莫尔轮廓术测量方法提供途径。该方法首先对实际系统进行标定，然后根据实际系统的内参和外参矩阵，建立虚拟系统训练与物理测量系统的映射方法，即形成了数字孪生模型。一旦建立了数字孪生模型，把CAD模型输入到数字孪生模型当中，然后通过虚拟测量建立训练数据集。进而可以训练需要的CNN模型，并把它用于实际的物理系统。这种虚拟训练的端对端CNN模型由于与测量结构有关，因此与真实数据集训练的模型一样，可以直接应用于不同的物理系统。

一种学习型单帧莫尔轮廓测量方法，包括以下步骤：

步骤1：搭建投影莫尔测量系统，使用测量系统采集被测物体的三帧投影莫尔相移条纹图，利用随机相移技术确定各条纹图间的相移量，进而计算条纹图的背景a(x，y)和振幅b(x，y)。

参见图1，搭建投影莫尔测量系统，在投影光臂上，光源S通过测量光栅G₁产生光栅条纹，经投影镜头L₁将光栅条纹投射至参考平面R；成像光臂上，参考平面R上的光栅条纹经成像镜头L₂，通过参考光栅G₂的交叠作用，工业摄像机记录到莫尔条纹图像。

莫尔条纹图像含有高度信息，因此通过条纹分析识别被测物面上的点和摄像机平面上像素的对应关系，然后可利用三角关系实现被测物体表面的三维重建。

本测量系统共建立了O-xyz、P-x'y'z'、C-x”y”z”三个坐标系表征了系统内各元件的相对位置关系。O-xyz坐标系固定在参考平面R上，坐标系P-x'y'z'、C-x”y”z”分别固定在光栅G₁、G₂上。

首先开启光源，将被测物放到测量视场，利用摄像机记录一帧莫尔条纹图，然后在参考光栅平面内移动参考光栅一定距离，获得第二帧条纹图，重复上述步骤获得第三帧相移条纹图，其表达式如下：

上式中，a(x，y)、b(x，y)、分别为背景、振幅、测量相位，δ₁、δ₂为相移量。

利用随机相移技术，可以确定相移量δ₁,δ₂，此时利用最小二乘相移算法，可以得到未知量a(x,y)、b(x,y)。

步骤2：对测量系统进行标定。

应用张正友相机标定方法，对测量的相机进行标定。

像素坐标与绝对坐标的变换关系可表示为：

上式中，u,v代表像素坐标，x,y,z代表被测物体表明上点的世界坐标，R T代表平移旋转矩阵，A代表摄像机的内参矩阵。因此利用上式(4)可以将被测物体表面上任一点的绝对坐标(x,y)转换为被测点在像平面上的像素坐标(u,v)。

被测物体的z坐标与相位的函数关系可表示为下式：

其中A(u,v)、B(u,v)、D(u,v)为测量系统几何参数和像素坐标有关的矩阵，可通过标定的方法获得，具体为：

加工一个平面标定板，并将其装在位移平台上，可沿z向精确移动。首先将标定板置于参考平面内，此时z₀＝0。向标定板投射光栅阴影，并在参考平面内移动参考光栅两次，获得三帧条纹图，从而可计算φ(u,v)。

重复上述步骤，光栅每次移动一定间距，可得到z₁、z₂、/>···,z_n、/>因此利用最小二乘法可以确定A(u,v),B(u,v)和D(u,v),进而可得高度与相位的转换关系为：

z(x,y)为被测物体的高度信息。

步骤3：建立网络用训练高保真的条纹数据集模型；

在计算机里生产被测物体的CAD模型，即可获得z(x,y)。生成条纹图是一个与测量相反的过程，定义z(x,y)为：

其中a_i为幅值，f_i为频率，u_i与v_i为正弦波x方向与y方向上的偏导，用以控制当前正弦波的方向，上述所有参数均为随机数。

结合上面方程(7)，可得条纹图为：

进而生成的网络用训练高保真的条纹数据集模型为：

步骤4：采用Hilbert变换搭建深度学习网络；

图2为Hilbert变换网络图，所述深度学习网络由数字相移网络、相位归一化网络和二分类判别网络三个子网络组成。工作时，左端输入归一化的莫尔条纹图，右端输出相移π/2的条纹图。由于数字相移网络输出的条纹图存在着符合模糊问题，因此增加了相位归一化网络，并将其输出的归一化相位与相移网络输出的归一化网络经二分网络进行比较，以确定生成的π/2相移条纹图的符号。

如果直接输入归一化条纹图，输出π/2相移条纹图，由于标签的特征较少，生成的相移条纹图易出现断裂及坏点。为了避免该问题，本发明提出一种R、G、B三通道输出方案，其中R通道输出相对输入有π/2相移的条纹图，G通道输出归一化的相位分布B通道输出相对输入有3π/2相移的条纹图。这样由于在网络的输出增加/>归一化的相位分布/>三个标签的信息量，从而避免了条纹断裂和坏点，具体定义为：

网络输入为：

网络输出(标签)为三通道RGB图像，其中R通道条纹图为：

G通道为归一化相位分布(N～为归一化处理):

B通道条纹图为：

数字相移网络采用Res-UNet网络，具体结构如图3所示：

由于R通道会出现条纹图符号模糊问题，即R通道输出为：而B通道输出为：/>同时G通道的归一化相位分布的符号相对真值取反。因此，根据G通道输出特点，又增设了一个相位归一化网络，用于判断输出条纹图的符号。

相位归一化网络的设计思路为，首先输入归一化条纹图，通过Res-UNet网络，得到归一化的相位分布N_D。然后利用二分类判别网络，参见图5，判别数字相移网络G通道的输出与该归一化相位分布的符号，如果二者符号相同，则置判别系数K等于1，R通道即为π/2相移条纹图；反之，取判别系数K等于0，此时B通道输出即为π/2相移条纹图，从而解决了条纹图符号模糊的问题。相位归一化网络结构如图4所示，

其中，网络输入为标签T为归一化相位分布：/>

二分类判别网络采用res-Net18网络。其由18个res-Net级联而成，输出层的激活函数为Sigmoid函数，具体如图5所示。判别网络的上通道的输入为数字相移网络G通道的输出I_G(x,y)，下通道为相位归一化网络的输出N_D，输出为判别系数K。

步骤5：改变物体CAD模型的位姿，或引入新的CAD模型，利用条纹数据集模型制作训练用的数据集，对深度学习网络进行训练，得到深度学习网络模型；

步骤6：对被测物体使用训练好的深度学习网络模型进行测量。

测量时首先对采集的条纹图进行归一化后可得：

应用发明的深度学习网络，数字地使公式(14)发生相移，并表示转换的条纹图为：

因此可得包裹相位θ(x,y)为：

显然对包裹相位θ(x,y)进行相位去包裹，即可得相位分布

Claims (3)

1.一种针对动态物体的学习型单帧莫尔轮廓测量方法，其特征在于：包括以下步骤：

步骤1：搭建投影莫尔测量系统，使用测量系统采集被测物体的数帧投影莫尔相移条纹图，利用随机相移技术确定各条纹图间的相移量，进而计算条纹图的背景和振幅；

步骤2：对测量系统进行标定；

步骤3：建立网络用训练高保真的条纹数据集模型；

步骤4：采用Hilbert变换搭建深度学习网络；

步骤5：改变物体CAD模型的位姿，利用条纹数据集模型制作训练用的数据集，对深度学习网络进行训练，得到深度学习网络模型；

步骤6：对被测物体使用训练好的深度学习网络模型进行测量；

上述步骤3的具体内容包括：在坐标系下，计算机里生成被测物体的CAD模型，即可获得被测物的高度信息z(x,y)，定义z(x,y)为：

其中a_i为幅值，f_i为频率，u_i与v_i为正弦波x方向与y方向上的偏导，用以控制当前正弦波的方向，上述所有参数均为随机数；

结合方程(7)，可得条纹图为：

结合公式(8)，可得网络用训练高保真的条纹数据集模型为：

2.根据权利要求1所述的一种针对动态物体的学习型单帧莫尔轮廓测量方法，其特征在于：步骤4中，所述深度学习网络输入为：

为相位分布；

网络输出为三通道RGB图像，其中R通道条纹图为：

G通道为归一化相位分布，G通道条纹图为:

其中N～为归一化处理，

B通道条纹图为：

。

3.根据权利要求2所述的一种针对动态物体的学习型单帧莫尔轮廓测量方法，其特征在于：步骤6的具体内容为：

(1)对采集的条纹图进行归一化后可得：

(2)应用步骤5得到的深度学习网络模型，使公式(14)发生相移，得到的条纹图为：

(3)结合公式(14)、(15)可得包裹相位θ(x,y)为：

(4)对包裹相位θ(x,y)进行相位去包裹，可得相位分布