CN106767531B - 一种二维运动物体的三维测量方法及装置 - Google Patents

Abstract

本发明涉及一种二维运动物体的三维测量方法及装置，其中的测量方法包括：依次向待测运动物体投射N组正弦波条纹，相应获取正弦波条纹经待测运动物体表面反射所形成的N幅物体条纹图；去除N幅物体条纹图中的周期性条纹，并对已去除周期性条纹的物体条纹图进行特征点提取，计算出描述物体运动的旋转平移矩阵；根据未去除周期性条纹的物体条纹图、旋转平移矩阵以及带有物体运动信息的三维重构模型，计算运动物体的相位信息；根据运动物体的相位信息以及相位‑高度转换关系，计算出物体的三维信息。本发明通过自动追踪待测物体的运动，通过采用特征点提取来获取物体运动的旋转平移矩阵，最终重构待测运动物体，实现了运动物体测量的完全自动化。

Description

一种二维运动物体的三维测量方法及装置

技术领域

本发明涉及一种二维运动物体的三维测量方法及装置，属于三维测量技术领域。

背景技术

近年来，基于相移法(Phase shifting profilometry-PSP)的三维测量技术引起了国内外的广泛关注。典型的相移法三维测量系统包含一个投影仪和一个工业相机，投影仪投射多幅(至少三幅)具有特定相移的正弦波条纹到被测物体表面，然后使用工业相机拍摄被物体表面反射回来的条纹图像。由于物体表面不同的高度将导致正弦波条纹发生不同程度的形变，通过条纹分析和相位提取算法计算正弦波条纹中的相位信息，最终利用相位-高度转换公式计算物体的高度分布，重构物体三维信息。相移法因为投射了多幅条纹图像来获取物体的高度信息，因此具有非接触、高精度和高鲁棒性等优点。但也因为需要投射多幅条纹图像，相移法要求被测物体在测量过程中保持静止不动。如果被测物体发生移动，多幅条纹图像间的物体图像将发生偏移，物体上同一点的相移量也将发生变化，这将导致相位提取这一关键步骤发生计算错误，物体三维重构失败。

哈佛大学团队S.Zhang和S.T.Yau对传统相移法做出改进，提出2+1式相移法来测量运动物体(High-speed three-dimensional shape measurement system using amodified two-plus-one phase-shifting algorithm)。由于传统相移法的三维重构要求至少投射三幅正弦波条纹图像到物体表面，这是导致被测物体在测量过程中不能发生运动的主要原因。投射的条纹图像越多，对静止物体进行三维重构的精度越高，系统鲁棒性越强，但物体运动引起的误差越严重。因此，减少投影条纹图数量可以显著减轻由物体运动引起的测量误差，该算法通过投射两幅正弦波条纹图像和一幅无条纹的背景光图像来测量运动物体。由于被测物体的三维信息仅包含在两幅正弦波条纹图像中，在一定程度上减轻了物体运动造成的测量误差。然而，该方法没有从根本上完全解决运动物体三维测量中存在的问题。

华中科技大学团队E.Hu和Y.He提出改进的FTP方法来测量匀速同方向的二维运动的物体(Surface profile measurement of moving objects by using an improvedπphase-shifting Fourier transform profilometry)。此方法将两幅相移为π的正弦波条纹图像并列合并成一幅图像投射到物体上，当物体做匀速同方向的运动依次通过两幅条纹图时，使用逐线扫描相机分别进行拍摄，此时就获得了两幅相移为π的物体条纹图像。为了找到两幅图像中物体的对应关系，该方法要求物体做匀速同方向的二维运动，且运动方向与线扫描相机的扫描方向垂直。此方法依然需要两幅条纹图像来重构物体，并且物体只能做匀速同方向的二维运动。

Lei Lu等人提出了一种采用相移法来提高移动物体三维测量精度的方法(Newapproach to improve the accuracy of 3-D shape measurement of moving objectusing phase shifting profilometry)，通过分析物体的二维运动对物体条纹图的影响，得到新的带有物体运动信息的三维重构模型。该模型在已知物体二维运动的旋转平移矩阵的前提下，可对二维运动的物体进行精确三维重构。但该方法在追踪物体运动时使用标记点法，需事先将标记点粘贴于物体表面，不能完全实现测量的自动化。

通过直接提高条纹投影和拍摄速度是从硬件上直接改善运动物体三维测量效果，美国爱荷华大学团队采用速度高达5000帧/秒的高速相机来测量运动物体。由于测量速度快，物体在多幅条纹图像中可以被认为静止不动，因此大大改善了运动物体的测量效果。然而，此方法仍然需要限制物体运动速度，且高速相机等设备价格昂贵。

综上所述，运动物体的三维测量是备受关注的焦点问题，且已经成为扩展三维测量应用范围的瓶颈。现存技术从不同角度进行了有益的探索，但没有从原理上、根本上解决问题。现存技术主要存在以下问题：

1)传统相移法的三维重构模型无法应用于运动物体测量。传统相移法的三维重构模型从根本上要求多幅条纹图像，并且模型中没有考虑物体发生运动的情况，模型中不能体现物体的运动信息。为了测量移动物体，现有技术做了如减少重构条纹图数量的尝试，但仍需要至少两幅条纹图，没有从根本上解决物体运动引起的测量误差。另外，条纹图数量减少意味着有效信息减少，导致测量精度、系统鲁棒性降低。

2)虽然已经有改进的相移法三维重构模型引入了物体的二维运动信息，在已知物体运动的数学描述的前提下可以精确重构物体三维信息，但物体的运动追踪是靠在物体表面粘贴标记点的方法来实现，无法自动测量物体的三维信息。

3)限定物体运动的方向与速度。现存方法往往假设物体运动为匀速或同方向等，不仅造成测量精度受假设条件与物体实际运动不符的影响，还导致实际应用范围受限。

4)成本高。利用价格昂贵的高速相机和投影仪可以从硬件角度上改善物体运动对三维测量造成的误差影响，但没有从根本原理上解决问题，且导致系统成本显著增加。

发明内容

本发明的目的是提供一种二维运动物体的三维测量方法及装置，用于解决需要事先将标记点粘贴于待测物体表面，不能完全实现运动物体三维测量的自动化这一技术问题。

为解决上述技术问题，本发明提供了一种二维运动物体的三维测量方法，包括以下方案：

方法方案一：包括以下步骤：

步骤1，依次向待测运动物体投射N组正弦波条纹，相应获取所述正弦波条纹经待测运动物体表面反射所形成的N幅物体条纹图；

步骤2，去除所述N幅物体条纹图中的周期性条纹，并对所述已去除周期性条纹的物体条纹图进行特征点匹配和提取，计算出描述物体运动的旋转平移矩阵；

步骤3，根据所述未去除周期性条纹的物体条纹图、所述旋转平移矩阵以及带有物体运动信息的三维重构模型，计算运动物体的相位信息；

步骤4，根据所述运动物体的相位信息以及相位-高度转换关系，计算出物体的三维信息。

方法方案二：在方法方案一的基础上，步骤2中采用SIFT算法对所述已去除周期性条纹的物体条纹图进行特征点匹配和提取。

方法方案三、四：分别在方法方案一、二的基础上，步骤2中采用奇异值分解法计算所述旋转平移矩阵。

方法方案五、六：分别在方法方案三、四的基础上，步骤1中所述N组正弦波条纹可表示为：

其中，n＝1,2,3,…,N，s_n(x,y)为第n组正弦波条纹的二维坐标，x和y分别表示正弦波条纹的二维坐标的横坐标和纵坐标，a为待测运动物体的环境光强度，b为正弦波的强度调制，φ(x,y)为第n组正弦波条纹的相位分布。

方法方案七、八：分别在方法方案三、四的基础上，步骤1中N幅物体条纹图可表示为：

其中，n＝1,2,3,…,N，d_n(x,y)为第n幅物体条纹图的二维坐标，x和y分别表示物体条纹图的二维坐标的横坐标和纵坐标，a为待测运动物体的环境光强度，b为正弦波的强度调制，φ(x,y)为第n幅物体条纹图的相位分布，Φ(x,y)为待测运动物体的高度引起的相位差。

本发明还提供了一种二维运动物体的三维测量装置，包括以下方案：

装置方案一：该装置包括：

用于依次向待测运动物体投射N组正弦波条纹，相应获取所述正弦波条纹经待测运动物体表面反射所形成的N幅物体条纹图的模块；

用于去除所述N幅物体条纹图中的周期性条纹，并对所述已去除周期性条纹的物体条纹图进行特征点匹配和提取，计算出描述物体运动的旋转平移矩阵的模块；

用于根据所述未去除周期性条纹的物体条纹图、所述旋转平移矩阵以及带有物体运动信息的三维重构模型，计算运动物体的相位信息的模块；

用于根据所述运动物体的相位信息以及相位-高度转换关系，计算出物体的三维信息的模块。

装置方案二：在装置方案一的基础上，采用SIFT算法对所述已去除周期性条纹的物体条纹图进行特征点匹配和提取。

装置方案三、四：分别在装置方案一、二的基础上，采用奇异值分解法计算所述旋转平移矩阵。

装置方案五、六：分别在装置方案三、四的基础上，所述N组正弦波条纹可表示为：

其中，n＝1,2,3,…,N，s_n(x,y)为第n组正弦波条纹的二维坐标，x和y分别表示正弦波条纹的二维坐标的横坐标和纵坐标，a为待测运动物体的环境光强度，b为正弦波的强度调制，φ(x,y)为第n组正弦波条纹的相位分布。

装置方案七、八：分别在装置方案三、四的基础上，N幅物体条纹图可表示为：

其中，n＝1,2,3,…,N，d_n(x,y)为第n幅物体条纹图的二维坐标，x和y分别表示物体条纹图的二维坐标的横坐标和纵坐标，a为待测运动物体的环境光强度，b为正弦波的强度调制，φ(x,y)为第n幅物体条纹图的相位分布，Φ(x,y)为待测运动物体的高度引起的相位差。

本发明的有益效果是：通过对已去除周期性条纹的物体条纹图进行特征点提取，进而计算出描述物体运动的旋转平移矩阵，然后根据未去除周期性条纹的物体条纹图、旋转平移矩阵以及带有物体运动信息的三维重构模型，计算运动物体的相位信息，再根据运动物体的相位信息以及相位-高度转换关系，计算出物体的三维信息。本发明可以自动追踪待测物体的运动，通过采用特征点提取来获取物体运动的旋转平移矩阵，避免了现有技术中需要先将标记点粘贴于物体表面才能计算出物体运动的旋转平移矩阵的情况，实现了运动物体的完全自动化测量。

附图说明

图1为运动物体的自动三维测量流程图；

图2-1为物体条纹图像；

图2-2为计算机中读取的物体条纹图像强度分布图；

图2-3为已去除周期性条纹的物体条纹图像；

图3为SIFT算法特征点的匹配效果；

图4-1为传统相移法的重构结果；

图4-2为本发明的重构结果。

具体实施方式

下面结合附图和具体的实施例对本发明进行详细说明。

运动物体的自动三维测量的流程图如图1所示，具体包括以下步骤：

第一步：采用N步相移法对待测运动物体进行测量，依次向待测运动物体投射N组正弦波条纹，相应获取每组正弦波条纹经待测运动物体表面反射所形成的N幅物体条纹图。

具体的，N组正弦波条纹可表示为：

其中，N为不小于3的正整数，n＝1,2,3,…,N，s_n(x,y)为第n组正弦波条纹的二维坐标，x和y分别表示正弦波条纹的二维坐标的横坐标和纵坐标，a为待测运动物体的环境光强度，b为正弦波的强度调制，φ(x,y)为第n组正弦波条纹的相位分布。

N组正弦波条纹依次被投射到待测运动物体表面上，因为物体高度的变化，经待测运动物体表面的反射作用，正弦波条纹发生了形变，此形变表现为正弦波条纹相位的改变，采用相机依次拍摄正弦波条纹经待测运动物体表面反射所形成的N幅物体条纹图。在每一幅物体条纹图中，既包含了物体的高度信息，又包含了物体的运动信息。其中，图2-1给出了某幅相机拍摄的物体条纹图像，计算机中读取的物体条纹图像强度分布图如图2-2所示。

具体的，N幅物体条纹图可表示为：

其中，d_n(x,y)为第n幅物体条纹图的二维坐标，Φ(x,y)为待测运动物体的高度引起的相位差。

由于N步相移法属于三维测量技术中典型方法，对于在获取物体条纹图过程中需要遵守的规则和注意细节此处不再做详细介绍。

第二步：去除N幅物体条纹图中的周期性条纹，并对已去除周期性条纹的物体条纹图进行特征点匹配和提取，计算出描述物体运动的旋转平移矩阵。

利用图像处理方法去除物体图像中的周期性条纹，仅留下物体图像。对于图2-2所示的物体条纹图像，去除该图中的周期性条纹，其效果如图2-3所示。此步为自动追踪物体运动做准备，由于条纹图像会影响计算机自动识别物体的特征，因此，根据投射条纹的频率，利用滤波器滤掉条纹信息，仅在图像中留下物体信息。

在本实施例中，具体采用SIFT算法也称为尺度不变特征转换法在N幅已去除周期性条纹的物体条纹图中进行特征点匹配，找出N幅图像中的特征点。对于图2-3中已去除周期性条纹的物体条纹图，SIFT算法特征点的匹配效果如图3所示。当然才可以采用现有技术中的其他方法对已去除周期性条纹的物体条纹图像进行特征点匹配和提取。

根据SIFT算法自动匹配得到的特征点，计算这些特征点在物体运动前后的二维坐标变化，然后再根据奇异值分解法(singular value decomposition-SVD)计算描述物体运动的旋转平移矩阵。假设物体运动前后匹配的第j组特征点分别为：

其中，P_j为物体运动前的特征点，Q_j为对应匹配的物体运动后的特征点，J为匹配特征点的组数。

P_j和Q_j的关系可以表示为：

其中，V_j为误差向量，和为描述物体运动的旋转平移矩阵，和的表达式为：

为了计算旋转平移矩阵和我们定义以下变量：

和可通过计算以下最小平方误差得到：

在公式(8)中，当最后一项最大时，公式(8)的值最小，即使的迹最大，其中相关矩阵H为

假设将H做奇异值分解得到H＝UΛV^T，则使的迹最大的旋转矩阵和平移矩阵可分别表示为：

至此，旋转平移矩阵和已计算出来。

在不同的图像中已提取出物体特征点的情况下，根据特征点的位置变化计算待测移动物体的旋转平移矩阵的详细步骤也可参见背景技术中Lei Lu等人提出的采用相移法来提高移动物体三维测量精度的方法。

第三步：根据拍摄到的未去除周期性条纹的物体条纹图、描述物体运动的旋转平移矩阵以及带有物体运动信息的三维重构模型，计算运动物体的相位信息。

通过将物体的运动信息和未去除周期性条纹的物体条纹图代入改进的带有物体运动信息的三维重构模型，提取重构物体三维信息所需的相位信息。

具体的，改进的运动运动物体三维重构所需的相位可表示为：

其中，

d_n(x,y)为拍摄到的运动物体的第n幅物体条纹图像，N为拍摄到的条纹图像总数，和分别表示第n幅物体条纹图像中的特征点的横坐标和纵坐标，和的求解过程如下：

令ξ-η表示一个新的二维坐标系，并代表物体运动后的坐标，则二维坐标系ξ-η与二维坐标系x-y之间的关系可表示为：

将公式(5)带入公式(13)中，可得其中

由于变量可由任意字母来表示，公式(14)中的(ξ，η)可用(x，y)来替换。因此，由旋转平移矩阵和以及公式(14)，即可计算出和

将未去除周期性条纹的物体条纹图和描述物体运动的旋转平移矩阵代入带有物体运动信息的三维重构模型，以计算运动物体的相位信息的更详尽的步骤和过程参见背景技术中Lei Lu等人提出的采用相移法来提高移动物体三维测量精度的方法。

当然，若待测物体为静止物体，此时拍摄到的物体条纹图无需再进行去除周期性条纹以及计算旋转平移矩阵的步骤，可直接将拍摄到的物体条纹图带入到改进的三维重构模型中，进而得到待测物体的相位信息。

第四步，根据运动物体的相位信息以及相位-高度转换关系，计算出物体的三维信息。

由于第四步中相位-高度转换关系以及根据该转换关系和运动物体的相位对物体进行重构的方法属于现有技术，此处不再赘述。图4-1给出了传统相移法的重构结果，本方法的重构结果如图4-2所示。

运动物体的自动三维测量算法可测量任意二维运动物体的三维信息，打破了以往算法中对物体运动速度和方向的限制，从条纹图的投射到物体三维信息的重构无需人为参与，整个测量过程自动进行，且避免了使用价格昂贵的高速相机和投影仪，降低了使用成本。本方法有效提高了三维测量算法的实用性，对三维测量的应用和推广有积极推动作用。

本发明还提供了一种二维运动物体的三维测量装置，包括：

用于依次向待测运动物体投射N组正弦波条纹，相应获取正弦波条纹经待测运动物体表面反射所形成的N幅物体条纹图的模块；

用于去除N幅物体条纹图中的周期性条纹，并对已去除周期性条纹的物体条纹图进行特征点匹配和提取，计算出描述物体运动的旋转平移矩阵的模块；

用于根据未去除周期性条纹的物体条纹图、旋转平移矩阵以及带有物体运动信息的三维重构模型，计算运动物体的相位信息的模块；

用于根据运动物体的相位信息以及相位-高度转换关系，计算出物体的三维信息的模块。

上述二维运动物体的三维测量装置，实际上是建立在二维运动物体的三维测量方法上的一种计算机解决方案，即一种软件构架，该软件可以运行于物体监控或跟踪设备中。由于已对上述的二维运动物体的三维测量方法进行了足够清晰完整的介绍，故对该装置中的每个模块不再做详细描述。

Claims (8)

1.一种二维运动物体的三维测量方法，其特征在于，包括以下步骤：

步骤1，依次向待测运动物体投射N组正弦波条纹，相应获取所述正弦波条纹经待测运动物体表面反射所形成的N幅物体条纹图；

步骤2，去除所述N幅物体条纹图中的周期性条纹，并对已去除周期性条纹的物体条纹图进行特征点匹配和提取，计算出描述物体运动的旋转平移矩阵；

步骤3，根据所述未去除周期性条纹的物体条纹图、所述旋转平移矩阵以及带有物体运动信息的三维重构模型，计算运动物体的相位信息；

步骤4，根据所述运动物体的相位信息以及相位-高度转换关系，计算出物体的三维信息；

步骤2中采用SIFT算法对所述已去除周期性条纹的物体条纹图进行特征点匹配和提取；

步骤2中的去除所述N幅物体条纹图中的周期性条纹是根据投射条纹的频率，利用滤波器滤掉条纹信息，仅在图像中留下物体信息。

2.根据权利要求1所述的二维运动物体的三维测量方法，其特征在于，步骤2中所述旋转平移矩阵是采用奇异值分解法计算的。

3.根据权利要求2所述的二维运动物体的三维测量方法，其特征在于，步骤1中所述N组正弦波条纹可表示为：

其中，n＝1,2,3,…,N，s_n(x,y)为第n组正弦波条纹的二维坐标，x和y分别表示正弦波条纹的二维坐标的横坐标和纵坐标，a为待测运动物体的环境光强度，b为正弦波的强度调制，φ(x,y)为第n组正弦波条纹的相位分布。

4.根据权利要求2所述的二维运动物体的三维测量方法，其特征在于，步骤1中N幅物体条纹图可表示为：

其中，n＝1,2,3,…,N，d_n(x,y)为第n幅物体条纹图的二维坐标，x和y分别表示物体条纹图的二维坐标的横坐标和纵坐标，a为待测运动物体的环境光强度，b为正弦波的强度调制，φ(x,y)为第n幅物体条纹图的相位分布，Φ(x,y)为待测运动物体的高度引起的相位差。

5.一种二维运动物体的三维测量装置，其特征在于，包括：

用于依次向待测运动物体投射N组正弦波条纹，相应获取所述正弦波条纹经待测运动物体表面反射所形成的N幅物体条纹图的模块；

用于去除所述N幅物体条纹图中的周期性条纹，并对已去除周期性条纹的物体条纹图进行特征点匹配和提取，计算出描述物体运动的旋转平移矩阵的模块；

用于根据所述未去除周期性条纹的物体条纹图、所述旋转平移矩阵以及带有物体运动信息的三维重构模型，计算运动物体的相位信息的模块；

用于根据所述运动物体的相位信息以及相位-高度转换关系，计算出物体的三维信息的模块；采用SIFT算法对所述已去除周期性条纹的物体条纹图进行特征点匹配和提取；

去除所述N幅物体条纹图中的周期性条纹是根据投射条纹的频率，利用滤波器滤掉条纹信息，仅在图像中留下物体信息。

6.根据权利要求5所述的二维运动物体的三维测量装置，其特征在于，所述旋转平移矩阵是采用奇异值分解法计算的。

7.根据权利要求6所述的二维运动物体的三维测量装置，其特征在于，所述N组正弦波条纹可表示为：

其中，n＝1,2,3,…,N，s_n(x,y)为第n组正弦波条纹的二维坐标，x和y分别表示正弦波条纹的二维坐标的横坐标和纵坐标，a为待测运动物体的环境光强度，b为正弦波的强度调制，φ(x,y)为第n组正弦波条纹的相位分布。

8.根据权利要求6所述的二维运动物体的三维测量装置，其特征在于，N幅物体条纹图可表示为：

其中，n＝1,2,3,…,N，d_n(x,y)为第n幅物体条纹图的二维坐标，x和y分别表示物体条纹图的二维坐标的横坐标和纵坐标，a为待测运动物体的环境光强度，b为正弦波的强度调制，φ(x,y)为第n幅物体条纹图的相位分布，Φ(x,y)为待测运动物体的高度引起的相位差。