CN112233225B - 基于相位相关匹配的平移运动物体三维重建方法和系统 - Google Patents

Abstract

本发明公开了一种基于相位相关匹配的平移运动物体三维重建方法和系统，方法包括：设计并投影均值偏移条纹图案，基于过采样相位相关方法进行区域亚像素配准，对齐物体在不同位置时的调制条纹图；补偿由相位引起的运动误差，实现三维重建。本发明不需要任何图案标记，不要求物体表面具有可识别的特征，能够实现完全自动的、无人工干预的准确三维重建。

Description

基于相位相关匹配的平移运动物体三维重建方法和系统

技术领域

本发明涉及平移运动物体三维重建技术领域，尤其涉及一种基于相位相关匹配的平移运动物体三维重建方法和系统。

背景技术

数字条纹投影是一种利用主动视觉机制的高可靠性三维重建方法，傅立叶变换术和相移变换术是分析投影条纹的两种重要方法；傅立叶变换术最少使用一张投影条纹，适用于运动目标的三维重建，但由于单张条纹本身易受干扰，因此难以实现精确测量；而相移变换术最少使用三张条纹，通过消除零频分量得到条纹的编码相位，利用相位表示物体表面的变形程度，因此相移变换术适用于静止物体的高精度重建。当采用多张投影的相移变换术应用于平移运动物体的三维重建时，运动物体在每一帧中的位移不同，借助于相位的三维重建会出现两种误差，第一种是在不同图像中物体表面不重合，第二种是运动在拍摄的相邻条纹图像中引入了运动相位误差。

因此，如何有效的对平移运动物体进行三维重建，是一项亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种基于相位相关匹配的平移运动物体三维重建方法，不需要任何图案标记，不要求物体表面具有可识别的特征，能够实现完全自动的、无人工干预的准确三维重建。

本发明提供了一种基于相位相关匹配的平移运动物体三维重建方法，包括：

设计并投影均值偏移条纹图案；

基于过采样相位相关方法进行区域亚像素配准；

对齐物体在不同位置时的调制条纹图；

补偿由相位引起的运动误差，实现三维重建。

优选地，所述设计并投影均值偏移条纹图案，包括：

基于相移轮廓术设计均值偏移条纹图案，并通过数字光处理技术将所述条纹图案投影到平移运动物体表面。

优选地，所述基于过采样相位相关方法进行区域亚像素配准，包括：

通过灰度阈值分割法，结合阈值确定条纹图案中的物体区域掩模图像，并基于过采样相位相关算法，确定各个掩模图像的亚像素级平移量。

优选地，所述对齐物体在不同位置时的调制条纹图，包括：

基于掩模图像的亚像素级平移量，以第一张条纹图案为标准，逆向平移其余条纹图案，与所述第一张条纹图案完全对齐。

优选地，所述补偿由相位引起的运动误差，实现三维重建，包括：

基于参考平面绝对相位图，结合掩模图像的亚像素级平移量计算相位误差，在像素级的水平实现运动误差相位补偿，得到正确的物体包裹相位图；

参考平面与物体的空间分布，基于所述参考平面绝对相位图将物体的所述包裹相位图转换成绝对相位图，实现三维重建。

一种基于相位相关匹配的平移运动物体三维重建系统，包括：

设计模块，用于设计并投影均值偏移条纹图案；

配准模块，用于基于过采样相位相关方法进行区域亚像素配准；

对齐模块，用于对齐物体在不同位置时的调制条纹图；

重建模块，用于补偿由相位引起的运动误差，实现三维重建。

优选地，所述设计模块具体用于：

基于相移轮廓术设计均值偏移条纹图案，并通过数字光处理技术将所述条纹图案投影到平移运动物体表面。

优选地，所述配准模块具体用于：

通过灰度阈值分割法，结合阈值确定条纹图案中的物体区域掩模图像，并基于过采样相位相关算法，确定各个掩模图像的亚像素级平移量。

优选地，所述对齐模块具体用于：

基于掩模图像的亚像素级平移量，以第一张条纹图案为标准，逆向平移其余条纹图案，与所述第一张条纹图案完全对齐。

优选地，所述重建模块具体用于：

基于参考平面绝对相位图，结合掩模图像的亚像素级平移量计算相位误差，在像素级的水平实现运动误差相位补偿，得到正确的物体包裹相位图；

参考平面与物体的空间分布，基于所述参考平面绝对相位图将物体的所述包裹相位图转换成绝对相位图，实现三维重建。

综上所述，本发明公开了一种基于相位相关匹配的平移运动物体三维重建方法，当需要对平移运动物体进行三维重建时，首先设计并投影均值偏移条纹图案，然后基于过采样相位相关方法进行区域亚像素配准，对齐物体在不同位置时的调制条纹图；补偿由相位引起的运动误差，实现三维重建。本发明不需要任何图案标记，不要求物体表面具有可识别的特征，能够实现完全自动的、无人工干预的准确三维重建。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明公开的一种基于相位相关匹配的平移运动物体三维重建方法的流程图；

图2为传统相移轮廓术和本发明提出的方法仿真结果比较示意图；

图3为基于本发明提出的方法重建的塑料杯盖示意图；

图4为基于本发明提出的方法重建的脸谱示意图；

图5为本发明公开的一种基于相位相关匹配的平移运动物体三维重建系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明公开的一种基于相位相关匹配的平移运动物体三维重建方法的流程图，所述方法可以包括以下步骤：

S101、设计并投影均值偏移条纹图案；

首先，设计并投影均值偏移条纹图案。其中，均值偏移条纹设计如下式：

当a(x,y)＝b(x,y)＝0.5时，则归一化后的I_n∈[0,1]。为了利用单张条纹图从背景区域中获取物体掩模，这里均值偏移条纹设计可以改写为：

这里a′的取值范围为[0,1]。考虑到实验中背景亮度较低，并且为使得编码图案充分的利用灰度空间，本实验中a′＝0.6，则I_n∈[0.2,1]；因此可以利用阈值Th＝0.2分离物体区域和暗黑的背景区域，确定物体区域掩模。

S102、基于过采样相位相关方法进行区域亚像素配准；

基于过采样相位相关方法的，假设2-D物体掩模图像g₁(x,y)在2-D空间内移动(Δx,Δy)，得到新的2-D物体掩模图像g₂(x,y)，再进行离散傅立叶变换，可表示成：

因此，两个掩模图像的归一化互相关矩阵可计算得到：

这里上标*表示复共轭，G₁(u,v)和G₂(u,v)分别是图像g₁(x,y)和g₂(x,y)的傅立叶变换形式，(M,L)是图像整像素大小。因此，对Q(u,v)进行傅立叶逆变换，可得到下式：

q(x,y)＝δ(x+Δx,y+Δy)；

因此，图像g₁(x,y)与g₂(x,y)之间的位移可以得到，上述的配准方法被称为相位相关配准。然而上述相位相关配准只能确定整像素的平移，为此需要实现亚像素级的过采样相位相关：

假设k₁、k₂分别是2-D平面x和y方向上的过采样因子，因此两个掩模图像的归一化互相关矩阵被转换成过采样的归一化互相关矩阵，这里给出二维离散形式：

在由补零完成过采样的图像上，完成傅立叶逆变换并表示成二维离散形式：

即，q(x,y)＝δ(x+k₁Δx,y+k₂Δy)；

因此，在x和y方向上提高了位移识别的分辨率k₁、k₂倍，设置过采样因子就可实现亚像素级的位移测量。

S103、对齐物体在不同位置时的调制条纹图；

本发明提出的偏移型PSP中，投影的编码条纹经过物体表面反射以及环境光的影响之后，由相机成像的2-D条纹可表示成：

由上式可计算得到物体的包裹相位图为：

当物体在2-D平面上平移运动时，通过三步PSP条纹成像，可得到关于物体在不同位置时产生的条纹调制图：

以第一步条纹为参考，利用亚像素定位方法解算物体在N步条纹中的位移为(Δx_n,Δy_n)，其中(Δx₁,Δy₁)＝(0,0)；利用已知位移(Δx_n,Δy_n)，令：

这里以N＝3为例，将第二步和第三步条纹图像与第一步条纹图像配准；

S104、补偿由相位引起的运动误差，实现三维重建。

在上式中，A,B,φ,是未知量，为求解物体的包裹相位φ，需要求解运动引入的相位/>则物体的真实包裹相位可通过下述方式求取，这里省略了(x,y)：

记：

D₁₂＝I₁-I₂；D₁₃＝I₁-I₃；

由于物体在2-D平面上运动，首先采取静态PSP方法获取相同空间位置参考平面的绝对相位图借助测量的亚像素位移(Δx_n,Δy_n)和绝对参考平面相位/>计算运动引入的相位误差：

计算得到正确物体包裹相位φ后，结合绝对参考平面相位利用下式得到物体的绝对解包裹相位φ′：

φ′(x,y)＝φ(x,y)+c(x,y)*2π

这里，符号floor[·]是向下取整数。

为进一步验证本发明的有效性，下面在MATLAB中进行运动物体表面重建仿真以分析验证本发明方法的有效性。半径为200mm的半球被放置2-D平面上的任意位置，在仿真1pixel表示1mm；在三步PSP中(即N＝3)，半球被平移到不同的位置。传统PSP方法的模型重建表面展示在图2(a)。在本发明提出的技术中，检测到物体从第一步到第二步时，在x方向平移了15mm，在y方向平移了15mm；而物体由第二步到第三步时，在x方向平移了30mm，在y方向平移了30mm，利用本发明提出的方法重建的物体表面如图2(b)所示。从仿真上证实了本发明所提出方法的有效性。

为进一步验证本发明的有效性，下面以具体的实验进行验证：

在第一个实验中，一个塑料杯盖在2-D平面上平移，利用DLP投影仪投影三张相移条纹，并由相机记录杯盖在三个位置的图案，由过采样相位相关算法检测物体图像的两次2-D移动位移分别为(4.17pixel，12.03pixel)、(10.33pixel，18.23pixel)，通过图案对齐以及相位误差补偿，重建后的三维杯盖如图3所示。

在第二个实验中，平移运动物体为一个脸谱，经过过采样相位相关算法检测，运动目标图像的两次2-D移动位移分别为(6.98pixel，7.79pixel)、(18.34pixel，26.03pixel)，经过图案对齐和相位误差补偿，重建后三维脸谱图像如图4所示。

综上所述，本发明在相移轮廓术的基础上，采用均值偏移的编码条纹投影，通过灰度阈值分割有效区分物体区域和背景区域。由于针对的是2-D平移运动，尽管物体位置在2-D平面上任意变动，物体的轮廓保持不变性。基于重建目标轮廓的不变性，采用过采样的相位相关技术实现不同帧图像间物体区域的亚像素级匹配，提取出物体在2-D平面上的位移向量；基于位移向量，首先是将所有调制条纹图与第一张调制条纹图对齐，然后基于绝对参考平面相位图确定物体图像在不同位置引入的运动相位误差，最后基于相移轮廓测量术实现2-D运动物体的高精度三维成像。使得本发明提出的方法不需要任何图案标记，不要求物体表面具有可识别的特征，能够实现完全自动的、无人工干预的准确三维重建。

如图5所示，为本发明公开的一种基于相位相关匹配的平移运动物体三维重建系统的结构示意图，所述系统可以包括：

设计模块501，用于设计并投影均值偏移条纹图案；

首先，设计并投影均值偏移条纹图案。其中，均值偏移条纹设计如下式：

当a(x,y)＝b(x,y)＝0.5时，则归一化后的I_n∈[0,1]。为了利用单张条纹图从背景区域中获取物体掩模，这里均值偏移条纹设计可以改写为：

这里a′的取值范围为[0,1]。考虑到实验中背景亮度较低，并且为使得编码图案充分的利用灰度空间，本实验中a′＝0.6，则I_n∈[0.2,1]；因此可以利用阈值Th＝0.2分离物体区域和暗黑的背景区域，确定物体区域掩模。

配准模块502，用于基于过采样相位相关方法进行区域亚像素配准；

基于过采样相位相关方法的，假设2-D物体掩模图像g₁(x,y)在2-D空间内移动(Δx,Δy)，得到新的2-D物体掩模图像g₂(x,y)，再进行离散傅立叶变换，可表示成：

因此，两个掩模图像的归一化互相关矩阵可计算得到：

这里上标*表示复共轭，G₁(u,v)和G₂(u,v)分别是图像g₁(x,y)和g₂(x,y)的傅立叶变换形式，(M,L)是图像整像素大小。因此，对Q(u,v)进行傅立叶逆变换，可得到下式：

q(x,y)＝δ(x+Δx,y+Δy)；

因此，图像g₁(x,y)与g₂(x,y)之间的位移可以得到，上述的配准方法被称为相位相关配准。然而上述相位相关配准只能确定整像素的平移，为此需要实现亚像素级的过采样相位相关：

假设k₁、k₂分别是2-D平面x和y方向上的过采样因子，因此两个掩模图像的归一化互相关矩阵被转换成过采样的归一化互相关矩阵，这里给出二维离散形式：

在由补零完成过采样的图像上，完成傅立叶逆变换并表示成二维离散形式：

即，q(x,y)＝δ(x+k₁Δx,y+k₂Δy)；

因此，在x和y方向上提高了位移识别的分辨率k₁、k₂倍，设置过采样因子就可实现亚像素级的位移测量。

对齐模块503，用于对齐物体在不同位置时的调制条纹图；

本发明提出的偏移型PSP中，投影的编码条纹经过物体表面反射以及环境光的影响之后，由相机成像的2-D条纹可表示成：

由上式可计算得到物体的包裹相位图为：

当物体在2-D平面上平移运动时，通过三步PSP条纹成像，可得到关于物体在不同位置时产生的条纹调制图：

以第一步条纹为参考，利用亚像素定位方法解算物体在N步条纹中的位移为(Δx_n,Δy_n)，其中(Δx₁,Δy₁)＝(0,0)；利用已知位移(Δx_n,Δy_n)，令：

这里以N＝3为例，将第二步和第三步条纹图像与第一步条纹图像配准；

重建模块504，用于补偿由相位引起的运动误差，实现三维重建。

在上式中，A,B,φ,是未知量，为求解物体的包裹相位φ，需要求解运动引入的相位/>则物体的真实包裹相位可通过下述方式求取，这里省略了(x,y)：

记：

D₁₂＝I₁-I₂；D₁₃＝I₁-I₃；

由于物体在2-D平面上运动，首先采取静态PSP方法获取相同空间位置参考平面的绝对相位图借助测量的亚像素位移(Δx_n,Δy_n)和绝对参考平面相位/>计算运动引入的相位误差：

计算得到正确物体包裹相位φ后，结合绝对参考平面相位利用下式得到物体的绝对解包裹相位φ′：

φ′(x,y)＝φ(x,y)+c(x,y)*2π

这里，符号floor[·]是向下取整数。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于相位相关匹配的平移运动物体三维重建方法，其特征在于，包括：

设计并投影均值偏移条纹图案；

基于过采样相位相关方法进行区域亚像素配准；

对齐物体在不同位置时的调制条纹图；

补偿由相位引起的运动误差，实现三维重建；

其中，所述基于过采样相位相关方法进行区域亚像素配准，包括：

通过灰度阈值分割法，结合阈值确定条纹图案中的物体区域掩模图像，并基于过采样相位相关算法，确定各个掩模图像的亚像素级平移量；

其中，所述对齐物体在不同位置时的调制条纹图，包括：

基于掩模图像的亚像素级平移量，以第一张条纹图案为标准，逆向平移其余条纹图案，与所述第一张条纹图案完全对齐；

其中，所述补偿由相位引起的运动误差，实现三维重建，包括：

基于参考平面绝对相位图，结合掩模图像的亚像素级平移量计算相位误差，在像素级的水平实现运动误差相位补偿，得到正确的物体包裹相位图；

参考平面与物体的空间分布，基于所述参考平面绝对相位图将物体的所述包裹相位图转换成绝对相位图，实现三维重建。

2.根据权利要求1所述的方法，其特征在于，所述设计并投影均值偏移条纹图案，包括：

基于相移轮廓术设计均值偏移条纹图案，并通过数字光处理技术将所述条纹图案投影到平移运动物体表面。

3.一种基于相位相关匹配的平移运动物体三维重建系统，其特征在于，包括：

设计模块，用于设计并投影均值偏移条纹图案；

配准模块，用于基于过采样相位相关方法进行区域亚像素配准；

对齐模块，用于对齐物体在不同位置时的调制条纹图；

重建模块，用于补偿由相位引起的运动误差，实现三维重建；

其中，所述配准模块具体用于：

通过灰度阈值分割法，结合阈值确定条纹图案中的物体区域掩模图像，并基于过采样相位相关算法，确定各个掩模图像的亚像素级平移量；

其中，所述对齐模块具体用于：

基于掩模图像的亚像素级平移量，以第一张条纹图案为标准，逆向平移其余条纹图案，与所述第一张条纹图案完全对齐；

其中，所述重建模块具体用于：

基于参考平面绝对相位图，结合掩模图像的亚像素级平移量计算相位误差，在像素级的水平实现运动误差相位补偿，得到正确的物体包裹相位图；

参考平面与物体的空间分布，基于所述参考平面绝对相位图将物体的所述包裹相位图转换成绝对相位图，实现三维重建。

4.根据权利要求3所述的系统，其特征在于，所述设计模块具体用于：

基于相移轮廓术设计均值偏移条纹图案，并通过数字光处理技术将所述条纹图案投影到平移运动物体表面。