CN114322841A - 一种投影光栅相移生成动态三维测量方法及系统 - Google Patents

Abstract

本发明属于运动物体表面形貌动态3D重构领域，具体为一种投影光栅相移生成动态三维测量方法及系统，方法包括对运动物体进行正弦光栅投影和采样；对单帧瞬态采样图像进行傅里叶频谱分析，并生成得到多帧相移图像序列；利用相移算法和相位解包裹算法，对相移光栅序列进行高精度相位求解和相位解包裹，获取采样瞬间物体三维形貌；对物体进360°匀速旋转动态扫描，获取不同扫描角度物体的三维形貌信息；通过三维图像拼接方法对扫描三维特征进行图像拼接，即可获得被测物体360°全景动态三维重构信息。本发明采用图像生成的方式从单帧瞬态采样图像获得多帧相移图像序列，有效提升了测量精度，实现了测量效率与测量精度之间的平衡。

Description

一种投影光栅相移生成动态三维测量方法及系统

技术领域

本发明具体涉及一种投影光栅相移生成动态三维测量方法及系统，属于三维动态测量领域。

背景技术

结构光投影3D测量作为一种非接触式测量方法，无论是在零件形貌检测、工业逆向设计或是生物医药等领域皆有重大应用价值。近年来，随着计算机、传感器和智能算法等相关软硬件技术的快速发展，结构光投影3D测量技术不断取得重大突破，并向着高精度、高效率方向不断发展。

动态三维测量是结构光投影3D重建的重要应用领域，然而，精度和效率之间的矛盾是其所面临的重大挑战。从测量效率的角度来看，以编码结构光和傅里叶变换方法为代表的单帧图像分析技术最适合动态3D重建场景，其通过瞬时单帧采样即可计算得到测量数据，采样时间较短，而且所需计算资源较少。然而，传统的单帧图像傅里叶分析方法存在固有的频谱泄露现象，因此测量精度不高。相比之下，以相移算法为代表的多帧图像测量方案采用多帧相移图像进行联合求解，不仅抗干扰能力强，而且各像素独立求解，不存在空间窜扰，因此测量精度较高。然而，该方案要求对被测物体进行多帧图像连续采样，且采样过程需保证被测物体静止，以免引入动态误差，因此测量效率较低。对比单帧傅里叶算法和多帧相移算法可以看出，两者在测量效率和测量精度方面各有优势，而如何结合两者的优势，在高效测量的同时又能保证测量精度，是动态3D重建亟需解决的问题。

发明内容

为解决以上问题，本发明提供了一种投影光栅相移生成动态三维测量方法，该方法包括采集原始正弦光栅信号作为测量参考；向被测物体投影原始正弦光栅信号，导致原始正弦光栅信号发生畸变，对发生畸变的正弦光栅信号进行高速瞬态采样；单帧高速瞬态采样的畸变正弦光栅通过相移光栅生成方法生成相移光栅序列；利用相移算法和相位解包裹算法，对相移光栅序列进行高精度相位求解和相位解包裹，获取采样瞬间物体三维形貌；对物体进行360°匀速旋转动态扫描，获取不同扫描角度物体的三维形貌信息；通过三维图像拼接方法对得到的三维形貌信息进行图像拼接，即可获得被测物体360°全景动态三维重构信息。

所述相移光栅生成方法包括以下步骤：

S1、对单帧高速瞬态采样得到的畸变正弦光栅信号进行傅里叶变换分析，通过频谱滤波提取畸变正弦光栅的正、负频旁瓣信号；

S2、对畸变正弦光栅正、负频旁瓣信号的相位谱进行相移变换，得到变换相位谱；

S3、结合正、负频旁瓣信号幅值谱与变换相位谱进行傅里叶逆变换分析，得到傅里叶逆变换信号；

S4、对傅里叶逆变换信号进行归一化处理，生成相移光栅图像，消除背景噪声对调制度产生的影响，进一步提升生成的相移光栅图像质量。

进一步的，畸变正弦光栅信号表示如下：

I(x,y)＝a(x,y)+b(x,y)cos[2πf_xx+2πf_yy+φ(x,y)]

式中，(x,y)表示采样的畸变正弦光栅图像的像素坐标，I(x,y)代表畸变正弦光栅信号强度，a(x,y)代表背景光强，b(x,y)代表畸变正弦光栅调制度，f_x代表原始正弦光栅在x轴方向上的频率，f_y代表原始正弦光栅在y轴方向上的频率，φ(x,y)则代表畸变正弦光栅图像中与被测物体表面形貌相关的初始相位。

进一步的，对畸变正弦光栅信号进行傅里叶变换，提取其正、负频旁瓣信号，表示如下：

F(u,v)＝A(u,v)+C(u-f_x,v-f_y)+C^*(u+f_x,v+f_y)

式中，F(u,v)为I(x,y)的傅里叶变换，A(u,v)为a(x,y)的傅里叶变换，C(u,v)对应

的傅里叶变换，C^*(u,v)对应c^*(x,y)的傅里叶变换，c(x,y)与c^*(x,y)互为共轭，C(u-f_x,v-f_y)为正频旁瓣信号，C^*(u+f_x,v+f_y)为负频旁瓣信号；

其中，C(u-f_x,v-f_y)为C(u,v)在u方向与v方向分别平移了f_x和f_y，C^*(u+f_x,v+f_y)为C^*(u,v)在u方向与v方向分别平移了和-f_x和-f_y，u和v是频域空间的变量，表示空间频率，分别与时域空间的x轴和y轴方向相对应。

进一步的，分别提取正、负频旁瓣信号的幅值与相位信息，表示如下：

ρ⁺(u,v)＝amplitude[C(u-f_x,v-f_y)],

ρ^-(u,v)＝amplitude[C^*(u+f_x,v+f_y)],

式中，amplitude[·]代表幅值提取函数，angle[·]代表相位提取函数，ρ⁺(u,v)和ρ^-(u,v)分别表示正、负频旁瓣信号幅值，

和

分别表示正、负频旁瓣信号的傅里叶相位。

进一步的，分别对傅里叶相位

和

做相移处理，表示如下：

式中，i表示相移序列编号，n表示总体相移步数。

进一步的，正、负频旁瓣信号幅值ρ⁺(u,v)、ρ^-(u,v)和相移后的傅里叶相位

进行傅里叶逆变换分析，得到傅里叶逆变换信号，表示如下：

式中，F^-1[·]表示傅里叶逆变换函数，*表示矩阵点乘运算，

表示相移后的初始相位，b(x,y)代表畸变正弦光栅调制度，f_x和f_y分别代表畸变正弦光栅在x方向与y方向的频率；

进一步的，对傅里叶逆变换信号c_i(x,y)进行归一化处理，得到相移光栅图像，表示如下：

式中，f_i(x,y)代表生成的相移光栅图像，real[·]代表实部提取函数。

进一步的，通过相移算法和相位解包裹算法对生成的相移图像序列进行计算，提取与物体表面形貌相关的初始相位。

另外，本发明还提出了一种投影光栅相移生成动态三维测量系统，系统包括DLP(digital light processing,LDP)投影仪、一维转动平台、成像镜头、CMOS(ComplementaryMetal-Oxide-Semiconductor,CMOS)相机、计算机；

DLP投影仪在计算机控制下向一维旋转平台的被测物体表面，以一定倾斜角度投影预先设定好频率的正弦光栅，受物体表面形貌调制影响，正弦光栅条纹将产生畸变并被反射；

成像镜头和CMOS相机组成成像系统，对反射的畸变经由物镜成像至CMOS相机，CMOS相机对正弦光栅进行高速采集，并传输给计算机；

计算机包含图像生成模块，将对单帧瞬态采样光栅进行图像处理，进行相移图像生成以及动态3D重建；

投影光栅相移生成动态三维测量系统包括数据校准模块、相移生成模块、数据处理模块：

数据校准模块，用于对投影仪、相机之间的光栅图像映射关系进行参数校准，以确保投影图像与采集图像之间正确的映射关系；

相移生成模块，用于根据单帧瞬态采样图像生成相移图像序列；

数据处理模块，分为相移算法、高度信息重构和图像拼接单元：

相移算法单元，用于根据生成相移序列提取单帧瞬态采样图像的相位信息，并对其进行相位解包裹；

高度信息重构单元，用于将相位信息转换为实际高度信息；

图像拼接单元，用于提取不同图像采样时刻物体表面形貌的特征点信息，并对其进行3D点云数据拼接，以动态获取360°全场景3D数据，实现高效率3D动态扫描。

可选的，所述相移光栅序列其步距可以选择设置，总体步数不低于3步；

进一步的，数据校准模块、相移生成模块、相移算法单元、高度信息重构单元和图像拼接单元均内嵌相关的图像变换与数据处理程序：

相移生成模块内嵌有傅里叶变换的程序；

相移算法单元内嵌有相移算法和2π相位解包裹的程序；

高度信息重构单元内嵌有高度信息计算程序；

图像拼接单元内嵌有3D点云数据拼接程序。

本发明的有益效果：

(1)本发明采用相移生成的方式获得了单帧瞬态采样光栅的相移序列，结合相移算法实现高精度求解，有效平衡了测量效率与测量精度之间的矛盾关系，为投影结构光动态3D测量奠定了技术基础；

(2)本发明在正弦光栅相移序列生成的过程中运用了傅里叶频率滤波和归一化处理方法，有效抑制了背景噪声以及调制度波动对于相移序列图像质量的影响，提升了测量的稳定性；

(3)本发明采用单帧图像瞬态测量与360°旋转扫描相配合的方式，通过图像拼接获取被测物体360°全场景动态3D重构数据，从而提供了更加丰富的测量信息。

附图说明

图1为本发明中正弦光栅相移序列生成方法的一种优选实施例；

图2为本发明的投影光栅相移生成动态三维测量系统的装置示意图；

图3为本发明的正弦光栅相移图像序列生成过程分析示意图；

图4为本发明的相移算法及相位解包裹示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例给出了一种投影光栅相移生成方法的优选实施方式，如图1所示，包括

S1、对被测物体投影正弦光栅，高速采集发生畸变的正弦光栅；

S2、对得到的畸变正弦光栅信号进行傅里叶变换分析，通过频谱滤波提取畸变正弦光栅的正、负频旁瓣信号；

S3、提取畸变正弦光栅正、负频旁瓣信号的相位谱进行相移变换，得到变换相位谱；

S4、结合正、负频旁瓣信号幅值谱与变换相位谱进行傅里叶逆变换分析，得到傅里叶逆变换信号；

S5、对傅里叶逆变换信号进行归一化处理，生成相移光栅图像，消除背景噪声对调制度产生的影响，进一步提升生成的相移光栅图像质量。

在一个优选实施例中，基于上述实施例，本发明首先采集未发生畸变的原始正弦光栅条纹，作为测量参考；然后对被测物体投影原始正弦光栅条纹，并对发生畸变的正弦光栅进行高速瞬态采样；通过上述实施例中的相移光栅生成方法，将单帧高速瞬态采样光栅生成相移光栅序列；利用相移算法和相位解包裹算法，对相移光栅序列进行高精度相位求解和相位解包裹，获取采样瞬间物体三维形貌；对物体进行360°匀速旋转动态扫描，获取不同扫描角度物体的三维形貌信息；通过三维图像拼接方法对得到的三维形貌信息进行图像拼接，即可获得被测物体360°全景动态三维重构信息。

图2所示为本发明的装置示意图，其中，DLP投影仪在计算机控制下向一维旋转平台投影设定频率的正弦光栅，经物体表面形貌调制以后，畸变的正弦光栅将被反射，并经由物镜成像至CMOS相机；相机高速采集正弦光栅图像，并传输至计算机进行相移图像生成以及动态3D重建。

正弦光栅相移图像序列生成过程，如图3所示，单帧高速瞬态采样图像的光强信号可以表示如下：

I(x,y)＝a(x,y)+b(x,y)cos[2πf_xx+2πf_yy+φ(x,y)]

式中，(x,y)表示采样畸变正弦光栅图像的像素坐标，I(x,y)代表畸变正弦光栅信号强度，a(x,y)代表背景光强，b(x,y)代表畸变正弦光栅调制度，f_x代表原始正弦光栅在x轴方向上的频率，f_y代表原始正弦光栅在y轴方向上的频率，φ(x,y)代表畸变正弦光栅图像中与物体3D形貌相关的初始相位。对于首先采集的参考正弦光栅图像而言，由于未放置测量物体，因此参考初始相位φ₀(x,y)＝0。

首先，对单帧高速瞬态采样图像的光强信号进行傅里叶变换，提取其频谱信息：

F(u,v)＝A(u,v)+C(u-f_x,v-f_y)+C^*(u+f_x,v+f_y)

式中，F(u,v)为I(x,y)的傅里叶变换，A(u,v)为a(x,y)的傅里叶变换，C(u,v)为

的傅里叶变换，C^*(u,v)为c^*(x,y)的傅里叶变换，c(x,y)与c^*(x,y)互为共轭，C(u-f_x,v-f_y)为正频旁瓣信号，C^*(u+f_x,v+f_y)为负频旁瓣信号。取正、负频旁瓣部分信号，并分别提取其幅值和相位，表示如下：

ρ⁺(u,v)＝amplitude[C(u-f_x,v-f_y)],

ρ^-(u,v)＝amplitude[C^*(u+f_x,v+f_y)],

式中，amplitude[·]代表幅值提取函数，angle[·]代表相位提取函数，ρ⁺(u,v)和ρ^-(u,v)分别表示正、负频旁瓣信号幅值，

和

分别表示正、负频旁瓣信号的傅里叶相位。

然后，对傅里叶相位

和

进行相移调整，相移步数i根据需要设定，此处采用三步相移作为示例，其相移步距为

表示如下：

更进一步的，通过正、负频旁瓣信号幅值ρ⁺(u,v)、ρ^-(u,v)与相移傅里叶相位

和

进行傅里叶逆变换，其表示如下：

式中，F^-1[·]表示傅里叶逆变换函数，符号*表示矩阵点乘运算，

表示相移初始相位。提取傅里叶逆变换公式的实部，并对其进行归一化处理，即可获得相移图像，表示如下：

式中，f_i(x,y)代表生成的相移图像，real[·]代表实部提取函数。

更进一步的，采用现有相移算法对生成的相移图像序列进行相位求解，即可获得与表面形貌相关的相位信息，如图4所示，计算方式如下：

式中，符号′表示求取的相位信息中包含2π相位截断误差，需通过相位解包裹进行校正，

θ(x,y)＝θ′(x,y)+2πm＝2πf_xx+2πf_yy+φ(x,y)，m＝0,±1,±2,……

式中，m表示θ(x,y)的相位级次，可以通过菱形相位解包裹方法或者格雷码方法进行求取。

通过以上全部公式同样可以求取参考相位θ₀(x,y)＝2πf_xx+2πf_yy，因此，初始相位计算如下：

φ(x,y)＝θ(x,y)-θ₀(x,y)

最后，利用投影系统的基本参数，即可实现被测物体高度信息求解，其关系如下：

式中，h(x,y)代表被测物体高度，s(x,y)代表条纹畸变过程中的横向偏移距离，l代表投影仪距一维旋转台的高度，d代表投影仪与相机之间的空间距离，λ代表正弦光栅空间波长。

当然，在另外一种可实现方式中，也可选择5步相移或者8步相移的方式进行相移图像生成，并进行相关的相位计算，从而获取被测物体表面形貌高度。

通过上述步骤的分析，投影光栅相移生成动态三维测量方法既能实现高效率的单帧测量，又能避免传统单帧图像傅里叶分析方法存在的频谱泄露现象，提升测量精度，同时还能在频谱滤波和图像归一化处理过程中抑制背景噪声的干扰，极大提升测量稳定性，最终确保了测量效率与测量精度之间的有效平衡。

另外，本实施例给出了一种投影光栅相移生成动态三维测量系统的实现方式，如图2所示，所述系统包括包括DLP投影仪、一维转动平台、成像镜头、CMOS相机和计算机；所述投影仪在计算机控制下向一维旋转平台投影设定频率的正弦光栅，经物体表面形貌调制以后，畸变的正弦光栅将被反射，并经由物镜成像至CMOS相机；相机高速采集正弦光栅图像，并传输至计算机进行相移图像生成以及动态3D重建。；

所述投影光栅相移生成动态三维测量系统包括数据校准模块，可以对投影仪、相机之间的图像映射关系进行参数校准，以确保投影图像与采集图像之间正确的映射关系；

所述投影光栅相移生成动态三维测量系统包含相移生成模块，可以根据单帧瞬态采样图像生成相移图像序列；

所述投影光栅相移生成动态三维测量系统系统包含数据处理模块，可以分为相移算法、高度信息重构和图像拼接单元。

所述相移算法单元可以根据生成相移序列提取单帧瞬态采样图像的相位信息，并对其进行相位解包裹；

所述高度信息重构单元可以将相位信息转换为实际高度信息；

所述图像拼接单元可以提取不同扫描时刻物体表面形貌的特征点信息，并对其进行3D点云数据拼接，以动态获取360°全场景3D数据，实现高效率3D动态扫描。

在一个优选实施例中，所述相移生成模块内嵌有傅里叶变换的程序。

在一个优选实施例中，所述相移算法单元内嵌有相移算法和2π相位解包裹的程序。

在一个优选实施例中，所述高度信息重构单元内嵌有高度信息计算程序。

在一个优选实施例中，所述图像拼接单元内嵌有3D点云数据拼接程序。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种投影光栅相移生成动态三维测量方法，包括采集原始正弦光栅信号作为测量参考；向被测物体投影原始正弦光栅信号导致原始正弦光栅信号发生畸变，对发生畸变的正弦光栅信号进行单帧高速瞬态采样；其特征在于，单帧高速瞬态采样的畸变正弦光栅通过相移光栅生成方法生成相移光栅序列；利用相移算法和相位解包裹算法，对相移光栅序列进行高精度相位求解和相位解包裹，得到采样瞬间物体的三维形貌；对物体进行360°匀速旋转动态扫描，获取不同扫描角度下物体的三维形貌信息；通过三维图像拼接方法对得到的三维形貌信息进行图像拼接，即可获得被测物体360°全景动态三维重构信息；

所述相移光栅生成方法包括以下步骤：

S1、对单帧高速瞬态采样得到的畸变正弦光栅信号进行傅里叶变换分析，通过频谱滤波提取畸变正弦光栅的正、负频旁瓣信号；

S2、对畸变正弦光栅正、负频旁瓣信号的相位谱进行相移变换，得到变换相位谱；

S3、结合正、负频旁瓣信号幅值谱与变换相位谱进行傅里叶逆变换分析，得到傅里叶逆变换信号；

S4、对傅里叶逆变换信号进行归一化处理，生成相移光栅图像。

2.根据权利要求1所述的一种投影光栅相移生成动态三维测量方法，其特征在于，畸变正弦光栅信号表示如下：

I(x,y)＝a(x,y)+b(x,y)cos[2πf_xx+2πf_yy+φ(x,y)]

式中，(x,y)表示采样的畸变正弦光栅图像的像素坐标，I(x,y)代表畸变正弦光栅信号强度，a(x,y)代表背景光强，b(x,y)代表畸变正弦光栅调制度，f_x代表原始正弦光栅在x轴方向上的频率，f_y代表原始正弦光栅在y轴方向上的频率，φ(x,y)则代表畸变正弦光栅图像中与被测物体表面形貌相关的初始相位。

3.根据权利要求1或2所述的一种投影光栅相移生成动态三维测量方法，其特征在于，对畸变正弦光栅信号进行傅里叶变换，提取其正、负频旁瓣信号，表示如下：

F(u,v)＝A(u,v)+C(u-f_x,v-f_y)+C^*(u+f_x,v+f_y)

式中，F(u,v)为I(x,y)的傅里叶变换，A(u,v)为a(x,y)的傅里叶变换，C(u,v)对应

的傅里叶变换，C^*(u,v)对应c^*(x,y)的傅里叶变换，c(x,y)与c^*(x,y)互为共轭，C(u-f_x,v-f_y)为正频旁瓣信号，C^*(u+f_x,v+f_y)为负频旁瓣信号。

4.根据权利要求3所述的一种投影光栅相移生成动态三维测量方法，其特征在于，分别提取正、负频旁瓣信号的幅值与相位信息，表示如下：

ρ⁺(u,v)＝amplitude[C(u-f_x,v-f_y)],

ρ^-(u,v)＝amplitude[C^*(u+f_x,v+f_y)],

式中，amplitude[·]代表幅值提取函数，angle[·]代表相位提取函数，ρ⁺(u,v)和ρ^-(u,v)分别表示正、负频旁瓣信号幅值，

和

分别表示正、负频旁瓣信号的傅里叶相位。

5.根据权利要求4所述的一种投影光栅相移生成动态三维测量方法，其特征在于，分别对傅里叶相位

和

做相移处理，表示如下：

式中，i表示相移序列编号，n表示总体相移步数。

6.根据权利要求4或5所述的一种投影光栅相移生成动态三维测量方法，其特征在于，正、负频旁瓣信号幅值ρ⁺(u,v)、ρ^-(u,v)和相移后的傅里叶相位

进行傅里叶逆变换分析，得到傅里叶逆变换信号，表示如下：

式中，F^-1[·]表示傅里叶逆变换函数，*表示矩阵点乘运算，

表示相移后的初始相位，b(x,y)代表畸变正弦光栅调制度，f_x和f_y分别代表畸变正弦光栅在x方向与y方向的频率。

7.根据权利要求6所述的一种投影光栅相移生成动态三维测量方法，其特征在于，对傅里叶逆变换信号c_i(x,y)进行归一化处理，得到相移光栅图像，表示如下：

式中，f_i(x,y)代表生成的相移光栅图像，real[·]代表实部提取函数。

8.根据权利要求1所述的一种投影光栅相移生成动态三维测量方法，其特征在于，通过相移算法和相位解包裹算法对生成的相移图像序列进行计算，提取与物体表面形貌相关的初始相位信息。

9.一种投影光栅相移生成动态三维测量系统，其特征在于，包括DLP投影仪、一维转动平台、成像镜头、CMOS相机、计算机；投影仪在计算机控制下向一维旋转平台投影一定频率的正弦光栅，经物体表面形貌调制以后，畸变的正弦光栅将被反射并经由物镜成像至CMOS相机；相机高速采集正弦光栅图像，并传输至计算机进行相移图像生成以及动态3D重建；

投影光栅相移生成动态三维测量系统包括数据校准模块、相移生成模块、数据处理模块：

数据校准模块，用于对投影仪、相机之间的光栅图像映射关系进行参数校准，以确保投影图像与采集图像之间正确的映射关系；

相移生成模块，用于根据单帧瞬态采样图像生成相移图像序列；

数据处理模块，分为相移算法、高度信息重构和图像拼接单元：

相移算法单元，用于根据生成相移光栅序列提取单帧瞬态采样图像的相位信息，并对其进行相位解包裹，获取初始相位信息；

高度信息重构单元，用于将初始相位信息转换为实际高度信息；

图像拼接单元，用于提取不同图像采样时刻物体表面形貌的特征点信息，并对其进行3D点云数据拼接，以动态获取360°全场景3D数据，实现高效率3D动态扫描。

10.根据权利要求9所述的一种投影光栅相移生成动态三维测量系统，其特征在于，所述数据校准模块、相移生成模块、相移算法单元、高度信息重构单元和图像拼接单元均内嵌相关的图像变换与数据处理程序：

相移生成模块内嵌有傅里叶变换的程序；

相移算法单元内嵌有相移算法和2π相位解包裹的程序；

高度信息重构单元内嵌有高度信息计算程序；

图像拼接单元内嵌有3D点云数据拼接程序。

Images