CN110360952A

CN110360952A - 一种相移轮廓术三维测量方法、系统、设备及其存储介质

Info

Publication number: CN110360952A
Application number: CN201910584658.4A
Authority: CN
Inventors: 邵晓鹏; 吴雨祥; 朱进进; 蔡晓健; 孙雪莹; 计婷; 李伟; 白亚烁; 何顺福
Original assignee: Xian University of Electronic Science and Technology
Current assignee: Xian University of Electronic Science and Technology
Priority date: 2019-07-01
Filing date: 2019-07-01
Publication date: 2019-10-22
Anticipated expiration: 2039-07-01
Also published as: CN110360952B

Abstract

本发明属于三维位置测量领域，具体涉及一种相移轮廓术三维测量方法、系统、设备及其存储介质，方法步骤包括：产生目标图像；获取目标图像；根据目标图像得到彩色条纹图；对彩色条纹图进行校正操作，以得到校正条纹图；根据校正条纹图得到相位信息；根据相位信息得到三维形貌信息。本发明具有可以解决光源不稳定和环境光的变化导致的物体的相位误差问题；能够满足多种工业领域的需求以及降低三维检测经济成本；在相移轮廓术系统中基于彩色编码条纹的相位误差校正方法简单，并具有很高的鲁棒性，灵活性和精度。

Description

一种相移轮廓术三维测量方法、系统、设备及其存储介质

技术领域

本发明属于三维位置测量领域，具体涉及一种相移轮廓术三维测量方法、系统、设备及其存储介质。

背景技术

在现有的三维物体面形测量领域中，基于相移轮廓术(Phase ShiftingProfilometry,PSP)的三维物体测量技术在各个领域已被广泛应用，例如，工业检测，人脸检测，医疗整形等，由于其低成本，高精度，高可靠和非接触性成为三维物体测量技术中最具商业化和最有效的方法之一。相移方法作为提取物体相位主要的方法之一，但其应用条件是假设光源强度恒定不变，每帧相移条纹图的背景光和对比度都相同。然而，在实际复杂的应用场景中不能满足这种理想的条件，例如：(1)在物体的运动和快速三维测量中，如果相机的曝光时间接近于或小于投影仪的刷新时间，这种情况下相位误差将会发生。(2)室外对物体进行三维测量时，在物体相移的过程中，环境光的变化也通常会导致相位误差。以上两种情况违背了相移轮廓术的假设条件进而将导致物体的相位和高度误差，最终降低目标在线三维测量的精度。进而，如何消除投影仪光源波动或背景光变化引起的相位误差已成为目前主要研究的问题之一。

现有的技术方案主要包括：1.基于参考面强度信息补偿由于投影仪光源的变化导致的相位误差方法；2.基于查表法实现由于投影仪光源的变化导致的相位误差的校正方法。其中，基于参考面强度信息补偿由于投影仪光源的变化导致的相位误差方法需要在被测物体旁边固定一个平面白板，投影仪光源的变化将导致变形条纹图的对比度发生变化，利用参考面强度变化率校正变形条纹图中被测物体区域的强度信息，最终对相位误差进行补偿，这种方法需要一个平面白板被固定在被测物体一侧，平面区域必须包含在捕获的变形条纹图中，这限制了该方法的灵活性，另外，该方法需要假设平面区域的强度变化率与变形条纹的强度变化率相等，这种假设降低了该方法的应用性。此外，在基于查表法实现由于投影仪光源的变化导致的相位误差的校正方法中，首先需要求取参考平面的理想相位，建立条纹图上的每个像素点相位与相位误差的对应关系表；然后，对物体进行三维测量时，通过查找表中像素点的相位误差对测量相位进行补偿，这种方法是对条纹图上的每个像素点建立相位与相位误差的对应关系表以此实现对物体测量时的相位补偿。由于查表法对相位误差的补偿精度与建立表的大小有关，建立的表越大，则对误差的补偿精度越高，但是耗时也越长。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种相移轮廓术三维测量方法、系统、设备及其存储介质。本发明要解决的技术问题通过以下技术方案实现：

一种相移轮廓术三维测量方法，包括：

产生目标图像；

获取所述目标图像；

根据所述目标图像得到彩色条纹图；

对所述彩色条纹图进行校正操作，以得到校正条纹图；

根据所述校正条纹图得到相位信息；

根据所述相位信息得到三维形貌信息。

在本发明的一个实施例中，所述目标图像包括R通道图和B通道图。

在本发明的一个实施例中，获取所述目标图像，包括：

对所述目标图像进行编码，以得到具有π相移差的目标条纹图像；

对所述具有π相移差的目标条纹图像进行N步相移产生彩色条纹图。

在本发明的一个实施例中，对所述彩色条纹图进行校正操作，以得到校正条纹图，包括：

对所述彩色条纹图进行对比度和背景光强校正操作，以得到初级校正条纹图；

对所述初级校正条纹图进行消除背景光操作，以得到次级校正条纹图；

对所述次级校正条纹图进行归一化处理，以得到校正条纹图。

本发明还提供了一种相移轮廓术三维测量系统，包括：

光源发射模块，用于产生目标图像；

图像采集模块，用于获取所述目标图像；

图像处理模块，用于根据所述目标图像得到彩色条纹图；还用于对所述变形彩色条纹图进行校正操作，以得到校正条纹图；用于根据所述校正条纹图得到相位信息；最终根据所述相位信息得到三维形貌信息。

在本发明的一个实施例中，图像采集模块包括：

图像编码单元，用于对所述目标图像进行编码，以得到具有π相移差的目标条纹图像；

图像移相单元，用于对所述具有π相移差的目标条纹图像进行N步相移产生彩色条纹图。

在本发明的一个实施例中，图像处理模块包括：

图像编码单元，用于根据所述目标图像得到彩色条纹图；

校正单元，用于对所述彩色条纹图进行校正操作，以得到校正条纹图；

图像转换单元，用于根据所述校正条纹图得到相位信息；

三维转换单元，根据所述相位信息得到三维形貌信息。

在本发明的一个实施例中，所述校正单元包括：

图像处理子单元，用于对所述彩色条纹图进行对比度和背景光强校正操作，以得到初级校正条纹图；

背景光消除子单元，用于对所述初级校正条纹图进行消除背景光操作，以得到次级校正条纹图；

归一化子单元，用于对所述次级校正条纹图进行归一化处理，以得到校正条纹图。

本发明的另一个实施例提供了一种相移轮廓术三维测量装置，包括：

光源设备，用于产生目标图像；

图像采集器，用于获取所述目标图像；

处理器；

存储器，用于存储有计算机程序；

所述处理器执行所述计算机程序的步骤为：

根据所述目标图像得到彩色条纹图；

对所述彩色条纹图进行校正操作，以得到校正条纹图；

根据所述校正条纹图得到相位信息；

根据所述相位信息得到三维形貌信息。

本发明还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。

本发明的有益效果：

1、本发明可以解决光源不稳定和环境光的变化导致的物体的相位误差问题；

2、本发明可以应用到动态和快速三维测量，同时，能够满足工业在线检测、人脸检测识别、文物保护、医疗整形等领域的需求以及降低三维检测经济成本；

3、本发明的在相移轮廓术系统中基于彩色编码条纹的相位误差校正方法简单，并具有很高的鲁棒性，灵活性和精度。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的一种相移轮廓术三维测量方法的流程框图；

图2是本发明实施例提供的一种相移轮廓术三维测量方法的测试原理图；

图3是本发明实施例提供的一种相移轮廓术三维测量方法的无光源变化的面具变形条纹图；

图4是本发明实施例提供的一种相移轮廓术三维测量方法无光源变化的三维重建高度图；

图5是本发明实施例提供的一种相移轮廓术三维测量方法无光源三维重建高度的俯视图；

图6是本发明实施例提供的一种相移轮廓术三维测量方法光源和环境变化条件下的非校正三维重建面具变形条纹图；

图7是本发明实施例提供的一种相移轮廓术三维测量方法光源和环境变化条件下的非校正三维重建面具的三维重建高度图；

图8是本发明实施例提供的一种相移轮廓术三维测量方法光源和环境变化条件下的非校正三维重建面积的三维重建高度的俯视图；

图9是本发明实施例提供的一种相移轮廓术三维测量方法光源和环境变化条件下的校正三维重建面具变形条纹图；

图10是本发明实施例提供的一种相移轮廓术三维测量方法光源和环境变化条件下的校正三维重建面具的三维重建高度图；

图11是本发明实施例提供的一种相移轮廓术三维测量方法光源和环境变化条件下的校正三维重建面具的三维重建高度的俯视图；

图12是本发明实施例提供的一种相移轮廓术三维测量方法校正方法测试的高度误差分布图；

图13是本发明实施例提供的一种相移轮廓术三维测量方法校正方法测试的高度误差分布图；

图14是本发明实施例提供的一种相移轮廓术三维测量方法校正方法测试的和的四列数据对比图；

图15是本发明实施例提供的一种相移轮廓术三维测量平面面形测试的高度误差分布图；

图16是本发明实施例提供的一种相移轮廓术三维测量方法示意图的高度误差分布图；

图17是本发明实施例提供的一种相移轮廓术三维测量方法示意图和的四列数据对比图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

请参见图1，图1是本发明实施例提供的一种相移轮廓术三维测量方法的流程框图，包括：

产生目标图像；

获取所述目标图像；

根据所述目标图像得到彩色条纹图；

对所述彩色条纹图进行校正操作，以得到校正条纹图；

根据所述校正条纹图得到相位信息；

根据所述相位信息得到三维形貌信息。

在上述事实方式中，光源设备通过将光源投影在被测对象表面得到目标图像，将目标图像转换成为彩色条纹图以得到N帧彩色条纹图像便于对其进行校正操作；对彩色条纹图进行校正是为了将彩色条纹图的对比度以及背景光强统一，并消除由于环境或其他外界因素造成的环境光的影响；通过校正后的条纹图就可以获得，被测对象的三维重建高度等相位信息，以此相位信息就可以得到三维形貌信息。

本申请可以解决光源不稳定和环境光的变化导致的物体的相位误差问题；能够满足工业在线检测、人脸检测识别、文物保护、医疗整形等需要对图形图像进行精细化处理的领域的需求，以及降低三维检测经济成本；通过对获得的目标图像进行对比度、背景光强的矫正，并对背景光进行消除处理，最大化的降低环境光以及不确定因素对三维建模造成的影响；本发明的在相移轮廓术系统中基于彩色编码条纹的相位误差校正方法简单，并具有很高的鲁棒性，灵活性和精度。

在本发明的一个实施例中，获取所述目标图像，包括：

上述实施例中，对经过N步相移产生的彩色条纹图进行对比度、背景光强校正操作后，将R通道和B通道图像的对比度与背景光强统一的统一数值，在对次级校正条纹图进行归一化处理，以消除相移条纹图之间对比度的幅值不相等的影响，通过归一化处理后的图像排除了环境光等不确定因素对三维重建的影响。

进一步地，投影仪的R和B通道被编码为具有π相位差的条纹图；利用N步相移操作得到N帧彩色条纹图；对N帧彩色条纹图进行分离操作，得到N帧R通道条纹图和N帧B通道条纹图；对R通道条纹图的背景和对比度进行校正得到R通道初级校正条纹图，使得每帧R通道初级校正条纹图的背景等于B通道条纹图的背景，每帧R通道初级校正条纹图的对比度等于B通道条纹图的对比度；R通道校正条纹图的条纹强度和B通道条纹图的条纹强度相减，以消除变化的背景光进而得到次级校正条纹图；对每帧次级条纹图进行归一化操作，以消除对比度变化的影响进而得到最终校正条纹图；提取最终校正条纹图的相位信息；利用相位-高度映射公式得到物体的三维形貌信息。

本发明还提供了一种相移轮廓术三维测量系统，包括：

光源发射模块，用于产生目标图像；

图像采集模块，用于获取所述目标图像；

在本发明的一个实施例中，图像采集模块包括：

在本发明的一个实施例中，图像处理模块包括：

图像编码单元，用于根据所述目标图像得到彩色条纹图；

图像转换单元，用于根据所述校正条纹图得到相位信息；

三维转换单元，根据所述相位信息得到三维形貌信息。

在本发明的一个实施例中，所述校正单元包括：

光源设备，用于产生目标图像；

图像采集器，用于获取所述目标图像；

处理器；

存储器，用于存储有计算机程序；

所述处理器执行所述计算机程序的步骤为：

根据所述目标图像得到彩色条纹图；

对所述彩色条纹图进行校正操作，以得到校正条纹图；

根据所述校正条纹图得到相位信息；

根据所述相位信息得到三维形貌信息。

更进一步地，请参考图2，图2是本发明实施例提供的一种相移轮廓术三维测量方法的测试原理图，步骤1中，N步相移技术，具体如下：

在PSP系统中，一般假设投影仪的光源稳定，即投影条纹图的背景和对比度恒定不变，则理想的投影条纹强度I^p(x,y)可以表示为：

其中，(x,y)表示投影仪平面上的像素坐标；α和β分别为背景强度和对比度；f和N分别表示条纹图的空间频率和相移步数。则由相机获取的第n帧变形条纹图的强度分布可表示为：

其中，A(x,y)和B(x,y)分别表示变形条纹图的背景光强和对比度；表示被测物体的相位信息可以由N步相移算法获取：

此外，投影仪的R和B通道被编码为具有π相位差的条纹图，具体过程如下：

由于PSP技术的前提条件为：光源(投影仪和环境光)被视为稳定的，但是在复杂条件下，这种假设将不成立，如：(1)在物体的运动和快速三维测量中，相机的曝光时间接近于或小于投影仪的刷新时间，因此，投影仪将不能视为稳定的光源；(2)室外对物体进行三维测量时，在条纹图相移的过程中，环境光可能发生变化。

此时投影仪投影的第n帧条纹强度可重新表述为：

其中，P_n(x,y)表示一个变量因子，其角标n表示投影仪的光源强度将随时间或者相移发生变化。

则由相机获取的第n帧变形条纹图的强度分布也可重新表示为

其中，A_n(x,y)表示每帧条纹的背景光强，由于投影仪和环境光的变化，它将随时间和空间变化；B_n(x,y)表示对比度，由于投影仪光源的变化，它将是随时间变化的函数。

为了消除由光源的变化导致的相位误差，本发明利用投影仪的R和B通道存储具有π相位差的条纹。则相机获取的变形条纹可表示为：

其中和别表示R通道的背景光强和对比度；和分别为B通道的背景强度和对比度；3颜色通道R、G、B分别对应C＝1,2,3。和分别表示R,G和B通道的条纹强度。

其次，对R通道相位消除图像和B通道相位消除图像进行背景光强校正和对比度校正得到R通道初级校正条纹图和B通道初级校正条纹图，其具体方法步骤如下：

由于物体对R通道和B通道的光源具有不同的反射率，所以故需要选择其中一个通道中的条纹并对其背景光强和对比度进行校正(本实施例中选择R通道)，使得两通道背景和对比度分别相等，此校正过程是消除变化的背景和对比度的前提条件。

进一步地，由背景光强校正方法校正R通道条纹图中变化的背景光强，其背景校正公式如下：

其中，和分别表示R和B通道条纹图的平均灰度值。

进一步地，由对比度方法消除R通道条纹中对比度变化的影响，其对比度校正过程如下：

其中，是R通道条纹强度的校正结果，表示条纹图I^r1(x,y,n)的平均灰度值，和分别为和的方差。

进一步地，R通道校正条纹图的度和B通道校正条纹图的强度相减，以消除变化的背景光进而得到次级校正条纹图，其步骤具体包括：

为R通道校正条纹图的条纹强度和B通道校正条纹图的条纹强度的差值。

进一步地，对R通道校正条纹图的强度和B通道条纹图的强度相减后得到的强度残差值，对强度残差值进行归一化操作，其具体步骤如下：

其中和分别表示的最大和最小强度值。

利用N步相移算法提取移条纹图的相位信息由于arctan函数的截断效应，故需要对进行展开以获取连续相位信息φ₁(x,y)。

进一步地，利用相位-高度映射公式得到物体的三维形貌信息，具体步骤如下：

其中，l表示相机到参考平面的距离；d表示相机与投影仪之间的距离。

进一步地，光源设备采用型号为EPSON CB-X05，分辨率为1204×768的投影仪；图像采集器采用型号为MERCURY，分辨率为1628×1236的CCD相机。

具体的，为了体现本发明基于PSP技术和彩色编码条纹的误差校正方法的灵活性和有效性，所以将人脸面具作为待测物进行试验验证。在PSP系统中，首先通过系统标定技术建立相位和高度映射关系，为了更直观地展示本发明所提方法的性能，设置了两种不同的实验条件，如下：

①如图3-5所示，相机工作在长曝光时间(30ms)以及无环境光变化，即标准PSP方法，采用十步相移方法提取物体的相移信息；

②如图6-图8所示，相机工作在短曝光时间(0.1ms)以及人为的控制环境光的变化。与实验①中的条件相比，不同之处是光源的变化和相机的曝光时间；

在实验②条件下且没有经过校正方法的实验结果，如图6-图8所示，可以看出谐波误差现象比较严重；

在实验②条件下且经过校正方法的实验结果，如图9-图11所示，可以看出谐波误差能够被很好的消除。

为了更直观的评估所提方法的性能，本发明通过将图12减去图13的数据以获得误差补偿的高度残差同样，本发明也计算了无误差补偿的高度残差所示，其值是通过将图7减去图4的数据；图12-图13中白色直线表示4列数据且分别对应于横坐标像素点值为x1＝276，x2＝536，x3＝827，x4＝1000。和的均方根值(root-mean-square，RMS)分别为0.0930mm和0.5133mm，通过本发明所提的误差校正方法，重建高度残差的均方根值减小了无误差补偿方法的1/5。

为了验证本发明所提校正方法的测试结果，图12和图13中的白色直线所表示的4列数据如图14所示，其中虚线表示无误差补偿的高度残差实线表示经过误差补偿的高度残差从该实验结果中可以看出光源不稳定和环境的变化引起的谐波误差能够被很好的消除。

此外，本实施例也对平面面形进行了测试。通过所提误差补偿方法重建的三维数据减去基于标准PSP方法重建的三维数据进而获取误差补偿的高度残差其结果如图15所示。本发明也通过未校正误差的重建三维数据减去基于标准PSP方法重建的三维数据进而获取无误差补偿的高度残差其结果如图16所示。其中图8中的白色直线表示4列的数据，其对应的横坐标像素坐标值分别为x1＝276，x2＝500，x3＝624，x4＝1000。和表示的4列数据如图17所示，其均方根值分别为0.0320mm和0.1569mm，图中的虚线表示无误差补偿的高度残差实线表示经过误差补偿的高度残差的均方根是的1/5，测量精度得到了提高。

具体的，存储介质可被计算机读取。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种相移轮廓术三维测量方法，其特征在于，包括：

产生目标图像；

获取所述目标图像；

根据所述目标图像得到彩色条纹图；

对所述彩色条纹图进行校正操作，以得到校正条纹图；

根据所述校正条纹图得到相位信息；

根据所述相位信息得到三维形貌信息。

2.根据权利要求1所述的相移轮廓术三维测量方法，其特征在于，所述目标图像包括R通道图和B通道图。

3.根据权利要求1所述的相移轮廓术三维测量方法，其特征在于，获取所述目标图像，包括：

4.根据权利要求1所述的相移轮廓术三维测量方法，其特征在于，对所述彩色条纹图进行校正操作，以得到校正条纹图，包括：

5.一种相移轮廓术三维测量系统，其特征在于，包括：

光源发射模块，用于产生目标图像；

图像采集模块，用于获取所述目标图像；

6.根据权利要求5所述的相移轮廓术三维测量系统，其特征在于，图像采集模块包括：

7.根据权利要求5所述的相移轮廓术三维测量系统，其特征在于，图像处理模块包括：

图像编码单元，用于根据所述目标图像得到彩色条纹图；

图像转换单元，用于根据所述校正条纹图得到相位信息；

三维转换单元，根据所述相位信息得到三维形貌信息。

8.根据权利要求7所述的相移轮廓术三维测量系统，其特征在于，所述校正单元包括：

9.一种相移轮廓术三维测量装置，其特征在于，包括：

光源设备，用于产生目标图像；

图像采集器，用于获取所述目标图像；

处理器；

存储器，用于存储有计算机程序；

所述处理器执行所述计算机程序的步骤为：

根据所述目标图像得到彩色条纹图；

对所述彩色条纹图进行校正操作，以得到校正条纹图；

根据所述校正条纹图得到相位信息；

根据所述相位信息得到三维形貌信息。

10.一种存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。