CN115127481A - 条纹投影3d测量方法、终端设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种条纹投影3D测量方法、终端设备及计算机可读存储介质，包括：生成至少四个标记点位，投射至少四个标记点位及相移条纹图；调整标定板姿态以拍摄多组标定图，投影并拍摄多组标定图片、多组标记点位图及多组相移图；通过包裹相位图得到至少四张局部区域图，根据至少四个标记点得到至少四个起始计算点，以进行级数求解得出解相位结果；建立反向五阶完备多项式畸变模型，确定投影仪与相机的位置关系；根据反向五阶完备多项式畸变模型对像素坐标和相位值进行去畸变，将去畸变后的像素坐标与相位值代入三维重建方程计算对应点的三维坐标。本发明所提出的反向畸变多项式模型无需进行非线性去畸变操作，有效提高了三维重建的计算效率。

Description

条纹投影3D测量方法、终端设备及计算机可读存储介质

技术领域

本发明涉及光学技术领域，尤其涉及一种条纹投影3D测量方法、终端设备及计算机可读存储介质。

背景技术

在结构光测量领域中，相位测量轮廓术(PMP)是一种能获得物体表面三维形状点云的成熟方法，PMP具有非接触、全场测量、高精度、速度快以及量程大等优点，在工业自动化检测、生物医学、质量控制等领域得到了广泛应用。

PMP中的关键技术包括相位解包裹和系统标定。然而，基于立体视觉的标定方法将投影仪看作是一个逆相机，向标定板投射相移条纹，通过插值获得角点的相位值，进而采用传统标定方法计算投影仪内参与畸变。相机的标定则根据镜头类型可以采用PnP方法或者远心镜头标定方法。这种方法在重建时需要先对获得的相位值和像素坐标进行去畸变操作，计算复杂，耗时较长。

发明内容

本发明所要解决的技术问题在于，提供一种条纹投影3D测量方法、终端设备及计算机可读存储介质，能够有效提高三维重建的计算效率。

为了实现上述目的，本发明实施例提供了一种条纹投影3D测量方法，所述方法包括：生成至少四个标记点位，根据所述标记点位的位置及预设的相移条纹图，确定所述标记点位所在的条纹级数，以投射所述至少四个标记点位及所述相移条纹图；调整标定板姿态以拍摄多组标定图，对应所述多组标定图，投影并拍摄多组标定图片、多组标记点位图及多组相移图；计算包裹相位以得到包裹相位图，通过所述包裹相位图得到至少四张局部区域图，所述至少四个标记点位位于所述至少四张区域中心，根据所述至少四个标记点中的每个标记点，分别得到至少四个起始计算点，以进行级数求解得出解相位结果；进行相机标定，通过投影模型计算得出计算相位值，通过所述计算相位值、所述解相位结果、及原始像素值建立反向五阶完备多项式畸变模型，确定投影仪与所述相机的位置关系；于被测试件上投影并拍摄具有所述标记定位图及所述相移图，根据所述反向五阶完备多项式畸变模型对像素坐标和相位值进行去畸变，将去畸变后的像素坐标与相位值代入三维重建方程计算对应点的三维坐标。

作为上述方案的改进，所述步骤“生成至少四个标记点位”包括：对所述投影仪预投射的原始图进行四等分，在被四等分的四块区域内的中心分别生成所述标记点位。

作为上述方案的改进，所述步骤“投射所述至少四个标记点位及所述相移条纹图”包括：在投影所述相移条纹图之前，投射所述至少四个标记点位。

作为上述方案的改进，所述步骤“计算包裹相位以得到包裹相位图”之后，还包括：将生成的标记点位图与拍摄所采集到的标记点位图进行模板匹配，得到所述至少四个标记点位的实际像素坐标。

作为上述方案的改进，所述步骤“通过所述包裹相位图得到至少四张局部区域图，所述至少四个标记点位位于所述至少四张区域中心”，包括：对所述包裹相位图的长宽进行二等分以得到至少四张局部区域图，每张局部图上以所述的标记点位为中心。

作为上述方案的改进，所述步骤“根据所述至少四个标记点中的每个标记点，分别得到至少四个起始计算点，以进行级数求解得出解相位结果”，包括：确定所述标记点位对应的左边、上边、左上三个相邻点的相位级次，得到四个起始计算点，对每个所述起始计算点，进行两个方向的相位发散展开。

作为上述方案的改进，所述步骤“进行相机标定，通过投影模型计算得出计算相位值”，包括：选择一组所述标定图，通过纯白光图进行相机的标定，提取所述标定板角点像素坐标，根据所述标定板的尺寸信息，通过对镜头成像的针孔模型进行分解，得到放大倍率、主点以及旋转平移矩阵的初值。

作为上述方案的改进，所述步骤“通过所述计算相位值、所述解相位结果、及原始像素值建立反向五阶完备多项式畸变模型”，包括：针对所述标定板上的角点像素坐标，通过所述针孔模型计算出的相位作为畸变后的值，将所述解相位结果、及所述原始像素值作为畸变前的值，进行五阶完备多项式反向畸变拟合，计算畸变系数，提取投影标定结果中与相机标定对应的同一姿态的外参结果作为系统参数。

本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的条纹投影3D测量方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任一项所述的条纹投影3D测量方法。

相对于现有技术，本发明实施例提供的一种条纹投影3D测量方法、终端设备及计算机可读存储介质的有益效果在于，本发明在三维重建计算时只需投影一张标记点位图与四张相移图，极大减少了投图时间。四个标记点位及四方向的十六线程并行计算提高了相位展开求解效率，且在一定程度上解决了空间相位展开方法在条纹断裂或者不连续时无法进行相位展开的问题，本发明所提出的反向畸变多项式模型无需进行非线性去畸变操作，有效提高了三维重建的计算效率。

附图说明

图1是本发明提供的一种条纹投影3D测量方法的一个优选实施例的流程示意图；

图2是本发明提供的一种条纹投影3D测量系统的一个优选实施例的结构示意图；

图3是本发明提供的一种终端设备的一个优选实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1及图2，图1是本发明提供的一种条纹投影3D测量方法的一个优选实施例的流程示意图，图2是图2是本发明提供的一种条纹投影3D测量系统的一个优选实施例的结构示意图。

如图1所示，上述条纹投影3D测量方法，包括：

步骤S100，生成至少四个标记点位，根据该标记点位的位置及预设的相移条纹图，确定该标记点位所在的条纹级数，以投射该至少四个标记点位及该相移条纹图；

步骤S200，调整标定板姿态以拍摄多组标定图，对应该多组标定图，投影并拍摄多组标定图片、多组标记点位图及多组相移图；

步骤S300，计算包裹相位以得到包裹相位图，通过该包裹相位图得到至少四张局部区域图，该至少四个标记点位位于该至少四张区域中心，根据该至少四个标记点中的每个标记点，分别得到至少四个起始计算点，以进行级数求解得出解相位结果；

步骤S400，进行相机202标定，通过投影模型计算得出计算相位值，通过该计算相位值、该解相位结果、及原始像素值建立反向五阶完备多项式畸变模型，确定投影仪201与该相机202的位置关系；

步骤S500，于被测试件上投影并拍摄具有该标记定位图及该相移图，根据该反向五阶完备多项式畸变模型对像素坐标和相位值进行去畸变，将去畸变后的像素坐标与相位值代入三维重建方程计算对应点的三维坐标。

具体的，本发明中所采用的条纹投影3D测量系统包括投影仪201及相机202，其中，投影仪201采用了工业镜头(CCD相机)，相机202采用远心镜头相机。

于步骤S100，即设计标记点位点投影图步骤中，先将投影仪201投射的原始图进行四等分，在四块区域的中心设计四个十字标记点位，在投影相移条纹前投射上述四个标记点位的定位图。根据每个标记点位的中心像素位置以及设计的相移条纹图，确定每个标记点位所在的条纹级数；

举例而言，上述标记点位还可以是圆形标记点位、二维码或者其他特征点位，本发明并不以此为限。

于步骤S200，即拍摄标定图片步骤中，还包括：步骤S201，在一块底板漫反射特性较好的圆点标定板摆放在投影仪201与相机202的共同视场中，首先拍摄一幅投影纯白光的标定图，接着投影并拍摄标记点位的定位图与两个方向的四步相移图；步骤S202，改变标定板姿态，重复步骤S201，采集20组左右标定图。

于步骤S300，即相位求解步骤中，还包括：步骤S301，计算包裹相位，得到两个方向的包裹相位图，其中，本步骤是通过对每个方向四幅相移图进行差分、强度、反射度、调制度以及反正切等计算，以得到两个方向的包裹相位图；步骤S302，根据设计的标记点位图，在采集到的标记点位图上进行模板匹配，得到四个标记点位的实际像素坐标；步骤S303，对包裹相位图的长宽进行二等分，一共得到四张局部区域图，每张局部图上，以其上的标记点位为中心，按照步骤S304进行级数求解；其中，步骤S304包括：根据相邻点间的相位跃变，首先确定局部图中标记点位的左边、上边、左上三个相邻点的相位级次，得到一共四个起始计算点，对每个起始计算点，只需进行两个方向的相位发散展开，对左边点进行向左和向下的逐点级次计算，对左上点进行向左和向上的级次计算，其他点位以此类推；可以理解的是，上述实施例通过开辟十六线程，对每个局部图中每个起始点进行级次展开的并行计算。

于步骤S400，即系统标定步骤中，还包括：选择一组标定图，通过纯白光图进行远心镜头相机202的标定。提取标定板角点像素坐标，根据标定板物理尺寸信息，通过对远心镜头成像的针孔模型进行分解，得到放大倍率、主点以及旋转平移矩阵的初值。将模型计算出的值作为畸变后的点，将检测到的角点像素坐标作为畸变前的点，采用五阶完备多项式进行反向畸变拟合，通过最小二乘法计算畸变系数。

可以理解的是，通过本发明中的解相位方法求解每一组标定图的相位，通过双三次B样条插值得到角点处的相位，角点世界坐标已知，因此可以采用传统的张正友方法求解投影仪内参以及投影仪相对于每个标定姿态的外参，对于标定板上的角点，将通过投影仪201的针孔模型计算出的相位作为畸变后的值，将插值得到的相位作为畸变前的值，进行五阶完备多项式反向畸变拟合，计算畸变系数。提取投影标定结果中与相机202标定对应的同一姿态的外参结果作为系统参数，至此便已建立了投影仪201与相机202相对于标定板的位置关系。

于步骤S500，即三维重建步骤中，还包括：步骤S501，在被测试件上投影并拍摄一张标记点位图与单个方向的四张相移图，其中相移图的条纹方向需垂直与相机202与投影仪201的连线；步骤S502，求解相位，此时相机202上每个整像素点都对应一个相位值，根据相机202与镜头的畸变结果，分别计算像素点和相位值畸变前的值，由于采用的反向畸变模型，因此此时的去畸变计算只需进行简单的四则运算，大大提高了计算效率；步骤S503，将去畸变后的像素坐标与相位值带入三维重建方程计算对应点的三维坐标。

需要说明的是，上述四个标记点位可同时进行相位展开计算，且每个标记点位同时朝左上、左下、右上、右下四个方向进行级数计算，从而可以16线程并行计算；此外，上述实施例中还提到，本方法反向地将投影模型计算的值当做畸变后的结果，将解相位结果与原始像素值当做畸变前的结果，建立反向五阶完备多项式畸变模型，只需进行四则运算而无需进行非线性去畸变。

此外，上述实施例中是以至少四个标记点位及至少四方向发散并行求解，其他的标记点位数与相位发散方向数(如将图像划分为8个区域，每个区域沿着标记点位向上，向下，向左，向右，向左上，向左下，向右上，向右下并行相位展开)也视为本发明的替代方案，本发明并不以此为限，只要其能够实现相同的技术效果即可。

相应地，本发明还提供一种条纹投影3D测量系统，能够实现上述实施例中的条纹投影3D测量方法方法的所有流程。

在具体实施当中，本发明实施例提供的条纹投影3D测量系统的工作原理、控制流程及实现的技术效果，与上述实施例中的条纹投影3D测量方法对应相同，在此不再赘述。

请参阅图3，图3是本发明提供的一种终端设备的一个优选实施例的结构示意图。所述终端设备包括处理器301、存储器302以及存储在所述存储器302中且被配置为由所述处理器301执行的计算机程序，所述处理器301执行所述计算机程序时实现上述任一实施例所述的条纹投影3D测量方法。

优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、……)，所述一个或者多个模块/单元被存储在所述存储器302中，并由所述处理器301执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。

所述处理器301可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器301也可以是任何常规的处理器，所述处理器301是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。

所述存储器302主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器302可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡和闪存卡(Flash Card)等，或所述存储器302也可以是其他易失性固态存储器件。

需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图3的结构示意图仅仅是上述终端设备的示例，并不构成对上述终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任一实施例所述的条纹投影3D测量方法。

本发明实施例提供了一种条纹投影3D测量方法、终端设备及计算机可读存储介质，针对解相位、标定和三维重建提出了更高效的算法来实现快速测量；其中，本发明在三维重建计算时只需投影一张标记点位图与四张相移图，极大减少了投图时间。四个标记点位及四方向的十六线程并行计算提高了相位展开求解效率，且在一定程度上解决了空间相位展开方法在条纹断裂或者不连续时无法进行相位展开的问题，本发明所提出的反向畸变多项式模型无需进行非线性去畸变操作，有效提高了三维重建的计算效率。

需说明的是，以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的系统实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种条纹投影3D测量方法，其特征在于，所述方法包括：

生成至少四个标记点位，根据所述标记点位的位置及预设的相移条纹图，确定所述标记点位所在的条纹级数，以投射所述至少四个标记点位及所述相移条纹图；

调整标定板姿态以拍摄多组标定图，对应所述多组标定图，投影并拍摄多组标定图片、多组标记点位图及多组相移图；

计算包裹相位以得到包裹相位图，通过所述包裹相位图得到至少四张局部区域图，所述至少四个标记点位位于所述至少四张区域中心，根据所述至少四个标记点中的每个标记点，分别得到至少四个起始计算点，以进行级数求解得出解相位结果；

进行相机标定，通过投影模型计算得出计算相位值，通过所述计算相位值、所述解相位结果、及原始像素值建立反向五阶完备多项式畸变模型，确定投影仪与所述相机的位置关系；

于被测试件上投影并拍摄具有所述标记定位图及所述相移图，根据所述反向五阶完备多项式畸变模型对像素坐标和相位值进行去畸变，将去畸变后的像素坐标与相位值代入三维重建方程计算对应点的三维坐标。

2.如权利要求1所述的条纹投影3D测量方法，其特征在于，所述步骤“生成至少四个标记点位”包括：对所述投影仪预投射的原始图进行四等分，在被四等分的四块区域内的中心分别生成所述标记点位。

3.如权利要求1所述的条纹投影3D测量方法，其特征在于，所述步骤“投射所述至少四个标记点位及所述相移条纹图”包括：在投影所述相移条纹图之前，投射所述至少四个标记点位。

4.如权利要求1所述的条纹投影3D测量方法，其特征在于，所述步骤“计算包裹相位以得到包裹相位图”之后，还包括：

将生成的标记点位图与拍摄所采集到的标记点位图进行模板匹配，得到所述至少四个标记点位的实际像素坐标。

5.如权利要求1所述的条纹投影3D测量方法，其特征在于，所述步骤“通过所述包裹相位图得到至少四张局部区域图，所述至少四个标记点位位于所述至少四张区域中心”，包括：

对所述包裹相位图的长宽进行二等分以得到至少四张局部区域图，每张局部图上以所述的标记点位为中心。

6.如权利要求5所述的条纹投影3D测量方法，其特征在于，所述步骤“根据所述至少四个标记点中的每个标记点，分别得到至少四个起始计算点，以进行级数求解得出解相位结果”，包括：

确定所述标记点位对应的左边、上边、左上三个相邻点的相位级次，得到四个起始计算点，对每个所述起始计算点，进行两个方向的相位发散展开。

7.如权利要求1所述的条纹投影3D测量方法，其特征在于，所述步骤“进行相机标定，通过投影模型计算得出计算相位值”，包括：

选择一组所述标定图，通过纯白光图进行相机的标定，提取所述标定板角点像素坐标，根据所述标定板的尺寸信息，通过对镜头成像的针孔模型进行分解，得到放大倍率、主点以及旋转平移矩阵的初值。

8.如权利要求7所述的条纹投影3D测量方法，其特征在于，所述步骤“通过所述计算相位值、所述解相位结果、及原始像素值建立反向五阶完备多项式畸变模型”，包括：

针对所述标定板上的角点像素坐标，通过所述针孔模型计算出的相位作为畸变后的值，将所述解相位结果、及所述原始像素值作为畸变前的值，进行五阶完备多项式反向畸变拟合，计算畸变系数，提取投影标定结果中与相机标定对应的同一姿态的外参结果作为系统参数。

9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的条纹投影3D测量方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至8中任意一项所述的条纹投影3D测量方法。

Images