CN113358061B - 端到端标定深度学习网络的单幅条纹三维点云测量方法 - Google Patents

Abstract

本发明公开了一种端到端标定深度学习网络的单幅条纹三维点云测量方法，只需要一幅棋盘格条纹图与单幅物体条纹图，即可使用深度学习技术实现单幅条纹图的三维点云测量，为解决条纹投影测量系统标定过程繁琐，且使用深度学习技术时不同标定参数下数据集不通用的问题，提出使用棋盘格条纹图和单幅条纹图来联合训练深度学习网络，棋盘格条纹图可对网络进行世界坐标标定，经过标定的深度学习网络模型，将单幅条纹图里的物体映射到棋盘格对应的世界坐标系中，使网络直接输出真实世界坐标的三维点云。有益效果在于：提出用棋盘格条纹图联合物体条纹图直接训练和标定深度学习网络，无需额外标定，可直接实现端到端的三维点云测量。

Description

端到端标定深度学习网络的单幅条纹三维点云测量方法

技术领域

本发明涉及一种端到端标定深度学习网络的单幅条纹三维点云测量方法,属于光学、计算机视觉和人工智能技术领域。

背景技术

计算机视觉技术的进步，使得计算机视觉应用逐渐从二维图像向三维数据延申，更加便捷、快速的三维测量技术应运而生。三维测量包括飞行时间法、双目视觉法和结构光测量法等。结构光测量法这类主动式方法具有明显的精度优势，其中基于条纹投影的测量方法因其高精度和良好的分析特性获得广泛应用。

条纹投影测量方法主要分为基于多幅畸变条纹的相移法和基于单幅条纹的频谱分析法。相移法精度较高，但测量时间较长，测量过程中要求物体保持静止，应用场合十分受限，单幅条纹频谱分析方法只需要一幅畸变条纹图，具有良好的动态特性，但是测量精度较低。

近年来，随着深度学习在计算机视觉上的流行，条纹投影测量方法的各个环节也采用深度学习的方法来解决，端到端的单幅条纹投影测量的方法也被提了出来。但是，目前采用深度学习的单幅投影方法受限于标定参数，若要测得物体的真实尺寸，需要在实际系统标定准确的前提下才可以准备训练用的数据集。当实际系统不固定或者标定不准确时，需要重新准备数据集并训练，带来很多不必要的麻烦。

发明内容

技术问题：

相移条纹投影测量方法因投拍多张图片而耗时长，传统的单幅条纹投影仪测量方法精度不高，基于深度学习的单幅相位恢复得到三维点云的测量方法可实现高帧率的测量，但测量系统需要事先完成标定，训练用数据集的准备比较繁琐，且不同标定参数下的数据集不能通用。本发明提出一种端到端标定深度学习网络的单幅条纹三维点云测量方法，用棋盘格条纹图来标定深度学习网络，在不需要繁琐的系统标定的情况下，就可以从单幅畸变条纹图案中还原出物体的真实三维尺寸，并以三维点云的形式呈现。本方法采用了深度学习技术，训练集准备过程中采用图形学的技术和方法来实现样本数据的仿真的增强，基于深度学习技术来实现条纹图像的三维重建，该方法简单、易操作，不仅大幅提升了测量的速度和精度，而且在测量过程中无需要繁琐的标定过程，不同仿真数据集之间也可以通用。

技术方案：一种端到端标定深度学习网络的单幅条纹三维点云测量方法，其特征在于，具体步骤为：

步骤1：虚拟系统建模，首先设计好棋盘格标定板中单位正方形格的边长，然后依据该单位边长参数，通过计算机图形学方法，在软件中建模一个带有棋盘格图案的平面实体，并在软件中构造虚拟的单相机、单投影仪的条纹测量系统，设置好相关参数；

步骤2：建立数据集，在步骤1软件中的虚拟系统中，将棋盘格平面实体移动到相机和投影仪法线交点处，调整其姿态使其完整且清晰地出现在相机视野中，翻转、旋转棋盘格实体、改变虚拟系统的相机及投影仪参数及位置，每次改变下渲染一幅棋盘格条纹图；同样地，在该虚拟系统中导入三维仿真实体，翻转、旋转仿真实体、改变虚拟系统的相机及投影仪参数及位置，每次改变下渲染一幅物体条纹图以及相应的物体深度图，并将该深度图对应转换为一个三维点云数据，然后导入下一个仿真实体重复渲染，最终建立大规模的棋盘格条纹图、单幅物体条纹图和对应的三维点云数据集；

步骤3：设计并训练深度学习网络，首先设计深度学习网络的结构，输入为一幅棋盘格条纹图和单幅物体条纹图的联合拼接数据，输出为三通道的对应物体点云数据，然后将步骤2中得到的数据集分为训练集、验证集和测试集三部分，在训练集上训练网络，在验证集上调整网络参数，最后在测试集上测试网络的性能。

步骤4：测量应用，制作一块与步骤1中单位边长参数一致的棋盘格标定板，利用计算机、相机和投影仪搭建实际的条纹投影测量系统，将棋盘格标定板置于相机视野中，拍摄一幅清晰的棋盘格条纹图并保存，然后撤走棋盘格；之后的测量应用时，将待测物体置于相机视野中，只需采集单幅物体条纹图，每次运行深度学习网络时，只需用构建训练集输入同样的方式，将每次采集的单幅实物条纹图和已保存的棋盘格条纹图联合拼接为输入，即可输出每次测量物体的三维点云数据。

作为本发明的进一步改进，所述步骤1中利用图形学软件blender建模虚拟的条纹投影测量系统，通过在平面实体渲染管道中添加棋盘格纹理节点建立棋盘格平面实体，设计棋盘格中单位正方形格的边长参数为3cm，并设置平面实体长宽为60cm*60cm，棋盘格单位正方形格数量为20*20来保证单位边长参数正确；设置相机和投影仪位置和姿态，使其法线交于原点，方便棋盘格平面实体和仿真实体的放置。

作为本发明的进一步改进，所述步骤2中利用blender软件建立数据集，渲染每一组数据时，都在一定范围内随机地调整系统参数，以丰富数据集中所包含的情况，所述系统参数包括：相机到原点的距离、投影仪到原点的距离、相机与投影仪之间的夹角、仿真实体的翻转姿态角度、棋盘格平面实体的俯仰、偏航、翻转姿态角度以及投影条纹的周期大小。

作为本发明的进一步改进，所述步骤3中深度学习网络使用Unet，也可使用其他网络模型，深度学习框架为Pytorch，其输入为棋盘格条纹图和物体条纹图联合拼接后的数据，两种条纹图均为RGB三通道彩色图像，大小均为256*256*3，联合拼接后的数据大小为256*256*6，具体拼接方法为：将物体条纹图的R通道图数据按行依序拼接成一维的R通道数据，同理，得到物体条纹图的一维G通道、一维B通道数据，以及棋盘格条纹图的一维R通道、一维G通道和一维B通道数据，将物体条纹图的R、G、B三个维度通道与棋盘格条纹图的R、G、B三个维度通道依序并列排列拼接成六通道的数据，即大小为256*256*6，由于条纹图一般只有明暗变化，两种条纹图也可以采用单通道图像，将两图像的通道依序并列排列拼接成双通道的数据，即大小为256*256*2，上述排列拼接工作可使用Pytorch下的torch.cat函数完成，网络输出为256*256*3的三维点云数据，该三个通道分别为实物点的X坐标、Y坐标、Z坐标，条纹图中每一个像素都对应输出一个点云数据；棋盘格条纹图用于标定深度学习网络，为了增加网络的泛化能力，网络在训练时，每一组输入数据的棋盘格条纹图都是不同的，网络在测试时，系统参数一致时，输入数据的棋盘格条纹图是相同的。

作为本发明的进一步改进，所述步骤4中训练好的网络在应用过程中，测量系统中投影仪和相机的相对位置、姿态不变的情况下，仅需拍摄一次单幅棋盘格条纹图，固定存储在内存中，后续每次测量时只需采集一幅物体条纹图，然后将每次采集的物体条纹图与固定存储在内存中的这一幅棋盘格条纹图进行联合拼接，形成输入数据传送到网络；若测量系统中投影仪和相机的相对位置或姿态发生了改变，则重新拍摄一幅棋盘格条纹图替换存储在内存中即可；进而，深度学习网络只需要一帧被测物体的条纹图就可以得到一帧的三维点云数据，该测量系统配置高速相机时可以做到实时高帧率的三维点云测量。

有益效果：

1.相比较传统相移条纹投影测量方法，本发明精度较高，并且获得了明显的速度提升，能够满足实时性要求；

2.相比较传统单幅条纹投影测量方法，本发明精度明显提高，并且算法耗时更少；

3.相较于其它基于深度学习的单幅条纹投影测量方法，本发明无须传统的系统性标定，大大简化了操作步骤以及标定过程所带来的误差，同时又可以获得精确的三维点云数据；4.相比较求算包裹相位后条纹展开的方法，本发明实现了畸变条纹图直接到三维点云的求算，避免了计算过程中的信息损失，简化了求算过程，从而获得了较高精度和速度；

5.本发明方法大大提高了实时在线三维测量的精度和效率，可用于实践。

附图说明

图1为本发明整体算法图，包括生成数据集、训练网络和用网络进行实际测量。

图2为本发明用blender仿真生成数据集的过程图。

图3为本发明测量流程示意图。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及其效果，下面将结合本发明实施例中附图对本发明详予说明。显然，附图中所描述的实施例仅仅是本发明的一个实施例，而不是全部的实施例。在附图中描述和示出的本发明实施例的组件可以以不同的数量和顺序来布置和设计。因此，基于本发明的实施例，本领域技术人员在没有做出创造性的劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种端到端标定深度学习网络的单幅条纹三维点云测量方法，具体步骤为：

步骤1：虚拟系统建模，首先设计好棋盘格标定板中单位正方形格的边长，然后依据该单位边长参数，通过计算机图形学方法，在软件中建模一个带有棋盘格图案的平面实体，并在软件中构造虚拟的单相机、单投影仪的条纹测量系统，设置好相关参数；

步骤2：建立数据集，在步骤1软件中的虚拟系统中，将棋盘格平面实体移动到相机和投影仪法线交点处，调整其姿态使其完整且清晰地出现在相机视野中，翻转、旋转棋盘格实体、改变虚拟系统的相机及投影仪参数及位置，每次改变下渲染一幅棋盘格条纹图；同样地，在该虚拟系统中导入三维仿真实体，翻转、旋转仿真实体、改变虚拟系统的相机及投影仪参数及位置，每次改变下渲染一幅物体条纹图以及相应的物体深度图，并将该深度图对应转换为一个三维点云数据，然后导入下一个仿真实体重复渲染，最终建立大规模的棋盘格条纹图、单幅物体条纹图和对应的三维点云数据集；

步骤3：设计并训练深度学习网络，首先设计深度学习网络的结构，输入为一幅棋盘格条纹图和单幅物体条纹图的联合拼接数据，输出为三通道的对应物体点云数据，然后将步骤2中得到的数据集分为训练集、验证集和测试集三部分，在训练集上训练网络，在验证集上调整网络参数，最后在测试集上测试网络的性能。

步骤4：测量应用，制作一块与步骤1中单位边长参数一致的棋盘格标定板，利用计算机、相机和投影仪搭建实际的条纹投影测量系统，将棋盘格标定板置于相机视野中，拍摄一幅清晰的棋盘格条纹图并保存，然后撤走棋盘格；之后的测量应用时，将待测物体置于相机视野中，只需采集单幅物体条纹图，每次运行深度学习网络时，只需用构建训练集输入同样的方式，将每次采集的单幅实物条纹图和已保存的棋盘格条纹图联合拼接为输入，即可输出每次测量物体的三维点云数据。

在本实施例中，步骤1中利用图形学软件blender建模虚拟的条纹投影测量系统，通过在平面实体渲染管道中添加棋盘格纹理节点建立棋盘格平面实体，设计棋盘格中单位正方形格的边长参数为3cm，并设置平面实体长宽为60cm*60cm，棋盘格单位正方形格数量为20*20来保证单位边长参数正确；设置相机和投影仪位置和姿态，使其法线交于原点，方便棋盘格平面实体和仿真实体的放置。

在本实施例中，步骤2中利用blender软件建立数据集，渲染每一组数据时，都在一定范围内随机地调整系统参数，以丰富数据集中所包含的情况，其中，系统参数包括：相机到原点的距离、投影仪到原点的距离、相机与投影仪之间的夹角、仿真实体的翻转姿态角度、棋盘格平面实体的俯仰、偏航、翻转姿态角度以及投影条纹的周期大小。

在本实施例中，步骤3中深度学习网络使用Unet，也可使用其他网络模型，深度学习框架为Pytorch，其输入为棋盘格条纹图和物体条纹图联合拼接后的数据，两种条纹图均为RGB三通道彩色图像，大小均为256*256*3，联合拼接后的数据大小为256*256*6，具体拼接方法为：将物体条纹图的R通道图数据按行依序拼接成一维的R通道数据，同理，得到物体条纹图的一维G通道、一维B通道数据，以及棋盘格条纹图的一维R通道、一维G通道和一维B通道数据，将物体条纹图的R、G、B三个维度通道与棋盘格条纹图的R、G、B三个维度通道依序并列排列拼接成六通道的数据，即大小为256*256*6，由于条纹图一般只有明暗变化，两种条纹图也可以采用单通道图像，将两图像的通道依序并列排列拼接成双通道的数据，即大小为256*256*2，上述排列拼接工作可使用Pytorch下的torch.cat函数完成，网络输出为256*256*3的三维点云数据，该三个通道分别为实物点的X坐标、Y坐标、Z坐标，条纹图中每一个像素都对应输出一个点云数据；棋盘格条纹图用于标定深度学习网络，为了增加网络的泛化能力，网络在训练时，每一组输入数据的棋盘格条纹图都是不同的，网络在测试时，系统参数一致时，输入数据的棋盘格条纹图是相同的。

在本实施例中，步骤4中训练好的网络在应用过程中，测量系统中投影仪和相机的相对位置、姿态不变的情况下，仅需拍摄一次单幅棋盘格条纹图，固定存储在内存中，后续每次测量时只需采集一幅物体条纹图，然后将每次采集的物体条纹图与固定存储在内存中的这一幅棋盘格条纹图进行联合拼接，形成输入数据传送到网络；若测量系统中投影仪和相机的相对位置或姿态发生了改变，则重新拍摄一幅棋盘格条纹图替换存储在内存中即可；进而，深度学习网络只需要一帧被测物体的条纹图就可以得到一帧的三维点云数据，该测量系统配置高速相机时可以做到实时高帧率的三维点云测量。

上述内容仅是本发明的一个实施例，本发明采用棋盘格标定板，还可以改变标定物体或标定图案，如换成圆形图案标定板或者其他标定用的物体，另外，通过添加或删除部分卷积层、添加或删除部分高速通路、更改部分或全部网络训练的超参数或采用其他的网络训练优化算法，本发明所提供的网络结构还可以有多种变式，数据集的建立还可参考多种数据库，在本领域技术人员在没有做出创造性的劳动的前提下，通过上述方式更改网络得到的网络变式均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种端到端标定深度学习网络的单幅条纹三维点云测量方法，其特征在于，具体步骤为：

步骤1：虚拟系统建模，首先设计好棋盘格标定板中单位正方形格的边长，然后依据该单位边长参数，通过计算机图形学方法，在软件中建模一个带有棋盘格图案的平面实体，并在软件中构造虚拟的单相机、单投影仪的条纹投影测量系统，设置好相关参数；

步骤2：建立数据集，在步骤1软件构造的虚拟系统中，将棋盘格平面实体移动到相机和投影仪法线交点处，调整其姿态使其完整且清晰地出现在相机视野中，翻转、旋转棋盘格实体、改变虚拟系统的相机及投影仪参数及位置，每次改变下渲染一幅棋盘格条纹图；同样地，在该虚拟系统中导入三维仿真实体，翻转、旋转仿真实体、改变虚拟系统的相机及投影仪参数及位置，每次改变下渲染一幅物体条纹图以及一幅相应的物体深度图，并将该深度图对应转换为一个三维点云数据，然后导入下一个仿真实体重复渲染，最终建立大规模的棋盘格条纹图、单幅物体条纹图和对应的三维点云数据集；

步骤3：设计并训练深度学习网络，首先设计深度学习网络的结构，输入为一幅棋盘格条纹图和单幅物体条纹图的联合拼接数据，输出为三通道的对应物体点云数据，然后将步骤2中得到的数据集分为训练集、验证集和测试集三部分，在训练集上训练网络，在验证集上调整网络参数，最后在测试集上测试网络的性能；

步骤4：测量应用，制作一块与步骤1中单位边长参数一致的棋盘格标定板，利用计算机、相机和投影仪搭建实际的条纹投影测量系统，将棋盘格标定板置于相机视野中，拍摄一幅清晰的棋盘格条纹图并保存，然后撤走棋盘格；之后测量应用时，将待测物体置于相机视野中，只需采集单幅物体条纹图，每次运行深度学习网络时，只需用与构建训练集输入同样的方式，将每次采集的单幅实物条纹图和已保存的棋盘格条纹图联合拼接为输入，即可输出每次测量物体的三维点云数据。

2.根据权利要求1所述的一种端到端标定深度学习网络的单幅条纹三维点云测量方法，其特征在于：所述步骤1利用图形学软件blender建模虚拟的条纹投影测量系统，通过在平面实体渲染管道中添加棋盘格纹理节点建立棋盘格平面实体，设计棋盘格中单位正方形格的边长参数为3cm，并设置平面实体尺寸为60cm×60cm，棋盘格单位正方形格数量为20×20个来保证单位边长参数正确；设置相机和投影仪位置和姿态，使其法线交于原点，方便棋盘格平面实体和仿真实体的放置。

3.根据权利要求1所述的一种端到端标定深度学习网络的单幅条纹三维点云测量方法，其特征在于：所述步骤2 中，利用blender软件建立数据集，渲染每一组数据时，都在一定范围内随机地调整系统参数，以丰富数据集中所包含的情况，所述系统参数包括：相机到原点的距离、投影仪到原点的距离、相机与投影仪之间的夹角、仿真实体翻转姿态角度、棋盘格平面实体的俯仰、偏航、翻转姿态角度以及投影条纹的周期大小。

4.根据权利要求1所述的一种端到端标定深度学习网络的单幅条纹三维点云测量方法，其特征在于：所述步骤3中的深度学习网络使用Unet，也可使用其他网络模型，深度学习框架为Pytorch，其输入为棋盘格条纹图和物体条纹图联合拼接后的数据，两种条纹图为RGB三通道彩色图像或为灰度图像，大小均为256×256×3或256×256，联合拼接后的数据大小为256×256×6。

5.根据权利要求4所述的一种端到端标定深度学习网络的单幅条纹三维点云测量方法，其特征在于：输入的条纹图为RGB三通道彩色图像，其具体拼接方法为：将物体条纹图的R通道图数据按行依序拼接成一维的R通道数据，同理，得到物体条纹图的一维G通道、一维B通道数据，以及棋盘格条纹图的一维R通道、一维G通道和一维B通道数据，将物体条纹图的R、G、B三个维度通道与棋盘格条纹图的R、G、B三个维度通道依序并列排列拼接成六通道的数据，即大小为256*256*6；若条纹图为灰度图像，可将两图像的通道依序并列排列拼接成双通道的数据，即大小为256*256*2；上述排列拼接工作可使用Pytorch下的torch.cat函数完成，网络输出为256*256*3的三维点云数据，该三个通道分别为实物点的X坐标、Y坐标、Z坐标，条纹图中每一个像素都对应输出一个点云数据；棋盘格条纹图用于标定深度学习网络，为了增加网络的泛化能力，网络在训练时，每一组输入数据的棋盘格条纹图都是不同的，网络在测试时，系统固定时，输入数据的棋盘格条纹图可用同一幅。

6.根据权利要求1所述的一种端到端标定深度学习网络的单幅条纹三维点云测量方法，其特征在于：所述步骤4中，训练好的网络在应用过程中，测量系统中投影仪和相机的相对位置、姿态不变的情况下，仅需拍摄一次单幅棋盘格条纹图，固定存储在内存中，后续每次测量时只需采集一幅物体条纹图，然后将每次采集的物体条纹图与固定存储在内存中的这一幅棋盘格条纹图进行联合拼接，形成输入数据传送到网络；若测量系统中投影仪和相机的相对位置或姿态发生了改变，则重新拍摄一幅棋盘格条纹图替换存储在内存中即可；进而，深度学习网络只需要一帧被测物体的条纹图就可以得到一帧的三维点云数据，该测量系统配置高速相机时可以做到实时高帧率的三维点云测量。

Images