CN111612071B - 一种从曲面零件阴影图生成深度图的深度学习方法 - Google Patents

Abstract

本发明公开了一种从曲面零件阴影图生成深度图的深度学习方法，通过采用CGAN神经网络和pix2pix的网络结构，完成输入曲面零件阴影图生成曲面零件深度图的工作。把曲面零件阴影图输入生成器，生成深度图，生成器生成的深度图和真实的深度图输入判别器进行单个像素的一一对比，两者不停对抗训练；使用U‑NET网络作为CGAN网络中的生成器的主要结构；训练出的神经网络可以完成输入任意角度曲面零件阴影图直接生成对应角度曲面零件三维信息的工作。网络生成的三维信息可以在曲面零件的测量路径规划，逆向重建等方面提供帮助。

Description

一种从曲面零件阴影图生成深度图的深度学习方法

技术领域：

本发明涉及计算机视觉，曲面零件三维测量领域，特别是一种从曲面零件阴影图生成深度图的深度学习方法以及适用于该神经网络的数据集生产方法。

背景技术：

光学测量是一种在运用计算机技术的基础上，通过将光电技术与机械测量的结合，从而达到快速、准确测量工作的一门新技术。目前广泛应用于电子、机械、齿轮加工等精密作领域，其测量结果准确，偏差极小。

随着计算机技术的发展，从单张图像恢复物体的高精度三维信息也成为可能，例如使用CGAN神经网络使用单张物体条纹图恢复深度图，或者从单张物体阴影图中恢复其形状和深度信息。从物体阴影图到对应的深度图虽然有内在联系，但是不是一个简单的函数关系，所以现在一般采用神经网络的方法进行深度信息解码。曲面零件的型面一般为金属表面，金属经过抛光后存在反射现象，并且随着曲面零件型面形状的不同，反射的位置和强度也不同。如果曲面零件正面存在一个固定的光源，则曲面零件型面则会形成一个随曲面零件曲率和高度变化的光影区域。根据上述利用神经网络从单张阴影图恢复深度图的方法，我们可以根据曲面零件光影的明暗来判断曲面零件型面的高低变化从而对曲面零件进行三维重建。

深度学习一般需要大量训练数据集，从单张阴影图恢复深度图的方法需要的训练数据集包括物体的阴影图片和对应的深度图片。一般训练数据集中深度图的采集方式为结构光法或者双目立体视觉三维重建。使用单张阴影图恢复深度图的方法对曲面零件进行三维重建同样需要上述数据集。但是在实际工厂检测中，使用结构光法或立体视觉的方法采集到的曲面零件深度信息有测量精度不高，噪声点多，易受背景物体干扰，测量速度慢等缺点，所以需要一种快速高精度的数据集生成方法。

在生成曲面零件阴影图和对应的深度图后，可以进行深度学习训练，训练出的神经网络可以完成输入任意角度曲面零件阴影图直接生成对应角度曲面零件三维信息的工作。网络生成的三维信息可以在曲面零件的测量路径规划，逆向重建等方面提供帮助。

发明内容：

针对现有技术的以上缺陷或改进需求，本发明提出了一种利用神经网络从单张曲面零件阴影图生成深度图的测量方法以及对应的数据集生成方法，该数据集包括曲面零件阴影图和对应的曲面零件深度图。本数据集生成方法适用的神经网络一般为GAN(Generative Adversarial Networks)或CGAN(Conditional GAN)等图到图的神经网络。

本发明设计了一个曲面零件阴影图采集装置，以及提出了一种曲面零件阴影图和深度图的匹配方法，使用该装置和匹配方法可以采集曲面零件阴影图和与之匹配的曲面零件深度图。本发明建立了一套深度学习网络，使用了CGAN神经网络，pix2pix的网络结构，完成输入曲面零件阴影图生成曲面零件深度图的工作。

本方法包含以下步骤：

把曲面零件阴影图输入生成器，生成深度图，生成器生成的深度图和真实的深度图输入判别器进行单个像素的一一对比，两者不停对抗训练。使用U-NET网络作为CGAN网络中的生成器的主要结构。训练出的神经网络可以完成输入任意角度曲面零件阴影图直接生成对应角度曲面零件三维信息的工作。网络生成的三维信息可以在曲面零件的测量路径规划，逆向重建等方面提供帮助。

深度学习中使用的数据集的制作方法如下：

步骤一、搭建曲面零件阴影图采集装置。

曲面零件阴影图采集装置以四轴测量机为基础，包含曲面零件夹具、旋转工作台，固定光源，工业相机，黑色背景板。曲面零件装夹在夹具中并放置在旋转工作台上，固定光源和工业相机固定在四轴测量机的Y轴上，并沿机床Y轴对曲面零件进行光照和测量。使用固定光源对曲面零件进行照射，黑色背景板放在曲面零件后方，工业相机采集曲面零件光影图。

步骤二、采集曲面零件型面阴影图。

放置曲面零件在测量机旋转工作台上，调整曲面零件位置使曲面零件工件坐标系的Y轴和测量机的Y轴平行，曲面零件的Z轴和测量机的Z轴平行，曲面零件工件坐标系中心和旋转工作台中心基本重合。工业相机沿测量机Y轴对曲面零件型面进行拍摄，采集曲面零件型面的阴影图。曲面零件工件坐标系和曲面零件的CAD模型坐标系是同一个坐标系，所以相机采集到的光影图和CAD模型对应。

步骤三、生成对应深度图。

曲面零件型面的CAD模型先进行离散化采样，得到曲面零件型面的点云坐标。模拟相机投影，把曲面零件型面的点云沿Y轴向XZ平面进行投影，将其投影到分辨率wc×hc的图片区域中，图片的灰度值为点云的Y坐标，最后对投影图片的灰度值进行标准化处理。

步骤四、采集曲面零件多角度图片和生成对应的深度图。

转台旋转θ°角度，重复步骤二采集θ°的光影图。曲面零件型面点云绕Z轴旋转θ°，重复步骤三生成θ°的曲面零件深度图。

步骤五、更换其他曲面零件重复步骤二至四。生成多个角度多种曲面零件的训练数据集。

上述曲面零件阴影图采集装置，以及一种曲面零件阴影图和深度图的匹配方法适用于固定的光源和曲面零件，如果曲面零件和光源的位置关系发生变换，则需要重新采集图片进行训练。

本发明与现有技术相比，能够取得下列有益效果：

1.曲面零件阴影图直接匹配曲面零件CAD模型再根据CAD模型生成深度图的训练集生成方法避免了使用结构光和双目立体视觉的测量误差。

2.使用CAD模型直接生成深度图简化了测量步骤，并可以生成多个角度曲面零件阴影图和深度图的训练数据。

3.深度学习生成的网络具有泛化能力，可以完成输入任意角度曲面零件阴影图直接生成对应角度曲面零件三维信息的工作，并可以在曲面零件的测量路径规划，逆向重建等方面提供三维信息支持。

附图说明：

图1为神经网络结构图。

图2为曲面零件阴影测量装置图。

图3为曲面零件安装图。

图4为工业相机采集的曲面零件阴影图。

图5为深度图生成示意图。

图6为CGAN网络生成的深度图。

具体实施方式：

本发明设计了一个曲面零件阴影图采集装置，以及提出了一种曲面零件阴影图和深度图的匹配方法，使用该装置和匹配方法可以采集曲面零件阴影图和与之匹配的曲面零件深度图。本发明建立了一套深度学习网络，使用了CGAN神经网络，pix2pix的网络结构，完成输入曲面零件阴影图生成曲面零件深度图的工作。

本方法包含以下步骤：

如图1为本发明的神经网络结构图，把曲面零件阴影图输入生成器，生成深度图，生成器生成的深度图和真实的深度图输入判别器进行单个像素的一一对比，两者不停对抗训练。使用U-NET网络作为CGAN网络中的生成器的主要结构。训练出的神经网络可以完成输入任意角度曲面零件阴影图直接生成对应角度曲面零件三维信息的工作。网络生成的三维信息可以在曲面零件的测量路径规划，逆向重建等方面提供帮助。

下面结合附图对本发明做进一步详细描述：

步骤一、搭建曲面零件阴影图采集装置。

一种从曲面零件阴影图生成深度图的神经网络数据集生成方法，其硬件结构如图2所示。曲面零件阴影图采集装置以四轴测量机为基础，包含曲面零件夹具、旋转工作台，固定光源，工业相机，黑色背景板。其中为机床坐标系即三轴方向。曲面零件装夹在夹具中并放置在旋转工作台上，固定光源和工业相机固定在四轴测量机的Y轴上，并沿机床Y轴对曲面零件进行光照和测量。使用固定光源对曲面零件进行照射，黑色背景板放在曲面零件后方，工业相机采集曲面零件光影图。

步骤二、采集曲面零件型面阴影图。

如图3所示，放置曲面零件在测量机旋转工作台上，调整曲面零件位置使曲面零件工件坐标系的Y轴和测量机的Y轴大致平行，曲面零件的Z轴和测量机的Z轴大致平行，曲面零件工件坐标系中心和旋转工作台中心大致重合。工业相机沿测量机Y轴对曲面零件型面进行拍摄，采集曲面零件型面的阴影图。采集的曲面零件阴影图如图4所示。因为曲面零件工件坐标系和曲面零件的CAD模型坐标系是同一个坐标系，所以相机采集到的阴影图为曲面零件CAD模型沿CAD模型的Y轴方向投影的图。利用上述方法把曲面零件阴影图和曲面零件CAD模型匹配起来。

步骤三、生成对应深度图。

如图5所示，曲面零件型面的CAD模型先进行离散化采样，得到曲面零件型面的点云坐标。模拟相机投影，把曲面零件型面的点云沿工件坐标系Y轴向OXZ平面进行投影，将其投影到分辨率的图片区域中，其中图片的U轴分辨率，V轴分辨率。CAD离散模型的点云坐标X轴对应图片上的U轴，CAD离散模型的Y轴对应图片上的V轴。投影的具体方法如下：

1.设置的相机参数构建投影矩阵Mc：

式中：fc——模拟相机的焦距、Cc(ccx,ccy)——主点坐标、μc(dcx,dcy)——图片U轴和V轴的像原尺寸，上述参数的具体取值可以根据经验参数获得。

2.由此可得三维模型到模拟相机像平面的投影坐标pc(u_c,v_c)：

式中：s——比例系数。

根据坐标的对应关系，可以将分辨率范围内的点(1≤u_c≤w_c,1≤v_c≤h_c)投影到相机像平面上，得到模拟相机采集到的深度图I_c_{depth(uc,vc；zc)}。

3.对深度图I_c_{depth(uc,vc；zc)}使用图像最邻近差值得到最终深度图I_c_{depth(u,v；z)}。

其中：

步骤四、采集曲面零件多角度图片和生成对应的深度图。

转台旋转θ°角度，重复步骤二采集θ°的光影图。曲面零件型面点云绕Z轴旋转θ°，重复步骤三生成θ°的曲面零件深度图。

步骤五、更换其他曲面零件重复步骤二至四。生成多个角度多种曲面零件的训练数据集。

如图6为最终生成的深度图。

上述曲面零件阴影图采集装置，以及一种曲面零件阴影图和深度图的匹配方法适用于固定的光源和曲面零件，如果曲面零件和光源的位置关系发生变换，则需要重新采集图片进行训练。

Claims (3)

1.一种曲面零件阴影图采集装置，其特征在于：包含曲面零件夹具、旋转工作台、固定光源、工业相机和黑色背景板；曲面零件装夹在曲面零件夹具中，曲面零件夹具放置在旋转工作台上，固定光源和工业相机固定在四轴测量机的Y轴上，固定光源和工业相机沿机床Y轴对曲面零件进行光照和测量；使用固定光源对曲面零件进行照射，黑色背景板放在曲面零件后方，工业相机采集曲面零件光影图。

2.如权利要求1所述曲面零件阴影图采集装置，其特征在于：把曲面零件阴影图输入生成器，生成深度图，生成器生成的深度图和真实的深度图输入判别器进行单个像素的一一对比，两者不停对抗训练；使用U-NET网络作为CGAN网络中的生成器的主要结构；训练出的神经网络可以完成输入任意角度曲面零件阴影图直接生成对应角度曲面零件三维信息的工作。

3.基于权利要求2所述曲面零件阴影图采集装置的深度学习方法，其特征在于：

步骤一、搭建曲面零件阴影图采集装置：

曲面零件阴影图采集装置以四轴测量机为基础，包含曲面零件夹具、旋转工作台，固定光源、工业相机、黑色背景板；其中为机床坐标系即三轴方向，曲面零件装夹在夹具中并放置在旋转工作台上，固定光源和工业相机固定在四轴测量机的Y轴上，并沿机床Y轴对曲面零件进行光照和测量；使用固定光源对曲面零件进行照射，黑色背景板放在曲面零件后方，工业相机采集曲面零件光影图；

步骤二、采集曲面零件型面阴影图：

曲面零件工件坐标系为机床坐标系，放置曲面零件在测量机旋转工作台上，调整曲面零件位置使曲面零件工件坐标系的Y轴和测量机的Y轴平行，曲面零件的Z轴和测量机的Z轴平行，曲面零件工件坐标系中心和旋转工作台中心重合；工业相机沿测量机Y轴对曲面零件型面进行拍摄，采集曲面零件型面的阴影图；因为曲面零件工件坐标系和曲面零件的CAD模型坐标系是同一个坐标系，所以相机采集到的阴影图为曲面零件CAD模型沿CAD模型的Y轴方向投影的图；利用上述方法把曲面零件阴影图和曲面零件CAD模型匹配起来；

步骤三、生成对应深度图：

曲面零件型面的CAD模型先进行离散化采样，得到曲面零件型面的点云坐标；模拟相机投影，把曲面零件型面的点云沿工件坐标系Y轴向OXZ平面进行投影，将其投影到分辨率的图片区域中，其中图片的U轴分辨率，V轴分辨率；CAD离散模型的点云坐标X轴对应图片上的U轴，CAD离散模型的Y轴对应图片上的V轴；投影的具体方法如下：

(1)设置的相机参数构建投影矩阵Mc：

式中：fc——模拟相机的焦距、Cc(ccx,ccy)——主点坐标、μc(dcx,dcy)——图片U轴和V轴的像原尺寸，上述参数的具体取值可以根据经验参数获得；

(2)由此可得三维模型到模拟相机像平面的投影坐标pc(u_c,v_c)：

式中：s——比例系数；

根据坐标的对应关系，可以将分辨率范围内的点(1≤u_c≤w_c,1≤v_c≤h_c)投影到相机像平面上，得到模拟相机采集到的深度图I_c_{depth(uc,vc；zc)}；

(3)对深度图I_c_{depth(uc,vc；zc)}使用图像最邻近差值得到最终深度图I_c_{depth(u,v；z)}；其中：

步骤四、采集曲面零件多角度图片和生成对应的深度图；

转台旋转θ°角度，重复步骤二采集θ°的光影图；曲面零件型面点云绕Z轴旋转θ°，重复步骤三生成θ°的曲面零件深度图；

步骤五、更换其他曲面零件重复步骤二至四；生成多个角度多种曲面零件的训练数据集；生成深度图。