CN113436242B - 基于移动深度相机的获取静态物体高精度深度值方法 - Google Patents

Abstract

本发明公开了一种基于移动深度相机的获取静态物体高精度深度值方法，其实现过程是：(1)安装深度相机；(2)移动深度相机；(3)生成深度图；(4)建立当前位置的相机坐标系；(5)生成目标物体的三维点云；(6)判断深度相机位移次数是否满足条件；(7)生成目标物体高精度三维点云。本发明使用一台消费级深度相机和外置精密云台实现静态物体高精度深度值的获取，具有装置简单，成本较低，多场景适用，深度值精度高的优点，可用于精密的三维重建场景例如文物重建。

Description

基于移动深度相机的获取静态物体高精度深度值方法

技术领域

本发明属于计算机技术领域，更进一步涉及计算机视觉技术领域中的一种基于移动深度相机的获取静态物体高精度深度值方法。本发明通过移动深度相机，逐次获取空间点的深度，通过对深度数据的处理获得更高精度的深度信息。

背景技术

深度相机是获取场景中深度值的重要工具，深度值的获取是三维重建的重要基础。TOF深度相机通过测量光飞行时间来取得距离，市场上大部分深度相机一般采用脉冲调制方式，脉冲调制需要在发射端产生高频高强度激光脉冲，对物理器件性能和时间测量精度要求很高，所以提高测量精度较难。

目前，消费级的深度相机计算单元会对采集到深度值进行量化，存在量化损失，可以实现的精度在1mm～5mm，在精密的重建场景不能达到细节描绘的要求，例如，在文物重建场景中，由于传统深度相机的深度精度不够，获取的文物图片的细节不丰富，导致依此重建后的文物具体细节不到位，影响视觉体验。

奥比中光科技集团股份有限公司在其申请的专利文献“一种深度真值获取方法、装置、系统及深度相机”(申请号：CN202110347140.6申请日：2021.03.31申请公布号：CN113034567 A)中公开了一种利用深度学习生成高精度深度图像的方法。该方法采集目标区域的二维图像，利用目标二维图像和经过训练的神经网络获取目标区域的深度真值。为了获取训练神经网络所需的深度真值的样本，该方法设计了包含相机和激光雷达的系统，首先采集的不同姿态的目标物的二维图像和深度图像，然后将深度图像转换为点云数据，求解点云数据与二维图像的变换矩阵，最后利用变换矩阵将点云数据投影至相机的成像平面获取深度真值。该方法存在的不足之处是，训练神经网络时必须使用其所述的系统来获取所需的大量样本数据，由于训练网络过于依赖于场景的样本的选取，当场景变换后，不仅要重新训练网络，而且还需要根据场景的变换修改神经网络的权重，在实际场景中，需要耗费大量时间采集数据和训练网络。

朱才喜在其发表的论文“高精度TOF三维深度相机设计与实现”(西安电子科技大学,2020年硕士论文)中提出了一种改变TOF相机结构提高深度相机精度的方法。该方法引入了激光漫射扩散器改造TOF相机的光学设计，减少了光强的波动,避免了激光散斑对TOF相机成像质量的影响，提高了TOF相机测量精度。但是，该方法仍然存在的不足之处是，需要对深度相机传感器的硬件电路结构进行改造，目前只适合实验室使用，无法批量生产。

发明内容

本发明的目的在于针对上述已有技术的不足，提出了一种基于移动深度相机的获取静态物体高精度深度值方法，用于解决现有消费级深度相机获取深度信息的技术中存在的深度量化存在精度损失，深度学习训练需要多次采集样本和训练网络导致时间长，改造深度相机传感器的硬件电路导致消费者不易于直接获得设备的问题。

实现本发明目的的思路是，使用外置的精密云台将深度相机沿着深度相机坐标系z轴向同一个方向多次移动，每次移动后采集当前深度相机位置的深度图，生成三维点云，只要深度相机每次位移的长度小于深度相机计算单元的精度的十分之一，那么在深度相机移动的过程中，对于单个空间点，深度相机在所有位置采集到的深度值存在一个跃变，由该跃变发生的位置可以恢复深度量化导致的精度损失，确定深度相机初始位置目标物体的精确深度值。本发明不需要大量采集数据训练神经网络，也不需要对深度相机的内部结构进行改造，采用消费级深度相机就可以获取静态物体的高精度的深度信息。

实现本发明目的的具体步骤如下：

步骤1，安装深度相机：

将深度相机固定在精密云台上，深度相机坐标系的z轴平行于精密云台的移动方向；

步骤2，移动深度相机

将深度相机沿着深度相机坐标系z轴方向位移p′的长度，p′表示深度相机传感器的最高精度；

步骤3，生成深度图：

求至少十张二维深度图中相同坐标像素点的深度值的平均值，得到一张深度图；

步骤4，建立当前位置的深度相机坐标系：

构建一个三维的深度相机坐标系，其原点为深度相机移动后透镜的光心，x轴为深度相机二维成像的水平方向，y轴为深度相机二维成像的垂直方向，z轴为深度相机透镜的主光轴方向；

步骤5，生成目标物体的三维点云：

利用相机成像模型公式，将深度图转换为深度相机坐标系的三维点云，沿着三维点云中目标物体的边缘进行裁剪，得到当前位移后相机坐标系的目标物体的三维点云；

步骤6，判断深度相机位移次数是否等于n，若是，则得到n次位移后所有相机坐标系的目标物体三维点云，执行步骤7，否则，执行步骤2，其中，n＝p/p′，p表示深度相机计算单元的精度；

步骤7，利用下式，计算深度相机第一次位移后深度相机坐标系的目标物体三维点云中每个点的深度值：

其中，Z_m表示深度相机第一次位移后深度相机坐标系的目标物体三维点云中第m个点的深度值，∑表示求和操作，i表示深度相机位移次数的序号，Z_mi表示深度相机在第i次位移后目标物体三维点云中的第m个点的深度值。

本发明与现有的相比，具有以下优点：

第一，由于本发明通过每次移动深度相机，采集该次移动后位置的目标物体的深度值，判断深度相机移动过程中采集的深度数据发生跃变的位置，由该位置恢复深度量化导致的精度损失，获得目标物体更高精度的深度信息，克服了现有技术在处理深度相机获取数据过程中存在精度量化导致精度损失的问题，使得本发明提高了深度相机的深度值精度。

第二，由于本发明通过移动深度相机，多次获取物体的深度信息，恢复深度量化导致的精度损失，克服了现有技术使用深度学习获得高精度深度信息时，需要采集大量样本训练网络的时间长，使用场景单一的问题，使得本发明具有获取物体高精度深度信息所需时间短，可适用多场景的优点。

第三，由于本发明移动深度相机的精密云台为外置设备，克服了现有技术中需要改造深度相机内部结构导致的相机成本增加，难以批量生产的问题，使得本发明具有了使用方便，成本较低的优点。

附图说明

图1为本发明的流程图；

图2为本发明的仿真图。

具体实施方式

下面参照附图1和实施例，对本发明的具体实现步骤做进一步的描述。

步骤1，安装深度相机。

本例实施过程中采用Azure Kinect深度相机，目标物体为一块黑板，黑板平面与相机坐标系的xoy平面夹角约为30°。将深度相机固定在精密云台上，深度相机坐标系的z轴平行于精密云台的移动方向，所述的精密云台是指能够提供低于0.1mm位移的装置。

步骤2，移动深度相机。

将深度相机沿着深度相机坐标系z轴方向位移，由于Azure Kinect深度相机的精度为1mm，所以确定位移长度为0.1mm。

步骤3，生成深度图。

为了减少测量抖动引起的误差，求至少十张二维深度图中相同坐标像素点的深度值的平均值，得到一张深度图。

步骤4，建立当前位置的相机坐标系。

构建一个三维的深度相机坐标系，其原点为深度相机移动后透镜的光心，x轴为相机二维成像的水平方向，y轴为相机二维成像的垂直方向，z轴为深度相机透镜的主光轴方向。

步骤5，生成目标物体的三维点云。

利用相机成像模型公式，将深度图转换为深度相机坐标系的三维点云，沿着三维点云中目标物体的边缘进行裁剪，得到当前位移后相机坐标系的目标物体的三维点云。

步骤6，判断深度相机位移次数是否等于10，若是，则得到10次位移后所有相机坐标系的目标物体三维点云，执行步骤7，否则，执行步骤2。

步骤7，生成目标物体的高精度三维点云。

对于空间中的一点(x,y,z)，其精确深度为z，整数部分为z_o，十分位为z_f。深度相机在10个位置获得的一组深度数据为：

Z＝{z₁,z₂,z₃,z₄,z₅,z₆,z₇,z₈,z₉,z₁₀}

其中，z_i表示第i次测得的深度结果。假设深度值量化的过程中遵循四舍五入的原则，相机向前移动的过程中，某一次必然发生向下跃变，对于精确深度z，有如下两种情况：

z_f＜5时,Z可以表示为

z_f≥5时,Z可以表示为

假设第i次数据跃变，其精确值的小数位从0.5变化为0.4，则第i次的精确值为z_i+0.4，则初始位置的精确的深度值为z_i+0.4+(i-1)×0.1。经过分析，通过本发明方法可以获得精度为0.1mm的深度值。

在实际数据处理的过程中，对z_i加总有向移动距离后获得一组数据Z′，将每次移动后采集的深度值变换到第一次移动后位置的深度坐标系下。

本实施例为相机沿着相机坐标系z轴正方向移动的情况：

z_f＜5时,Z′可以表示为

z_f≥5时,Z′可以表示为

举例z_f＝2：

Z′＝{z_o,z_o+0.1,z_o+0.2,z_o+0.3,z_o+0.4,z_o+0.5,z_o+0.6,z_o+0.7,z_o-0.2,z_o-0.1}

精确值z为数据Z′的中位数，由于Z′按从小到大排列后，相邻数值的差相同，计算过程中可以用平均数代替，即对目标物体三维点云中的每个点进行相同的计算就可以得到目标物体的高精度三维点云，其精度为0.1mm。

以上实施例针对的是相机向前移动的情况，相机向后移动的情况分析方法和计算过程相同。

下面结合仿真实验，对本发明的效果做进一步的描述。

1、仿真条件：

仿真计算机的处理器是Intel(R)Core(TM)i5，内存是8.00GB，显卡是NVIDIAGeForce RTX 2060。仿真软件为visual studio 2015。深度相机的型号为微软公司的AzureKinect。

2、仿真内容与结果分析：

本发明的仿真实验是使用深度相机采集一次目标物体的深度图，生成三维点云作为对照组。使用外置的精密云台将深度相机沿着深度相机坐标系z轴向同一个方向每次移动0.1mm，共移动10次。采集每次移动后当前深度相机位置的深度图，生成该位置的深度图的三维点云。对10次位移后所有相机坐标系的目标物体三维点云进行数据分析，生成目标物体的高精度三维点云作为实验组。设三维点云中的点的坐标为(x,y,z)，分别从对照组三维点云和实验组三维点云中取出y＝-430的一组子点进行比较。

本发明仿真实验中的目标物体为一块黑板，黑板平面与深度相机坐标系的xoy平面夹角约为30°，理想情况下，三维点云为平滑的斜面，其一组子点为一条平滑的斜线。

参照附图2，对本发明的实验仿真效果作进一步的描述。

图2(a)是从对照组三维点云中取出y＝-430的一组子点的二维散点示意图，图2(b)是从实验组三维点云中取出y＝-430的一组子点的二维散点示意图。

由图2所示的结果，图2(a)的深度值的精度由深度相机的固有属性决定，深度值的量化台阶为1mm；图2(b)中的深度值与真值误差小，在本仿真实验的条件下，深度值几乎没有量化台阶，深度值的精度有很大提高。

Claims (2)

1.一种基于移动深度相机的获取静态物体高精度深度值方法，其特征在于，每移动一次深度相机，建立深度相机坐标系，生成深度图，生成目标物体的三维点云，得到所有位移后相机坐标系的目标物体三维点云，计算深度相机第一次位移后相机坐标系的目标物体三维点云中每个点的深度值；该方法的步骤包括如下：

步骤1，安装深度相机：

将深度相机固定在精密云台上，深度相机透镜的主光轴方向平行于精密云台的移动方向；

步骤2，移动深度相机：

将相机沿着相机坐标系z轴方向位移p′的长度，p′表示深度相机传感器的最高精度；

步骤3，生成深度图：

求至少十张二维深度图中相同坐标像素点的深度值的平均值，得到一张深度图；

步骤4，建立当前位置的相机坐标系：

构建一个三维的深度相机坐标系，其原点为深度相机移动后透镜的光心，x轴为相机二维成像的水平方向，y轴为相机二维成像的垂直方向，z轴为深度相机透镜的主光轴方向；

步骤5，生成目标物体的三维点云：

利用相机成像模型公式，将深度图转换为深度相机坐标系的三维点云，沿着三维点云中目标物体的边缘进行裁剪，得到当前位移后相机坐标系的目标物体的三维点云；

步骤6，判断深度相机位移次数是否等于n，若是，则得到n次位移后所有相机坐标系的目标物体三维点云，执行步骤7，否则，执行步骤2，其中，n＝p/p′，p表示深度相机输出数据的精度；

步骤7，利用下式，计算深度相机第一次位移后相机坐标系的目标物体三维点云中每个点的深度值：

其中，Z_m表示深度相机第一次位移后相机坐标系的目标物体三维点云中第m个点的深度值，∑表示求和操作，i表示深度相机位移次数的序号，Z_mi表示深度相机在第i次位移后目标物体三维点云中的第m个点的深度值。

2.根据权利要求1所述的基于移动深度相机的获取静态物体高精度深度值方法，其特征在于：步骤(1)中所述的精密云台是指能够提供低于0.1mm位移的装置。