CN105657402B

CN105657402B - 一种深度图恢复方法

Info

Publication number: CN105657402B
Application number: CN201610031320.2A
Authority: CN
Inventors: 张永兵; 沈涛; 王兴政; 王好谦; 李莉华; 戴琼海
Original assignee: Shenzhen Weilai Media Technology Research Institute; Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen Weilai Media Technology Research Institute; Shenzhen Graduate School Tsinghua University
Priority date: 2016-01-18
Filing date: 2016-01-18
Publication date: 2017-09-29
Anticipated expiration: 2036-01-18
Also published as: CN105657402A

Abstract

本发明公开了一种深度图恢复方法，包括如下步骤：A1：由相当大数量的各类物体的深度图构成训练集；A2：建立卷积神经网络(CNN)，采取核分离方法，获得隐藏层的参数，建立卷积网络结构，利用训练集中的深度图训练网络结构、调整网络权重；A3：在CNN的输出层，针对可能的结果建立自回归(AR，auto‑regression)模型，并建立评价指标；A4：将深度传感器获得的原始深度图输入CNN中，通过去噪、分类后，由AR模型恢复，通过评价指标检测，若不合要求则将结果图输入A2中，直到得到高质量深度图或终止循环。本发明采用了深度卷积网络来恢复从深度传感器获得的低分辨率、低信噪比的图像。利用本发明能够显著提高深度图的质量，同时也简化了获得深度图的方法。

Description

一种深度图恢复方法

技术领域

本发明涉及计算机视觉技术和图像处理领域，特别涉及一种深度图恢复方法。

技术背景

本技术所属计算机视觉技术和图像处理领域。深度图是从实际拍摄的场景中获得的深度信息，它对于增加真实感、进行3D重建和3D电视的应用有着至关重要的作用。现在深度图的获取分为两种形式，一种是被动方式，另一种是主动方式。本技术所针对的主要是由深度传感器主动获得的深度图。但现在主流的主动深度传感器(如ToF相机、Kinect等)所获得的深度图，存在低像素、低信噪比等缺点，如ToF相机获得的深度图受噪点和低分辨的影响，Kinect获得的深度图有相当大的洞。这些问题都给深度图的应用造成了不便。

为了得到高质量的图像信息，目前在这方面有广泛的研究。本技术中主要涉及的问题有噪点等图像退化问题。本技术的基本前提技术包括机器学习中的深度学习技术和深度图恢复技术。深度学习技术因在图像识别、图像处理中的显著效果，近年来受到了广泛的关注。本技术中采用了深度学习的卷积神经网络结构(CNN)，在有监督学习下的有着出色的分类效果，利用核分解来初始化网络权重可以对输入图像起到反卷积的作用。在目前的分类技术中，机器学习中有线性回归法、非线性回归法、BP算法、支持向量机法等，这其中包括有监督的学习和无监督的学习。但它们都各自存在一定的缺陷，并且在实际应用中效果比卷积神经网络要差很多。深度恢复技术有MRF、IMLS、Edge、JGF等方法，但使用单独的一种技术恢复的效果都不理想。

为了恢复从深度传感器获得的有缺陷的深度图，目前大都采用基于滤波器的深度图恢复方案，但是计算复杂度收敛得比较慢。卷积神经网络的一个重要特点是具有权值共享特性，这使得训练时间和计算时间显著得减少。对于为深度图退化模型而特别设计的AR模型，可以有效地针对性恢复。由于主要的深度图退化由欠采样、随机深度丢失、结构深度丢失和附加噪点污染造成，因此，只需针对这几种模型进行参数调整。带有反卷积特性的卷积神经网络可以有效地对输入的图像进行去噪处理，并由训练的网络将图像准确地分类为何种退化模型，并由相应的AR参数模型来进行深度图的恢复。

发明内容

本发明的目的是提出一种深度图恢复方法，显著提高深度图的质量，同时也简化获得深度图的方法。

为此，本发明提出的深度图恢复方法包括：A1：由各类物体的深度图构成训练集；A2：建立卷积神经网络，采取核分离方法，获得隐藏层的参数，建立卷积网络结构，利用训练集中的深度图训练网络结构、调整网络权重；A3：在卷积神经网络的输出层，针对可能的结果建立自回归模型，并建立评价指标；A4：将深度传感器获得的原始深度图输入卷积神经网络中，通过去噪、分类后，由自回归模型恢复，通过评价指标检测，若不合要求则将结果图输入A2中，直到得到高质量深度图或终止循环。

本发明采用了深度卷积网络来恢复从深度传感器获得的低分辨率、低信噪比的图像。利用本发明能够显著提高深度图的质量，同时也简化了获得深度图的方法。

附图说明

图1是本发明实施例流程示意图。

具体实施方式

本实施例深度图建立训练集，对训练卷积神经网络的参数结构，使得CNN能够对退化的深度图进行分类。利用核分解的方式，初始化CNN结构中的隐藏层，使得CNN结构具有反卷积特性，在分类的同时起到去噪、滤波的作用，部分解决了深度图的退化问题。建立AR模型，并根据主要的退化模型分别对AR模型进行参数的调整。将CNN的输出层和AR模型的输入层建立联系，将CNN对应的输出结果输入到AR模型中。

本实施例所提出的一种基于卷积神经网络和自回归模型的深度图恢复方法包括如下步骤：

A1：由相当大数量的各类物体的深度图构成训练集；规模可以考虑在1万张深度图左右，也可以更多，因为越大的训练数据其测试结果更好，但其训练时间也会因此加大，在一定训练量之后其性能的提升比较有限，对于一般的工作站或者服务器综合考虑性能和时间，从公共训练集选出一万张左右深度图比较合适；

A2：建立卷积神经网络(CNN)，采取核分离方法，获得隐藏层的参数，建立卷积网络结构，利用训练集中的深度图训练网络结构、调整网络权重。

A3：在CNN的输出层，针对可能的结果建立自回归(AR，auto-regression)模型，并建立评价指标；

A4：将深度传感器获得的原始深度图输入CNN中，通过去噪、分类后，由AR模型恢复，通过评价指标检测，若不合要求则将结果图输入A2中，直到得到高质量深度图或终止循环。

在具体的实施方案中，可按下面方式操作。需注意的是，在下面的实施过程中所述的具体方法(如核分离法、有监督学习算法等)都仅为例举说明，本发明所涵盖的范围不局限于所例举的这些方法。

A1：用于训练和测试的各类物体的深度图，可以由深度传感器获得，也可以由网络获得，但是必须具有所属于何种深度图退化的标签，这在之后的有监督学习中至关重要。对于单张图像而言，可能存在受多种退化模型综合影响的情况(包括例如：1、由于下采样(刻意减少图像分辨率)而造成的退化；2、随机深度信息丢失(一种随机误差)；3、结构深度信息丢失；4、附加噪点导致的深度图退化；5、其他由于深度相机系统误差导致的深度图退化)，但是对于我们的训练集中的深度图选取应尽量只受单一退化因素的影响，否则会影响训练的正确性以及分类的正确性。

其中，关于“所属于何种深度图退化的标签”解释如下：有监督的机器学习和无监督的机器学习最大的区别在于有没有前期的人工干预，也就是定义标签。有监督的学习通过标签对输出值(预测值)进行分类，在此次对四种深度图退化的原因分别建模，因此需要首先定义这四个标签，然后才能通过机器学习分类。

A2：建立具有反卷积特性的卷积神经网络，首先，先建立卷积神经网络的模型，

h₃＝W₃*h₂；h_l＝σ(W_l*h_l-1+b_l-1)，l∈{1,2}；

其中，h₀为输入层，h₃为输出层，h_l为隐藏层，这里有两个隐藏层，分别为h₁和h₂。W_l表示从l-1层到l层的映射系数，b_l-1是一个偏移向量，σ(·)是logistic函数，即，在自变量为x时，因变量

为了在CNN中增加一个反卷积结构用于图像的去噪，将一个1×1×38的核(此处的“核”表示核矩阵。核矩阵是样本之间通过核函数影射之后得到的，每两个样本之间进行一次核函数影射。简单的说，是一个从一个维度映射到另一个维度的映射矩阵)进行核分解(分解方式下述)，得到38个121×1和38个1×121的一维核。通过38个121×1的一维核得到第一个隐藏层h₁的初始权重，用38个1×121的一维核得到第二个隐藏层h₂的初始权重，并在隐藏层h₁和h₂之间建立映射关系。

其中，核分解的方式有很多种，比如SVD法，此处的分解正是用了这种方法，SVD(singular value decomposition)，即奇异值分解，是一种比较常用的数学方法。

在建立起网络结构的情况下，训练网络权重(训练方法下述)，进行有监督的学习训练。得到主要的四种深度图退化模型分类网络(包括：1、由于下采样(刻意减少图像分辨率)而造成的退化；2、随机深度信息丢失(一种随机误差)；3、结构深度信息丢失；4、附加噪点导致的深度图退化)。

其中，训练权重的方法可以由以下方法执行：初始的权重使用随机给定的方式，对每个权值赋一个较小的数；然后将训练图片输入网络，在网络中进行加权计算，最后输入logistic函数得到输出值，并与标签值进行比较；利用梯度下降法更新网络权值。如果logistic函数的输出值与标签值相差较大，则梯度下降法的下降梯度较大；反之，则梯度下降法的下降梯度小。对大量输入图片重复上述过程，即训练网络权重。

监督学习的意思，也就是在输入深度图像时，已经对输出结果进行了分类，所做的工作为预测输出结果在哪个分类里面。

A3：针对信号特征精心设计系数的AR模型，可以紧密地拟合深度信息，进而实现深度图的恢复。因此，参数的合理设计变得至关重要。(其具体方法就是下面的建模的过程)。

其中“精心设计”指的是在建模的工程中，对各种深度图退化的模型分别进行较为准确的建模。即，考虑不同的退化因素，设计特定的模型系数。

首先建立基于AR(auto-regression)的深度恢复模型

其中，E_data(D,D⁰)是数据项，使得恢复的深度图和待处理深度图保持接近，而不失真，也就是为了实现拟合。D⁰表示待处理的深度图，D表示经过恢复的深度图；E_AR(D)是AR项，强化了AR模型在深度图恢复中的作用。这两项通过系数λ来调节。

对数据项的表示方式：

其中，x表示在深度图中的坐标信息，O表示像素点坐标的集合，D_x、分别表示恢复过的深度图中x处的深度值、待处理的深度图中x处的深度值。

AR项的表示：

其中，a_x,y表示深度图中x与其邻域附近y的相关系数，也就是我们要设计的系数，包含两个项，表示深度项，表示色彩项，是归一化因子。

深度项可以由初始的深度图来估计：

其中是特征的提取率，表示x处的深度值，表示x处邻域内的加权深度值。此项的作用是为了防止错误的深度预测而导致后续色彩估计的问题。

色彩项是为了防止AR模型在深度不连续的区域过拟合等错误。

控制了指数函数的衰退率，表示了从深度图中提取的特征，表示从x点的邻域中拟合的特征。通过与核B_x逐点矩阵乘法运算来计算

x表示某一点的像素值，表示对应的色度值；y表示以x为中心拟合的像素值，表示对应的色度值。

不同的退化问题，所训练出来的模型参数不同，因此需要首先训练相应的系数。

拟合的过程体现在了模型中，因为采用的AR方法是基于最小二乘法的，因此是一种线性拟合方式，也就是通过现有值来预测未来值，在模型中体现的是通过现有的信息来恢复丢失的信息，但是又通过引入系数，使得其拟合不是单纯线性拟合。

深度图的恢复：通过输入不同退化类型的深度图和其对应的原图来表示上述模型中待处理深度图和恢复的深度图，训练出了四种AR网络模型的权值，得到相应的系数。在得到这四种AR网络模型后，输入测试深度图，从CNN结构将其分类到对应的退化模型中，则输入进训练好参数的AR模型，通过，得到估计的深度图，也就是恢复的深度图。

由已知分类的四种深度图退化模型，分别进行系数的设计。AR模型的表示如下：

其中，E_data(D,D⁰)是数据项，使得恢复的深度图和待处理深度图一致，D⁰表示待处理的深度图，D表示经过恢复的深度图；E_AR(D)是AR项，强化了AR模型在深度图恢复中的作用。这两项通过系数λ来调节。

数据项的表示：

AR项的表示：

其中，a_x,y表示在x与其邻域附近y的相关系数。y∈N(x)表示在x的邻域附近的y的坐标。调整a_x,y可以使用AR预测器，即本技术所使用的双边滤波器，并选取11×11大小的邻域。

得到恢复的图像由一个RMSE(root mean squared error，均方根误差)指标评价，其比较对象为首次输入的深度图，若RMSE越小则效果越好。设定一个阈值，当RMSE小于该值时，恢复的深度图满足要求。其中RMSE即为均方根误差，其计算方法为，观测值与真实值之差的平方，再对这些误差平方求和取平均，并最后开平方根。在这里的RMSE的计算为两张图的像素值做差，并对所有差值的平方求和再除以像素点个数，最后开根号得到RMSE值。

A4：将深度传感器获得的原始深度图输入CNN中，经过反卷积结构去噪，得到分类结果，并由相对应的AR模型恢复。由于实际的深度传感器获得的深度图存在多种退化因素共同作用，出现该种情况时，恢复的深度图可能仍受其他退化因此影响，在RMSE不满足条件时，将输出图像继续输入到CNN结构中迭代。设定迭代次数上限N，在N次要求内不满足则退出循环。

其中反卷积是一种滤波方式。噪点干扰的图片可以被建模为以下形式：

y＝x*k

x表示为潜在的原图，k表示卷积核，就是导致该种噪点干扰的特征，y是卷积得到的结果，也就是现实中受噪点干扰的图片。在离散傅里叶变化中，x可被解得

上面反解x的过程为反卷积过程，并且实现了图像去噪。在CNN网络中加入反卷积结构，即可有效地实现去噪。

根据以上模型，通过构建CNN分类去噪网络，并对不同类型的深度退化图片分别建立恢复模型，采用AR自回归迭代的方式利用训练好的模型参数，使得输入的退化深度图得以恢复，可以有效地恢复由于深度传感器获得的深度图的退化，得到高质量的深度图，并且可以简化获得深度图的方法，因为算法上的改进可以帮助硬件(如深度相机)提升性能，而不需要更改现有的硬件。

Claims

1.一种深度图恢复方法，其特征在于，所述方法包括：

A1：由各类物体的深度图构成训练集；

A2：建立卷积神经网络，采取核分离方法，获得隐藏层的参数，建立卷积网络结构，利用训练集中的深度图训练网络结构、调整网络权重；

A3：在卷积神经网络的输出层，针对所述输出层输出的结果建立自回归模型，并建立评价指标；

A4：将深度传感器获得的原始深度图输入卷积神经网络中，通过去噪、分类后，由自回归模型恢复，通过评价指标检测，若不合要求则将结果图输入A2中，直到得到高质量深度图或终止循环；

其中，在经过参数设计并且训练的卷积神经网络结构后，得到进行过矫正和去噪的深度图并且将其分类为最主要的四种退化模型中的一种，再选择相应的设计好参数的自回归模型进行深度恢复处理；所述四种退化模型为：由于下采样而造成的退化对应的模型、随机深度信息丢失造成的退化对应的模型、结构深度信息丢失造成的退化对应的模型、附加噪点导致的深度图退化对应的模型。

2.如权利要求1所述的深度图恢复方法，其特征在于，所述步骤A1中各类物体的深度图是用于训练和测试的，构成训练集的方法包括：用数据集来对各类物体的细节进行拟合，深度学习对数据集进行分层处理，由像素组成基础单元，再由基础单元组成图像细节，图像细节描绘出图像。

3.如权利要求2所述的深度图恢复方法，其特征在于，所述步骤A1中还包括的如下步骤：对图像的每层进行分类和识别，并对每层图像进行拟合，通过大量图像集合的数据集的训练，以有效地去噪。

4.如权利要求1所述的方法，其特征在于，所述步骤A2中通过以下几步建立卷积神经网络：

建立卷积神经网络的模型，h₃＝W₃*h₂；h_l＝σ(W_l*h_l-1+b_l-1)，l∈{1,2}；其中，表示输入的内容，h₀为输入层，h₃为输出层，h_l为隐藏层，h_l‐1表示隐藏层h_l的前一层，W_l表示从l-1层到l层的映射系数，W₃表示从第2层网络到第3层网络的映射系数，b_l-1是一个偏移向量，σ(·)是logistic函数；

通过一个1×1×38的核进行核分解，得到38个121×1和38个1×121的一维核；通过38个121×1的一维核得到第一个隐藏层h₁，用38个1×121的一维核得到第二个隐藏层h₂；

训练网络权重，进行有监督的学习训练，得到主要的四种深度图退化模型分类。

5.如权利要求1所述的方法，其特征在于，所述步骤A3中的建立自回归模型包括如下步骤：

对于自回归模型，针对信号特征设计的系数紧密地拟合深度信息，进行深度图的恢复；由已知分类的四种深度图退化模型，分别进行系数的设计。

6.如权利要求1所述的方法，其特征在于，自回归模型的表示如下：

<mrow> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>D</mi> </munder> <msub> <mi>E</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>t</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>D</mi> <mo>,</mo> <msup> <mi>D</mi> <mn>0</mn> </msup> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&lambda;E</mi> <mrow> <mi>A</mi> <mi>R</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>D</mi> <mo>)</mo> </mrow> </mrow>

其中，E_data(D,D⁰)是数据项，使得恢复的深度图和待处理深度图一致，D⁰表示待处理的深度图，D表示经过恢复的深度图；E_AR(D)是自回归项，强化了自回归模型在深度图恢复中的作用；这两项通过系数λ来调节；

数据项的表示：

<mrow> <msub> <mi>E</mi> <mrow> <mi>d</mi> <mi>a</mi> <mi>t</mi> <mi>a</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>D</mi> <mo>,</mo> <msup> <mi>D</mi> <mn>0</mn> </msup> <mo>)</mo> </mrow> <mover> <mo>=</mo> <mi>&Delta;</mi> </mover> <munder> <mo>&Sigma;</mo> <mrow> <mi>x</mi> <mo>&Element;</mo> <mi>O</mi> </mrow> </munder> <msup> <mrow> <mo>(</mo> <msub> <mi>D</mi> <mi>x</mi> </msub> <mo>-</mo> <msubsup> <mi>D</mi> <mi>x</mi> <mn>0</mn> </msubsup> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>

其中，x表示在深度图中的坐标信息，O表示像素点坐标的集合，D_x、分别表示恢复过的深度图中x处的深度值、待处理的深度图中x处的深度值；

自回归项的表示：

<mrow> <msub> <mi>E</mi> <mrow> <mi>A</mi> <mi>R</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>D</mi> <mo>)</mo> </mrow> <mover> <mo>=</mo> <mi>&Delta;</mi> </mover> <munder> <mo>&Sigma;</mo> <mi>x</mi> </munder> <msup> <mrow> <mo>(</mo> <msub> <mi>D</mi> <mi>x</mi> </msub> <mo>-</mo> <munder> <mo>&Sigma;</mo> <mrow> <mi>y</mi> <mo>&Element;</mo> <mi>N</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </munder> <msub> <mi>a</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> </msub> <msub> <mi>D</mi> <mi>y</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow>

其中，y表示坐标x的邻域中的一个像素点的坐标，N(x)表示坐标x的邻域，a_x,y表示深度图中坐标x和坐标y的相关系数，D_y表示深度图中坐标y处的深度值。

7.如权利要求1所述的方法，其特征在于，用于训练和测试的各类物体的深度图，可以由深度传感器获得，也可以由网络获得，但是必须具有所属于何种深度图退化的标签。

8.如权利要求1所述的方法，其特征在于，训练权重的方法为：初始的权重使用随机给定的方式，对每个权值赋一个较小的数；然后将训练图片输入网络，在网络中进行加权计算，最后输入logistic函数得到输出值，并与标签值进行比较；利用梯度下降法更新网络权值，如果logistic函数的输出值与标签值相差较大，则梯度下降法的下降梯度较大；反之，则梯度下降法的下降梯度小，对大量输入图片重复上述训练权重的过程，即训练网络权重。

9.如权利要求1所述的方法，其特征在于，得到恢复的图像由一个均方根误差指标评价，其比较对象为首次输入的深度图，若均方根误差越小则效果越好。