CN110517304B - 生成深度图的方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明提供一种生成深度图的方法、装置、电子设备和存储介质，获取预设的M个扫描深度和视频中的图像序列后，计算图像序列中每一个图像帧的设备位置参数，然后根据设备结构参数，转移帧的设备位置参数，以及转移帧的亮度特征图计算参考帧的每一个像素点在每一个扫描深度下的匹配代价，最后针对参考帧的每一个像素点，将这个像素点的最小的匹配代价对应的扫描深度确定为该像素点的相对深度，从而得到参考帧的深度图。综上所述，针对无法用深度相机拍摄的实际场景，可以利用常规的拍摄设备拍摄视频，然后利用本发明提供的方案处理得到视频中任意一个图像帧的深度图。因此，本发明有效的扩展了深度图的应用范围。

Description

生成深度图的方法、装置、电子设备和存储介质

技术领域

本发明涉及图像处理技术领域，特别涉及一种生成深度图的方法和装置。

背景技术

深度相机是一种新型拍摄设备，用深度相机拍摄实际场景，不仅能得到常规的二维图像，还能获得二维图像对应的深度图，由二维图像的各个像素点相对深度组成的深度图，可以用于描述拍摄时，拍摄设备和实际场景之间的位置关系。根据二维图像对应的深度图渲染二维图像，能够使用户在观看渲染后的图像时体验到更真实的场景，有效的改善用户体验。

现有技术中，要获取深度图，只能利用深度相机直接拍摄得到，而无法通过处理常规拍摄设备拍摄的二维图像产生。然而，深度相机的拍摄距离有限，并且容易受到干扰，因此深度相机只能用于拍摄一部分实际场景。这就使得大多数的实际场景只能用二维图像显示，限制了深度图的应用范围。

发明内容

基于上述现有技术的缺点，本发明提供一种生成深度图的方法和装置，以解决现有技术中，无法获取大多数实际场景的深度图的问题。

本发明第一方面公开一种生成深度图的方法，包括：

获取预设的M个扫描深度，以及视频中的图像序列；其中，所述图像序列包括所述视频的连续的N个图像帧，所述N和M均为预设的正整数；

利用运动恢复结构算法，计算得到所述图像序列的每一个图像帧的设备位置参数；其中，图像帧的设备位置参数，用于描述拍摄所述图像帧时设备所在的位置；所述设备是，用于拍摄所述视频的设备；

根据当前扫描深度，预先获取的设备结构参数，转移帧的设备位置参数，以及所述转移帧的亮度特征图，计算得到当前像素点的，与当前扫描深度对应的匹配代价；其中，当前扫描深度是所述预设的M个扫描深度中的每一个扫描深度；所述当前像素点是所述图像序列的参考帧的每一个像素点；所述参考帧是所述图像序列中的任意一个图像帧，所述转移帧是所述图像序列中，除所述参考帧以外的图像帧；

针对所述参考帧的每一个像素点，将所述像素点的最佳扫描深度确定为所述像素点的相对深度；其中，像素点的最佳扫描深度，是指，所述像素点的最小的匹配代价对应的扫描深度；所述参考帧的所有像素点的相对深度的集合，作为所述参考帧的深度图。

可选的，所述根据当前扫描深度，预先获取的设备结构参数，转移帧的设备位置参数，以及所述转移帧的亮度特征图，计算得到当前像素点的，与当前扫描深度对应的匹配代价，包括：

针对所述图像序列的每一个转移帧，根据当前扫描深度，预先获取的设备结构参数，所述转移帧的设备位置参数，计算得到所述转移帧的转移矩阵；

针对所述图像序列的每一个转移帧，根据所述转移帧的转移矩阵和当前像素点的坐标，确定所述转移帧中，所述当前像素点的映射像素点；

针对所述图像序列的每一个转移帧，从所述转移帧的亮度特征图中，获取所述当前像素点在所述转移帧中的映射像素点的亮度特征值；

根据所述当前像素点在每一个转移帧中的映射像素点的亮度特征值，计算得到所述当前像素点的，与当前扫描深度对应的匹配代价。

可选的，所述利用运动恢复结构算法，计算得到所述图像序列的每一个图像帧的设备位置参数，包括：

将预设的待计算图像帧的初始设备位置参数作为待计算图像帧的当前设备位置参数；其中，所述待计算图像帧是所述图像序列的每一个图像帧；所述待计算图像帧预先设定有多个二维特征点；

计算所述待计算图像帧的当前设备位置参数，以及所述待计算图像帧的二维特征点的坐标，得到待计算图像帧的三维特征点的坐标；

将所述待计算图像帧的三维特征点投影在所述待计算图像帧中，得到所述三维特征点的投影点的坐标；

判断所述三维特征点的投影点的坐标和所述二维特征点的坐标的差值是否满足预设条件；

若所述差值满足预设条件，将所述待计算图像帧的当前设备位置参数确定为所述待计算图像帧的设备位置参数；

若所述差值不满足预设条件，根据所述三维特征点的坐标和所述二维特征点的坐标更新所述当前设备位置参数；

将更新后的当前设备位置参数作为当前设备位置参数，返回执行所述计算所述待计算图像帧的当前设备位置参数，以及所述待计算图像帧的二维特征点的坐标，得到待计算图像帧的三维特征点的坐标。

可选的，所述根据当前扫描深度，预先获取的设备结构参数，转移帧的设备位置参数，以及所述转移帧的亮度特征图，计算得到当前像素点的，与当前扫描深度对应的匹配代价之前，还包括：

针对所述图像序列的每一个转移帧，利用尺度不变特征变换算法SIFT提取所述转移帧的亮度特征，得到所述转移帧的亮度特征图。

本发明第二方面公开一种生成深度图的装置，其特征在于，包括

获取单元，用于获取预设的M个扫描深度，以及视频中的图像序列；其中，所述图像序列包括所述视频的连续的N个图像帧，所述N和M均为预设的正整数；

第一计算单元，用于利用运动恢复结构算法，计算得到所述图像序列的每一个图像帧的设备位置参数；其中，图像帧的设备位置参数，用于描述拍摄所述图像帧时设备所在的位置；所述设备是，用于拍摄所述视频的设备；

第二计算单元，用于根据当前扫描深度，预先获取的设备结构参数，转移帧的设备位置参数，以及所述转移帧的亮度特征图，计算得到当前像素点的，与当前扫描深度对应的匹配代价；其中，当前扫描深度是所述预设的M个扫描深度中的每一个扫描深度；所述当前像素点是所述图像序列的参考帧的每一个像素点；所述参考帧是所述图像序列中的任意一个图像帧，所述转移帧是所述图像序列中，除所述参考帧以外的图像帧；

确定单元，用于针对所述参考帧的每一个像素点，将所述像素点的最佳扫描深度确定为所述像素点的相对深度；其中，像素点的最佳扫描深度，是指，所述像素点的最小的匹配代价对应的扫描深度；所述参考帧的所有像素点的相对深度的集合，作为所述参考帧的深度图。

可选的，所述第二计算单元包括：

转移矩阵计算单元，用于针对所述图像序列的每一个转移帧，根据当前扫描深度，预先获取的设备结构参数，所述转移帧的设备位置参数，计算得到所述转移帧的转移矩阵；

确定单元，用于针对所述图像序列的每一个转移帧，根据所述转移帧的转移矩阵和当前像素点的坐标，确定所述转移帧中，所述当前像素点的映射像素点；

特征获取单元，用于针对所述图像序列的每一个转移帧，从所述转移帧的亮度特征图中，获取所述当前像素点在所述转移帧中的映射像素点的亮度特征值；

匹配代价计算单元，用于根据所述当前像素点在每一个转移帧中的映射像素点的亮度特征值，计算得到所述当前像素点的，与当前扫描深度对应的匹配代价。

可选的，所述第一计算单元具体用于：

将预设的待计算图像帧的初始设备位置参数作为待计算图像帧的当前设备位置参数；其中，所述待计算图像帧是所述图像序列的每一个图像帧；所述待计算图像帧预先设定有多个二维特征点；

计算所述待计算图像帧的当前设备位置参数，以及所述待计算图像帧的二维特征点的坐标，得到待计算图像帧的三维特征点的坐标；

将所述待计算图像帧的三维特征点投影在所述待计算图像帧中，得到所述三维特征点的投影点的坐标；

判断所述三维特征点的投影点的坐标和所述二维特征点的坐标的差值是否小于阈值；

若所述差值满足预设条件，将所述待计算图像帧的当前设备位置参数确定为所述待计算图像帧的设备位置参数；

若所述差值不满足预设条件，根据所述三维特征点的坐标和所述二维特征点的坐标更新所述当前设备位置参数；

将更新后的当前设备位置参数作为当前设备位置参数，返回执行所述计算所述待计算图像帧的当前设备位置参数，以及所述待计算图像帧的二维特征点的坐标，得到待计算图像帧的三维特征点的坐标。

可选的，所述装置还包括：

特征提取单元，用于针对所述图像序列的每一个转移帧，利用尺度不变特征变换算法SIFT提取所述转移帧的亮度特征，得到所述转移帧的亮度特征图。

本发明第三方面公开一种电子设备，包括存储器和处理器；

所述存储器用于存储计算机指令；

所述处理器用于执行所述存储器存储的计算机指令，具体用于执行本发明第一方面任意一项公开的生成深度图的方法。

本发明第四方面公开一种存储介质，用于存储计算机指令，所述计算机指令被执行时，具体用于执行本发明第一方面任意一项公开的生成深度图的方法。

本发明提供一种生成深度图的方法、装置、电子设备和存储介质，获取预设的M个扫描深度和视频中的图像序列后，计算图像序列中每一个图像帧的设备位置参数，然后根据设备结构参数，转移帧的设备位置参数，以及转移帧的亮度特征图计算参考帧的每一个像素点在每一个扫描深度下的匹配代价，最后针对参考帧的每一个像素点，将这个像素点的最小的匹配代价对应的扫描深度确定为该像素点的相对深度，从而得到参考帧的深度图。综上所述，针对无法用深度相机拍摄的实际场景，可以利用常规的拍摄设备拍摄视频，然后利用本发明提供的方案处理得到视频中任意一个图像帧的深度图。因此，本发明有效的扩展了深度图的应用范围。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种图像的相对深度的示意图；

图2为本发明实施例提供的一种生成深度图的方法的流程图；

图3为本发明实施例提供的一种计算像素点在不同扫描深度下的匹配代价的方法的流程图；

图4为本发明实施例提供的另一种生成深度图的方法的流程图；

图5为本发明实施例提供的一种生成深度图的装置的结构示意图；

图6为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的生成深度图的方法，其关键在于对常规的拍摄设备拍摄得到的视频中的二维图像帧进行处理，得到视频中的图像帧对应的深度图，从而解决现有技术中只能利用深度相机直接拍摄得到深度图的问题，扩展深度图的应用范围。

为了便于理解本申请任一实施例提供的方法，首先介绍一下图像的深度图。图像的深度图，可以认为是一个矩阵，矩阵的元素与图像的像素点一一对应，也就是说，深度图的行数和列数等于对应的图像的像素点的行数和列数，并且，深度图的第i行，第j列的元素对应于图像的第i行，第j列的像素点，其中，i和j均为正整数。

其中，深度图的每一个元素的元素值，是图像中对应的像素点的相对深度。也就是说，深度图相当于是图像中的所有像素点的相对深度组合成的一个矩阵。

关于图像中像素点的相对深度，可以参考图1理解。图中的相机平面表示拍摄设备的镜头所在的平面，一个物体被拍摄，相当于将被拍摄的物体表面上的点(记为三维点)投影在拍摄得到的图像上得到一个对应的像素点，被拍摄的物体上的每一个点(记为三维点)到图1所示的相机平面的距离，就是这个三维点对应的像素点的深度值。以图像中的最小的深度值作为基准值，图像中的每一个像素点的深度值除以基准值，就得到这个像素点的相对深度。

现有技术中，只有利用专用的深度相机进行拍摄，才能够获得拍摄得到的图像对应的深度图，目前还没有合适的技术能够生成常规拍摄设备拍摄出来的二维图像对应的深度图，而深度相机在很多场景下都无法使用，这就导致在大多数的场景下都难以获得深度图，限制了深度图这一技术的使用范围。

为了解决这一问题，本申请实施例提供一种生成深度图的方法，用于对常规拍摄设备拍摄的二维图像进行处理得到对应的深度图。请参考图2，该方法包括下述步骤：

S201、获取预设的M个扫描深度，以及视频中的图像序列。

其中，上述图像序列包括视频的连续的N个图像帧，N和M均为预设的正整数。

步骤S201中的视频，可以是任意一种常规拍摄设备拍摄得到的，有二维图像帧构成的视频。

本申请实施例的关键就在与，针对需要生成深度图的图像帧中的每一个像素点，根据后续的算法，从这M个预设的扫描深度中确定一个相对深度作为这个像素点的相对深度，确定了图像帧中每一个像素点的相对深度后，就得到了这个图像帧的深度图。

S202、利用运动恢复结构算法，计算得到图像序列的每一个图像帧的设备位置参数。

其中，图像帧的设备位置参数，用于描述拍摄图像帧时设备所在的位置，前述设备是，用于拍摄视频的设备，下文简称拍摄设备。

运动恢复结构算法(Structure from motion，SFM)是一种图像处理领域常用的一种用于估计相机姿态的算法。这种算法能够基于非线性优化的思想，根据任意一个图像帧中的像素点，计算出拍摄这个时拍摄设备所在的位置。计算得到的拍摄设备的位置一般如下述公式所示的设备位置参数表示。

t_k＝[x,y,z]

其中，k表示对应的图像帧在上述图像序列中的编号，按时间先后，第一个图像帧的编号k为1，第二个图像帧的编号k为2，以此类推。

矩阵R_k(记为旋转矩阵)和向量t_k(记为平移向量)均为图像帧k的设备位置参数，其中，旋转矩阵用于描述拍摄图像帧k时，拍摄设备的光心的朝向，平移向量则用于描述拍摄设备的光心的空间坐标，其中，用于确定拍摄设备的坐标系可以是，以实际场景中的任意一个固定点为原点建立的坐标系。旋转矩阵中的a，b和c，以及平移向量中x，y和z就是运动恢复结构算法需要计算得到的参数，对于任意一个图像帧k，计算出对应的旋转矩阵和平移向量，就相当于确定了拍摄该图像帧时拍摄设备所在的位置。

SFM算法作为一种常用的算法，其具体实现过程可以参考现有技术，此处简要介绍其计算原理，以方便理解：

针对待计算图像帧，预先指定一组初始设备位置参数，将初始设备位置参数作为待计算图像帧的当前设备位置参数，并在待计算图像帧中指定多个像素点作为二维特征点。

然后根据待计算图像帧的当前设备位置参数，以及待计算图像帧的二维特征点的坐标，计算得到待计算图像帧的三维特征点的坐标。其中，三维特征点是指，待计算图像帧中的二维特征点对应的实际物体(或实际场景)中的点。

基于当前设备位置参数，将待计算图像帧的三维特征点投影在待计算图像帧中，得到三维特征点的投影点的坐标。

判断三维特征点的投影点的坐标和二维特征点的坐标的差值是否满足预设条件。

可选的，可以根据三维特征点的投影点和二维特征点的差异，构造损失函数，在上述判断中，只需要计算损失函数的函数值，并判断函数值是否大于预设的阈值即可，若损失函数的函数值大于预设的阈值，则判断出差值不满足预设条件，若损失函数的函数值小于或等于预设的阈值，则判断出差值满足条件。

若上述差值满足预设条件，将待计算图像帧的当前设备位置参数确定为待计算图像帧的设备位置参数。

若上述差值不满足预设条件，根据三维特征点的坐标和二维特征点的坐标更新当前设备位置参数。

将更新后的当前设备位置参数作为当前设备位置参数，再次执行前述根据待计算图像帧的当前设备位置参数，以及待计算图像帧的二维特征点的坐标，计算得到待计算图像帧的三维特征点的坐标的步骤，从而循环的执行上述过程，直至得到能够满足预设条件的三维特征点，计算得到满足预设条件的三维特征点的当前设备位置参数，就是拍摄待计算图像帧时，拍摄设备所在的位置对应的设备位置参数。

可选的，上述计算各个图像帧的设备位置参数的过程，可以利用非线性优化库(Ceres-Solver)实现。

S203、根据当前扫描深度，预先获取的设备结构参数，转移帧的设备位置参数，以及转移帧的亮度特征图，计算得到当前像素点的，与当前扫描深度对应的匹配代价。

其中，当前扫描深度是预设的M个扫描深度中的每一个扫描深度，当前像素点是图像序列的参考帧的每一个像素点，参考帧是所述图像序列中的任意一个图像帧，转移帧是图像序列中，除参考帧以外的所有图像帧。

应当理解，步骤S203所述的计算匹配代价，是指，对于参考帧的每一个像素点，首先假设这个像素点的相对深度是预设的M个扫描深度中的某一个扫描深度i，然后计算出这个像素点在这个扫描深度i下对应的匹配代价，然后将这个像素点的相对深度变更为另一个扫描深度，再次计算得到这个像素点在另一个扫描深度下的匹配代价，以此类推，最后计算得到这个像素点在前述M个扫描深度中的每一个扫描深度下的匹配代价。并且，上述过程需要对参考帧的每一个像素点进行。

一个像素点在特定的扫描深度下的匹配代价，是一个数值，这个数值的大小，与这个像素点实际的相对深度和特定的扫描深度的之间的差值相关。对于一个像素点以及一个扫描深度，如果这个像素点的相对深度与这个扫描深度的差值较小，那么这个像素点在这个扫描深度下的匹配代价就较小。

也就是说，步骤S203执行结束后，参考帧中的每一个像素点，均对应有M个匹配代价，并且，对于任意一个像素点A，像素点A的M个匹配代价对应于前述M个扫描深度，每个匹配代价均根据对应的扫描深度计算得到。

可以发现，本申请实施例主要是根据一个图像序列中的转移帧，计算出图像序列中的参考帧的深度图，而参考帧可以是图像序列的任意一个图像帧。因此，理论上，只需要针对视频中的每一个图像帧，都将其作为参考帧执行本申请实施例提供的生成深度图的方法，就可以得到视频中的每一个图像帧的深度图。

S204、针对参考帧的每一个像素点，将该像素点的最佳扫描深度确定为像素点的相对深度，得到参考帧的深度图。

其中，任意一个像素点A的最佳扫描深度，是指，像素点A的最小的匹配代价对应的扫描深度，结合前文对深度图的介绍，参考帧中的所有像素点的相对深度组合成一个矩阵后，这个矩阵就是这个参考帧的深度图。

具体的，步骤S203中已经针对参考帧的每一个像素点，计算出了该像素点的M个匹配代价。针对参考帧的每一个像素点，从这个像素点的M个匹配代价中，筛选出一个最小的匹配代价，这个匹配代价对应的扫描深度，就是这个像素点的最佳扫描深度，也就是这个像素点的相对深度。

本发明提供一种生成深度图的方法，获取预设的M个扫描深度和视频中的图像序列后，计算图像序列中每一个图像帧的设备位置参数，然后根据设备结构参数，转移帧的设备位置参数，以及转移帧的亮度特征图计算参考帧的每一个像素点在每一个扫描深度下的匹配代价，最后针对参考帧的每一个像素点，将这个像素点的最小的匹配代价对应的扫描深度确定为该像素点的相对深度，从而得到参考帧的深度图。综上所述，针对无法用深度相机拍摄的实际场景，可以利用常规的拍摄设备拍摄视频，然后利用本发明提供的方案处理得到视频中任意一个图像帧的深度图。因此，本发明有效的扩展了深度图的应用范围。

前述实施例中，步骤S203中涉及根据当前扫描深度，预先获取的设备结构参数，转移帧的设备位置参数，以及转移帧的亮度特征图，计算得到当前像素点的，与当前扫描深度对应的匹配代价，参考图3，计算像素点在各个扫描深度下的匹配代价的过程包括：

S301、针对图像序列的每一个转移帧，根据当前扫描深度，预先获取的设备结构参数，转移帧的设备位置参数，计算得到转移帧的转移矩阵。

当前扫描深度是指，前述M个扫描深度中的每一个扫描深度。

其中，设备结构参数是由拍摄设备自身的结构决定的参数，因此，确定视频的拍摄设备的品牌和型号后，就可以直接获取拍摄设备的设备结构参数。设备结构参数一般表示为一个3阶矩阵，记为结构参数矩阵K。

可以理解的，对于任意一个转移帧，对应的扫描深度不同，计算得到的转移矩阵也不同，也就是说，对于一个给定的转移帧，根据前述M个预设的扫描深度，可以计算得到M个对应的转移矩阵。

计算转移矩阵的公式如下：

上述公式中，i是图像序列中的图像帧的编号，k是扫描深度的编号，H_ik表示图像序列中的根据第k个扫描深度计算得到的，第i个图像帧的转移矩阵。w_k就是第k个扫描深度，K^-1表示结构参数矩阵的逆矩阵。

上述公式的括号内也是一个3阶矩阵，这个矩阵是，用第k个扫描深度乘以第i个图像帧的设备位置参数中的平移向量，得到的列向量与第i个图像帧的旋转矩阵的每一列求和，得到的矩阵。

需要说明的是，步骤S301中计算的是转移帧的转移矩阵，假设参考帧的编号是p，那么，上述公式是对图像序列中所有编号不等于p的图像帧进行计算，得到每个转移帧的M个转移矩阵。

S302、针对图像序列的每一个转移帧，根据转移帧的转移矩阵和当前像素点的坐标，确定转移帧中，当前像素点的映射像素点。

当前像素点指代参考帧中的每一个像素点。

当前像素点的映射像素点，可以根据下述公式确定：

其中，j表示参考帧中的像素点的编号，u^j表示当前像素点是参考帧的像素点j的扩展坐标，扩展坐标是为了与转移矩阵匹配而对当前像素点的坐标进行扩展后得到的坐标。

具体的，一个图像帧中的像素点的坐标表示为一个二维向量(x，y)，表示这个像素点是这个图像帧的第x行，第y列的像素点，将这个坐标扩展为(x，y，1)就得到这个像素点的扩展坐标，也就是将表示像素点的坐标的二维向量扩展为三维向量，增加的维度固定的设置为1。通过进行这样的扩展，二维图像帧中的像素点的坐标就能够与三阶的转移矩阵进行计算。

利用转移矩阵计算得到的映射坐标

也是一个三维向量，这个三维向量的前两个数值，就是参考帧中的像素点j利用转移矩阵H_ik计算得到的映射像素点的坐标，这个坐标在对应的转移帧i中确定出来的像素点，就是参考帧的像素点j在转移帧i中的一个映射像素点。

基于上述公式可以发现，参考帧中的一个像素点可以在一个转移帧中确定出M个不同的映射像素点，每个映射像素点对应于一个扫描深度。

S303、针对图像序列的每一个转移帧，从转移帧的亮度特征图中，获取当前像素点在该转移帧中的映射像素点的亮度特征值。

转移帧的亮度特征图，可以利用尺度不变特征变换算法(Scale-invariantfeature transform，SIFT)从转移帧中提取得到，SIFT算法的具体实现过程可以参考现有技术，此处不再赘述。

提取到的转移帧的亮度特征图中，转移帧的每一个像素点都对应于其中的一个亮度特征值，因此，利用步骤S302中确定出来的参考帧的像素点j在转移帧中的映射像素点，可以直接从转移帧的亮度特征图中获取映射像素点的亮度特征值。

例如，对于转移帧i，坐标为W的像素点对应的亮度特征值表示为I(W)，那么参考帧中的一个坐标为r的像素点在转移帧中可以确定出M个扫描深度下的M个映射像素点，这些映射像素点的坐标记为r_ik，k表示扫描深度的编号，相对的，转移帧i中这些映射像素点的亮度特征值就是I(r_ik)。

其中，上述坐标均为像素点在图像中的行编号和列标号组成的二维向量。

S304、根据当前像素点在每一个转移帧中的映射像素点的亮度特征值，计算得到当前像素点的，与当前扫描深度对应的匹配代价。

当前像素点指代参考帧中的每一个像素点。

参考帧中坐标为r的像素点在第k个扫描深度下的匹配代价C_rk，主要由颜色亮度代价C_I，rk，水平梯度代价C_a，rk和垂直梯度代价C_b，rk计算得到。计算公式如下：

C_rk＝C_I,rk+λ×(C_a,rk+C_b,rk)

其中，λ是预设的合并指数，通过实验确定。

颜色亮度代价的计算公式如下：

C_I，rk＝VAR(I(r_i＝1,k),I(r_i＝2,k)......,I(r_i＝N,k)),(i≠p)

其中，p表示图像序列中作为参考帧的那个图像帧的编号，由于参考帧可以是任意指定的图像序列中的一个图像帧，因此，p可以是大于或等于1，小于或等于N的正整数，N是图像序列中图像帧的数量。

VAR()表示计算括号内的向量的方差。上述公式中，括号内的向量由参考帧的像素点r在第k个扫描深度下，在各个转移帧中的映射像素点的亮度特征值构成，例如，I(r_i＝1,k)就表示参考帧的像素点r在第k个扫描深度下在编号为1的转移帧中的映射像素点的亮度特征值，其他的以此类推。公式中对i的取值的限定表示，括号内的向量中不包括参考帧的像素点的亮度特征值。

水平梯度代价的计算公式如下：

其中，

表示参考帧的像素点r在编号为1的转移帧(转移帧1)中的映射像素点的水平亮度梯度，该数值可以利用像素点r在转移帧1中的映射像素点的亮度特征值，以及参考帧中，水平方向上像素点r的邻近像素点在转移帧1中的映射像素点的亮度特征值计算得到。

例如，像素点r_x+1是参考帧中像素点r在水平方向上的邻近像素点，r_x+1表示邻近像素点的横坐标等于像素点r的横坐标加1，纵坐标与像素点r的纵坐标相等，确定像素点r在第k个扫描深度下在转移帧1上的映射像素点的坐标r_i＝1,k，以及确定像素点r水平方向上的邻近像素点r_x+1在第k个扫描深度下在转移帧1上的映射像素点的坐标

之后，进一步获取这两个映射像素点的亮度特征值，这两个映射像素点的亮度特征值之差，除以这两个映射像素点的横坐标之差，就得到参考帧的像素点r第k个扫描深度下，在转移帧1中的水平亮度梯度，其他转移帧以及其他扫描深度下的水平亮度梯度同理。

垂直梯度代价的计算公式如下：

其中，

表示参考帧的像素点r在编号为1的转移帧(转移帧1)中的映射像素点的垂直亮度梯度。其计算方法与前述水平亮度梯度的计算方法类似，只需要将水平亮度梯度的计算方法中的水平方向的邻近像素点替换为垂直方向的邻近像素点即可。

上述计算匹配代价的方法主要基于下述原理设计：对于参考帧，如果这个像素点的相对深度与M个扫描深度中的某一个扫描深度较为接近，那么在这个扫描深度下确定的，该像素点在其他多个转移帧中的映射像素点的亮度特性的差异也较小，而根据上述方法计算得到的一个像素点在各个扫描深度下的匹配代价，能够直接反映出这个像素点，在特定扫描深度下，在其他转移帧中的映射像素点的亮度特性的差异，差异越大，则匹配代价越大，反之，差异越小，匹配代价越小。

因此，对于参考帧的一个像素点，M个扫描深度中，最接近该像素点的相对深度的那个扫描深度，对应的匹配代价自然就是这个像素点在不同扫描深度下的M个匹配代价中最小的匹配代价。所以通过对参考帧的各个像素点的匹配代价进行筛选，就能为参考帧的每一个像素点，从预设的M个扫描深度中确定出一个最接近该像素点的相对深度的扫描深度，从而得到参考帧对应的深度图。

本申请另一实施例还提供一种生成深度图的方法，请参考图4，该方法包括下述步骤：

S401、获取预设的M个扫描深度，以及视频中的图像序列。

可选的，在获取图像序列后，可以对图像序列中的各个图像帧进行重采样，使图像序列中每个图像帧的分辨率固定为640×480，然后再对图像序列中各个重采样后的图像帧执行后续计算。对分辨率过大的图像帧重采样以减小其分辨率，可以有效的节省计算资源。

S402、利用运动恢复结构算法，计算得到图像序列的每一个图像帧的设备位置参数。

S403、根据当前扫描深度，预先获取的设备结构参数，转移帧的设备位置参数，以及转移帧的亮度特征图，计算得到当前像素点的，与当前扫描深度对应的匹配代价。

当前像素点是指参考帧中的每一个像素点，当前扫描深度是步骤S401中获取的M个扫描深度中的每一个扫描深度。

S404、针对参考帧的每一个像素点，将像素点的最佳扫描深度确定为像素点的相对深度，得到参考帧的初始深度图。

确定出参考帧的每一个像素点的相对深度后，这些相对深度按对应的参考帧中的像素点的位置排列成一个矩阵，就得到参考帧的初始深度图。

S405、利用最小生成树算法对初始深度图进行滤波优化，得到优化后的深度图。

优化后的深度图作为参考帧的深度图输出。

其中，步骤S405的具体实现过程如下：

将初始深度图转换为有边和节点构成的拓扑结构图。

转换后的拓扑结构图的每一条边均具有一个权重。

具体的，初始深度图是由各个参考帧的各个像素点的相对深度构成的一个矩阵，这个矩阵中的每一个元素就相当于拓扑结构图中的一个节点，并且，由于初始深度图的元素与参考帧的像素点一一对应，因此转换得到的拓扑结构图的节点也与参考帧的像素点一一对应。基于此，连接任意两个节点的边的权重，就可以根据这两个节点对应的参考帧中的两个像素点的位置关系确定。任意两个节点之间，若这两个节点在参考帧中对应的两个像素点的距离较近，则为这两个节点之间的边配置较大的权重，反之则配置较小的权重。

转换完成后，利用下述公式从初始深度图中筛选出不稳定点：

M(r)＝1-C_I(r,D(r))/P(r,D(r))

其中，M(r)表示计算得到的参考帧的像素点r的稳定度，对于参考帧中的任意一个像素点，若这个像素点的稳定度大于或等于预设的稳定度阈值，则这个像素点是稳定点，反之，若这个像素点的稳定度小于预设的稳定度阈值，则这个像素点是不稳定点。

C_I(r,D(r))表示初始深度图中，像素点r的相对深度对应的颜色亮度代价，P(r,D(r))表示像素点r的相对深度对应的三个代价(即颜色亮度代价，水平梯度代价和垂直梯度代价)的平均值。

基于上述公式，计算参考帧的每一个像素点的稳定度，就可以筛选出初始深度图中的不稳定点。

对筛选出来的不稳定点，利用克鲁斯卡尔(Kruskal)算法或者普里姆(Prim)算法求解最小生成树，就可以将稳定点的相对深度扩散到不稳定点，从而得到优化后的深度图。

其中，对一个拓扑结构图进行最小生成树求解是本领域技术人员的公知常识，其具体过程可以参考现有技术，此处不再详述。

需要说明的是，步骤S405是为了在初始深度图的基础上恢复出高质量的深度图而执行的优选的步骤，若对深度图的质量要求不高，也可以不执行步骤S405。

本申请实施例提供的生成深度图的方法，在获取图像序列后，首先对图像序列中的各个图像帧进行重采样，从而有效的降低本方法的计算成本。另外，通过对计算得到的参考帧的初始深度图利用最小生成树算法进行滤波优化，有效的提高的最后输出的深度图的质量。

结合本申请任一实施例提供的生成深度图的方法，本申请另一实施例还提供一种生成深度图的装置，请参考图5，该装置包括下述单元：

获取单元501，用于获取预设的M个扫描深度，以及视频中的图像序列；其中，所述图像序列包括所述视频的连续的N个图像帧，所述N和M均为预设的正整数。

第一计算单元502，用于利用运动恢复结构算法，计算得到所述图像序列的每一个图像帧的设备位置参数；其中，图像帧的设备位置参数，用于描述拍摄所述图像帧时设备所在的位置；所述设备是，用于拍摄所述视频的设备。

第二计算单元503，用于根据当前扫描深度，预先获取的设备结构参数，转移帧的设备位置参数，以及所述转移帧的亮度特征图，计算得到当前像素点的，与当前扫描深度对应的匹配代价；其中，当前扫描深度是所述预设的M个扫描深度中的每一个扫描深度；所述当前像素点是所述图像序列的参考帧的每一个像素点；所述参考帧是所述图像序列中的任意一个图像帧，所述转移帧是所述图像序列中，除所述参考帧以外的图像帧。

确定单元504，用于针对所述参考帧的每一个像素点，将所述像素点的最佳扫描深度确定为所述像素点的相对深度；其中，像素点的最佳扫描深度，是指，所述像素点的最小的匹配代价对应的扫描深度；所述参考帧的所有像素点的相对深度的集合，作为所述参考帧的深度图。

可选的，本实施例提供的装置还包括：

优化单元505，用于利用最小生成树算法对确定单元输出的深度图进行滤波优化，得到优化后的深度图，在将优化后的深度图作为参考帧的深度图输出。

其中，第二计算单元503包括：

转移矩阵计算单元，用于针对所述图像序列的每一个转移帧，根据当前扫描深度，预先获取的设备结构参数，所述转移帧的设备位置参数，计算得到所述转移帧的转移矩阵；

确定单元，用于针对所述图像序列的每一个转移帧，根据所述转移帧的转移矩阵和当前像素点的坐标，确定所述转移帧中，所述当前像素点的映射像素点；

特征获取单元，用于针对所述图像序列的每一个转移帧，从所述转移帧的亮度特征图中，获取所述当前像素点在所述转移帧中的映射像素点的亮度特征值；

匹配代价计算单元，用于根据所述当前像素点在每一个转移帧中的映射像素点的亮度特征值，计算得到所述当前像素点的，与当前扫描深度对应的匹配代价。

可选的，第一计算单元502具体用于：

将预设的待计算图像帧的初始设备位置参数作为待计算图像帧的当前设备位置参数；其中，所述待计算图像帧是所述图像序列的每一个图像帧；所述待计算图像帧预先设定有多个二维特征点；

计算所述待计算图像帧的当前设备位置参数，以及所述待计算图像帧的二维特征点的坐标，得到待计算图像帧的三维特征点的坐标；

将所述待计算图像帧的三维特征点投影在所述待计算图像帧中，得到所述三维特征点的投影点的坐标；

判断所述三维特征点的投影点的坐标和所述二维特征点的坐标的差值是否小于阈值；

若所述差值满足预设条件，将所述待计算图像帧的当前设备位置参数确定为所述待计算图像帧的设备位置参数；

若所述差值不满足预设条件，根据所述三维特征点的坐标和所述二维特征点的坐标更新所述当前设备位置参数；

将更新后的当前设备位置参数作为当前设备位置参数，返回执行所述计算所述待计算图像帧的当前设备位置参数，以及所述待计算图像帧的二维特征点的坐标，得到待计算图像帧的三维特征点的坐标

本实施例提供的生成深度图的装置还包括：

特征提取单元506，用于针对所述图像序列的每一个转移帧，利用尺度不变特征变换算法SIFT提取所述转移帧的亮度特征，得到所述转移帧的亮度特征图。

本申请实施例提供的生成深度图的装置，其具体工作原理可以参考本申请任一实施例提供的生成深度图的方法，此处不再赘述。

本发明提供一种生成深度图的装置，获取单元501获取预设的M个扫描深度和视频中的图像序列后，第一计算单元502计算图像序列中每一个图像帧的设备位置参数，然后由第二计算单元503根据设备结构参数，转移帧的设备位置参数，以及转移帧的亮度特征图计算参考帧的每一个像素点在每一个扫描深度下的匹配代价，最后确定单元504针对参考帧的每一个像素点，将这个像素点的最小的匹配代价对应的扫描深度确定为该像素点的相对深度，从而得到参考帧的深度图。综上所述，针对无法用深度相机拍摄的实际场景，可以利用常规的拍摄设备拍摄视频，然后利用本发明提供的方案处理得到视频中任意一个图像帧的深度图。因此，本发明有效的扩展了深度图的应用范围。

本申请另一实施例还提供一种电子设备，参考图6，包括存储器601和处理器602。

所述存储器601用于存储计算机指令；

所述处理器602用于执行所述存储器存储的计算机指令，具体用于执行本申请任一实施例提供的生成深度图的方法。

本申请又一实施例还提供一种存储介质，用于存储计算机指令，所述计算机指令被执行时，具体用于执行如本申请任一实施例提供的生成深度图的方法。

专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种生成深度图的方法，其特征在于，包括：

获取预设的M个扫描深度，以及视频中的图像序列；其中，所述图像序列包括所述视频的连续的N个图像帧，所述N和M均为预设的正整数；

利用运动恢复结构算法，计算得到所述图像序列的每一个图像帧的设备位置参数；其中，图像帧的设备位置参数，用于描述拍摄所述图像帧时设备所在的位置；所述设备是，用于拍摄所述视频的设备；

根据当前扫描深度，预先获取的设备结构参数，转移帧的设备位置参数，以及所述转移帧的亮度特征图，计算得到当前像素点的，与当前扫描深度对应的匹配代价；其中，当前扫描深度是所述预设的M个扫描深度中的每一个扫描深度；所述当前像素点是所述图像序列的参考帧的每一个像素点；所述参考帧是所述图像序列中的任意一个图像帧，所述转移帧是所述图像序列中，除所述参考帧以外的图像帧；

针对所述参考帧的每一个像素点，将所述像素点的最佳扫描深度确定为所述像素点的相对深度；其中，像素点的最佳扫描深度，是指，所述像素点的最小的匹配代价对应的扫描深度；所述参考帧的所有像素点的相对深度的集合，作为所述参考帧的深度图；

所述利用运动恢复结构算法，计算得到所述图像序列的每一个图像帧的设备位置参数，包括：

将预设的待计算图像帧的初始设备位置参数作为待计算图像帧的当前设备位置参数；其中，所述待计算图像帧是所述图像序列的每一个图像帧；所述待计算图像帧预先设定有多个二维特征点；

计算所述待计算图像帧的当前设备位置参数，以及所述待计算图像帧的二维特征点的坐标，得到待计算图像帧的三维特征点的坐标；

将所述待计算图像帧的三维特征点投影在所述待计算图像帧中，得到所述三维特征点的投影点的坐标；

判断所述三维特征点的投影点的坐标和所述二维特征点的坐标的差值是否满足预设条件；

若所述差值满足预设条件，将所述待计算图像帧的当前设备位置参数确定为所述待计算图像帧的设备位置参数；

若所述差值不满足预设条件，根据所述三维特征点的坐标和所述二维特征点的坐标更新所述当前设备位置参数；

将更新后的当前设备位置参数作为当前设备位置参数，返回执行所述计算所述待计算图像帧的当前设备位置参数，以及所述待计算图像帧的二维特征点的坐标，得到待计算图像帧的三维特征点的坐标。

2.根据权利要求1所述的方法，其特征在于，所述根据当前扫描深度，预先获取的设备结构参数，转移帧的设备位置参数，以及所述转移帧的亮度特征图，计算得到当前像素点的，与当前扫描深度对应的匹配代价，包括：

针对所述图像序列的每一个转移帧，根据当前扫描深度，预先获取的设备结构参数，所述转移帧的设备位置参数，计算得到所述转移帧的转移矩阵；

针对所述图像序列的每一个转移帧，根据所述转移帧的转移矩阵和当前像素点的坐标，确定所述转移帧中，所述当前像素点的映射像素点；

针对所述图像序列的每一个转移帧，从所述转移帧的亮度特征图中，获取所述当前像素点在所述转移帧中的映射像素点的亮度特征值；

根据所述当前像素点在每一个转移帧中的映射像素点的亮度特征值，计算得到所述当前像素点的，与当前扫描深度对应的匹配代价。

3.根据权利要求1所述的方法，其特征在于，所述根据当前扫描深度，预先获取的设备结构参数，转移帧的设备位置参数，以及所述转移帧的亮度特征图，计算得到当前像素点的，与当前扫描深度对应的匹配代价之前，还包括：

针对所述图像序列的每一个转移帧，利用尺度不变特征变换算法SIFT提取所述转移帧的亮度特征，得到所述转移帧的亮度特征图。

4.一种生成深度图的装置，其特征在于，包括

获取单元，用于获取预设的M个扫描深度，以及视频中的图像序列；其中，所述图像序列包括所述视频的连续的N个图像帧，所述N和M均为预设的正整数；

第一计算单元，用于利用运动恢复结构算法，计算得到所述图像序列的每一个图像帧的设备位置参数；其中，图像帧的设备位置参数，用于描述拍摄所述图像帧时设备所在的位置；所述设备是，用于拍摄所述视频的设备；

第二计算单元，用于根据当前扫描深度，预先获取的设备结构参数，转移帧的设备位置参数，以及所述转移帧的亮度特征图，计算得到当前像素点的，与当前扫描深度对应的匹配代价；其中，当前扫描深度是所述预设的M个扫描深度中的每一个扫描深度；所述当前像素点是所述图像序列的参考帧的每一个像素点；所述参考帧是所述图像序列中的任意一个图像帧，所述转移帧是所述图像序列中，除所述参考帧以外的图像帧；

确定单元，用于针对所述参考帧的每一个像素点，将所述像素点的最佳扫描深度确定为所述像素点的相对深度；其中，像素点的最佳扫描深度，是指，所述像素点的最小的匹配代价对应的扫描深度；所述参考帧的所有像素点的相对深度的集合，作为所述参考帧的深度图；

所述第一计算单元具体用于：

将预设的待计算图像帧的初始设备位置参数作为待计算图像帧的当前设备位置参数；其中，所述待计算图像帧是所述图像序列的每一个图像帧；所述待计算图像帧预先设定有多个二维特征点；

计算所述待计算图像帧的当前设备位置参数，以及所述待计算图像帧的二维特征点的坐标，得到待计算图像帧的三维特征点的坐标；

将所述待计算图像帧的三维特征点投影在所述待计算图像帧中，得到所述三维特征点的投影点的坐标；

判断所述三维特征点的投影点的坐标和所述二维特征点的坐标的差值是否小于阈值；

若所述差值满足预设条件，将所述待计算图像帧的当前设备位置参数确定为所述待计算图像帧的设备位置参数；

若所述差值不满足预设条件，根据所述三维特征点的坐标和所述二维特征点的坐标更新所述当前设备位置参数；

将更新后的当前设备位置参数作为当前设备位置参数，返回执行所述计算所述待计算图像帧的当前设备位置参数，以及所述待计算图像帧的二维特征点的坐标，得到待计算图像帧的三维特征点的坐标。

5.根据权利要求4所述的装置，其特征在于，所述第二计算单元包括：

转移矩阵计算单元，用于针对所述图像序列的每一个转移帧，根据当前扫描深度，预先获取的设备结构参数，所述转移帧的设备位置参数，计算得到所述转移帧的转移矩阵；

确定单元，用于针对所述图像序列的每一个转移帧，根据所述转移帧的转移矩阵和当前像素点的坐标，确定所述转移帧中，所述当前像素点的映射像素点；

特征获取单元，用于针对所述图像序列的每一个转移帧，从所述转移帧的亮度特征图中，获取所述当前像素点在所述转移帧中的映射像素点的亮度特征值；

匹配代价计算单元，用于根据所述当前像素点在每一个转移帧中的映射像素点的亮度特征值，计算得到所述当前像素点的，与当前扫描深度对应的匹配代价。

6.根据权利要求4所述的装置，其特征在于，所述装置还包括：

特征提取单元，用于针对所述图像序列的每一个转移帧，利用尺度不变特征变换算法SIFT提取所述转移帧的亮度特征，得到所述转移帧的亮度特征图。

7.一种电子设备，其特征在于，包括存储器和处理器；

所述存储器用于存储计算机指令；

所述处理器用于执行所述存储器存储的计算机指令，具体用于执行如权利要求1至3中任意一项所述的生成深度图的方法。

8.一种存储介质，其特征在于，用于存储计算机指令，所述计算机指令被执行时，具体用于执行如权利要求1至3中任意一项所述的生成深度图的方法。

Images