CN110555907B - 一种非标准化图片三维重构方法 - Google Patents

Abstract

本发明公开了一种非标准化图片三维重构方法，通过获取深度概率分布，对任意两张非校准图片进行深度还原：提取任意两张非校准图片的深度抽象特征图，获取深度还原过程的消耗体，将一张图片深度的抽象特征图投影到另一张图片的所在位置，对消耗体进行多次三维卷积，获取任意两张非校准图片深度的初步概率分布，利用浅层特征图对非校准图片深度的初步概率分布进行修正；获取所有非校准图片的全局置信权重；通过对深度概率分布进行加权平均来整合所有非校准图片；实施本发明，解决了现有技术中不能对非标准化图片系统进行三维重构的问题。

Description

一种非标准化图片三维重构方法

技术领域

本发明涉及虚拟现实技术领域，特别涉及一种非标准化图片三维重构方法。

背景技术

深度学习新理论的出现，加上计算机硬件的巨大进步以及大数据的产生，深度学习在图像、语音识别等领域取得了巨大的进步。深度学习源于人工神经网络的研究，属于机器学习中的一个领域，它的“深”在于具有更多的层次，从而能表达更深的特征。深度学习以更加接近于人脑的机制、通过多层复杂的非线性模型来对数据进行表达和抽象。使用深度学习进行图像识别的优点不仅在于其越来越接近于人类的识别准确率，而且不需要图像预处理、图像分割等预处理或中间过程，即直接输入原始的图像，把深度学习算法当作一个黑箱子，一次性的完成某些预处理、特征提取及识别过程。

起初，深度学习算模型大多是针对二维图像的，如二维的卷积神经网络(Convolutional Neural Network，CNN)。然而现实世界的图像并不总是二维的，如建筑模型图像、3D打印模型、人体的大脑和肺部等图像均是一个三维的扫描图像。针对于这些三维图像，目前的解决方式是将某一维的所有图像进行平均，从而得到二维的图像，然后可采用二维的深度学习算法进行识别，这种方法将某一维度的所有图像进行了平均，因此损失了大量的信息，并不能有效地提取出所有的特征。

随着三维重构需求的不断增强，出现了依赖于图片特征的提取与匹配以及图片全局深度的平滑性优化的多视角三维重构算法，但是该方法在处理局部反光面和大面积无纹理区域时，往往很难取得较好的效果。原因在于，这种基于深度学习的三维重构系统专注于获取两张校准(Rectified)过后的平行图片的视差(Disparity)，使用一种被称之为U-net的网络结构，利用反复地在两张图片的偏移协方差(Correlation)上应用卷积操作，来得到一个最终的视差图(Disparity Map)。

但是在实际的三维重构应用场景中，图片往往是非校准化的(Unstructured)和多于两张的，传统的视差网络(Disparity Net)无法解决此类问题。非标准化的图片对之间的深度就不再可以被一个简单的视差(disparity)所描述，而是依赖图片之间的外参(Extrinsic Parameters)姿态。而多张图片的深度信息统合，也在很大程度上影响了最终的重构效果。

发明内容

针对上述问题，提出一种非标准化图片三维重构方法，通过抽取任意两张图片的抽象特征图并进行投影、合并构建非校准图片的消耗体，对消耗体进行多次卷积可得到其初始概率分布，再通过对其浅层特征进行卷积对上述初始概率分布进行修改并对深度还原过程的卷积参数进行训练，使得还原的深度与真是深度之间的L1范数达到最小。根据任一张图片深度的初始概率分布可得到其自我置信权重和相对置信权重，进而得到其全局置信权重，通过对深度概率分布进行加权平均来整合所有非校准图片。

一种非标准化图片三维重构方法，包括步骤：

通过获取深度概率分布，对任意两张非校准图片进行深度还原；

根据深度还原分布结果，获取所有所述非校准图片的全局置信权重；

利用所述全局置信权重，通过对深度概率分布进行加权平均来整合所有所述非校准图片。

根据本发明所述的非标准化三维重构方法，第一种实施方式中，所述步骤：通过获取深度概率分布，对任意两张非校准图片进行深度还原，包括：

根据标准卷积网络，提取任意两张非校准图片的深度抽象特征图；

利用所述深度抽象特征图，获取深度还原过程的消耗体；

对所述消耗体进行多次三维卷积，获取任意两张非校准图片深度的初步概率分布；

利用浅层特征图对所述非校准图片深度的初步概率分布进行修正，获取最终还原的深度。

根据本发明的第一种实施情况，第二种实施方式中，所述步骤：通过获取深度概率分布，对任意两张非校准图片进行深度还原，还包括：

利用包括任一所述非校准图片真实深度值及图片间位姿信息的数据集合，训练深度还原过程的卷积参数，使得卷积还原的深度与真实深度之间的L1范数最小。

根据本发明的第二种实施情况，第三种实施方式中，所述步骤：利用包括任一所述非校准图片真实深度值及图片间位姿信息的数据集合，训练深度还原过程的卷积参数，使得卷积还原的深度与真实深度之间的L1范数最小，包括：

使得训练深度还原过程的非校准图片个数大于20000张。

根据本发明的第一种实施情况，第四种实施方式中，所述步骤：利用所述深度抽象特征图，获取深度还原过程的消耗体，包括：

利用平面扫描算法，将一张图片深度的抽象特征图投影到另一张图片的所在位置；

将投影的深度抽象特征图与另一张图片的深度抽象特征图合并在一起，构成所述消耗体。

根据本发明的第一种实施情况，第五种实施方式中，所述步骤：对所述消耗体进行多次三维卷积，获取任意两张非校准图片深度的初步概率分布，包括：

根据所述消耗体维度确定三维卷积核及步长；

利用所述步长更新所述消耗体；

设计三维卷积的三维编解码器，使得输出为三维模型数据；

对所述三维模型数据进行归一化处理，获得图片深度初始概率分布。

根据本发明所述的非标准化三维重构方法，第六种实施方式中，所述步骤：根据深度还原分布结果，获取所有所述非校准图片的全局置信权重，包括：

根据深度初步概率分布，通过与任一共享参数进行二维卷积获取自我置信权重；

与另一共享参数进行二维卷积获取相对置信权重；

将任一图片的所述自我置信权重与所有的相对置信权重之和相加，获取全局置信权重。

根据本发明的第五种实施情况，第七种实施方式中，所述步骤：利用所述全局置信权重，通过对深度概率分布进行加权平均来整合所有所述非校准图片，还包括：

利用包括任一所述非校准图片真实深度值及图片间位姿信息的数据集合，训练二维卷积中的权重参数，使得整合后的深度与真实深度之间的L1范数最小。

根据本发明的第七种实施情况，第八种实施方式中，所述步骤：利用包括任一所述非校准图片真实深度值及图片间位姿信息的数据集合，训练二维卷积中的权重参数，使得整合后的深度与真实深度之间的L1范数最小，包括：

训练二维卷积中权重参数的非校准图片个数范围设定为3-5张。

实施本发明中的非标准化图片三维重构方法，通过抽取任意两张图片的抽象特征图并进行投影、合并构建非校准图片的消耗体，对消耗体进行多次卷积可得到其初始概率分布，再通过对其浅层特征进行卷积对上述初始概率分布进行修改并对深度还原过程的卷积参数进行训练，使得还原的深度与真是深度之间的L1范数达到最小。根据任一张图片深度的初始概率分布可得到其自我置信权重和相对置信权重，进而得到其全局置信权重，通过对深度概率分布进行加权平均来整合所有非校准图片。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中的一种非标准化图片三维重构方法实施步骤流程示意图；

图2为本发明中的一种非标准化图片三维重构方法中的子步骤S1的流程示意图；

图3为本发明中的一种非标准化图片三维重构方法中子步骤S12的流程示意图；

图4为本发明中的一种非标准化图片三维重构方法中的子步骤S13的流程示意图；

图5为本发明中的一种非标准化图片三维重构方法中的子步骤S2的流程示意图；

具体实施方式

下面将结合发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。

随着三维重构需求的不断增强，出现了依赖于图片特征的提取与匹配以及图片全局深度的平滑性优化的多视角三维重构算法，但是该方法在处理局部反光面和大面积无纹理区域时，往往很难取得较好的效果。

针对上述问题，提出一种非标准化图片三维重构方法。

优选地，如图1，图1为本发明中的一种非标准化图片三维重构方法实施步骤流程示意图，一种非标准化图片三维重构方法包括步骤：

S1、通过获取深度概率分布，对任意两张非校准图片进行深度还原。

进一步地，如图2，图2为本发明中的一种非标准化图片三维重构方法中的子步骤S1的流程示意图，步骤S1包括子步骤：

S11、根据标准卷积网络，提取任意两张非校准图片的深度抽象特征图。

深度抽象特征提取网络，可以选择使用应用于图片分类器的深度神经元网络中的特征提取部分，例如GoogleLeNet，ImageNet或者是ResNet。

S12、利用所述深度抽象特征图，获取深度还原过程的消耗体。

消耗体(Cost Volume)的生成可以选择简单地将两张图片的特征图(经过投影变换过后)叠放在一起，也可以选择这两张特征图深度差值的绝对值。

进一步地，如图3，图3为本发明中的一种非标准化图片三维重构方法中子步骤S12的流程示意图，子步骤S12包括步骤：

S121、利用平面扫描算法，将一张图片深度的抽象特征图投影到另一张图片的所在位置；

S122、将投影的深度抽象特征图与另一张图片的深度抽象特征图合并在一起，构成所述消耗体。

S13、对所述消耗体进行多次三维卷积，获取任意两张非校准图片深度的初步概率分布；

进一步地，如图4，图4为本发明中的一种非标准化图片三维重构方法中的子步骤S13的流程示意图，子步骤S13包括步骤：

S131、根据所述消耗体维度确定三维卷积核及步长；

S132、利用所述步长更新所述消耗体；

S133、设计三维卷积的三维编解码器，使得输出为三维模型数据；

S134、对所述三维模型数据进行归一化处理，获得图片深度初始概率分布。

多次的三维卷积核的设计可以参考二维情况下的U-net：举例来说，假设输入的消耗体维度为[W,H,D,C]，首先应用Cx2C个核为3x3，步长间隔为2的卷积操作，将消耗体的维度迭代更新为[W/2,H/2,D/2,2C]；再者，依序地迭代2-3次此类操作，将消耗体迭代至更小的三维体；最后，增大其特征维度来保证信息的存留度。此部分的卷积网络可以被理解成一个3维的编码器，并设计一个不停降低其特征维度以及扩大其三维维度的3维解码器。通过3维解码器最终得到一个维度为[W,H,D,1]的结果，再经过归一化处理后，即是深度特征图的初始概率分布。

S14、利用浅层特征图对所述非校准图片深度的初步概率分布进行修正，获取最终还原的深度。

非校准图片深度的高层特征往往是较为抽象的，它们包含有较少的细节特征，因此，根据高层特征还原出来的深度图一般会在边缘处较为模糊。为了解决这个问题，我们利用浅层特征(由原图出发，仅仅经过2-3次卷积操作获得)，来对获取的初步概率分布图进行一次修正。

优选地，步骤S1还包括步骤：

S15、利用包括任一所述非校准图片真实深度值及图片间位姿信息的数据集合，训练深度还原过程的卷积参数，使得卷积还原的深度与真实深度之间的L1范数最小。

进一步地，步骤S15包括步骤：

使得训练深度还原过程的非校准图片个数大于20000张。

训练所使用的图片集合，一般有两种获取方式：由虚拟的三维场景中，使用特定的渲染软件程序生成图片集合以及这些图片的深度值或者利用带有深度的相机对真实的世界进行拍摄获取图片；通过多视角几何(Multi-view Geometry)或是预先固定相机机位的方式来获取相机的姿态信息。由于我们使用的网络深度一般较为的深，故而在训练集的规模上，一般建议至少需要20000张以上的图片，才会获得较为好的训练效果。

S2、根据深度还原分布结果，获取所有所述非校准图片的全局置信权重；

假设我们现在正在处理一个三张图片的深度整合问题。我们先选定其中一张图片作为参考帧，它和剩余的两张图片构成了两个非标准图片对。我们可以应用步骤S1描述的两图深度还原网络在这两个非标准图片对上，从而得到参考帧上的两个深度概率分布图。整合网络的目的，就是通过深度神经元网络来更优化地加权这两个深度概率分布图，从而得到一个更精确的在参考帧上的深度概率分布图。

进一步地，如图5，图5为本发明中的一种非标准化图片三维重构方法中的子步骤S2的流程示意图，子步骤S2包括步骤：

S21、根据深度初步概率分布，通过与任一共享参数进行二维卷积获取自我置信权重；

S22、与另一共享参数进行二维卷积获取相对置信权重；

S23、将任一图片的所述自我置信权重与所有的相对置信权重之和相加，获取全局置信权重。

S24、利用包括任一所述非校准图片真实深度值及图片间位姿信息的数据集合，训练二维卷积中的权重参数，使得整合后的深度与真实深度之间的L1范数最小。

对于自我权重和相对权重的2维卷积估计网络，一般建议网络的深度不宜过深，控制在1-3层是实践中我们发现取得较好结果的数值。在这两个置信权重的计算过程中，除引入深度概率分布图进行描述外，也可以再引入例如原始图片，像素投影误差等等额外信息，来进一步改善最终的置信加权效果。

进一步地，子步骤S24包括步骤：

训练二维卷积中权重参数的非校准图片个数范围设定为3-5张。

在训练过程中，一般建议随机地以3-5张图片的深度信息整合来进行。过多的图片会对计算机的显存的使用带来极大的负担，而如果一直使用两张图片来进行训练，往往会使得整合网络的权重扩展性在实际应用到多于两张图片时的效果变差。

S3、利用所述全局置信权重，通过对深度概率分布进行加权平均来整合所有所述非校准图片。

实施本发明中的非标准化图片三维重构方法，通过抽取任意两张图片的抽象特征图并进行投影、合并构建非校准图片的消耗体，对消耗体进行多次卷积可得到其初始概率分布，再通过对其浅层特征进行卷积对上述初始概率分布进行修改并对深度还原过程的卷积参数进行训练，使得还原的深度与真是深度之间的L1范数达到最小。根据任一张图片深度的初始概率分布可得到其自我置信权重和相对置信权重，进而得到其全局置信权重，通过对深度概率分布进行加权平均来整合所有非校准图片。

以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种非标准化图片三维重构方法，其特征在于，包括步骤：

通过获取深度概率分布，对任意两张非校准图片进行深度还原；

根据标准卷积网络，提取任意两张非校准图片的深度抽象特征图；

利用所述深度抽象特征图，获取深度还原过程的消耗体；

包括：

利用平面扫描算法，将一张图片深度的抽象特征图投影到另一张图片的所在位置；

将投影的深度抽象特征图与另一张图片的深度抽象特征图合并在一起，构成所述消耗体；

对所述消耗体进行多次三维卷积，获取任意两张非校准图片深度的初步概率分布；

包括：

根据所述消耗体维度确定三维卷积核及步长；

利用所述步长更新所述消耗体；

设计三维卷积的三维编解码器，使得输出为三维模型数据；

对所述三维模型数据进行归一化处理，获得图片深度初始概率分布；

利用浅层特征图对所述非校准图片深度的初步概率分布进行修正，获取最终还原的深度；

根据深度还原分布结果，获取所有非校准图片的全局置信权重；

包括：

根据深度初步概率分布，通过与任一共享参数进行二维卷积获取自我置信权重；

与另一共享参数进行二维卷积获取相对置信权重；

将任一图片的所述自我置信权重与所有的相对置信权重之和相加，获取全局置信权重；

利用所述全局置信权重，通过对深度概率分布进行加权平均来整合所有非校准图片。

2.根据权利要求1所述的非标准化图片三维重构方法，其特征在于，所述步骤：通过获取深度概率分布，对任意两张非校准图片进行深度还原，还包括：

利用包括任一所述非校准图片真实深度值及图片间位姿信息的数据集合，训练深度还原过程的卷积参数，使得卷积还原的深度与真实深度之间的L1范数最小。

3.根据权利要求2所述的非标准化图片三维重构方法，其特征在于，所述步骤：利用包括任一所述非校准图片真实深度值及图片间位姿信息的数据集合，训练深度还原过程的卷积参数，使得卷积还原的深度与真实深度之间的L1范数最小，包括：

使得训练深度还原过程的非校准图片个数大于20000张。

4.根据权利要求1所述的非标准化图片三维重构方法，其特征在于，所述步骤：利用所述全局置信权重，通过对深度概率分布进行加权平均来整合所有非校准图片，还包括：

利用包括任一所述非校准图片真实深度值及图片间位姿信息的数据集合，训练二维卷积中的权重参数，使得整合后的深度与真实深度之间的L1范数最小。

5.根据权利要求4所述的非标准化图片三维重构方法，其特征在于，所述步骤：利用包括任一所述非校准图片真实深度值及图片间位姿信息的数据集合，训练二维卷积中的权重参数，使得整合后的深度与真实深度之间的L1范数最小，包括：

训练二维卷积中权重参数的非校准图片个数范围设定为3-5张。