CN112967381A - 三维重建方法、设备和介质 - Google Patents

Abstract

本公开提供了一种基于降采样的快速三维重建方法，涉及人工智能技术领域，具体为计算机视觉和深度学习技术，可应用于图像处理领域。实现方案为：获取目标图像的多个像素的深度信息；基于多个像素的深度信息，确定目标图像的深度分布特征；基于深度分布特征，根据第一预设规则对目标图像进行自适应降采样，以从目标图像中确定多个采样像素；以及基于多个采样像素，生成三维模型。

Description

三维重建方法、设备和介质

技术领域

本公开涉及人工智能技术领域，具体为计算机视觉和深度学习技术，可应用于图像处理领域，具体涉及一种基于降采样的快速三维重建方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

三维重建可以应用于机器视觉、3D打印、生成3D照片等等，可以根据具体的应用对三维重建模型进行后续处理。例如，对于生成3D照片的应用，后续处理可以包括对三维重建模型进行图形渲染，具体为对每一个三角面片进行渲染。

对于三维重建技术，可以将原图的每个像素点投影到三维空间中，并对每个3D点，依据其在2D图像上的邻接关系，与周围像素点生成的3D点进行连接，构造三角面片；而现有的三维重建方法计算量大、耗时长、效率较低。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种基于降采样的快速三维重建方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种三维重建方法，包括：获取目标图像的多个像素的深度信息；基于多个像素的深度信息，确定目标图像的深度分布特征；基于深度分布特征，根据第一预设规则对目标图像进行自适应降采样，以从目标图像中确定多个采样像素；以及基于多个采样像素，生成三维模型。

根据本公开的另一方面，提供了一种利用2D目标图像生成3D照片的方法，包括：利用上述方法对目标图像进行三维重建，生成三维模型；对三维模型进行渲染，生成3D照片。

根据本公开的另一方面，提供了一种三维重建装置，包括：获取单元，用于获取目标图像的多个像素的深度信息；像素深度确定单元，用于基于多个像素的深度信息，确定目标图像的深度分布特征；降采样单元，用于基于深度分布特征，根据第一预设规则对目标图像进行自适应降采样，以从目标图像中确定多个采样像素；三维建模单元，用于基于多个采样像素，生成三维模型。

根据本公开的另一方面，提供了一种利用2D目标图像生成3D照片的装置，包括：三维重建装置；渲染单元，对三维重建装置所生成的三维模型进行渲染，生成3D照片。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现上述方法。

根据本公开的一个或多个实施例，可以通过基于图像的深度分布特征，对像素点进行降采样，以减少三维重建的运算量，从而能够提高三维重建的效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1示出了根据本公开的实施例的三维重建方法的流程图；

图2示出了根据本公开的实施例的像素阵列的场景图；

图3示出了根据本公开的实施例的对像素点降采样的方法的流程图；

图4示出了根据本公开的实施例的减少构造三角面片的场景图；

图5示出了根据本公开的实施例的生成三维照片的方法的流程图；

图6a-6b示出了根据本公开的实施例的图像修复方法中的示例图；

图7示出了根据本公开的实施例的三维建模装置的结构框图；

图8示出了根据本公开的实施例的利用2D目标图像生成3D照片的装置的结构框图；

图9示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。

在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

相关技术中，在进行三维重建时，为了保证三维重建效果，对每个像素点均进行投影，以得到对应的3D点。也就是说，投影得到的3D点的数量与图像分辨率相关，例如，对于一张600*600的图像会得到36w个2D点，这个数量相当庞大。另外，在利用2D图像中像素点的邻接关系构造三角面片时，每个像素点和位于其8-邻域中的像素点连接，每个像素点最多可以构造12个三角面片。可见，相关技术中为了保证三维重建效果，需要对每个像素点均进行投影，数据处理量庞大，导致三维重建的效率非常低下。为了解决上述问题，本公开提供一种基于降采样的三维重建方法，该方法基于目标图像的多个像素的深度信息，确定目标图像的深度分布特征，并基于深度分布特征，根据第一预设规则对目标图像进行自适应降采样，以从目标图像中确定多个采样像素，最后基于多个采样像素，生成三维模型。由此，通过基于深度分布特征对图像上的像素点进行自适应降采样，从而能够通过降采样减少三维重建的数据处理量，提高三维重建的效率，另外，基于深度分布特征进行降采样，能够保留图像的深度分布特征，以保证三维重建的效果。

本公开的三维重建方法可以适用于各种领域的应用，例如，机器视觉、3D打印、生成3D照片等等。

下面将结合附图详细描述本公开的实施例的三维重建方法。

图1示出了根据本公开的实施例的一种三维重建方法100的流程图。该方法可以包括：步骤S101、获取目标图像的多个像素的深度信息；步骤S102、基于多个像素的深度信息，确定目标图像的深度分布特征；步骤S103、基于深度分布特征，根据第一预设规则对目标图像进行自适应降采样，以从目标图像中确定多个采样像素；以及步骤S104、基于多个采样像素，生成三维模型。由此，通过基于图像的深度分布特征对图像的像素进行自适应降采样，并基于降采样所得到的采样像素进行三维重建，从而能够在尽量保留三维重建的深度分布特征的前提下，减少三维重建的运算量，提高三维重建的效率和质量。

根据一些实施例，可以通过多种方式来获取目标图像。例如，目标图像可以通过摄像头或摄像机拍摄获取，也可以通过相机或者具有拍照功能的设备(例如手机、平板电脑、可穿戴设备等)拍照获取。目标图像也可以有其它来源，例如来自其它图像获取设备。当然，目标图像也可以是现存的图像，即，之前已经获取并保存的图像。本公开对此不进行限制。

根据一些实施例，步骤S101中的多个像素可以包括多列像素中每一列像素所包括的多个像素，步骤S102可以包括：基于所包括的多个像素的深度信息，计算多列像素中每一列像素的深度分布特征。此步骤用列像素的深度分布特征表示图中深度的变化，有利于对图像的深度分布进行推断和预测。

示例性地，步骤S103、根据第一预设规则对目标图像的像素进行自适应降采样可以包括：以第一采样步长对目标图像所包括的所有列像素进行初步降采样，以从目标图像所包括的所有列像素中确定多列像素。由此，通过固定采样以确定列采样的范围，能够提高3D重建的效率。

根据一些实施例，如图3所示，步骤S103可以包括：步骤301、至少基于多列像素各自相应的深度分布特征，根据第一预设规则对目标图像进行自适应降采样，以从多列像素中确定多个采样列像素，其中，多个采样像素为至少基于多个采样列像素来确定。由此，通过基于列像素的深度分布特征来进行自适应采样，能够提升降采样的效率。

示例性地，每一列像素的深度分布特征可以但不限于为该列像素所包括的多个像素的深度方差，从而能够进行均数差别的显著性检验，保证结果细致、准确、明显。

示例性地，多个采样列像素可以包括目标图像的第一列像素所包括的所有像素和最后一列像素所包括的所有像素，从而保证图像边界清晰。

示例性地，步骤S103、对目标图像的像素进行自适应降采样可以包括：以预设的第四采样步长对目标图像的行像素进行降采样，以从目标图像中确定多个采样行像素。在这种情况下，多个采样像素可以为基于多个采样行像素和多个采样列像素来确定。多个采样像素例如可以为位于多个采样行像素和多个采样列像素相交处的多个像素。由此，通过只在列的维度进行自适应的降采样，在行维度采样固定值，在保留图像深度分布特征的前提下能够简化降采样的复杂度，提升降采样效率。

根据一些实施例，在每一列像素的深度分布特征为该列像素所包括的多个像素的深度方差的情况下，可以基于多列像素各自相应的深度分布特征以及预设的方差阈值，根据第一预设规则对目标图像进行自适应降采样，以从多列像素中确定多个采样列像素。此步骤与人工预设的经验阈值作比较，可以提高降采样的准确率。

示例性的，多列像素可以为以第一采样步长从所述目标图像中采样得到，在这种情况下，如图3所示，步骤S103还可以包括步骤S302、设定第二采样步长和第三采样步长，其中，第二采样步长大于第三采样步长；以及步骤S303、在目标图像的降采样过程中，确定多列像素中与当前采样列像素相邻的待采样的至少一个列像素，并且基于当前采样列像素的深度方差、至少一个列像素各自相应的深度方差和预设的方差阈值，确定以当前列采样像素为起始的当前采样步长为第二采样步长或第三采样步长，其中，目标图像的降采样最大采样步长小于设定步长。从而能够在列采样的过程中，根据像素的深度分布特征自动调整采样步长，使其与列像素的深度分布特征相适应，以更好得保留图像的深度分布特征，进一步保证生成图像的质量。

图2示出了根据本公开实施例的多个像素的示意图。示例性地，设置基础行采样步长ls,基础列采样步长cs,按照基础采样步长，对目标图像进行行采样及列采样，得到多列像素。其中用A表示列，B表示行。其中多个像素可以包括i列和j行。

示例性地，对目标图像中的每一列，统计列向量的深度分布特征。然后，根据此深度分布特征的大小，决定采样密度。

示例性地，对目标图像中的每一列，统计列向量深度值的方差。然后，根据方差值的大小，决定采样密度。

示例性地，方差越大，说明深度变化越快，列采样应该越密集以保证图像质量，最小采样步长为cs；反之，方差越小，说明深度变化越慢，列采样可以稀疏一点以提高效率，最大采样步长为K*cs，K为正整数。示例性地，cs＝ls＝2，K＝4，实际可灵活选取。

示例性地，采样后的多个像素如图2中的黑点201组成，且稀疏采样未采集A3列的白点202，只在列的维度进行自适应的降采样，在行维度采样固定值，是为了将问题简化，且两个方向上的自适应降采样会进一步降低图像质量。

下面将结合示例性实施例对步骤S303进行具体描述。

在示例性实施例中，当前采样列像素的方差大于或等于阈值：1)与当前采样列像素相邻的下一个列像素的方差大于或等于阈值，采样该下一列像素；2)与当前采样列像素相邻的下一个列像素的方差小于阈值，则不采样该下一列像素，继续判断再下一列像素的方差是否不小于阈值，以确定是否采样该再下一列像素。但是，以当前采样列像素为起始的采样步长不能大于最大的设定步长，如果该再下一列像素和当前采样列像素之间的步长达到设定步长，则无论该再下一个列像素的方差是否小于阈值都进行采样。

相关技术中在构造三角面片时，针对每个像素，基于该像素的8-邻域中的8个点均构建三角面片，这使得每个像素点可能最多构建12个三角形，增加三维重建的数据处理量。

发明人发现相关技术中构建的大量三角面片之间存在重叠。如图4所示，获取像素点405的8邻域采样像素：401、402、403、404、406(下方像素点)、407、408(右侧像素点)、409(右下方像素点)。基于像素点的8-邻域中的8个点均构建三角面片时，存在相互重叠的三角面片。

基于此，为了解决上述技术问题，根据一些实施例，步骤104、基于多个采样像素，生成三维模型可以包括：针对每一采样像素，根据第二预设规则选取该采样像素的邻域中的一部分采样像素来构建该采样像素所对应的三角面片，以使得基于多个采样像素所构建的所有三角面片中的任意两个三角面片均不交叠。由此，构建的三角面片中任意两个均不交叠，能够尽量减少三角面片的数量，从而能够提高三维重建的效率。在这样双重降采样的影响下，三维重建及渲染步骤中需要处理的点数面数得到了大幅缩减。对于一个原本具有几十万个点，上百万个面片的场景，可以缩减到几万个点，数十万个面片。这将极大程度加速三维重建及渲染的速度。

示例性地，根据第二预设规则选取该采样像素的邻域中的一部分采样像素来构建该采样像素所对应的三角面片可以包括：获取该采样像素的8邻域中的8个采样像素；选取8个采样像素中位于该采样像素的右侧、下方和右下方的三个采样像素来构建该采样像素所对应的三角面片。通过减少构造三角面片时顶点的复用，减少相互存在重叠关系的三角面片，相当于对面片的生成也进行了降采样，进一步缩减生成的面片数量，以加快三维重建的效率。

示例性地，以采样像素为顶点构建三角面片时，其它三个点的选取不一定是右-下-右下的方案，还可以包括右-上-右上、左-下-左下、和左-上-左上。

示例性地，如图4所示，获取像素点405的8邻域采样像素：401、402、403、404、406(下方像素点)、407、408(右侧像素点)、409(右下方像素点)。对于每个像素点只选取其右侧、下方和右下方三个像素点构造对应的三角面片(以像素点405为例，只选取406、408、409三个采样像素来构建该采样像素所对应的三角面片，即405-406-409和405-408-409两个三角面片)。从图4中可以看出任意两个三角面片之间均不存在交叠。

根据一些实施例，目标图像可以包括基于待处理图像所得到的前景图像和背景图像，多个采样像素包括前景图像中的多个第一采样像素和背景图像中的多个第二采样像素。也就是说，可以对前景图像和背景图像均进行自适应降采样，提升三维重建的3D视觉效果。

示例性地，背景图像可以通过以下步骤得到：对背景图像中与前景图像对应的遮挡区域进行背景填充，得到完整的背景图像。由此，通过修复背景区域中被前景区域遮挡的部分，能够增强3D视角效果。

示例性地，如图6a所示，对所述背景图像中与所述前景区域对应的遮挡区域进行背景填充可以包括：将待处理图像和待处理图像中前景的轮廓的位置信息输入第一神经网络模型(Convolutional Neural Networks,CNN)，以修复背景图像中被前景区域遮挡的部分的像素，获取第一神经网络模型输出的完整的背景图像。可以理解的，也可以通过其它方式来修复背景区域中被前景区域遮挡的像素部分，并不限定只能利用神经网络模型来进行修复。

示例性地，如图6b所示，该方法还可以包括：获取待处理图像的深度图；以及将深度图和待处理图像中前景的轮廓的位置信息输入第二神经网络模型(ConvolutionalNeural Networks,CNN)，以修复背景图像中被前景区域遮挡的部分的深度，获取第二神经网络模型输出的完整的背景图像的深度图。修复背景区域中被前景区域遮挡的深度部分，以增强图像的3D视角效果。可以理解的，也可以通过其它方式来修复背景区域中被前景区域遮挡的部分的深度，并不限定只能利用神经网络模型来进行修复。

示例性地，对所述目标图像进行自适应降采样可以包括：分别对前景图像和背景图像进行自适应降采样，以从前景图像中确定多个第一采样像素，并且从背景图像中确定多个第二采样像素。由此，通过分别对前景和背景图像进行降采样，进一步提高三维照片生成的效率。

示例性地，前景图像相应的预设的方差阈值可以小于背景图像相应的预设的方差阈值。以获取前景图像中更细节的深度信息，更加关注前景，提升三维重建效果。

根据本公开的实施例，还提供一种利用2D目标图像生成3D照片的方法。该方法包括利用上述的方法对目标图像进行三维重建，以生成三维模型；对三维模型进行渲染，生成3D照片，从而能够提高生成3D照片的效率。

示例性地，如图5所示，利用2D目标图像生成3D照片的方法具体过程可以如下：

目标图像可以包括基于待处理图像所得到的前景图像和背景图像，则多个采样像素可以包括前景图像中的多个第一采样像素和背景图像中的多个第二采样像素。

步骤S501、对背景图像中与前景图像对应的遮挡区域进行背景填充，得到完整的背景图像。通过分割得到前景-背景图像，以提高前景-背景图像质量；修复背景区域中被前景区域遮挡的部分，以增强3D视角效果。

示例性地，可以将待处理图像和待处理图像中前景的轮廓的位置信息输入第一神经网络模型，获取第一神经网络模型输出的完整的背景图像。修复背景区域中被前景区域遮挡的像素部分，以增强图像的3D视角效果。

步骤S502、获取待处理图像的深度图。

示例性地，可以将目标图像输入单目深度估计模型，以获取单目深度估计模型输出的目标图像的多个像素的深度信息。

示例性地，将深度图和待处理图像中前景的轮廓的位置信息输入第二神经网络模型，获取第二神经网络模型输出的完整的背景图像的深度图。修复背景区域中被前景区域遮挡的深度部分，以增强图像的3D视角效果。

步骤S503、分别对前景图像和背景图像进行自适应降采样，以从前景图像中确定多个第一采样像素，并且从背景图像中确定多个第二采样像素。通过分别对前景和背景图像进行降采样，进一步提高三维照片生成的效率。

示例性地，前景图像相应的预设的方差阈值可以小于背景图像相应的预设的方差阈值。以获取前景图像中更细节的深度信息，更加关注前景，这样做可以增加视觉效果。

步骤S504、基于多个采样像素，生成三维模型。

具体地，包括对修复后的前景图像和背景图像的多个降采样像素分别生成三维模型。

步骤S505、对三维模型进行渲染，生成3D照片。

示例性地，对基于前景图像和背景图像各自所生成的两个三维模型进行渲染，并进行整合以生成三维照片。

需要说明的是，不限定步骤S501-S505的执行先后顺序，两者也可以同时执行。例如，不限定修复前景图像和背景图像的先后顺序，也可以同时修复前景图像和背景图像。

根据本公开的实施例，还提供一种三维建模装置。如图7所示，该三维重建装置700可以包括：获取单元701，用于获取目标图像的多个像素的深度信息；像素深度确定单元702，用于基于多个像素的深度信息，确定目标图像的深度分布特征；降采样单元703，用于基于深度分布特征，根据第一预设规则对目标图像进行自适应降采样，以从目标图像中确定多个采样像素；三维建模单元704，用于基于多个采样像素，生成三维模型。

这里，三维建模装置700的上述各单元701～704的操作分别与前面描述的步骤S101～S104的操作类似，在此不再赘述。

根据本公开的实施例，还提供一种利用2D目标图像生成3D照片的装置。如图8所示，该生成3D照片的装置800可以包括：三维重建装置801(对应图7中的三维重建装置700)；渲染单元802，用于对三维重建装置所生成的三维模型进行渲染，生成3D照片。

根据本公开的实施例，还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

参考图9，现将描述可以作为本公开的服务器或客户端的电子设备900的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906、输出单元907、存储单元908以及通信单元909。输入单元906可以是能向设备900输入信息的任何类型的设备，输入单元906可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元907可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元908可以包括但不限于磁盘、光盘。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如三维重建方法。例如，在一些实施例中，三维重建方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的三维重建方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行三维重建方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (23)

1.一种三维重建方法，包括：

获取目标图像的多个像素的深度信息；

基于所述多个像素的深度信息，确定所述目标图像的深度分布特征；

基于所述深度分布特征，根据第一预设规则对所述目标图像进行自适应降采样，以从所述目标图像中确定多个采样像素；以及

基于所述多个采样像素，生成三维模型。

2.根据权利要求1所述的方法，其中，所述多个像素包括多列像素中每一列像素所包括的多个像素，

其中，确定所述目标图像的深度分布特征包括：

基于所包括的多个像素的深度信息，计算多列像素中每一列像素的深度分布特征。

3.根据权利要求2所述的方法，其中，根据第一预设规则对所述目标图像的像素进行自适应降采样包括：

以第一采样步长对所述目标图像所包括的所有列像素进行初步降采样，以从所述目标图像所包括的所有列像素中确定所述多列像素。

4.根据权利要求2所述的方法，其中，根据第一预设规则对所述目标图像的像素进行自适应降采样包括：

至少基于所述多列像素各自相应的深度分布特征，根据第一预设规则对所述目标图像进行自适应降采样，以从所述多列像素中确定多个采样列像素，

其中，所述多个采样像素为至少基于所述多个采样列像素来确定。

5.根据权利要求4所述的方法，其中，所述每一列像素的深度分布特征为该列像素所包括的多个像素的深度方差。

6.根据权利要求5所述的方法，其中，基于所述多列像素各自相应的深度分布特征以及预设的方差阈值，根据第一预设规则对所述目标图像进行自适应降采样，以从所述多列像素中确定多个采样列像素。

7.根据权利要求6所述的方法，其中，所述多列像素为以第一采样步长从所述目标图像中采样得到，

其中，至少基于所述多列像素各自相应的深度分布特征，根据第一预设规则对所述目标图像进行自适应降采样包括：

设定第二采样步长和第三采样步长，其中，第二采样步长大于第三采样步长；以及

在所述目标图像的降采样过程中，确定所述多列像素中与当前采样列像素相邻的待采样的至少一个列像素，并且基于当前采样列像素的深度方差、所述至少一个列像素各自相应的深度方差和所述预设的方差阈值，确定以当前列采样像素为起始的当前采样步长为第二采样步长或第三采样步长，

其中，所述目标图像的降采样最大采样步长小于设定步长。

8.根据权利要求4所述的方法，其中，所述多个采样列像素包括所述目标图像的第一列像素所包括的所有像素和最后一列像素所包括的所有像素。

9.根据权利要求4所述的方法，其中，对所述目标图像的像素进行自适应降采样包括：

以预设的第四采样步长对所述目标图像的行像素进行降采样，以从所述目标图像中确定多个采样行像素，

其中，所述多个采样像素为基于所述多个采样行像素和所述多个采样列像素来确定。

10.根据权利要求1-9中任一项所述的方法，其中，所述目标图像包括基于待处理图像所得到的前景图像和背景图像，所述多个采样像素包括所述前景图像中的多个第一采样像素和所述背景图像中的多个第二采样像素。

11.根据权利要求10中任一项所述的方法，其中，对所述目标图像进行自适应降采样包括：

分别对前景图像和背景图像进行自适应降采样，以从所述前景图像中确定所述多个第一采样像素，并且从所述背景图像中确定所述多个第二采样像素。

12.根据权利要求11所述的方法，其中，所述前景图像相应的预设的方差阈值小于所述背景图像相应的预设的方差阈值。

13.根据权利要求10所述的方法，其中，所述背景图像通过以下步骤得到：

对所述背景图像中与所述前景图像对应的遮挡区域进行背景填充，得到完整的背景图像。

14.根据权利要求13所述的方法，其中，对所述背景图像中与所述前景区域对应的遮挡区域进行背景填充包括：

将待处理图像和所述待处理图像中前景的轮廓的位置信息输入第一神经网络模型，获取所述第一神经网络模型输出的完整的背景图像。

15.根据权利要求10所述的方法，还包括：

获取所述待处理图像的深度图；以及

将所述深度图和所述待处理图像中前景的轮廓的位置信息输入第二神经网络模型，获取所述第二神经网络模型输出的完整的背景图像的深度图。

16.根据权利要求1-9中任一项所述的方法，其中，至少基于所述多个采样像素，生成三维模型包括：

针对每一采样像素，根据第二预设规则选取该采样像素的邻域中的一部分采样像素来构建该采样像素所对应的三角面片，以使得基于所述多个采样像素所构建的所有三角面片中的任意两个三角面片均不交叠。

17.根据权利要求16所述的方法，其中，根据第二预设规则选取该采样像素的邻域中的一部分采样像素来构建该采样像素所对应的三角面片包括：

获取该采样像素的8邻域中的8个采样像素；

选取8个采样像素中位于该采样像素的右侧、下方和右下方的三个采样像素来构建该采样像素所对应的三角面片。

18.一种利用2D目标图像生成3D照片的方法，包括：

利用权利要求1-17中任一项所述的方法对目标图像进行三维重建，以生成三维模型；

对三维模型进行渲染，生成3D照片。

19.一种三维重建装置，包括：

获取单元，用于获取目标图像的多个像素的深度信息；

像素深度确定单元，用于基于所述多个像素的深度信息，确定所述目标图像的深度分布特征；

降采样单元，用于基于所述深度分布特征，根据第一预设规则对所述目标图像进行自适应降采样，以从所述目标图像中确定多个采样像素；

三维建模单元，用于基于所述多个采样像素，生成三维模型。

20.一种利用2D目标图像生成3D照片的装置，包括：

权利要求19所述的三维重建装置；

渲染单元，用于对所述三维重建装置所生成的三维模型进行渲染，生成3D照片。

21.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-18中任一项所述的方法。

22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-18中任一项所述的方法。

23.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-18中任一项所述的方法。

Images