CN116863080A - 机房三维重建的方法和装置、训练模型的方法和装置 - Google Patents

Abstract

本公开提供了一种机房三维重建的方法和装置、训练模型的方法和装置，涉及三维重建技术领域，所述方法包括：根据机房的第一场景图像和拍摄第一场景图像的第一相机的位姿信息，确定机房的三维坐标；根据机房的三维坐标，确定包围机房的三维空间区域；确定穿过第一相机和第一场景图像的像素的射线的采样信息，采样信息为射线位于三维空间区域中的多个点的三维坐标；将采样信息输入预先训练的采样模型，以从多个点中确定采样点；根据采样点的三维坐标和射线的方向，生成机房的第二场景图像，第二场景图像和第一场景图像的视角不同；基于第一场景图像和第二场景图像重建机房的三维场景。

Description

机房三维重建的方法和装置、训练模型的方法和装置

技术领域

本公开涉及三维重建技术领域，尤其是一种机房三维重建的方法和装置、训练模型的方法和装置。

背景技术

数据中心的能耗优化离不开机房气流组织的优化，而机房的三维重建对优化机房的气流组织至关重要。

相关技术中，可以利用基于深度学习的方法实现三维场景重建。

发明内容

相关技术中，基于深度学习，利用某一视角下的场景图像生成另一视角下的场景图像，从而根据多个视角下的场景图像实现机房的三维场景的重建。但是，发明人发现，相关技术中，基于深度学习所生成另一视角下的场景图像不够准确，从而导致机房三维重建的准确性较低。

为了解决上述问题，本公开实施例提出了如下解决方案。

根据本公开实施例的一方面，提供一种机房三维重建的方法，包括：根据机房的第一场景图像和拍摄所述第一场景图像的第一相机的位姿信息，确定所述机房的三维坐标；根据所述机房的三维坐标，确定包围所述机房的三维空间区域；确定穿过所述第一相机和所述第一场景图像的像素的射线的采样信息，所述采样信息为所述射线位于所述三维空间区域中的多个点的三维坐标；将所述采样信息输入预先训练的采样模型，以从所述多个点中确定采样点；根据所述采样点的三维坐标和所述射线的方向，生成所述机房的第二场景图像，所述第二场景图像和所述第一场景图像的视角不同；基于所述第一场景图像和所述第二场景图像重建所述机房的三维场景。

在一些实施例中，所述采样模型根据如下方式训练：根据所述机房的第一样本场景图像和拍摄所述第一样本场景图像的第二相机的样本位姿信息，确定所述机房的样本三维坐标；根据所述机房的样本三维坐标，确定包围所述机房的样本三维空间区域；确定穿过所述第二相机和所述第一样本场景图像的像素的样本射线的样本采样信息，所述样本采样信息为所述样本射线位于所述样本三维空间区域中的多个样本点的样本三维坐标；将所述样本采样信息输入所述采样模型，以从所述多个样本点中确定样本采样点；根据所述样本采样点的样本三维坐标和所述样本射线的方向，生成所述机房的第二样本场景图像，所述第二样本场景图像和所述第一样本场景图像的视角不同；基于所述第二样本场景图像与第三样本场景图像的误差，更新所述采样模型的参数，所述第三样本场景图像是从所述第二样本场景图像的视角拍摄的。

在一些实施例中，确定所述采样信息包括：获取所述第一场景图像的特征；将所述特征和所述位姿信息输入多视图立体视觉模型，以得到所述第一场景图像的深度图；根据所述第一场景图像的深度图，确定所述采样信息。

在一些实施例中，根据所述第一场景图像的深度图，确定所述采样信息包括：根据所述第一场景图像的深度图，确定所述第一场景图像中的物体的表面的三维坐标；确定所述射线位于所述三维空间区域中的采样范围，所述采样范围包括所述射线与所述三维空间区域中的所述物体的表面相交的点的三维坐标，所述多个点位于所述采样范围中。

在一些实施例中，所述采样范围的长度与所述射线与所述三维空间区域中的所述物体的表面相交的点的深度值的置信度负相关。

在一些实施例中，所述特征包括所述第一场景图像的线特征。

在一些实施例中，将所述第一场景图像的线特征和第四场景图像的线特征进行线特征匹配；基于所述第一场景图像和所述第四场景图像中相互匹配的线特征确定所述位姿信息。

在一些实施例中，将所述特征和所述位姿信息输入多视图立体视觉模型，以得到所述第一场景图像的深度图包括：将所述特征和所述位姿信息输入多视图立体视觉模型，以得到所述第一场景图像的初始深度图；对所述第一场景图像中预定设备的初始深度图进行优化处理，以得到所述预定设备的深度图，所述优化处理包括均值平滑和去噪中的至少一种；其中，所述第一场景图像中除所述预定设备外的其余部分的初始深度图作为所述其余部分的深度图。

根据本公开实施例的另一方面，提供一种训练模型的方法，包括：根据机房的第一样本场景图像和拍摄所述第一样本场景图像的第二相机的样本位姿信息，确定所述机房的样本三维坐标；根据所述机房的样本三维坐标，确定包围所述机房的样本三维空间区域；确定穿过所述第二相机和所述第一样本场景图像的像素的样本射线的样本采样信息，所述样本采样信息为所述样本射线位于所述样本三维空间区域中的多个样本点的样本三维坐标；将所述样本采样信息输入采样模型，以从所述多个样本点中确定样本采样点；根据所述样本采样点的样本三维坐标和所述样本射线的方向，生成所述机房的第二样本场景图像，所述第二样本场景图像和所述第一样本场景图像的视角不同；基于所述第二样本场景图像与第三样本场景图像的误差，更新所述采样模型的参数，其中，所述第三样本场景图像是从所述第二样本场景图像的视角拍摄的。

在一些实施例中，确定所述样本采样信息包括：获取所述第一样本场景图像的特征；将所述特征和所述样本位姿信息输入多视图立体视觉模型，以得到所述第一样本场景图像的深度图；根据所述第一样本场景图像的深度图，确定所述样本采样信息。

在一些实施例中，根据所述第一样本场景图像的深度图，确定所述样本采样信息包括：根据所述第一样本场景图像的深度图，确定所述第一样本场景图像中的物体的表面的样本三维坐标；确定所述样本射线位于所述样本三维空间区域中的样本采样范围，所述样本采样范围包括所述样本射线与所述样本三维空间区域中的所述物体的表面相交的点的样本三维坐标，所述多个样本点位于所述样本采样范围中。

在一些实施例中，所述特征包括所述第一样本场景图像的线特征。

在一些实施例中，将所述第一样本场景图像的线特征和第四样本场景图像的线特征进行线特征匹配；基于所述第一样本场景图像和所述第四样本场景图像中相互匹配的线特征确定所述样本位姿信息。

在一些实施例中，将所述特征和所述样本位姿信息输入多视图立体视觉模型，以得到所述第一样本场景图像的深度图包括：将所述特征和所述样本位姿信息输入多视图立体视觉模型，以得到所述第一样本场景图像的初始深度图；对所述第一样本场景图像中预定设备的初始深度图进行优化处理，以得到所述预定设备的深度图，所述优化处理包括均值平滑和去噪中的至少一种；其中，所述第一样本场景图像中除所述预定设备外的其余部分的初始深度图作为所述其余部分的深度图。

根据本公开实施例的还一方面，提供一种机房三维重建的装置，包括执行上述任意一个实施例所述机房三维重建的方法的模块。

根据本公开实施例的还一方面，提供一种训练模型的装置，包括执行上述任意一个实施例所述训练模型的方法的模块。

根据本公开实施例的还一方面，提供一种电子设备，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行上述任意一个实施例所述的方法。

根据本公开实施例的还一方面，提供一种计算机可读存储介质，包括计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述任意一个实施例所述的方法。

根据本公开实施例的还一方面，提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现上述任意一个实施例所述的方法。

本公开实施例中，通过确定穿过相机和第一场景图像的像素的射线的采样信息，并将采样信息输入预先训练的采样模型，从而确定多个采样点，通过这样的采样方式所确定的多个采样点能够充分代表机房场景，从而使得根据采样点的三维坐标和射线的方向生成的另一视角下的第二场景图像更加准确，从而提高了机房的三维重建场景的准确性。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本公开一些实施例的机房三维重建的方法的流程示意图；

图2是根据本公开一些实施例的训练模型的方法的流程示意图；

图3是根据本公开一些实施例的机房三维重建的装置的结构示意图；

图4是根据本公开一些实施例的训练模型的装置的结构示意图；

图5是根据本公开一些实施例的电子设备的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1是根据本公开一些实施例的机房三维重建的方法的流程示意图。

在步骤102，根据机房的第一场景图像和拍摄第一场景图像的第一相机的位姿信息，确定机房的三维坐标。

在一些实施例中，位姿信息包括第一相机在三维空间中的位置和朝向。

在一些实施例中，根据机房的第一场景图像和拍摄第一场景图像的第一相机的位姿信息，利用计算机视觉软件得到机房的三维坐标。计算机视觉软件例如是密集重建管道软件(COLMAP)，COLMAP软件通过图像匹配和三角测量得到待重建物体的三维坐标。

作为一些实现方式，机房的三维坐标例如包括横轴坐标(x)、纵轴坐标(y)和竖轴坐标(z)。例如，横轴和纵轴形成的平面是机房所处的地平面，竖轴与地平面垂直。

在步骤104，根据机房的三维坐标，确定包围机房的三维空间区域。

作为一些实现方式，选定一个边界框(bounding box)把机房的三维坐标所在的区域包围起来，得到包围机房的三维空间区域。例如，边界框的形状是球体、椭球体等。在一些实施例中，边界框上的某些点与三维空间区域内物体表面的某些点的三维坐标重合，以节约计算资源。

在步骤106，确定穿过第一相机和第一场景图像的像素的射线的采样信息，该采样信息为射线位于三维空间区域中的多个点的三维坐标。

在一些实施例中，射线穿过第一相机的光圈中心和第一场景图像的某个像素。

在一些实施例中，射线处于包围机房的三维空间区域的部分为采样区间，采样信息为该采样区间内的多个点的三维坐标。

在一些实施例中，步骤106可以得到穿过第一场景图像中的多个个像素的射线的采样信息。不同射线分别穿过第一场景图像中的不同的像素，每条射线处于包围机房的三维空间区域的部分为每条射线的采样区间，每条射线的采样信息为每条射线的采样区间内的多个点的三维坐标。

在步骤108，将采样信息输入预先训练的采样模型，以从多个点中确定采样点。

在一些实施例中，采样模型是预先训练的多层感知机(MLP)，通过将采样信息输入预先训练的采样模型，以得到符合三维重建准确性要求的采样点。采样点的数量可以是一个或多个。

在步骤110，根据采样点的三维坐标和射线的方向，生成机房的第二场景图像，该第二场景图像和第一场景图像的视角不同。

在一些实施例中，采样点的三维坐标为(x,y,z)，射线的方向为θ是射线与机房所处的地平面的夹角，/>是射线在机房所处的地平面的投影与竖轴的夹角。

作为一些实现方式，将采样点的三维坐标(x,y,z)和射线的方向输入神经辐射场(Nerf)模型，得到该采样点对应的颜色和密度值，根据该采样点对应的颜色和密度值，利用体积渲染的方式得到与第一场景图像的视角不同的第二场景图像。

根据一个第一场景图像可以得到一个或多个不同视角的第二场景图像。

在步骤112，基于第一场景图像和第二场景图像重建机房的三维场景。

在一些实施例中，基于不同视角拍摄的多个第一场景图像和基于每个第一场景图像生成的第二场景图像重建机房的三维场景。

上述实施例中，通过确定穿过相机和第一场景图像的像素的射线的采样信息，并将采样信息输入预先训练的采样模型，从而确定多个采样点，根据这样的采样方式所确定的多个采样点能够充分代表机房场景，从而使得根据采样点的三维坐标和射线的方向生成的另一视角下的第二场景图像更加准确，从而提高了机房的三维重建场景的准确性。

下面介绍确定采样信息的一些实现方式。

首先，获取第一场景图像的特征。

作为一些实现方式，获取第一场景图像的特征，并得到第一场景图像的特征图。

在一些实施例中，第一场景图像的特征包括点特征、线特征和面特征中的一种或多种。

然后，将第一场景图像的特征和拍摄第一场景图像的第一相机的位姿信息输入多视图立体视觉模型(MVSNet)，以得到第一场景图像的深度图。

多视图立体视觉模型利用场景图像的特征和拍摄场景图像的相机的位姿信息，能够得到该场景图像的深度图。在一些实施例中，多视图立体视觉模型利用场景图像的特征和拍摄场景图像的相机的位姿信息还能得到该场景图像的深度图的置信度图。

之后，根据第一场景图像的深度图，确定采样信息。

上述实施例中，根据第一场景图像的深度图确定采样信息，提高了采样信息的准确性，利用上述采样信息，采样网络可以更加准确且高效地确定三维重建过程中需要的采样点，从而在保证三维重建的准确性的情况下，提高了机房三维重建的效率。

在一些实施例中，获取第一场景图像的特征包括获取第一场景图像的线特征。作为一些实现方式，利用线段检测器算法(LSD)获取第一场景图像的线特征。

上述实施例中，通过获取第一场景图像的线特征，减小了在机房场景下的弱纹理和点特征缺失对预测第一场景图像的深度图的影响，提高了第一场景图像的深度图的准确性，从而使得根据深度图确定的采样信息更为准确，由此，在保证三维重建的准确性的情况下，进一步提高了机房三维重建的效率。

根据第一场景图像的深度图，确定采样信息可以通过多种方式来实现，下面结合一些实施例介绍确定采样信息的一些方式。

在一些实施例中，根据步骤S1至步骤S2确定采样信息。

在步骤S1，根据第一场景图像的深度图，确定第一场景图像中的物体的表面的三维坐标。

作为一些实现方式，根据第一场景图像的深度图，确定第一场景图像中的物体图像表面的每个像素在三维空间区域中的三维坐标。

例如，第一场景图像中的物体包括空调、服务器、数据传输配线、机柜、网络交换机等。

在步骤S2，确定射线位于三维空间区域中的采样范围，该采样范围包括射线与三维空间区域中的物体的表面相交的点的三维坐标，其中，多个点位于采样范围中。

在一些实施例中，射线与物体的表面相交的点位于采样范围的两个端点之间。换言之，采样范围包括物体的表面的点的三维坐标，还包括射线位于物体之外的部分上的点的三维坐标和射线位于物体之内的部分上的点的三维坐标。

在一些实施例中，射线与物体的表面相交的点位于采样范围的两个端点之间的任意位置。作为一些实现方式，射线与物体的表面相交的点位于采样范围的两个端点中间，以使得采样范围更加准确地代表机房场景。

采样范围的长度可以是固定值，也可以是非固定值。

在一些实施例中，采样范围的长度是预先设定的固定值。

例如，在三维空间中，相机中心O点的三维坐标为(0，0，0)，第一场景图像上某个像素点B的三维坐标为(0，2，0)，则射线从O点出发穿过B点，射线与物体的表面相交的点C的三维坐标为(0，4，0)，预先设定采样范围的长度为2，则当射线与物体的表面相交的点位于采样范围的两个端点的中间时，采样范围为射线上(0，3，0)至(0，5，0)的闭区间。

在另一些实施例中，采样范围的长度与射线与三维空间区域中的物体的表面相交的点的深度值的置信度负相关。也就是说，置信度越高，说明该点的深度值预测较准确，则采样范围就越小；反之，置信度越低，说明该点的深度值预测误差较大，那么采样范围就越大。例如，深度值的置信度可以通过MVSNet模型得到。根据置信度确定采样范围减少了因深度值的预测误差而导致采样范围准确性降低的情况。

例如，在三维空间中，相机中心O点的三维坐标为(0，0，0)，第一场景图像上某个像素点B的三维坐标为(0，2，0)，则射线从O点出发穿过B点,射线与物体的表面相交的点C的三维坐标为(0，4，0)，当射线与物体的表面相交的点位于采样范围的两个端点的中间时，若C点的深度的置信度为0.95，则采样范围为(0，3.95，0)至(0，4.05，0)的闭区间；若C点的深度的置信度为0.75，则采样范围为(0，3.75，0)至(0，4.25，0)的闭区间。

上述实施例中，根据第一场景图像的深度图，确定第一场景图像中的物体的表面的三维坐标，从而确定射线位于三维空间区域中的采样信息，通过提高采样信息的准确性减少了对三维空间中的物体内部的点以及空气中的点的采样，在保证三维重建的准确性的情况下，更进一步提高了机房三维重建的效率。

发明人注意到，深度图的准确性会影响采样信息的准确性，从而影响采样网络确定三维重建过程中需要的采样点。有鉴于此，本公开实施例还提出了如下提高深度图的准确性的方式。

接下来介绍确定位姿信息的一些实现方式，该位姿信息用于生成深度图。

首先，将第一场景图像的线特征和第四样本场景图像的线特征进行线特征匹配。第四场景图像与第一场景图像不相同。

然后，基于第一场景图像和第四场景图像中相互匹配的线特征确定位姿信息。

在一些实施例中，通过计算第一场景图像和第四场景图像中相互匹配的线特征的最小重投影误差确定位姿信息。其中，第一场景图像的线特征可以与第二场景图像的多个线特征相互匹配。

上述实施例中，根据线特征确定位姿信息，进一步减小了在机房场景下的弱纹理和点特征缺失对预测第一场景图像的深度图的影响，通过提高第一场景图像的深度图的准确性，提高了采样信息的准确性，从而在保证三维重建的准确性的情况下，更进一步提高了机房三维重建的效率。

接下来介绍优化第一场景图像的深度图的一些实现方式。

首先，将特征和位姿信息输入多视图立体视觉模型，以得到第一场景图像的初始深度图。

然后，对第一场景图像中预定设备的初始深度图进行优化处理，以得到预定设备的深度图，该优化处理包括均值平滑和去噪中的至少一种。其中，第一场景图像中除预定设备外的其余部分的初始深度图作为其余部分的深度图。也就是说，仅对初始深度图中的预定设备的初始深度图进行优化处理。

作为一些实现方式，预定设备包括机房内的设备，例如空调、机柜等具有平坦表面的设备。

在一些实施例中，通过使用图像分割模型，从第一场景图像的初始深度图得到预定设备的初始深度图。图像分割模型例如是全卷积神经网络模型(FCN)。

在一些实施例中，该优化处理包括均值平滑和去噪。

上述实施例中，通过对初始深度图中的预定设备的初始深度图部分进行优化处理，提高了深度图的准确性，从而提高了采样信息的准确性，在保证三维重建的准确性的情况下，更进一步提高了机房三维重建的效率。

在一些实施例中，采样模型根据下述方式训练。

图2是根据本公开一些实施例的训练模型的方法的流程示意图。

在步骤202，根据机房的第一样本场景图像和拍摄第一样本场景图像的第二相机的样本位姿信息，确定机房的样本三维坐标。

在一些实施例中，根据将机房的第一样本场景图像和拍摄第一样本场景图像的第二相机的位姿信息，利用计算机视觉软件得到机房的样本三维坐标。计算机视觉软件例如是密集重建管道软件(COLMAP)。

作为一些实现方式，样本三维坐标例如包括横轴样本坐标(x)、纵轴样本坐标(y)和竖轴样本坐标(z)。例如，横轴和纵轴形成的平面是机房所处的地平面，竖轴与地平面垂直。

在步骤204，根据机房的样本三维坐标，确定包围机房的样本三维空间区域。

作为一些实现方式，选定一个边界框(bounding box)把机房的样本三维坐标所在的区域包围起来，得到包围机房的样本三维空间区域。例如，边界框的形状是球体、椭球体等。在一些实施例中，边界框上的某些点与机房场景内物体表面的样本三维坐标重合，以节约计算资源。

在步骤206，确定穿过第二相机和第一样本场景图像的像素的样本射线的样本采样信息，样本采样信息为样本射线位于样本三维空间区域中的多个样本点的样本三维坐标。

在一些实施例中，样本射线穿过第二相机的光圈中心和第一样本场景图像的某个像素。

在一些实施例中，样本射线在包围机房的样本三维空间区域的部分为样本采样区间，样本采样信息为该样本采样区间内的多个样本点的坐标。

在一些实施例中，步骤206可以得到穿过第一样本场景图像中的多个像素的样本射线的样本采样信息。不同样本射线分别穿过第一样本场景图像中的不同的像素，每条样本射线在包围机房的样本三维空间区域的部分为每条样本射线的采样区间，每条样本射线的采样信息为每条样本射线的采样区间内的多个样本点的坐标。

在步骤208，将样本采样信息输入采样模型，以从多个样本点中确定样本采样点。样本采样点的数量可以是一个或多个。

其中，采样模型根据步骤210-212更新采样模型的参数。

在步骤210，根据样本采样点的样本三维坐标和样本射线的方向，生成机房的第二样本场景图像，第二样本场景图像和第一样本场景图像的视角不同。

在一些实施例中，样本采样点的三维坐标为(x,y,z)，样本射线的方向为θ是样本射线与机房所处的地平面的夹角，/>是样本射线在机房所处的地平面的投影与竖轴的夹角。

作为一些实现方式，将样本采样点的三维坐标(x,y,x)和样本射线的方向输入神经辐射场(Nerf)模型，得到该样本采样点对应的颜色和密度值，根据该样本采样点对应的颜色和密度值，利用体积渲染的方式得到与第一样本场景图像的视角不同的第二样本场景图像。

根据一个第一样本场景图像可以得到一个或多个不同视角的第二样本场景图像。

在步骤212，基于第二样本场景图像与第三样本场景图像的误差，更新采样模型的参数。其中，第三样本场景图像是从第二样本场景图像的视角拍摄的。也就是说，第三样本场景图像是从第二样本场景图像的视角拍摄的真实的场景图像。

作为一些实现方式，通过计算第二样本场景图像与第三样本场景图像中的每个像素的红、绿、蓝三种颜色的亮度值(RGB值)的差距，反向传播更新采样模型的参数。

在一些实施例中，采样模型是多层感知机，参数是多层感知机各节点的权重值。

可以重复执行步骤202至步骤212，直到步骤210得到的第二样本场景图像与第三样本场景图像的误差满足预设要求，或者重复次数达到预设次数。例如，预设要求是步骤210得到的第二样本场景图像与第三样本场景图像的误差小于预设误差。

上述实施例中，通过将样本采样信息输入采样模型，并根据样本采样点的样本三维坐标和样本射线的方向，生成机房的第二样本场景图像，基于第二样本场景图像与从第二样本场景图像的视角拍摄的第三样本场景图像的误差，更新采样模型的参数。这样的训练方式得到的采样模型可以准确且高效地确定三维重建过程中需要的采样点。

下面介绍确定样本采样信息的一些实现方式。

首先，获取第一样本场景图像的特征。

作为一些实现方式，获取第一样本场景图像的特征，并得到第一样本场景图像的特征图。

在一些实施例中，第一样本场景图像的特征包括点特征、线特征和面特征中的一种或多种。

然后，将第一样本场景图像的特征和拍摄第一样本场景图像的第二相机的样本位姿信息输入MVSNet模型，以得到第一样本场景图像的深度图。

MVSNet模型利用样本场景图像的特征和拍摄样本场景图像的相机的位姿信息，能够得到该样本场景图像的深度图。在一些实施例中，MVSNet模型利用样本场景图像的特征和拍摄样本场景图像的相机的位姿信息还能得到该样本场景图像的深度图的置信度图。

之后，根据第一样本场景图像的深度图，确定样本采样信息。

上述实施例中，根据第一样本场景图像的深度图确定样本采样信息，提高了样本采样信息的准确性，利用上述样本采样信息，采样模型可以更加准确且高效地确定三维重建过程中需要的采样点。

在一些实施例中，获取第一样本场景图像的特征包括获取第一样本场景图像的线特征。作为一些实现方式，利用LSD获取第一样本场景图像的线特征。

上述实施例中，通过获取第一样本场景图像的线特征，减小了在机房场景下的弱纹理和点特征缺失对预测第一样本场景图像的深度图的影响，提高了第一样本场景图像的深度图的准确性，从而使得根据深度图确定的样本采样信息更为准确，由此，采样模型可以更加准确且高效地确定三维重建过程中需要的样本采样点。

根据第一样本场景图像的深度图，确定样本采样信息可以通过多种方式来实现，下面结合一些实施例介绍确定样本采样信息的一些方式。

在一些实施例中，根据如下步骤S3-步骤S4确定样本采样信息。

在步骤S3，根据第一样本场景图像的深度图，确定第一样本场景图像中的物体的表面的样本三维坐标。

作为一些实现方式，根据第一样本场景图像的深度图，确定第一样本场景图像中的物体图像表面的每个像素点在样本三维空间中的样本三维坐标。

例如，第一样本场景图像中的物体包括空调、服务器、数据传输配线、机柜、网络交换机等。

在步骤S4，确定样本射线位于样本三维空间区域中的样本采样范围，该样本采样范围包括样本射线与样本三维空间区域中的物体的表面相交的点的样本三维坐标，其中，多个样本点位于样本采样范围中。

在一些实施例中，样本射线与物体的表面相交的点位于样本采样范围的两个端点之间。换言之，样本采样范围包括物体的表面的点的样本三维坐标，还包括样本射线位于物体之外的部分上的点的样本三维坐标和样本射线位于物体之内的部分上的点的样本三维坐标。

在一些实施例中，样本射线与物体的表面相交的点位于样本采样范围的两个端点之间的任意位置。在一些实施例中，样本射线与物体的表面相交的点位于样本采样范围的两个端点中间，以使得采样范围更加准确地代表机房场景。

样本采样范围的长度可以是固定值，也可以是非固定值。

在一些实施例中，样本采样范围的长度是预先设定的固定值。

例如，在三维空间中，相机中心O点的三维坐标为(0，0，0)，第一样本场景图像上某个像素点B的三维坐标为(0，2，0)，则样本射线从O点出发穿过B点，样本射线与物体的表面相交的点C的三维坐标为(0，4，0)，预先设定样本采样范围的长度为2，当样本射线与物体的表面相交的点位于样本采样范围的两个端点的中间时，样本采样范围为样本射线上(0，3，0)至(0，5，0)的闭区间。

在另一些实施例中，样本采样范围的长度与样本射线与样本三维空间区域中的物体的表面相交的点的深度值的置信度负相关。也就是说，置信度越高，说明该点的深度值预测较准确，则采样范围就越小；反之，置信度越低，说明该点的深度值预测误差较大，那么采样范围就越大。例如，深度值的置信度可以通过MVSNet模型得到。根据置信度确定的样本采样范围减少了因深度值的预测误差而导致样本采样范围准确性降低的情况。

例如，在三维空间中，相机中心O点的三维坐标为(0，0，0)，第一样本场景图像上某个像素点B的三维坐标为(0，2，0)，则样本射线从O点出发穿过B点，样本射线与物体的表面相交的点C的三维坐标为(0，4，0)，当样本射线与物体的表面相交的点位于样本采样范围的两个端点的中间时，若C点的深度的置信度为0.95，则样本采样范围为射线上(0，3.95，0)至(0，4.05，0)的闭区间；若C点的深度的置信度为0.75，则样本采样范围为样本射线上(0，3.75，0)至(0，4.25，0)的闭区间。

上述实施例中，根据第一样本场景图像的深度图，确定第一样本场景图像中的物体的表面的样本三维坐标，从而确定样本射线位于样本三维空间区域中的样本采样范围，减少了对三维空间中的物体内部的点以及空气中的点的采样，利用此样本采样范围，采样模型可以更加准确且高效地确定三维重建过程中需要的采样点。

发明人注意到，深度图的准确性会通过影响样本采样信息的准确性而影响样本采样网络确定样本采样点。有鉴于此，本公开实施例还提出了如下提高深度图的准确性的方式。

接下来介绍确定样本位姿信息的一些实现方式。

首先，将第一样本场景图像的线特征和第四样本场景图像的线特征进行线特征匹配。第四样本场景图像与第一样本场景图像不相同。

然后，基于第一样本场景图像和第四样本场景图像中相互匹配的线特征确定样本位姿信息。

在一些实施例中，通过计算第一样本场景图像和第四样本场景图像中相互匹配的线特征的最小重投影误差确定样本位姿信息。其中，第一样本场景图像的线特征可以与第二样本场景图像的多个线特征相互匹配。

上述实施例中，根据第一样本场景图像的线特征，进一步减小了在机房场景下的弱纹理和点特征缺失对预测第一样本场景图像的深度图的影响，通过提高第一样本场景图像的深度图的准确性，提高了采样信息的准确性，使得采样模型可以更加准确且高效地确定三维重建过程中需要的采样点。

接下来介绍优化第一样本场景图像的深度图的一些实现方式。

首先，将特征和样本位姿信息输入多视图立体视觉模型，以得到第一样本场景图像的初始深度图。

然后，对第一样本场景图像中预定设备的初始深度图进行优化处理，以得到预定设备的深度图，该优化处理包括均值平滑和去噪中的至少一种。其中，第一样本场景图像中除预定设备外的其余部分的初始深度图作为其余部分的深度图。也就是说，仅对初始深度图中的预定设备的初始深度图进行优化处理。

作为一些实现方式，预定设备包括机房内的设备，例如空调、机柜等具有平坦表面的设备。

在一些实施例中，通过使用图像分割模型，从第一场景图像的初始深度图得到预定设备的初始深度图。图像分割模型例如是全卷积神经网络模型(FCN)。

在一些实施例中，该优化处理包括均值平滑和去噪。

上述实施例中，通过初始深度图中的预定设备初始深度图部分进行优化处理，提高了深度图的准确性，从而提高了样本采样信息的准确性，使得采样模型可以更加准确且高效地确定三维重建过程中需要的样本采样点。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于装置实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在一些实施例中，提供了一种机房三维重建装置，包括：执行上述任意一个实施例所述的机房三维重建的方法的模块。下面结合图3进行具体说明。

图3是根据本公开一些实施例的机房三维重建的装置的结构示意图。

如图3所示，机房三维重建的装置包括第一确定模块301、第二确定模块302、第三确定模块303、第一输入模块304、第一生成模块305和重建模块306。

第一确定模块301被配置为根据机房的第一场景图像和拍摄第一场景图像的第一相机的位姿信息，确定机房的三维坐标。

第二确定模块302被配置为根据机房的三维坐标，确定包围机房的三维空间区域。

第三确定模块303被配置为确定穿过第一相机和第一场景图像的像素的射线的采样信息，采样信息为射线位于三维空间区域中的多个点的三维坐标。

第一输入模块304被配置为将采样信息输入预先训练的采样模型，以从多个点中确定采样点。

第一生成模块305被配置为根据采样点的三维坐标和射线的方向，生成机房的第二场景图像，第二场景图像和第一场景图像的视角不同。

重建模块306被配置为基于所述第一场景图像和所述第二场景图像重建所述机房的三维场景。

在一些实施例中，提供了一种训练模型的装置，包括：执行上述任意一个实施例所述的训练模型的方法的模块。下面结合图4进行具体说明。

图4是根据本公开一些实施例的训练模型的装置的结构示意图。

如图4所示，训练模型的装置包括第四确定模块401、第五确定模块402、第六确定模块403、第二输入模块404、第二生成模块405和更新模块406。

第四确定模块401被配置为根据机房的第一样本场景图像和拍摄所述第一样本场景图像的第二相机的样本位姿信息，确定机房的样本三维坐标。

第五确定模块402被配置为根据机房的样本三维坐标，确定包围机房的样本三维空间区域。

第六确定模块403被配置为确定穿过第二相机和第一样本场景图像的像素的样本射线的样本采样信息，样本采样信息为样本射线位于样本三维空间区域中的多个样本点的样本三维坐标。

第二输入模块404被配置为将样本采样信息输入采样模型，以从多个样本点中确定样本采样点。

第二生成模块405被配置为根据样本采样点的样本三维坐标和样本射线的方向，生成机房的第二样本场景图像第二样本场景图像和第一样本场景图像的视角不同。

更新模块406被配置为基于第二样本场景图像与第三样本场景图像的误差，更新采样模型的参数，其中，第三样本场景图像是从第二样本场景图像的视角拍摄的。

图5是根据本公开一些实施例的电子设备的结构示意图。

如图5所示，电子设备500包括存储器501以及耦接至该存储器501的处理器502，处理器502被配置为基于存储在存储器501中的指令，执行前述任意一个实施例的方法。

存储器501例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如可以存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。

电子设备500还可以包括输入输出接口503、网络接口504、存储接口505等。这些接口503、504、505之间、以及存储器501与处理器502之间例如可以通过总线506连接。输入输出接口503为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口504为各种联网设备提供连接接口。存储接口505为SD卡、U盘等外置存储设备提供连接接口。

本公开实施例还提供了一种计算机可读存储介质，包括计算机程序指令，该计算机程序指令被处理器执行时实现上述任意一个实施例的方法。

本公开实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任意一个实施例的方法。

至此，已经详细描述了本公开的各实施例。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解，可由计算机程序指令实现流程图中一个流程或多个流程和/或方框图中一个方框或多个方框中指定的功能。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。

Claims (18)

1.一种机房三维重建的方法，包括：

根据机房的第一场景图像和拍摄所述第一场景图像的第一相机的位姿信息，确定所述机房的三维坐标；

根据所述机房的三维坐标，确定包围所述机房的三维空间区域；

确定穿过所述第一相机和所述第一场景图像的像素的射线的采样信息，所述采样信息为所述射线位于所述三维空间区域中的多个点的三维坐标；

将所述采样信息输入预先训练的采样模型，以从所述多个点中确定采样点；

根据所述采样点的三维坐标和所述射线的方向，生成所述机房的第二场景图像，所述第二场景图像和所述第一场景图像的视角不同；

基于所述第一场景图像和所述第二场景图像重建所述机房的三维场景。

2.根据权利要求1所述的方法，其中，所述采样模型根据如下方式训练：

根据所述机房的第一样本场景图像和拍摄所述第一样本场景图像的第二相机的样本位姿信息，确定所述机房的样本三维坐标；

根据所述机房的样本三维坐标，确定包围所述机房的样本三维空间区域；

确定穿过所述第二相机和所述第一样本场景图像的像素的样本射线的样本采样信息，所述样本采样信息为所述样本射线位于所述样本三维空间区域中的多个样本点的样本三维坐标；

将所述样本采样信息输入所述采样模型，以从所述多个样本点中确定样本采样点；

根据所述样本采样点的样本三维坐标和所述样本射线的方向，生成所述机房的第二样本场景图像，所述第二样本场景图像和所述第一样本场景图像的视角不同；

基于所述第二样本场景图像与第三样本场景图像的误差，更新所述采样模型的参数，所述第三样本场景图像是从所述第二样本场景图像的视角拍摄的。

3.根据权利要求1所述的方法，其中，确定所述采样信息包括：

获取所述第一场景图像的特征；

将所述特征和所述位姿信息输入多视图立体视觉模型，以得到所述第一场景图像的深度图；

根据所述第一场景图像的深度图，确定所述采样信息。

4.根据权利要求3所述的方法，其中，根据所述第一场景图像的深度图，确定所述采样信息包括：

根据所述第一场景图像的深度图，确定所述第一场景图像中的物体的表面的三维坐标；

确定所述射线位于所述三维空间区域中的采样范围，所述采样范围包括所述射线与所述三维空间区域中的所述物体的表面相交的点的三维坐标，所述多个点位于所述采样范围中。

5.根据权利要求4所述的方法，其中，所述采样范围的长度与所述射线与所述三维空间区域中的所述物体的表面相交的点的深度值的置信度负相关。

6.根据权利要求3所述的方法，其中，所述特征包括所述第一场景图像的线特征。

7.根据权利要求6所述的方法，还包括：

将所述第一场景图像的线特征和第四场景图像的线特征进行线特征匹配；

基于所述第一场景图像和所述第四场景图像中相互匹配的线特征确定所述位姿信息。

8.根据权利要求3所述的方法，其中，将所述特征和所述位姿信息输入多视图立体视觉模型，以得到所述第一场景图像的深度图包括：

将所述特征和所述位姿信息输入多视图立体视觉模型，以得到所述第一场景图像的初始深度图；

对所述第一场景图像中预定设备的初始深度图进行优化处理，以得到所述预定设备的深度图，所述优化处理包括均值平滑和去噪中的至少一种；

其中，所述第一场景图像中除所述预定设备外的其余部分的初始深度图作为所述其余部分的深度图。

9.一种训练模型的方法，包括：

根据机房的第一样本场景图像和拍摄所述第一样本场景图像的第二相机的样本位姿信息，确定所述机房的样本三维坐标；

根据所述机房的样本三维坐标，确定包围所述机房的样本三维空间区域；

确定穿过所述第二相机和所述第一样本场景图像的像素的样本射线的样本采样信息，所述样本采样信息为所述样本射线位于所述样本三维空间区域中的多个样本点的样本三维坐标；

将所述样本采样信息输入采样模型，以从所述多个样本点中确定样本采样点；

根据所述样本采样点的样本三维坐标和所述样本射线的方向，生成所述机房的第二样本场景图像，所述第二样本场景图像和所述第一样本场景图像的视角不同；

基于所述第二样本场景图像与第三样本场景图像的误差，更新所述采样模型的参数，其中，所述第三样本场景图像是从所述第二样本场景图像的视角拍摄的。

10.根据权利要求2或9所述的方法，其中，确定所述样本采样信息包括：

获取所述第一样本场景图像的特征；

将所述特征和所述样本位姿信息输入多视图立体视觉模型，以得到所述第一样本场景图像的深度图；

根据所述第一样本场景图像的深度图，确定所述样本采样信息。

11.根据权利要求10所述的方法，其中，根据所述第一样本场景图像的深度图，确定所述样本采样信息包括：

根据所述第一样本场景图像的深度图，确定所述第一样本场景图像中的物体的表面的样本三维坐标；

确定所述样本射线位于所述样本三维空间区域中的样本采样范围，所述样本采样范围包括所述样本射线与所述样本三维空间区域中的所述物体的表面相交的点的样本三维坐标，所述多个样本点位于所述样本采样范围中。

12.根据权利要求10所述的方法，其中，所述特征包括所述第一样本场景图像的线特征。

13.根据权利要求12所述的方法，还包括：

将所述第一样本场景图像的线特征和第四样本场景图像的线特征进行线特征匹配；

基于所述第一样本场景图像和所述第四样本场景图像中相互匹配的线特征确定所述样本位姿信息。

14.根据权利要求10所述的方法，其中，将所述特征和所述样本位姿信息输入多视图立体视觉模型，以得到所述第一样本场景图像的深度图包括：

将所述特征和所述样本位姿信息输入多视图立体视觉模型，以得到所述第一样本场景图像的初始深度图；

对所述第一样本场景图像中预定设备的初始深度图进行优化处理，以得到所述预定设备的深度图，所述优化处理包括均值平滑和去噪中的至少一种；

其中，所述第一样本场景图像中除所述预定设备外的其余部分的初始深度图作为所述其余部分的深度图。

15.一种机房三维重建的装置，包括被配置为执行权利要求1-8任意一项所述的方法的模块。

16.一种训练模型的装置，包括被配置为执行权利要求9-14任意一项所述的方法的模块。

17.一种电子设备，包括：

存储器；以及

耦接至所述存储器的处理器，被配置为基于存储在所述存储器中的指令，执行权利要求1-14任意一项所述的方法。

18.一种计算机可读存储介质，包括计算机程序指令，其中，所述计算机程序指令被处理器执行时实现权利要求1-14任意一项所述的方法。