CN113591369A - 一种基于先验约束的单帧视图三维模型点云重建方法和存储设备 - Google Patents

Abstract

本发明涉及三维视觉技术领域，特别涉及一种基于先验约束的单帧视图三维模型点云重建方法和存储设备。所述一种基于先验约束的单帧视图三维模型点云重建方法，包括步骤：建立3D椭球体；建立基于图的全卷积网络；获取图像特征，对所述3D椭球体进行形变，得优化后的三维网格模型；对所述优化后的三维网格模型进行再次优化；将所述图像特征及再次优化后的三维网格模型进行连接；得新的三维网格模型；对所述新的三维网格模型进行转化得点云模型。通过以上方法，能够通过单帧的RGB图片获取三维模型的表面信息，在加入形状比例先验约束后，能够更好生成接近原始机柜模型比例的新的三维模型，最后根据新的三维模型生成点云模型。

Description

一种基于先验约束的单帧视图三维模型点云重建方法和存储 设备

技术领域

本发明涉及三维视觉技术领域，特别涉及一种基于先验约束的单帧视图三维模型点云重建方法和存储设备。

背景技术

现有的三维重建手段包括几何重建、基于网格的重建以及基于点云的重建，其中使用点云表示的三维模型携带更加丰富的信息。点云三维重建技术的重点便在于如何获取目标场景或物体的深度信息。在景物深度信息已知的条件下，只需要经过点云数据的配准及融合，即可实现景物的三维重建。景物即重建对象深度信息的获取多数通过深度相机来实现，基于颜色信息的深度相机获取深度图像时根据对象反射的可见光信息进行生成深度图像。而当对机房中的机柜及其内部服务器设备进行基于点云的三维重建时，由于任务中的机柜表明使用网状的镂空门板，因此在使用深度相机采样重建机柜时反射的可见光信息会被网状门板所阻隔，深度信息大量缺失，难以获得有效的深度图像。

近年来，三维重建技术已经取得较大的进步，基于单张视图来进行三维重建也取得了大的进步，但其还存在较大问题，其主要是因为单张图片给出的信息极其有限，不足以生成绝对完美的重建结构且物体的背部信息缺失。现有的直接使用单帧图像信息来生成点云模型的方法存在的主要难点有：

1)如何在神经网络中表示本质上是不规则图形的网格模型，并且能够有效地从2D规则网格表示的给定彩色图像中提取形状细节。

2)如何有效地向真实信息方向更新顶点位置。在实践中，一个顶点不能有效地从其他有许多边的顶点检索特征，直接预测具有大量顶点的网格的网络很可能在开始时出错，后续很难自动校正和修复。

发明内容

为此，需要提供一种基于先验约束的单帧视图三维模型点云重建方法，用以解决单张图片信息不足，生成点云模型效果差的问题。具体技术方案如下：

一种基于先验约束的单帧视图三维模型点云重建方法，包括步骤：

建立3D椭球体；

建立基于图的全卷积网络；

输入图片至图像特征网络获取图像特征，根据所述图像特征和所述3D椭球体进行形变后投影的图像特征之间的损失计算梯度，得优化后的三维网格模型；

通过所述图的全卷积网络的上采样层对所述优化后的三维网格模型进行再次优化；

将所述图像特征及再次优化后的三维网格模型进行连接；

通过所述图的全卷积网络对连接后的图像特征及再次优化后的三维网格模型进行优化得新的三维网格模型；

对所述新的三维网格模型进行转化得点云模型。

进一步的，所述“输入图片至图像特征网络获取图像特征，根据所述图像特征和所述3D椭球体进行形变后投影的图像特征之间的损失计算梯度，得优化后的三维网格模型”，具体还包括步骤：

对待重建机柜模型的形状进行先验损失的计算。

进一步的，所述“建立基于图的全卷积网络”，具体还包括步骤：

建立一个基于图的全卷积网络，所述图的全卷积网络中的网格中的顶点和边直接表示为图中的节点和连接；

三维图形的网络特征编码信息保存在每个顶点上；

通过前向传播，卷积层对相邻节点间的特征进行交换，回归出每个顶点的三维位置；

所述位置的信息由倒角损失来约束，倒角距离测量每个点到另一组的距离：

通过下式定义表面法线上的损失来描述高阶性质:

其中q为p在计算倒角损失时所找到的最近顶点，k为p的邻近像素，<p-k,n_q>为两个向量的内积，n_q为真值中观测曲面的法向。

进一步的，所述“输入图片至图像特征网络获取图像特征”，具体还包括步骤：

给定顶点的三维坐标，通过摄像机内置函数计算其在输入图像平面上的二维投影，使用双线性插值将附近四个像素的特征集合到一起；

使用损失函数L′_scale来约束投影的物体边长比例：

其中x₁，y₁，z₁分别为投影物体的长宽高，x₂，y₂，z₂分别为真实场景中的长宽高。

进一步的，所述“将所述图像特征及再次优化后的三维网格模型进行连接”，具体还包括步骤：

将所述图像特征连接起来，最终得到的总维度为1280；

将总维度为1280的感知特征与优化后的三维网格模型的128维3D特征连接起来，得到的总维数为1408；

其最后的三维网格模型损失约束为：

其中，L′_scale为2D投影与真值的损失，l_c为倒角损失，后半部分为抑制网格变形量的边长正则化损失。

进一步的，所述“通过所述图的全卷积网络对连接后的图像特征及再次优化后的三维网格模型进行优化得新的三维网格模型”，具体还包括步骤：

通过所述图的全卷积神经网络来预测每个顶点新的位置和三维形状特征；

在最后一层特征上输出顶点的三维坐标，得到新的三维网格模型。

进一步的，所述“对所述新的三维网格模型进行转化得点云模型”，具体还包括步骤：

通过转换软件将所述新的三维网格模型进行转化得点云模型。

为解决上述技术问题，还提供了一种存储设备，具体技术方案如下：

一种存储设备，其中存储有指令集，所述指令集用于执行：上述提及的一种基于先验约束的单帧视图三维模型点云重建方法中的任意步骤。

本发明的有益效果是：一种基于先验约束的单帧视图三维模型点云重建方法，包括步骤：建立3D椭球体；建立基于图的全卷积网络；输入图片至图像特征网络获取图像特征，根据所述图像特征和所述3D椭球体进行形变后投影的图像特征之间的损失计算梯度，得优化后的三维网格模型；通过所述图的全卷积网络的上采样层对所述优化后的三维网格模型进行再次优化；将所述图像特征及再次优化后的三维网格模型进行连接；通过所述图的全卷积网络对连接后的图像特征及再次优化后的三维网格模型进行优化得新的三维网格模型；对所述新的三维网格模型进行转化得点云模型。通过以上方法，能够通过单帧的RGB图片获取三维模型的表面信息，在加入形状比例先验约束后，能够更好生成接近原始机柜模型比例的新的三维模型，最后根据新的三维模型生成点云模型。

附图说明

图1为具体实施方式所述一种基于先验约束的单帧视图三维模型点云重建方法的流程图；

图2为具体实施方式所述一种存储设备的模块示意图。

附图标记说明：

200、存储设备。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1，在本实施方式中，一种基于先验约束的单帧视图三维模型点云重建方法可应用在一种存储设备上，所述存储设备包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端等。具体技术方案如下：

步骤S101：建立3D椭球体。椭球体xz以摄像机前方0.8m为圆心，三轴半径分别为0.2m、0.2m、0.4m，共包含156个顶点。

步骤S102：建立基于图的全卷积网络。具体还包括步骤：

建立一个基于图的全卷积网络，所述图的全卷积网络中的网格中的顶点和边直接表示为图中的节点和连接；

三维图形的网络特征编码信息保存在每个顶点上；

通过前向传播，卷积层对相邻节点间的特征进行交换，回归出每个顶点的三维位置；

所述位置的信息由倒角损失来约束，倒角距离测量每个点到另一组的距离：

这可以将顶点还原到接近其正确位置，但是这并不足以产生漂亮的3D网格。所以进一步定义表面法线上的损失来描述高阶性质:

其中q为p在计算倒角损失时所找到的最近顶点，k为p的邻近像素，<p-k,n_q>为两个向量的内积，n_q为真值中观测曲面的法向。本质上，这种损失要求顶点与其相邻点之间的边垂直于从地面真实情况观察到的结果。人们会发现，这种损失不等于零，除非在平面上。然而，优化这一损失相当于强迫一个局部拟合的切平面的法线与观测结果一致，这在本申请的实验中实际运行得很好。此外，该正态损失是完全可微的，易于优化。

步骤S103：输入图片至图像特征网络获取图像特征，根据所述图像特征和所述3D椭球体进行形变后投影的图像特征之间的损失计算梯度，得优化后的三维网格模型。具体还包括步骤：

输入图片，使用vgg-16结构到conv5-3层作为图像特征网络。给定顶点的三维坐标，通过摄像机内置函数计算其在输入图像平面上的二维投影，使用双线性插值将附近四个像素的特征集合到一起；

使用损失函数L′_scale来约束投影的物体边长比例：

其中x₁，y₁，z₁分别为投影物体的长宽高，x₂，y₂，z₂分别为真实场景中的长宽高。

步骤S104：通过所述图的全卷积网络的上采样层对所述优化后的三维网格模型进行再次优化。通过图的上采样层，允许我们从一个顶点较少的网格开始，并且只在必要时添加更多的顶点。一种直接的方法是在每个三角形的中心添加一个顶点，并将其与三角形的三个顶点连接起来。但是，这会导致顶点度数不平衡，所以我们在每条边的中心添加一个顶点，并将其与这条边的两个端点连接起来。新添加顶点的3D特性设置为其两个相邻顶点的平均值。

步骤S105：将所述图像特征及再次优化后的三维网格模型进行连接。具体还包括步骤：

将所述图像特征连接起来，最终得到的总维度为1280；

将总维度为1280的感知特征与优化后的三维网格模型的128维3D特征连接起来，得到的总维数为1408；

其最后的三维网格模型损失约束为：

其中，L′_scale为2D投影与真值的损失，l_c为倒角损失，后半部分为抑制网格变形量的边长正则化损失。

步骤S106：通过所述图的全卷积网络对连接后的图像特征及再次优化后的三维网格模型进行优化得新的三维网格模型。具体还包括步骤：

通过所述图的全卷积神经网络来预测每个顶点新的位置和三维形状特征；

除了特征输出外，还有一个分支，在最后一层特征上输出顶点的三维坐标，得到新的三维网格模型。

步骤S107：对所述新的三维网格模型进行转化得点云模型。具体还包括步骤：

通过转换软件将所述新的三维网格模型进行转化得点云模型。所述转换软件可以为Meshlab。

进一步的，因本申请主要考虑的应用场景是机柜的使用。根据任务中所重构的机柜具有形状比例一致不变特点，在从单一RGB图像生成网格三维模型的过程中加入待重建机柜模型的形状先验，然后再从网格三维模型转换为点云模型。机柜具有形状比例一致不变的先验即不同的机柜虽然在进行RGB图像采样时的角度、位置以及远近等存在偏差，而且内部的服务器也存在品牌以及布局上的差异，但是各机柜整体的外观尺寸及比例仍然一致，可以认为重建后的机柜在三维表示下应该具备与实际机柜对象一致的尺寸和比例，在本实施方式中利用重建后的机柜计算出长宽高尺寸比例信息，这些信息与实际机柜的比例差异作为损失进一步对机柜的三维重建结果进行修正。如此进一步提高所所生成的新的三维模型的精确性。故进一步的，所述“输入图片至图像特征网络获取图像特征，根据所述图像特征和所述3D椭球体进行形变后投影的图像特征之间的损失计算梯度，得优化后的三维网格模型”，具体还包括步骤：对待重建机柜模型的形状进行先验损失的计算。

一种基于先验约束的单帧视图三维模型点云重建方法，包括步骤：建立3D椭球体；建立基于图的全卷积网络；输入图片至图像特征网络获取图像特征，根据所述图像特征和所述3D椭球体进行形变后投影的图像特征之间的损失计算梯度，得优化后的三维网格模型；通过所述图的全卷积网络的上采样层对所述优化后的三维网格模型进行再次优化；将所述图像特征及再次优化后的三维网格模型进行连接；通过所述图的全卷积网络对连接后的图像特征及再次优化后的三维网格模型进行优化得新的三维网格模型；对所述新的三维网格模型进行转化得点云模型。通过以上方法，能够通过单帧的RGB图片获取三维模型的表面信息，在加入形状比例先验约束后，能够更好生成接近原始机柜模型比例的新的三维模型，最后根据新的三维模型生成点云模型。

请参阅图2，在本实施方式中，一种存储设备200的具体实施方式如下：

一种存储设备200，其中存储有指令集，所述指令集用于执行：上述提及的一种基于先验约束的单帧视图三维模型点云重建方法中的任意步骤。

需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (8)

1.一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，包括步骤：

建立3D椭球体；

建立基于图的全卷积网络；

输入图片至图像特征网络获取图像特征，根据所述图像特征和所述3D椭球体进行形变后投影的图像特征之间的损失计算梯度，得优化后的三维网格模型；

通过所述图的全卷积网络的上采样层对所述优化后的三维网格模型进行再次优化；

将所述图像特征及再次优化后的三维网格模型进行连接；

通过所述图的全卷积网络对连接后的图像特征及再次优化后的三维网格模型进行优化得新的三维网格模型；

对所述新的三维网格模型进行转化得点云模型。

2.根据权利要求1所述的一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，所述“输入图片至图像特征网络获取图像特征，根据所述图像特征和所述3D椭球体进行形变后投影的图像特征之间的损失计算梯度，得优化后的三维网格模型”，具体还包括步骤：

对待重建机柜模型的形状进行先验损失的计算。

3.根据权利要求1所述的一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，所述“建立基于图的全卷积网络”，具体还包括步骤：

建立一个基于图的全卷积网络，所述图的全卷积网络中的网格中的顶点和边直接表示为图中的节点和连接；

三维图形的网络特征编码信息保存在每个顶点上；

通过前向传播，卷积层对相邻节点间的特征进行交换，回归出每个顶点的三维位置；

所述位置的信息由倒角损失来约束，倒角距离测量每个点到另一组的距离：

通过下式定义表面法线上的损失来描述高阶性质:

其中q为p在计算倒角损失时所找到的最近顶点，k为p的邻近像素，<p-k,n_q>为两个向量的内积，n_q为真值中观测曲面的法向。

4.根据权利要求1所述的一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，所述“输入图片至图像特征网络获取图像特征”，具体还包括步骤：

给定顶点的三维坐标，通过摄像机内置函数计算其在输入图像平面上的二维投影，使用双线性插值将附近四个像素的特征集合到一起；

使用损失函数L′_scale来约束投影的物体边长比例：

其中x₁，y₁，z₁分别为投影物体的长宽高，x₂，y₂，z₂分别为真实场景中的长宽高。

5.根据权利要求1所述的一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，所述“将所述图像特征及再次优化后的三维网格模型进行连接”，具体还包括步骤：

将所述图像特征连接起来，最终得到的总维度为1280；

将总维度为1280的感知特征与优化后的三维网格模型的128维3D特征连接起来，得到的总维数为1408；

其最后的三维网格模型损失约束为：

其中，L′_scale为2D投影与真值的损失，l_c为倒角损失，后半部分为抑制网格变形量的边长正则化损失。

6.根据权利要求1所述的一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，所述“通过所述图的全卷积网络对连接后的图像特征及再次优化后的三维网格模型进行优化得新的三维网格模型”，具体还包括步骤：

通过所述图的全卷积神经网络来预测每个顶点新的位置和三维形状特征；

在最后一层特征上输出顶点的三维坐标，得到新的三维网格模型。

7.根据权利要求1所述的一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，所述“对所述新的三维网格模型进行转化得点云模型”，具体还包括步骤：

通过转换软件将所述新的三维网格模型进行转化得点云模型。

8.一种存储设备，其中存储有指令集，其特征在于，所述指令集用于执行：权利要求1至7任意一权利要求的步骤。

Images