CN111145338B - 一种基于单视角rgb图像的椅子模型重建方法及系统 - Google Patents

Abstract

本发明公开了一种基于单视角RGB图像的椅子模型重建方法及系统，包括图像编码器、多层感知器、SDF解码器、3D模块、2.5D草图模块和2D草图模块，所述图像编码器和所述多层感知器分别和所述SDF解码器连接，所述SDF解码器、所述3D模块、所述2.5D草图模块和所述2D草图模块依次连接，使用所述图像编码器RGB图片中获得全局特征，并结合所述多层感知器从查询点中提取局部特征，一同输入SDF解码器，得到SDF值，通过识别等值面提取三维模型，经过透视投影，得到2.5D草图，结合纹理编码向量输入循环一致性对抗网络，并放宽一对一的限制，得到多角度的带纹理的2D草图，可得到精细结构的三维模型，同时能灵活的生成多角度的2D图像。

Description

一种基于单视角RGB图像的椅子模型重建方法及系统

技术领域

本发明涉3D重建技术领域，尤其涉及一种基于单视角RGB图像的椅子模型重建方法及系统。

背景技术

基于图像的3D重建的目标是从一个或多个2D图像推断出对象和场景的3D几何和结构，例如机器人导航，物体识别和场景理解，3D建模和动画，工业控制和医疗诊断。从2D图像中恢复丢失的维度一直是经典多视图立体重建的目标。传统三维重建技术基于几何的方法，数学上通过建立3D到2D投影关系来解决。这种方式通常需要使用精确校准的相机捕获的多张图像，这在许多情况下可能不实用或不可行。目前最新的3D重建方法试图通过将3D重建问题制定为识别问题来利用先验知识，深度学习技术的发展和大型训练数据集的出现，使得新一代方法能够从一个或多个RGB图像中快速恢复对象的三维几何和结构，而无需进行复杂的校准处理。虽然从2D图像学习嵌入形状的许多单视图3D重建方法能够捕获全局形状属性，但是它们倾向于忽略物体中诸如孔洞或细薄结构之类的细节，不能得到精细结构的三维模型，同时不能灵活的生成多角度的2D图像。

发明内容

本发明的目的在于提供一种基于单视角RGB图像的椅子模型重建方法及系统，可得到精细结构的三维模型，同时能灵活的生成多角度的2D图像。

为实现上述目的，第一方面。本发明提供了一种基于单视角RGB图像的椅子模型重建方法，包括：

使用图像编码器获取RGB图像的全局特征；

利用多层感知器从查询点提取局部特征；

将所述全局特征和所述局部特征输入SDF解码器，得到SDF值；

根据所述SDF值，通过识别等值面提取三维模型；

将所述三维模型经过透视投影，得到2.5D草图；

将所述2.5D草图输入对抗网络，得到带纹理的2D草图。

其中，所述使用图像编码器获取RGB图像的全局特征，包括：

使用图像编码器从224 x 224的RGB图片中获得1024维的全局特征。

其中，所述利用多层感知器从查询点提取局部特征，包括：

利用多层感知器从查询点中提取局部特征，其中，所述多层感知器包括三层的一维卷积网络，并且每层均施加ReLU非线性和Batch Normalization批归一化。

其中，将所述全局特征和所述局部特征输入SDF解码器，得到SDF值，包括：

将所述全局特征和所述局部特征结合，一同输入SDF解码器，其中，所述SDF解码器包括四层的一维卷积网络，在前三层卷积网络施加ReLU非线性和Batch Normalization批归一化，最后一层通过tanh非线性激活，得到SDF值。

其中，根据所述SDF值，通过识别等值面提取三维模型，包括：

根据得到的所述SDF值，利用等值面提取算法识别等值面提取三维模型。

其中，将所述三维模型经过透视投影，得到2.5D草图，包括：

将所述三维模型进行投影，利用透视摄像机下的三维网格进行渲染，得到对应输入视角的2.5D草图。

其中，将所述2.5D草图输入对抗网络，得到带纹理的2D草图，包括：

将所述2.5D草图和采用随机采样的纹理编码向量输入循环一致性对抗网络，并放宽所述循环一致性对抗网络中的一对一的限制，得到多角度的带纹理的2D草图。

第二方面，本发明提供一种基于单视角RGB图像的椅子模型重建系统，所述基于单视角RGB图像的椅子模型重建系统包括图像编码器、多层感知器、SDF解码器、3D模块、2.5D草图模块和2D草图模块，所述图像编码器和所述多层感知器分别和所述SDF解码器连接，所述SDF解码器、所述3D模块、所述2.5D草图模块和所述2D草图模块依次连接，

所述图像编码器，用于从224 x 224的RGB图片中获得1024维的全局特征，并输入所述SDF解码器；

所述多层感知器，用于从查询点中提取局部特征，并输入所述SDF解码器；

所述SDF解码器，用于接受所述全局特征和所述局部特征，得到SDF值；

所述3D模块，用于根据所述SDF值，利用等值面提取算法识别等值面提取三维模型；

所述2.5D草图模块，用于将所述三维模型经过透视投影，得到2.5D草图；

所述2D草图模块，用于将所述2.5D草图和采用随机采样的纹理编码向量输入循环一致性对抗网络，得到带纹理的2D草图。

本发明的一种基于单视角RGB图像的椅子模型重建方法及系统，所述基于单视角RGB图像的椅子模型重建系统包括图像编码器、多层感知器、SDF解码器、3D模块、2.5D草图模块和2D草图模块，所述图像编码器和所述多层感知器分别和所述SDF解码器连接，所述SDF解码器、所述3D模块、所述2.5D草图模块和所述2D草图模块依次连接，使用所述图像编码器从224 x 224的RGB图片中获得1024维的全局特征，利用所述多层感知器从查询点中提取局部特征，将所述全局特征和所述局部特征结合，一同输入SDF解码器，得到SDF值，根据所述SDF值，通过识别等值面提取三维模型，并将所述三维模型经过透视投影，得到2.5D草图，将所述2.5D草图和采用随机采样的纹理编码向量输入循环一致性对抗网络，并放宽所述循环一致性对抗网络中的一对一的限制，得到多角度的带纹理的2D草图，可得到精细结构的三维模型，同时能灵活的生成多角度的2D图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种基于单视角RGB图像的椅子模型重建方法的步骤示意图。

图2是本发明提供的一种基于单视角RGB图像的椅子模型重建系统的结构示意图。

1-图像编码器、2-多层感知器、3-SDF解码器、4-3D模块、5-2.5D草图模块、6-2D草图模块。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

请参阅图1，本发明提供一种基于单视角RGB图像的椅子模型重建方法，包括：

S101、使用图像编码器获取RGB图像的全局特征。

具体的，使用蒙特卡罗采样在高斯分布N(0，0.1)下选择2048个网格点，使用所述图像编码器1从224 x 224的RGB图片中获得1024维的全局特征。

S102、利用多层感知器从查询点提取局部特征。

具体的，利用多层感知器2从查询点中提取局部特征，其中，所述多层感知器2包括三层的一维卷积网络，并且每层均施加ReLU(线性整流函数)非线性和BatchNormalization(分批归一化)批归一化，三层网络的输出维度分别为64维，128维和256维。

S103、将所述全局特征和所述局部特征输入SDF解码器，得到SDF值。

具体的，将所述全局特征和所述局部特征结合，得到1283维(1024+256+3)的特征，一同输入SDF解码器3，其中，所述SDF解码器包括四层的一维卷积网络，四层网络的输出维度分别为1024维，512维，256维和1维，在前三层卷积网络施加ReLU非线性和BatchNormalization批归一化，最后一层通过tanh(双曲正切)非线性激活，通过使用3D查询点坐标、3D查询点的点特征和全局图像特征将给定空间点解码得到SDF值，利用SDF(符号距离函数)的隐式三维表达，方便数据存储，同时简化训练。

S104、根据所述SDF值，通过识别等值面提取三维模型。

具体的，根据得到的所述SDF值，利用等值面提取算法(Marching Cubes，简称MC，是面绘制算法中的经典算法)等类似的方法识别等值面提取三维模型，显着提高所得三维模型中细粒度细节的重建质量，生成带高质量细节的三维模型。

S105、将所述三维模型经过透视投影，得到2.5D草图。

具体的，将所述三维模型进行投影，利用透视摄像机下的三维网格进行渲染，并使用GPU(图形处理器)加速的OpenGL工具(Open Graphics Library，译名:开放图形库或者“开放式图形库”)，快速得到对应输入视角的2.5D草图。

S106、将所述2.5D草图输入对抗网络，得到带纹理的2D草图。

具体的，将所述2.5D草图和采用随机采样的纹理编码向量输入循环一致性对抗网络，利用了对抗性损失函数和周期一致性损失函数，并放宽所述循环一致性对抗网络中的一对一的限制，得到多角度的带纹理的2D草图，其中，所述纹理编码向量需要模拟对象纹理和环境照明，以及可微分渲染方程

参见图2，本发明提供一种基于单视角RGB图像的椅子模型重建系统，所述基于单视角RGB图像的椅子模型重建系统包括图像编码器1、多层感知器2、SDF解码器3、3D模块4、2.5D草图模块5和2D草图模块6，所述图像编码器1和所述多层感知器2分别和所述SDF解码器3连接，所述SDF解码器3、所述3D模块4、所述2.5D草图模块5和所述2D草图模块6依次连接，

所述图像编码器1，用于从224 x 224的RGB图片中获得1024维的全局特征，并输入所述SDF解码器3；

所述多层感知器2，用于从查询点中提取局部特征，并输入所述SDF解码器3；

所述SDF解码器3，用于接受所述全局特征和所述局部特征，得到SDF值；

所述3D模块4，用于根据所述SDF值，利用等值面提取算法识别等值面提取三维模型；

所述2.5D草图模块5，用于将所述三维模型经过透视投影，得到2.5D草图；

所述2D草图模块6，用于将所述2.5D草图和采用随机采样的纹理编码向量输入循环一致性对抗网络，得到带纹理的2D草图。

在本实施方式中，所述基于单视角RGB图像的椅子模型重建系统包括图像编码器1、多层感知器2、SDF解码器3、3D模块4、2.5D草图模块5和2D草图模块6，所述图像编码器1和所述多层感知器2分别和所述SDF解码器3连接，所述SDF解码器3、所述3D模块4、所述2.5D草图模块5和所述2D草图模块6依次连接，通过所述图像编码器1，从224 x 224的RGB图片中获得1024维的全局特征，并结合所述多层感知器2从查询点中提取局部特征，一起输入所述SDF解码器3，所述SDF解码器3接受所述全局特征和所述局部特征，得到SDF值，根据所述SDF值，所述3D模块4利用等值面提取算法(Marching Cubes，简称MC)识别等值面提取三维模型，经过透视投影，利用透视摄像机下的三维网格进行渲染，在所述2.5D草图模块5中得到对应输入视角的2.5D草图，并结合采用随机采样的纹理编码向量输入循环一致性对抗网络，放宽所述循环一致性对抗网络中的一对一的限制，得到多角度的带纹理的2D草图，可得到精细结构的三维模型，同时能灵活的生成多角度的2D图像。

本发明的一种基于单视角RGB图像的椅子模型重建方法及系统，所述基于单视角RGB图像的椅子模型重建系统包括图像编码器1、多层感知器2、SDF解码器3、3D模块4、2.5D草图模块5和2D草图模块6，所述图像编码器1和所述多层感知器2分别和所述SDF解码器3连接，所述SDF解码器3、所述3D模块4、所述2.5D草图模块5和所述2D草图模块6依次连接，使用所述图像编码器1从224 x 224的RGB图片中获得1024维的全局特征，利用所述多层感知器2从查询点中提取局部特征，将所述全局特征和所述局部特征结合，一同输入SDF解码器3，得到SDF值，根据所述SDF值，通过识别等值面提取三维模型，并将所述三维模型经过透视投影，得到2.5D草图，将所述2.5D草图和采用随机采样的纹理编码向量输入循环一致性对抗网络，并放宽所述循环一致性对抗网络中的一对一的限制，得到多角度的带纹理的2D草图，可得到精细结构的三维模型，同时能灵活的生成多角度的2D图像。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (4)

1.一种基于单视角RGB图像的椅子模型重建方法，其特征在于，包括：

使用图像编码器获取RGB图像的全局特征；

利用多层感知器从查询点提取局部特征；

将所述全局特征和所述局部特征输入SDF解码器，得到SDF值；

根据所述SDF值，通过识别等值面提取三维模型；

将所述三维模型经过透视投影，得到2.5D草图；

将所述2.5D草图输入对抗网络，得到带纹理的2D草图；

所述使用图像编码器获取RGB图像的全局特征，包括：

使用图像编码器从224x 224的RGB图片中获得1024维的全局特征；

通过利用多层感知器从查询点获取64维、128维、256维的局部特征，之后再将整体特征和局部特征结合获得得到1283维的特征以获取全面的信息，之后一同输入SDF解码器得到SDF值；

所述利用多层感知器从查询点提取局部特征，包括：

通过利用多层感知器从查询点获取64维、128维、256维的局部特征，其中，所述多层感知器包括三层的一维卷积网络，并且每层均施加ReLU非线性和Batch Normalization批归一化，三层网络的输出维度分别为64维，128维和256维；

将所述全局特征和所述局部特征输入SDF解码器，得到SDF值，包括：

将全局特征和局部特征结合获得得到1283维的特征以获取全面的信息，之后一同输入SDF解码器得到SDF值，其中，所述SDF解码器包括四层的一维卷积网络，在前三层卷积网络施加ReLU非线性和Batch Normalization批归一化，最后一层通过tanh非线性激活，通过使用3D查询点坐标、3D查询点的点特征和全局图像特征将给定空间点解码得到SDF值，四层网络的输出维度分别为1024维，512维，256维和1维；

将所述2.5D草图输入对抗网络，得到带纹理的2D草图，包括：

将所述2.5D草图和采用随机采样的纹理编码向量输入循环一致性对抗网络，利用了对抗性损失函数和周期一致性损失函数，并放宽所述循环一致性对抗网络中的一对一的限制，得到多角度的带纹理的2D草图。

2.如权利要求1所述的一种基于单视角RGB图像的椅子模型重建方法，其特征在于，根据所述SDF值，通过识别等值面提取三维模型，包括：

根据得到的所述SDF值，利用等值面提取算法识别等值面提取三维模型。

3.如权利要求1所述的一种基于单视角RGB图像的椅子模型重建方法，其特征在于，将所述三维模型经过透视投影，得到2.5D草图，包括：

将所述三维模型进行投影，利用透视摄像机下的三维网格进行渲染，得到对应输入视角的2.5D草图。

4.一种基于单视角RGB图像的椅子模型重建系统，其特征在于，所述基于单视角RGB图像的椅子模型重建系统包括图像编码器、多层感知器、SDF解码器、3D模块、2.5D草图模块和2D草图模块，所述图像编码器和所述多层感知器分别和所述SDF解码器连接，所述SDF解码器、所述3D模块、所述2.5D草图模块和所述2D草图模块依次连接，

所述图像编码器，用于从224x 224的RGB图片中获得1024维的全局特征，并输入所述SDF解码器；

所述多层感知器，用于从查询点中提取获取64维、128维、256维的局部特征，并输入所述SDF解码器，所述多层感知器包括三层的一维卷积网络，并且每层均施加ReLU非线性和Batch Normalization批归一化，三层网络的输出维度分别为64维，128维和256维；

所述SDF解码器，用于将全局特征和局部特征结合获得得到1283维的特征以获取全面的信息，之后一同输入SDF解码器得到SDF值，所述SDF解码器包括四层的一维卷积网络，在前三层卷积网络施加ReLU非线性和Batch Normalization批归一化，最后一层通过tanh非线性激活，通过使用3D查询点坐标、3D查询点的点特征和全局图像特征将给定空间点解码得到SDF值，四层网络的输出维度分别为1024维，512维，256维和1维；

所述3D模块，用于根据所述SDF值，利用等值面提取算法识别等值面提取三维模型；

所述2.5D草图模块，用于将所述三维模型经过透视投影，得到2.5D草图；

所述2D草图模块，用于将所述2.5D草图和采用随机采样的纹理编码向量输入循环一致性对抗网络，得到带纹理的2D草图。