CN117496091A - 一种基于局部纹理的单视图三维重建方法 - Google Patents

一种基于局部纹理的单视图三维重建方法 Download PDF

Info

Publication number
CN117496091A
CN117496091A CN202311835358.1A CN202311835358A CN117496091A CN 117496091 A CN117496091 A CN 117496091A CN 202311835358 A CN202311835358 A CN 202311835358A CN 117496091 A CN117496091 A CN 117496091A
Authority
CN
China
Prior art keywords
texture
feature
local
dimensional
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311835358.1A
Other languages
English (en)
Other versions
CN117496091B (zh
Inventor
张全
杨亮
汪崇民
彭博
吕晓雨
王顺
卿超
王一帆
周文俊
李艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Maichuang Technology Co ltd
Southwest Petroleum University
Original Assignee
Chengdu Maichuang Technology Co ltd
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Maichuang Technology Co ltd, Southwest Petroleum University filed Critical Chengdu Maichuang Technology Co ltd
Priority to CN202311835358.1A priority Critical patent/CN117496091B/zh
Publication of CN117496091A publication Critical patent/CN117496091A/zh
Application granted granted Critical
Publication of CN117496091B publication Critical patent/CN117496091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

本发明公开一种基于局部纹理的单视图三维重建方法，该方法具体包括如下步骤：输入图像至卷积神经网络提取特征图和全局特征向量；通过相机参数的投影得到每个空间预设点的局部特征；通过特征图的卷积和上采样得到物体的表面细节纹理偏移图；将每个空间预设点的三维坐标分别与全局和局部特征拼接，送入解码网络解码粗略全局形状和局部细节形状，投影空间预设点到纹理偏移图得到每个点纹理偏移，三部分相加得到重建目标的SDF表示；通过Marching Cube算法提取零值面得到显式重建结果。本发明实现了高质量的单视图三维重建，与已有方法相比，本发明在纹理细节部分重建效果更好。

Description

一种基于局部纹理的单视图三维重建方法
技术领域
本发明涉及计算机视觉三维重建技术领域，特别涉及一种基于局部纹理的单视图三维重建方法。
背景技术
在当今的技术领域，相比于文本和图像等海量且易于获取的媒体数据，三维模型能够更加真实地展现出物体的立体视觉感和细节质感，因此，它是一种更符合人类视觉系统的数据表达方式。近年来，随着硬件扫描设备和专业建模软件的不断发展，三维数据的获取日益丰富，同时，计算机存储空间和计算能力的快速提升，使得三维模型在工业设计、城市规划、自动驾驶等领域得到了广泛的应用。
相对于图像数据，三维数据的获取仍然是一个费时费力的过程，而图像在生活中随处可见，因此近年来出现了许多使用神经网络从图像重建三维模型的方法，这些方法大多使用多视角图像进行三维重建，通过不同视角下物体的差异来学习物体的几何特征，然而多视角的图像数据仍然难以获取，且重建结果容易受图像质量的影响。单张图像信息具有局限性，单视图三维重建方法从图像中所提取到的特征往往关注于物体的粗略形状，难以获取物体的细节；虽然一些方法通过相机参数的投影来得到每个采样点的局部特征，一定程度上优化了对于形状细节部分的重建效果，但对于物体表面的纹理起伏等信息仍然表现较差。
发明内容
为了简化繁琐的三维重建过程，并且能快速地从单张图像重建出包含纹理细节的高质量三维模型，本发明结合了现有方法的优势，设计了一种基于局部纹理的单视图三维重建方法。该方法使用卷积神经网络从物体的单张图像提取全局特征，并保存特征提取过程中每次下采样前不同尺度的特征图；将不同尺度特征图放大到原图大小，通过相机参数将空间中预设点投影到不同尺度特征图中，将该点对应的投影特征拼接从而得到其局部特征；从生成的不同尺度特征图的最后一级开始由深至浅分别进行卷积和上采样并与前一级尺度特征融合，得到物体对应视角的细节纹理偏移图，同样经过相机参数的投影得到每个空间预设点的局部纹理偏移值。所有空间预设点的全局特征和局部特征分别通过两个三层的多层感知机（MLP）解码出该物体的粗略形状的和细节形状，加上所有点纹理偏移得到最终三维模型的隐式表示（符号距离场，SDF），再通过Marching Cube后处理方法提取零值面将隐式表示转换为显式的三维模型。
具体地，本发明提供了一种基于局部纹理的单视图三维重建方法，主要包括以下步骤：
S1、输入图像到ResNet-50卷积神经网络提取图像的全局特征向量和下采样前不同尺度的特征图，并将其缩放到原图像大小；
S2、在标准空间中预设128×128×128个空间点，每个点 p(x,y,z) 通过相机参数投影到S1得到的不同尺度特征图的对应位置，将这些位置对应的特征拼接构成p点的局部特征向量；
S3、对S1提取的不同尺度的特征图由深至浅依次进行卷积和上采样，得到和前一级相同大小的特征图，并将其与前一级特征图按通道拼接，最终再经过卷积得到物体对应视角的细节纹理偏移图；
S4、将每个预设空间点的坐标通过两层MLP编码到高维特征空间，分别与全局特征向量和局部特征向量拼接，送入两个由三层MLP组成的解码网络中，重建出物体的全局粗略形状和局部细节。另外通过相机参数投影每个预设点p到纹理偏移图上，得到其细节纹理偏移。将全局粗略形状、局部细节和纹理偏移三部分结果相加得到点p最终的SDF值；
S5、将空间中所有预设点的SDF值通过Marching Cube算法提取零值面，得到重建物体的显式三维网格模型。
步骤S1所述的下采样前的特征图为ResNet-50前4个Block的池化层前的特征图，特征图尺寸相对于输入图像尺寸分别减小了2倍、4倍、8倍、16倍，对应的通道数分别为256、512、1024、2048。
步骤S3所述的由深至浅依次进行卷积和上采样，即依次对16倍缩放特征图进行卷积和上采样，与8倍缩放特征图按通道拼接，拼接后的特征图进行卷积和上采样并与4倍缩放特征图进行拼接，以此类推，最后得到与输入图像大小一致，通道数为1的纹理偏移图。
步骤S4所述预设空间点的编码网络，其两层神经元个数分别为256和512，激活函数为ReLU；该网络将3维的空间坐标编码成长度为512的向量。所述解码网络分别为两个三层的MLP，神经元个数分别为512、256和1，激活函数为ReLU；两个MLP分别得到一个全局的SDF值F global 和一个局部细节的SDF值F local ；另外通过相机参数将预设空间点投影到纹理偏移图上，得到对应空间点的细节纹理偏移的SDF值F texture ；最终空间点的SDF值F为三者相加，表达式为：
。
进一步的，本发明所述的一种基于局部纹理的单视图三维重建方法，所有神经网络的训练采用代表三维信息的SDF监督，总的损失函数表达式如下所示：
，
其中，L B 代表基本损失，为F global 与Ground Truth之间误差，L sdf 代表SDF损失，为F与Ground Truth之间的误差，L lap 代表拉普拉斯损失，为纹理偏移梯度和图像梯度之间的误差。
有益效果：本发明实现从单视图普通RGB图像重建物体的三维结构，采用本发明进行三维重建，可以帮助相关人员快速重建出结构完整细节纹理信息丰富的三维模型，与以往公开的论文和专利中的三维重建方法相比，本发明引入纹理偏移图优化重建结果在细节纹理上的效果，有效提升了重建模型的质量。
附图说明
图1是本发明基于局部纹理的单视图三维重建大致流程示意图；
图2是本发明所述深度学习方法使用的神经网络结构示意图；
图3是本发明在重建过程中的一个实例，包含输入图像、法向贴图、法向贴图的梯度示意图、纹理偏移示意图、纹理偏移梯度示意图和重建结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明进一步详细说明。在此，本发明的示意性实施方式以及其说明用于解释本发明，但并不作为本发明的限定。
如图1、图2、图3所示，本发明提供一种基于局部纹理的单视图三维重建方法，包括以下步骤：
S1、输入图像到卷积神经网络提取图像的全局特征向量，并保存每次下采样前的特征图得到不同尺度的特征图；
S2、将S1中不同尺度的特征图缩放到原图像大小，在标准空间中预设代表分辨率的128×128×128个空间点，每个预设点通过相机参数投影到缩放后的特征图中，得到其对应的特征，将这些特征拼接构成预设点的局部特征向量；
S3、对S1中提取的不同尺度的特征图依次进行卷积和上采样，得到和前一级相同大小的特征图，并将其与前一级特征图按通道拼接，最终再经过卷积得到物体对应视角的细节纹理偏移图；
S4、将每个预设空间点的坐标通过两层MLP编码到高维特征空间，分别与全局特征向量和局部特征向量拼接，送入两个由三层MLP组成的解码网络中，重建出表示物体的全局粗略形状的SDF值和表示局部细节的SDF值，另外通过相机参数投影每个预设点到纹理偏移图，得到每个预设点的细节纹理偏移的SDF值，三个SDF值相加得到用于重建的最终SDF值；
S5、将空间中所有预设点的最终SDF值通过Marching Cube算法提取零值面，得到重建物体的显式三维网格模型。
步骤S1所述卷积神经网络的目的是从图像提取全局特征和得到不同尺度特征图，本实例采用ImageNet图像分类任务预训练好的ResNet-50模型作为我们的特征提取网络，保存前4个Block池化层前的特征图，由浅入深分别代表图像的浅层纹理特征和深层抽象特征；在输入图像大小为224×224的情况下，4个特征图的尺寸分别为112×112、56×56、28×28、14×14，4个特征图的通道数分别为256、512、1024、2048；然后分别对4个特征图进行2倍、4倍、8倍、16倍的上采样，采样方式为双线性插值，得到4个与原图大小相同的特征图；
步骤S2所述预设空间每个维度范围为[-1,1]，本实例每个维度取128个值作为分辨率，因此三维空间共预设了128×128×128个采样点；
步骤S2所述相机参数为相机内外参数，通过相机参数可以求得从三维坐标投影到二维平面的投影变换矩阵；对预设空间点进行投影，得到每个点投影到图像平面的像素位置，通过查询缩放后的特征图，得到每个预设点对应的长度为3840的一维特征向量，每个特征向量表示对应空间点的局部特征；
步骤S3中所采用的上采样在本示例中采用的缩放倍数为2，采样方式为双线性插值，采用的卷积使用3×3卷积核，卷积采用的padding为1、激活函数为ReLU；具体地，在本实例中，首先对步骤S1中得到的特征图进行一次卷积，将所有特征图的通道数转换为64，然后依次由深至浅进行上采样，得到与前一级尺寸相同的特征图，将其与前一级特征图按通道拼接，通过卷积融合特征并将通道数转换为64，直到得到最终224×224×64的特征图，然后通过一个输出通道为1的卷积层，得到224×224×1的细节纹理偏移图；
步骤S4中预设空间点的编码网络在本实例中采用神经元个数分别为256和512，激活函数为ReLU，可以将三维坐标信息映射到512维的特征空间；所述解码网络均由神经元个数分别为521、256、1的三层MLP构成，全局解码网络输入为步骤S1提取的全局特征和高维空间点特征，局部解码网络输入为步骤S2提取的局部特征和高维空间点特征，两个解码网络分别得到代表全局特征的SDF值F global 和代表局部细节特征的SDF值F local ；将空间预设点投影到步骤S3得到的细节纹理偏移图上得到代表纹理偏移的SDF值F texture ，三者相加即为最终重建结果的SDF值；
步骤S5使用的Marching Cube算法是通过Python的PyMcube库实现的。
进一步的，在本发明一个具体实施案例中，所有神经网络的训练采用三维监督方法，所用的损失函数由三部分组成，分别为L B 、L sdf 和L lap ，其中L B 为F global 与真实SDF标签F之间的均方误差，L B 损失优化的目标为得到物体整体形状；L sdf 为F local 与真实SDF标签F之间的绝对误差，L sdf 损失优化的目标为得到物体局部细节；L lap 为纹理偏移图的梯度与真实三维空间SDF的梯度之间的均方误差，纹理偏移图的梯度使用拉普拉斯算子计算，真实三维空间SDF的梯度由输入图像所对应的法相贴图计算，L lap 损失优化的目标为得到物体纹理细节。
在本发明的一个具体实施案例中，所使用的数据来源于ShapeNet Core数据集，通过预设的相机参数，对其中的三维模型进行投影渲染得到对应的二维RGB图像和法向贴图，同时保存物体表面附近空间点的位置坐标和SDF值作为标签。本发明的具体实施案例中，训练模型所采用的优化器为Adam优化器，学习率为0.0001，所使用的深度学习框架为Pytorch1.8。
相应的数据、训练过程图以及重建结果图如图3所示：第一行图片分别表示渲染得到的输入图像、对应的法向贴图、法向贴图所通过拉普拉斯算子提取的梯度，第二行图片分别表示重建过程中的纹理偏移图、纹理偏移图通过拉普拉斯算子提取的梯度、最终的重建结果。与以往的方法对比，如图3所示，本发明的重建方法在物体表面的细节部分和纹理凹凸部分有更加出色的重建效果。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (4)

1.一种基于局部纹理的单视图三维重建方法，其特征在于：所述方法包括以下步骤：
一、输入图像到ResNet-50卷积神经网络提取图像的全局特征向量和每次下采样前的特征图；
二、在标准空间中预设128分辨率的空间点，对每个点通过相机参数投影到图像平面和特征图平面，找到其对应的不同尺度局部特征向量；
三、将步骤一中提取的特征图，通过一个纹理解码网络解码为纹理细节偏移图，通过相机参数投影得到每个预设空间点的纹理偏移；
四、通过对步骤一提取的全局特征、步骤二中每个点的局部特征和步骤三中每个点的纹理偏移分别解码，重建出物体的全局形状、局部细节和表面纹理，使用符号距离场隐式表示；
五、将步骤四中得到的符号距离场通过Marching Cube算法提取零值面，得到重建物体的三维网格模型。
2.根据权利要求1所述一种基于局部纹理的单视图三维重建方法，其特征在于：步骤一所述的下采样前的特征图分别为前4个Block的池化层前所对应的特征图，通道数分别为256、512、1024、2048。
3.根据权利要求1所述一种基于局部纹理的单视图三维重建方法，其特征在于：步骤三所述的纹理解码网络对步骤一提取的特征图由深至浅依次进行卷积和上采样，得到和前一级相同大小的特征图，并将其与前一级特征图按通道拼接，最终再经过卷积得到与原图像大小相同通道为1的局部纹理偏移图。
4.根据权利要求1所述一种基于局部纹理的单视图三维重建方法，其特征在于：步骤四所述的全局特征和局部特征的解码网络包含一个坐标特征提取网络和两个解码网络，坐标特征提取网络通过两层的多层感知机将预设空间点坐标升维至512维，解码网络分别包含三层的多层感知机，解码输出维度分别为512、256、1，纹理偏移解码为空间点投影到纹理偏移图上的值，三者相加为最终的符号距离场值。
CN202311835358.1A 2023-12-28 2023-12-28 一种基于局部纹理的单视图三维重建方法 Active CN117496091B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311835358.1A CN117496091B (zh) 2023-12-28 2023-12-28 一种基于局部纹理的单视图三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311835358.1A CN117496091B (zh) 2023-12-28 2023-12-28 一种基于局部纹理的单视图三维重建方法

Publications (2)

Publication Number Publication Date
CN117496091A true CN117496091A (zh) 2024-02-02
CN117496091B CN117496091B (zh) 2024-03-15

Family

ID=89676794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311835358.1A Active CN117496091B (zh) 2023-12-28 2023-12-28 一种基于局部纹理的单视图三维重建方法

Country Status (1)

Country Link
CN (1) CN117496091B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145338A (zh) * 2019-12-17 2020-05-12 桂林理工大学 一种基于单视角rgb图像的椅子模型重建方法及系统
CN112102477A (zh) * 2020-09-15 2020-12-18 腾讯科技（深圳）有限公司 三维模型重建方法、装置、计算机设备和存储介质
CN114708380A (zh) * 2022-03-08 2022-07-05 南京大学 一种基于融合多视角特征与深度学习的三维重建方法
US20230005217A1 (en) * 2021-06-30 2023-01-05 Tencent America LLC Systems and methods of hierarchical implicit representation in octree for 3d modeling
CN115761178A (zh) * 2022-10-10 2023-03-07 哈尔滨工业大学（深圳） 基于隐式神经表示的多视图三维重建方法
US20230070514A1 (en) * 2021-08-30 2023-03-09 Nvidia Corporation Performing occlusion-aware global 3d pose and shape estimation of articulated objects
DE102022121509A1 (de) * 2021-09-10 2023-03-16 Nvidia Corporation Einzelbild-inversrendering
CN116385667A (zh) * 2023-06-02 2023-07-04 腾讯科技（深圳）有限公司 三维模型的重建方法、纹理重构模型的训练方法以及装置
US20230281921A1 (en) * 2022-03-01 2023-09-07 Tencent America LLC Methods of 3d clothed human reconstruction and animation from monocular image
US20230362347A1 (en) * 2022-05-09 2023-11-09 The Regents Of The University Of Michigan Real-Time Novel View Synthesis With Forward Warping And Depth
WO2023216435A1 (zh) * 2022-05-13 2023-11-16 清华大学 实时三维场景重建方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145338A (zh) * 2019-12-17 2020-05-12 桂林理工大学 一种基于单视角rgb图像的椅子模型重建方法及系统
CN112102477A (zh) * 2020-09-15 2020-12-18 腾讯科技（深圳）有限公司 三维模型重建方法、装置、计算机设备和存储介质
US20230048906A1 (en) * 2020-09-15 2023-02-16 Tencent Technology (Shenzhen) Company Limited Method for reconstructing three-dimensional model, method for training three-dimensional reconstruction model, and apparatus
US20230005217A1 (en) * 2021-06-30 2023-01-05 Tencent America LLC Systems and methods of hierarchical implicit representation in octree for 3d modeling
US20230070514A1 (en) * 2021-08-30 2023-03-09 Nvidia Corporation Performing occlusion-aware global 3d pose and shape estimation of articulated objects
DE102022121509A1 (de) * 2021-09-10 2023-03-16 Nvidia Corporation Einzelbild-inversrendering
US20230281921A1 (en) * 2022-03-01 2023-09-07 Tencent America LLC Methods of 3d clothed human reconstruction and animation from monocular image
CN114708380A (zh) * 2022-03-08 2022-07-05 南京大学 一种基于融合多视角特征与深度学习的三维重建方法
US20230362347A1 (en) * 2022-05-09 2023-11-09 The Regents Of The University Of Michigan Real-Time Novel View Synthesis With Forward Warping And Depth
WO2023216435A1 (zh) * 2022-05-13 2023-11-16 清华大学 实时三维场景重建方法及装置
CN115761178A (zh) * 2022-10-10 2023-03-07 哈尔滨工业大学（深圳） 基于隐式神经表示的多视图三维重建方法
CN116385667A (zh) * 2023-06-02 2023-07-04 腾讯科技（深圳）有限公司 三维模型的重建方法、纹理重构模型的训练方法以及装置

Also Published As

Publication number Publication date
CN117496091B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN108921926B (zh) 一种基于单张图像的端到端三维人脸重建方法
CN111047548B (zh) 姿态变换数据处理方法、装置、计算机设备和存储介质
CN110390638B (zh) 一种高分辨率三维体素模型重建方法
Chen et al. Cross parallax attention network for stereo image super-resolution
CN110728219A (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
Sheng et al. Cross-view recurrence-based self-supervised super-resolution of light field
Cheng et al. Zero-shot image super-resolution with depth guided internal degradation learning
CN113762147B (zh) 人脸表情迁移方法、装置、电子设备及存储介质
CN110929736A (zh) 多特征级联rgb-d显著性目标检测方法
CN113313828B (zh) 基于单图片本征图像分解的三维重建方法与系统
CN113962858A (zh) 一种多视角深度获取方法
Li et al. Semantic point cloud upsampling
CN112950475A (zh) 一种基于残差学习及空间变换网络的光场超分辨率重建方法
CN113781659A (zh) 一种三维重建方法、装置、电子设备及可读存储介质
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
CN113989441B (zh) 基于单张人脸图像的三维漫画模型自动生成方法及系统
Xian et al. Fast generation of high-fidelity RGB-D images by deep learning with adaptive convolution
Hara et al. Enhancement of novel view synthesis using omnidirectional image completion
CN117576292A (zh) 三维场景渲染方法及装置、电子设备、存储介质
CN113240584A (zh) 一种基于图片边缘信息的多任务手势图片超分辨率方法
CN117496091B (zh) 一种基于局部纹理的单视图三维重建方法
CN111311732A (zh) 3d人体网格获取方法及装置
CN116797640A (zh) 一种面向智能伴行巡视器的深度及3d关键点估计方法
CN116385667A (zh) 三维模型的重建方法、纹理重构模型的训练方法以及装置
CN112950653B (zh) 一种注意力图像分割方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant