CN113610711A - 一种单图像引导的三维表面重建方法及装置 - Google Patents

一种单图像引导的三维表面重建方法及装置 Download PDF

Info

Publication number
CN113610711A
CN113610711A CN202110879676.2A CN202110879676A CN113610711A CN 113610711 A CN113610711 A CN 113610711A CN 202110879676 A CN202110879676 A CN 202110879676A CN 113610711 A CN113610711 A CN 113610711A
Authority
CN
China
Prior art keywords
dimensional
image
vertex
grid
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110879676.2A
Other languages
English (en)
Other versions
CN113610711B (zh
Inventor
张小瑞
徐枫
孙伟
孙星明
夏志华
付章杰
袁程胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202110879676.2A priority Critical patent/CN113610711B/zh
Publication of CN113610711A publication Critical patent/CN113610711A/zh
Application granted granted Critical
Publication of CN113610711B publication Critical patent/CN113610711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种单图像引导的三维表面重建方法及装置，首先，建立一个预定义的顶点分布均匀的椭球体网格；其次，采用轻量级网络AlexNet的主体架构提取输入图像特征：将AlexNet后三个卷积池化层生成的特征图像拼接，采用双线性插值法，寻找到原图像投影点在各个特征图像上的特征点；提取特征点邻近四个像素的图像特征向量并串联；然后，构建基于三维图卷积神经网络的网格变形模块，将预定义的椭球体网格变形为与二维图像对应的三维模型；最后，增加网格顶点数量，优化表面细节，并通过最小化三维损失函数调整参数矩阵，生成三维网格模型。本发明生成了高精度的三维网格表面模型，能够预测出更丰富的三维表面细节。

Description

一种单图像引导的三维表面重建方法及装置
技术领域
本发明属于计算机视觉领域，具体涉及一种单图像引导的三维表面重建方法及装置。
背景技术
三维重建是计算机视觉领域的核心研究方向之一。如今众多研究集中于识别方向，但识别只是计算机视觉的一部分。真正意义上的计算机视觉要超越识别，感知三维环境。我们活在三维空间里，要做到交互和感知，就必须将世界恢复到三维。而当下的三维重建方法中，传统的多视角几何重建方法在多视角捕获上耗时长，重建效率过低。以往深度学习的重建算法大多采用体素或是点云的输出结构。体素表示在提升精度时会极大地耗费内存和增加计算时长；点云中的顶点没有连接关系，因此难于形成视觉效果良好的三维表面。而网格表示作为一种能够生成光滑曲面的输出结构，其本身却不易融合于深度学习的框架。
为了解决上述问题，本发明利用图卷积神经网络(GCN)对图拓扑结构的识别性和预测性，将整个三维网格看作一个图的数据结构，通过输入图像引导网格顶点变形，完成二维图像重建三维模型的过程。同时通过添加网格顶点、增加GCN的网络分支等方法，可以提升三维重建的质量。
发明内容
发明目的：本发明提供一种单图像引导的三维表面重建方法及装置，能生成高精度的三维网格表面模型，并预测出更丰富的三维表面细节。
技术方案：本发明提供一种单图像引导的三维表面重建方法，具体包括以下步骤：
(1)建立一个预定义的顶点分布均匀的椭球体网格，采用轻量级网络AlexNet的主体架构对输入图像进行特征提取：将AlexNet后三个卷积池化层生成的特征图像拼接，采用双线性插值法，寻找到原图像投影点在各个特征图像上的特征点；提取特征点邻近四个像素的图像特征向量并串联；
(2)构建基于三维图卷积神经网络的网格变形模块，将预定义的椭球体网格变形为与二维图像对应的三维模型；所述网格变形模块的主架构为图的残差网络，输入为椭球体网格的顶点坐标、顶点特征和步骤(1)中获取的串联的图像特征向量，输出为新的顶点坐标、颜色特征、纹理特征；
(3)增加网格顶点数量，优化表面细节，并通过三维监督约束生成三维网格表面模型。
进一步地，所述步骤(2)包括以下步骤：
(21)初始椭球体网格模型为M＝(V,E,F),其中，V是所有网格顶点的集合；E是所有边的集合，每条边连接两个顶点；F是附加在顶点上的特征向量，是操控顶点变形的基准；GCN对图的特征进行提取如下：
Figure BDA0003191527350000021
其中，Hl和Hl+1分别为更新前后的网格模型拓扑结构，也即整个三维网格所有顶点的特征向量的集合；l代表任一图卷积层，l越大网络的深度越大；当l＝0时，Hl特化为输入图像的特征矩阵；
Figure BDA0003191527350000022
为图的邻接矩阵A加上了单位矩阵,Wl为待训练的参数矩阵；
Figure BDA0003191527350000023
是一种拉普拉斯矩阵，引入了图自身的度矩阵D，对邻接矩阵A进行了归一化操作；
(22)构建图卷积残差网络并对其进行训练：构建共有a个图卷积层的深度残差网络，每两个层之间有一个残差连接；从网络的第b层开始，添加平行分支；残差网络中各添加4个图卷积块用于预测顶点的颜色特征和纹理特征；
(23)生成新顶点和特征：GCN根据输入的三维顶点特征和二维图像特征的串联，预测出每个顶点新的三维坐标和三维特征；
(24)损失函数调参：通过深度残差网络的反向传播调整参数矩阵Wl，直到生成最优的三维网格模型。
进一步地，所述步骤(3)实现过程如下：
将添加顶点后的三维模型再次输入网格变形模块中，对新添加的顶点继续提取特征，运行图卷积更新顶点位置和顶点特征，进一步细化三维网格模型。
进一步地，所述步骤(24)实现过程如下
Figure BDA0003191527350000024
Figure BDA0003191527350000031
Figure BDA0003191527350000032
Figure BDA0003191527350000033
lall＝λ1lc+λ2le+λ3llap+λ4lloc (7)
其中，lc为倒角距离、le为搬土距离、llap为拉普拉斯正则化、lloc为边长正则化，lall为总损失；p表示预测点集S1中的一个顶点，q表示地面真实点集S2中的一个顶点，φ(p)表示p的邻近顶点，k是p的邻近像素；δ′p和δp分别为预测网格中顶点p在变形前后的拉普拉斯坐标；λm(m＝1,2,3,4)为可调整的权重参数；当总损失lall最小时，整个GCN训练完成。
基于相同的发明构思，本发明提出一种单图像引导的三维表面重建装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现上述的单图像引导的三维表面重建方法。
有益效果：与现有技术相比，本发明的有益效果：1、在提取二维图像局部特征时，使用AlexNet处理输入图像，能够快速地融合投影点及其四周像素的浅层特征，计算时间短，内存占用量小；提取时将AlexNet的后三层特征图像融合，同时兼顾了图像的几何特征和语义特征；2、在基础的图卷积残差网络上添加了两个分支，用于预测颜色特征和纹理特征，能够预测出更丰富的三维表面细节；3、同时引入倒角距离和搬土距离对训练结果进行三维监督，并使用拉普拉斯正则和边长正则化方法来优化最终结果，基于单张二维图像生成了高精度的三维网格表面模型。
附图说明
图1为本发明的流程图；
图2为图卷积残差网络分支结构示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明提出一种单图像引导的三维表面重建方法，主要包含二维图像的局部特征提取，以及三维网格顶点的变形两个部分。二维图像通过CNN的部分架构提取输入图像特征；三维网格顶点根据二维图像局部特征，利用GCN对初始定义的椭球体网格模型应用变形。首先建立一个预定义的椭球体网格，网格上顶点分布均匀；将椭球体网格输入到网格变形模块中，其分为二维图像的特征提取网络和三维图卷积残差网络两个部分，前者的结果将作为该三维图卷积残差网络输入的一部分，然后输出经过变形的拓扑网格；增加网格顶点数量，优化表面细节，将模型再次输入网格变形模块中，形成一个循环，并通过三维监督约束生成的模型。如图1所示，具体包括以下步骤：
步骤1：采用轻量级网络AlexNet的主体架构对输入图像进行特征提取。
采用轻量级网络AlexNet的主体架构对输入图像进行特征提取，该网络提取浅层特征(诸如颜色、形状等)时计算量小，耗时短，表现优异。根据给定的相机位置和初始网格的三维顶点坐标，采用投影的方式获取顶点在图像上的对应位置。拟将AlexNet后三个卷积池化层生成的特征图像拼接，采用双线性插值法，寻找到原图像投影点在各个特征图像上的特征点；提取特征点邻近四个像素的图像特征向量并串联。
步骤2：构建基于三维图卷积神经网络的网格变形模块:。
将预定义的椭球体网格变形为与二维图像对应的三维模型；网格变形模块的主架构为图的残差网络，输入为椭球体网格的顶点坐标、顶点特征和步骤1中获取的串联的图像特征向量，输出为新的顶点坐标、颜色特征、纹理特征。
①基于图卷积的顶点变形预测：
本实施方式中采用的初始椭球体网格模型其本质上是一个图的基本数据结构，可以被表示为M＝(V,E,F),其中V是所有网格顶点的集合；E是所有边的集合，每条边连接两个顶点；F是附加在顶点上的特征向量，是操控顶点变形的基准。GCN与二维的CNN类似，但GCN是应用图这样的非结构化信息的网络，是对图的特征进行提取。GCN前后层更新的通式如下：
Figure BDA0003191527350000041
其中，Hl和Hl+1分别为更新前后的网格模型拓扑结构，也即整个三维网格所有顶点的特征向量的集合；l代表任一图卷积层，l越大网络的深度越大；当l＝0时，Hl特化为输入图像的特征矩阵；
Figure BDA0003191527350000051
为图的邻接矩阵A加上了单位矩阵,Wl为待训练的参数矩阵；
Figure BDA0003191527350000052
是一种拉普拉斯矩阵，引入了图自身的度矩阵D，对邻接矩阵A进行了归一化操作；这么做考虑到了顶点自身特征对于训练过程的影响，同时规范化后的邻接矩阵A在提取特征时可以避免一些问题，比如邻居节点多的节点倾向于有更大的影响力。最后使用激活函数σ完成一次卷积更新，得到新的特征矩阵。可采用诸如ReLu等不同的激活函数训练网络，此处的激活函数σ并不唯一。运行卷积更新特征的过程，相当于应用网格顶点的变形。
GCN根据输入的三维顶点特征和二维图像特征的串联，预测出每个顶点新的三维坐标和三维特征，这就相当于完成了一次变形。但是由于上述的参数矩阵Wl在第一次变形时尚未训练，所以并不能经过一次变形就得到最优的网格模型。该网络根据一定的损失函数，通过深度残差网络的反向传播调整参数矩阵Wl，直到生成最优的三维网格模型。
②基于图的卷积神经网络结构设计：
图卷积神经网络结构如图2所示。图中每一个板块代表一个图卷积块，在本实施方式中也即预测变形的整个三维网格顶点；每一个箭头代表运行一次图卷积。通过该神经网络预测每个顶点的新位置和三维形状特征。这需要在顶点之间有效地交换信息。受二维CNN较小感受野的限制，通常的网络结构只允许相邻位置的顶点交换信息，这大大降低了信息交换的效率。
本实施方式采用一个具有捷径连接的深度网络，即基于图卷积的残差网络。在三维中引入残差网络同样可以减少训练过程中梯度消失和梯度爆炸的问题。设计的深度残差网络共有a个图卷积层，每两个层之间有一个残差连接。
从网络的第b层开始，添加了一些平行分支，不仅可以产生每个顶点的三维位置，还可以产生顶点的其他属性，而顶点坐标本质上也可以看作是顶点的一种属性。该网络各添加了4个图卷积块用于预测顶点的颜色特征和纹理特征。
③损失函数：
采用四种损失函数来约束输出形状的性质和变形过程，以保证有较好视觉效果的三维网格。倒角距离和搬土距离用于约束网格顶点的位置，采用拉普拉斯正则化用于保持变形过程中相邻顶点之间的相对位置，以及使用边长正则化来防止异常。这些损失在中间过程和最终网格上都以同等的权重应用。除非特别提到，用p表示预测点集S1中的一个顶点，q表示地面真实点集S2中的一个顶点，φ(p)表示p的邻近顶点。
a)倒角距离
倒角距离lc是三维重建领域最常见的约束函数，最初用于点云集合中，来表示预测顶点与地面真实值的差值：
Figure BDA0003191527350000061
如果该损失较大，则说明两组顶点区别较大；如果较小，则说明重建效果较好。
b)搬土距离
搬土距离le被定义为一个集合中的一点和另一个集合中的一点在所有可能的对应排列上的距离之和的最小值。
Figure BDA0003191527350000062
c)拉普拉斯正则化
即使存在倒角距离和搬土距离，优化过程也容易陷入局部极小值，网络可能会预测出一些“飞点”(远离整体网格的顶点)。
因此拟采用拉普拉斯正则化来避免这一问题。为了计算这个损失，首先为预测网格中的顶点p定义一个拉普拉斯坐标δp:
Figure BDA0003191527350000063
其中，φ(p)为p的邻近顶点，k是p的相邻像素。
则拉普拉斯正则化表示如下：
Figure BDA0003191527350000064
其中，δ′p和δp分别为预测网格中顶点p在变形前后的拉普拉斯坐标。
d)边长正则化
为了处理这些“飞点”产生较长的不规范的边，需要引入边长正则化的约束lloc，其表示如下：
Figure BDA0003191527350000071
其中φ(p)为p的邻近顶点，k是p的邻近像素。
最后形成总损失lall：
lall＝λ1lc+λ2le+λ3llap+λ4lloc (7)
其中，λm(m＝1,2,3,4)为可调整的权重参数。当总损失lall最小时，整个GCN训练完成。
步骤3：增加网格顶点数量，优化表面细节，并通过三维监督约束生成三维网格表面模型。
被训练来直接预测有大量顶点的网格的网络在开始时容易出错，并且以后很难修复。一个原因是一个顶点不能有效地从其他一些边远离的顶点检索特征，即顶点有限的接受域。为解决该问题，同时优化网格表面细节，运用一种由粗到细的变形方法，在初始阶段，由于顶点数量较少，网络学习将顶点分布到最具代表性的位置，然后随着顶点数量的增加添加局部细节。
将添加顶点后的三维模型再次输入网格变形模块中，对新添加的顶点继续提取特征，运行图卷积更新顶点位置和顶点特征，进一步细化三维网格模型。
基于相同的发明构思，本发明提出一种单图像引导的三维表面重建装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现上述的单图像引导的三维表面重建方法。

Claims (5)

1.一种单图像引导的三维表面重建方法，其特征在于，包括以下步骤：
(1)建立一个预定义的顶点分布均匀的椭球体网格，采用轻量级网络AlexNet的主体架构对输入图像进行特征提取：将AlexNet后三个卷积池化层生成的特征图像拼接，采用双线性插值法，寻找到原图像投影点在各个特征图像上的特征点；提取特征点邻近四个像素的图像特征向量并串联；
(2)构建基于三维图卷积神经网络的网格变形模块，将预定义的椭球体网格变形为与二维图像对应的三维模型；所述网格变形模块的主架构为图的残差网络，输入为椭球体网格的顶点坐标、顶点特征和步骤(1)中获取的串联的图像特征向量，输出为新的顶点坐标、颜色特征、纹理特征；
(3)增加网格顶点数量，优化表面细节，并通过三维监督约束生成三维网格表面模型。
2.根据权利要求1所述的单图像引导的三维表面重建方法，其特征在于，所述步骤(2)包括以下步骤：
(21)初始椭球体网格模型为M＝(V,E,F),其中，V是所有网格顶点的集合；E是所有边的集合，每条边连接两个顶点；F是附加在顶点上的特征向量，是操控顶点变形的基准；GCN对图的特征进行提取如下：
Figure FDA0003191527340000011
其中，Hl和Hl+1分别为更新前后的网格模型拓扑结构，也即整个三维网格所有顶点的特征向量的集合；l代表任一图卷积层，l越大网络的深度越大；当l＝0时，Hl特化为输入图像的特征矩阵；
Figure FDA0003191527340000012
为图的邻接矩阵A加上了单位矩阵,Wl为待训练的参数矩阵；
Figure FDA0003191527340000013
是一种拉普拉斯矩阵，引入了图自身的度矩阵D，对邻接矩阵A进行了归一化操作；
(22)构建图卷积残差网络并对其进行训练：构建共有a个图卷积层的深度残差网络，每两个层之间有一个残差连接；从网络的第b层开始，添加平行分支；残差网络中各添加4个图卷积块用于预测顶点的颜色特征和纹理特征；
(23)生成新顶点和特征：GCN根据输入的三维顶点特征和二维图像特征的串联，预测出每个顶点新的三维坐标和三维特征；
(24)损失函数调参：通过深度残差网络的反向传播调整参数矩阵Wl，直到生成最优的三维网格模型。
3.根据权利要求1所述的单图像引导的三维表面重建方法，其特征在于，所述步骤(3)实现过程如下：
将添加顶点后的三维模型再次输入网格变形模块中，对新添加的顶点继续提取特征，运行图卷积更新顶点位置和顶点特征，进一步细化三维网格模型。
4.根据权利要求2所述的单图像引导的三维表面重建方法，其特征在于，所述步骤(24)实现过程如下
Figure FDA0003191527340000021
Figure FDA0003191527340000022
Figure FDA0003191527340000023
Figure FDA0003191527340000024
lall＝λ1lc+λ2le+λ3llap+λ4lloc (7)
其中，lc为倒角距离、le为搬土距离、llap为拉普拉斯正则化、lloc为边长正则化，lall为总损失；p表示预测点集S1中的一个顶点，q表示地面真实点集S2中的一个顶点，φ(p)表示p的邻近顶点，k是p的邻近像素；δ′p和δp分别为预测网格中顶点p在变形前后的拉普拉斯坐标；λm(m＝1,2,3,4)为可调整的权重参数；当总损失lall最小时，整个GCN训练完成。
5.一种单图像引导的三维表面重建装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-4任一项所述的单图像引导的三维表面重建方法。
CN202110879676.2A 2021-08-02 2021-08-02 一种单图像引导的三维表面重建方法及装置 Active CN113610711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110879676.2A CN113610711B (zh) 2021-08-02 2021-08-02 一种单图像引导的三维表面重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110879676.2A CN113610711B (zh) 2021-08-02 2021-08-02 一种单图像引导的三维表面重建方法及装置

Publications (2)

Publication Number Publication Date
CN113610711A true CN113610711A (zh) 2021-11-05
CN113610711B CN113610711B (zh) 2023-05-23

Family

ID=78338999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110879676.2A Active CN113610711B (zh) 2021-08-02 2021-08-02 一种单图像引导的三维表面重建方法及装置

Country Status (1)

Country Link
CN (1) CN113610711B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315152A (zh) * 2023-09-27 2023-12-29 杭州一隅千象科技有限公司 双目立体成像方法及其系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350904A1 (en) * 2014-03-18 2016-12-01 Huawei Technologies Co., Ltd. Static Object Reconstruction Method and System
CN109147048A (zh) * 2018-07-23 2019-01-04 复旦大学 一种利用单张彩色图的三维网格重建方法
CN110021069A (zh) * 2019-04-15 2019-07-16 武汉大学 一种基于网格形变的三维模型重建方法
CN110288671A (zh) * 2019-06-25 2019-09-27 南京邮电大学 基于三维对抗性生成网络的低剂量cbct图像重建方法
CN110458957A (zh) * 2019-07-31 2019-11-15 浙江工业大学 一种基于神经网络的图像三维模型构建方法及装置
CN111368896A (zh) * 2020-02-28 2020-07-03 南京信息工程大学 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN112862949A (zh) * 2021-01-18 2021-05-28 北京航空航天大学 基于多视图的物体3d形状重建方法
CN112927357A (zh) * 2021-03-05 2021-06-08 电子科技大学 一种基于动态图网络的3d物体重建方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350904A1 (en) * 2014-03-18 2016-12-01 Huawei Technologies Co., Ltd. Static Object Reconstruction Method and System
CN109147048A (zh) * 2018-07-23 2019-01-04 复旦大学 一种利用单张彩色图的三维网格重建方法
US20200027269A1 (en) * 2018-07-23 2020-01-23 Fudan University Network, System and Method for 3D Shape Generation
CN110021069A (zh) * 2019-04-15 2019-07-16 武汉大学 一种基于网格形变的三维模型重建方法
CN110288671A (zh) * 2019-06-25 2019-09-27 南京邮电大学 基于三维对抗性生成网络的低剂量cbct图像重建方法
CN110458957A (zh) * 2019-07-31 2019-11-15 浙江工业大学 一种基于神经网络的图像三维模型构建方法及装置
CN111368896A (zh) * 2020-02-28 2020-07-03 南京信息工程大学 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN112862949A (zh) * 2021-01-18 2021-05-28 北京航空航天大学 基于多视图的物体3d形状重建方法
CN112927357A (zh) * 2021-03-05 2021-06-08 电子科技大学 一种基于动态图网络的3d物体重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈加等: "深度学习在基于单幅图像的物体三维重建中的应用" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315152A (zh) * 2023-09-27 2023-12-29 杭州一隅千象科技有限公司 双目立体成像方法及其系统
CN117315152B (zh) * 2023-09-27 2024-03-29 杭州一隅千象科技有限公司 双目立体成像方法及其系统

Also Published As

Publication number Publication date
CN113610711B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
Chen et al. Point-based multi-view stereo network
CN110458957B (zh) 一种基于神经网络的图像三维模型构建方法及装置
Chen et al. Visibility-aware point-based multi-view stereo network
CN112927357B (zh) 一种基于动态图网络的3d物体重建方法
CN109064514B (zh) 一种基于投影点坐标回归的六自由度位姿估计方法
CN108038906B (zh) 一种基于图像的三维四边形网格模型重建方法
CN104268934B (zh) 一种由点云直接重建三维曲面的方法
De-Maeztu et al. Near real-time stereo matching using geodesic diffusion
CN109005398B (zh) 一种基于卷积神经网络的立体图像视差匹配方法
CN108665491A (zh) 一种基于局部参考点的快速点云配准方法
CN112862949B (zh) 基于多视图的物体3d形状重建方法
Wang et al. Efficient multi-view stereo by iterative dynamic cost volume
CN111028335A (zh) 一种基于深度学习的点云数据的分块面片重建方法
CN104851133A (zh) 一种图像自适应网格生成变分方法
CN113610711A (zh) 一种单图像引导的三维表面重建方法及装置
CN110532670B (zh) 一种适分析样条实体模型构建方法及系统
CN113808006B (zh) 一种基于二维图像重建三维网格模型的方法及装置
CN108921852B (zh) 基于视差与平面拟合的双分支室外非结构化地形分割网络
CN116758219A (zh) 基于神经网络的区域感知多视角立体匹配三维重建方法
CN111161289A (zh) 图像中物体轮廓精度提升方法、装置和计算机程序产品
Hudagi et al. Bayes-probabilistic-based fusion method for image inpainting
CN112837420B (zh) 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统
CN115100382A (zh) 一种基于混合表征的神经表面重建系统及方法
CN112634281A (zh) 一种基于图卷积网络的网格分割方法
Jensen et al. Deep Active Latent Surfaces for Medical Geometries

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant