CN113808275B - 一种基于gcn与拓扑修改的单图像三维重建方法 - Google Patents
一种基于gcn与拓扑修改的单图像三维重建方法 Download PDFInfo
- Publication number
- CN113808275B CN113808275B CN202111120772.5A CN202111120772A CN113808275B CN 113808275 B CN113808275 B CN 113808275B CN 202111120772 A CN202111120772 A CN 202111120772A CN 113808275 B CN113808275 B CN 113808275B
- Authority
- CN
- China
- Prior art keywords
- grid
- network
- image
- vertex
- topology
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000004048 modification Effects 0.000 title claims abstract description 27
- 238000012986 modification Methods 0.000 title claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 22
- 230000008447 perception Effects 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 10
- 238000013138 pruning Methods 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 claims description 4
- 239000002689 soil Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 244000141353 Prunus domestica Species 0.000 abstract 1
- 230000008569 process Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000764238 Isis Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Architecture (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于GCN与拓扑修改的单图像三维重建方法，该方法具体包括如下步骤：输入图像至VGG‑16编码网络，提取特定层的特征图与图像特征向量；预设初始球体网格；根据VGG‑16编码网络提取的特定层的特征图，为初始球体每个顶点赋予图像感知特征，得到附带图像感知特征的球体网格；将该球体网格输入网格形变网络中，变更网格顶点位置，并得到初始三维模型；拓扑修改网络对初始三维模型表面进行修剪，从而更新网格拓扑结构；得到最终三维网格模型；本发明提高重建模型的质量，同时减小变形计算。
Description
技术领域
本发明属于计算机视觉领域。
背景技术
得益于深度学习技术的最新进展，以及ShapeNet、Pix3D等大规模三维形状数据集的发布，从单个图像中重建常规物体的三维网格逐渐成为可能。基于图像进行三维重建是根据单视图或多视图恢复三维信息的过程，其目的是得到与二维图像匹配的三维模型。
在现有的基于深度学习的网格三维重建算法中，Pixel2Mesh是一个由粗到细的网络架构，通过图解池层添加网格顶点，细化网格表面细节；Image2Mesh根据图像特征，组合一个粗糙的拓扑图结构，再根据估计的形变使用网格自由变形FFD来恢复稠密的3D网格模型；TMNet提出了一种拓扑修改网络，其特色在于能够多阶段地修剪网格的拓扑结构。上述方法能够较好地重建图像中物体的表面细节，但也存在一定局限：由于初始网格顶点间有固定的连接关系，当前大多数方法仅在重建近似预定义模板的物体时表现良好，在重建复杂拓扑时会产生不必要的网格自交和连接，从而破坏表面细节；并且受预定义模板限制，无法灵活更新点与面的关系；打破原有的拓扑结构则容易生成锯齿边界和不光滑表面，破坏重建的视觉效果。
发明内容
发明目的：为了解决上述现有技术存在的问题，本发明提出一种基于GCN与拓扑修改的单图像三维重建方法：利用VGG16提取的图像特征，形变过程由图卷积神经网络(GCN)和二维图像特征控制，并在形变过程中穿插拓扑修改模块修剪三维网格结构，使得网格拓扑多样化，最后通过三维监督和正则化方法优化生成的三维表面细节。
技术方案：本发明提供了一种基于GCN与拓扑修改的单图像三维重建方法，包括如下步骤：
步骤1：采用VGG-16编码网络提取图像的特征，得到该图像对应的图像特征向量，并提取VGG-16编码网络第7,10,13层提取的特征图V7，V10，V13；
步骤2：预设初始球体网格；基于步骤1中的V7，V10，V13为初始球体网格的每个顶点赋予图像感知特征，得到附带图像感知特征的球体网格；
步骤3：将步骤2中附带图像感知特征的球体网格输入至网格形变网络中，所述网格形变网络变更球体网格的顶点位置；得到图像中需要重建的物体的初始三维模型；
步骤4：将步骤3中的初始三维模型输入至拓扑修改网络中，该拓扑修改网络对初始三维模型的表面进行修剪，从而更新初始三维模型的网格拓扑结构；得到最终三维网格模型。
进一步的，所述步骤2为初始球体网格的每个顶点赋予图像感知特征的方法具体为：计算初始球体网格中顶点p在图像中的投影点，其中p为该网格中任一顶点；利用双线性差值法寻找出该投影点在特征图V7，V10和V13中的对应点Vp,7，Vp,10以及Vp,13，并将Vp,7周围的像素点的特征进行融合,将融合后的特征作为点Vp,7的特征，将Vp,10周围的像素点的特征进行融合,将融合后的特征作为点Vp,10的特征，将Vp,13周围的像素点的特征进行融合,将融合后的特征作为点Vp,13的特征；将点Vp,7,Vp,10以及Vp,13的特征进行拼接，得到顶点p的图像感知特征；对初始球体网格中所有的顶点按照该方法计算得到附带图像感知特征的球体网格。
进一步的，所述步骤3中网格形变网络采用图残差网络G-ResNet；在图残差网络G-ResNet中输入附带图像感知特征的球体网格的特征向量，所述特征向量包括图像感知特征、网格顶点坐标和顶点形状特征；G-ResNet输出变更后的顶点的特征向量；所述G-ResNet中每一层的卷积运算如下所示：
是顶点p在卷积操作后的特征向量；l表示图残差网络G-ResNet中第l层图卷积层；w0和w1是图残差网络G-ResNet应用于所有顶点的学习参数矩阵，w0用于调整当前顶点p，w1用于调整当前顶点p的相邻顶点q；/>是顶点p在进行卷积操作前的特征向量；/>是与顶点p相邻的顶点的集合；/>为附加在顶点q上的特征向量。
进一步的，所述步骤4中具体为：所述拓扑修改网包括多层感知器MLP，所述拓扑修改网络对初始三维模型的所有三角形表面进行采样点的随机采样；将采样点的坐标组成坐标矩阵；将该坐标矩阵融合VGG-16编码网络输出的图像特征向量，构成特征矩阵；将特征矩阵输入至多层感知器MLP中，所述多层感知器MLP包括依次连接的第一全连接层，第一非线性激活函数ReLu，第二全连接层，第二非线性激活函数ReLu，第三全连接层，第三非线性激活函数ReLu，第四全连接层和第四非线性激活函数tanh；多层感知器MLP输出每个采样点与该采样点对应的地面真实网格顶点之间的距离误差，并计算每个三角形表面上所有采样点误差值的均值，将该均值作为对应三角形表面的误差值；拓扑修改网络中预设有误差阈值τ，拓扑修改网络删除误差值大于等于τ的三角形表面，从而更新网格拓扑结构。
进一步的，对网格形变网络和拓扑修改网络进行训练均采用三维监督方法；网格形变网络和拓扑修改网络的损失函数的表达式相同如下所示：
其中，代表总损失，/>为倒角损失，/>为搬土损失，/>为拉普拉斯正则化，为边长正则化，/>为边界正则化；λ1、λ2、λ3和λ4均为预设的权重参数；当对网格形变网络训练时，λ2＞λ4且λ3＞λ4；当对拓扑修改网络训练时，λ4＞λ2且λ4＞λ3。
有益效果：
(1)本发明将图像编码为特征向量的过程可以重复利用，一方面利用多层特征图级联引导网格顶点变形，另一方面利用最终的一维特征向量进行网格拓扑的修改，提高了三维重建的精度。
(2)本发明为每个网格变形模块添加了拓扑修改网络，解决了重构结果受预定义模板类型限制的问题，同时减小了变形过程的计算量和内存消耗。
(3)本发明引入边界正则化方法约束生成的三维网格模型，对拓扑修剪留下的锯齿边界进行优化，提高了重建模型的质量。
附图说明
图1为本发明流程图。
图2为VGG-16编码网络提取图像特征以及为初始球体网格赋予顶点特征向量的详细说明图。
图3为网格形变网络的详细说明图。
图4为拓扑修改网络的详细说明图。
具体实施方式
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
本实施例提供一种单图像三维重建方法，本方法依照“编码器-解码器”结构，是一种端到端的网络架构。“编码器”由二维卷积神经网络构成，将输入图像转化为不同层的特征图和特征向量。“解码器”包含网格形变网络、拓扑修改网络和边界优化处理。预设初始球体网格，根据图像的局部特征，在网格形变网络中变更球体网格的顶点位置；拓扑修改网络通过修剪明显偏离地面真相的面来更新重构球体网格的拓扑结构；边界优化则是在基础的三维监督上，添加了三种正则化方法处理异常的顶点和边的位置。
该算法采用三维真实数据集ShapeNet训练网格形变网络和拓扑修改网络，并在训练时将数据集分为训练集和测试集。如图1所示，本实施例的具体步骤为：
VGG-16编码网络：
采用VGG-16作为二维图像的特征网络，将输入图像提取为1000维的特征向量，并提取VGG-16第7,10,13层输出的特征图V7，V10，V13。由于使用相同大小的卷积核，VGG-16架构的超参数数量少，在图像编码时简单便捷。
如图2所示，预设一个初始球体网格，包含网格顶点的坐标和附加在各顶点上的初始特征向量。给定初始球体网格上各顶点的三维坐标，通过相机的固有特性计算每个顶点在输入图像上的投影点，由双线性差值法寻找出该投影点在VGG-16中第7层卷积(也即第3个卷积块)后的特征图上的对应点，在VGG-16中第10层卷积(也即第4个卷积块)后的特征图上的对应点，在VGG-16中第13层卷积(也即第5个卷积块)后的特征图上的对应点，提取每个对应点周围像素的特征(本实施例采用周围4个像素点),所述特征包括颜色特征和形状特征；将第7层中对应点周围四个像素的特征进行融合(本实施例采用求平均的方法进行融合)，第10层和13层进行同样的处理，然后将3个融合后的特征串联，作为该顶点形变的特征向量。
网格形变网络：
如图3所示，为了拟合出与图像一致的三维模型，根据从图像提取的特征，将初始球体网格输入图卷积神经网络(GCN)中更新网格顶点；得到更新后的网格拓扑结构，也即初始的三维模型。
GCN本质是一个基于图的残差网络结构G-ResNet，网格变形经过G-ResNet完成顶点的偏移量预测。输入经过融合的图像感知特征、网格顶点坐标、附加在顶点上的形状特征，G-ResNet输出移动后的顶点坐标和特征。
G-ResNet每一层的卷积运算如下表示：
是顶点p在卷积操作后的特征向量；l表示残差网络G-ResNet中第l层图卷积层；w0和w1是G-ResNet应用于所有顶点的可学习的参数矩阵，但w0用于调整当前顶点p，w1用于调整当前顶点p的相邻顶点q；/>是顶点p在进行卷积操作前的特征向量；/>是与顶点p相邻的顶点的集合；/>为附加在当前顶点p的相邻顶点q的特征向量。
由于上述参数矩阵w0及w1在初始变形时尚未训练，所以并不能经过一次变形就得到最优网格模型。该网络根据三维真值监督生成的结果，通过反向传播调整参数w0及w1，直到生成最优的三维网格模型。
拓扑修改网络：
为了减轻形变过程的计算量，并生成更加真实的三维模型，在网格形变网络后添加了拓扑修改网络，通过修剪明显偏离地面真相的面来更新重构网格的拓扑结构，以此动态地修改网格结构中顶点与面地拓扑关系。如图4所示，具体操作为：
在更新后的网格拓扑结构M的所有三角形表面上进行采样点的随机采样，将VGG-16编码网络输出的图像特征向量与包含所有采样点坐标的矩阵融合，构成特征矩阵。误差估计网络将融合的特征矩阵作为输入，并预测每个采样点与对应的三维真实表面的误差值。误差估计网络包括多层感知器MLP，MLP包含四个大小分别为1024、512、256、128的全连接层，并且前三层附带非线性激活函数ReLu，最后一层附带非线性激活函数tanh。MLP对特征矩阵进行仿射变换，使矩阵中采样点坐标逐渐贴近对应的地面真实网格顶点，并输出变换产生的顶点偏移量，即采样点的误差值。计算M中每个网格三角形表面上所有采样点的误差均值，得到每个三角形表面的最终误差怎么得到最终误差。
应用一个阈值策略来删除那些误差超过预定义阈值的面来更新网格拓扑。其中阈值τ需要根据实际情况调整以到达最适合修剪的网格结构。阈值τ过高会减少修剪部分，提高重构误差；阈值τ过低则导致删去过多的三角形表面，破坏网格的拓扑结构。
多层感知器MLP进行训练时，图像对应的三维真值模型是已知的，则采用多层感知器MLP也就知道采样点与已知的三维模型中与采样点对应的点之间的偏移量。
损失函数：
本算法采用三维监督方法，通过三维地面真实数据训练网格形变网络和拓扑修改网络，约束网格的变形结果。损失函数以倒角距离为主，用于约束网格顶点的位置；以搬土距离/>为辅，二次调整顶点位置关系。同时使用一定正则化方法优化结果，其中拉普拉斯正则化调整远离整体网格的“飞点”，边长正则化处理“飞点”产生的过长边，以及边界正则化修剪不平滑的锯齿边界。
拉普拉斯正则化为了保证局部变形的一致性，网络可能会产生一些极大的变形破坏网格的总体形状。尤其是在刚开始训练时，初始网格顶点距离地面真实点集很远，网络可能会预测出一些远离整体网格的“飞点”。因此使用拉普拉斯正则来避免“飞点”的产生和网格的自交。首先为网格拓扑结构M上的顶点p定义一个拉普拉斯坐标φ(p)表示p的邻近顶点，k是p的相邻像素。于是拉普拉斯正则可表示为：
其中δ′p和δp分别为预测点集Srec中顶点p在变形前后的拉普拉斯坐标。
边长正则化为了处理飞点产生的边，保证高质量的三维几何恢复，引入边长正则方法，如下
边界正则化由于对网格模型的拓扑修剪会留下锯齿型边缘，极大地破坏了重建网格的视觉外观。为了进一步提高重建网格的视觉质量，进一步提出了一种新的正则化项，通过强制边界曲线保持平滑和一致来惩罚锯齿形。边界正则化的定义如下
其中x为网格边界点集Se中的一点，代表点x在边界上的相邻顶点的集合，r为中任一点。
因此，用于约束网格的最终损失可定义为(也就损失函数)：
其中λ1、λ2、λ3、λ4分别为的预设的权重参数。当/>训练产生最小值时，输出生成的三维网格模型；所述三维网格模型为网格形变网络或者拓扑修改网络；需要注意的是，上述损失函数只是一个表达式，本发明中虽然网格形变网络或者拓扑修改网络中表达式相同，但是在实际运用中参数的数值并不相同；两者的倒角距离，搬土距离，拉普拉斯正则化或者边界正则化的值不一定相同；当对网格形变网络训练时，λ2＞λ4且λ3＞λ4；当对拓扑修改网络训练时，λ4＞λ2且λ4＞λ3。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
Claims (2)
1.一种基于GCN与拓扑修改的单图像三维重建方法，其特征在于，包括如下步骤：
步骤1：采用VGG-16编码网络提取图像的特征，得到该图像对应的图像特征向量，并提取VGG-16编码网络第7,10,13层提取的特征图V7，V10，V13；
步骤2：预设初始球体网格；基于步骤1中的V7，V10，V13为初始球体网格的每个顶点赋予图像感知特征，得到附带图像感知特征的球体网格；
步骤3：将步骤2中附带图像感知特征的球体网格输入至网格形变网络中，所述网格形变网络变更球体网格的顶点位置；得到图像中需要重建的物体的初始三维模型；
步骤4：将步骤3中的初始三维模型输入至拓扑修改网络中，该拓扑修改网络对初始三维模型的表面进行修剪，从而更新初始三维模型的网格拓扑结构；得到最终三维网格模型；
所述步骤2为初始球体网格的每个顶点赋予图像感知特征的方法具体为：计算初始球体网格中顶点p在图像中的投影点，其中p为该网格中任一顶点；利用双线性差值法寻找出该投影点在特征图V7，V10和V13中的对应点Vp,7，Vp,10以及Vp,13，并将Vp,7周围的像素点的特征进行融合,将融合后的特征作为点Vp,7的特征，将Vp,10周围的像素点的特征进行融合,将融合后的特征作为点Vp,10的特征，将Vp,13周围的像素点的特征进行融合,将融合后的特征作为点Vp,13的特征；将点Vp,7,Vp,10以及Vp,13的特征进行拼接，得到顶点p的图像感知特征；对初始球体网格中所有的顶点按照该方法计算得到附带图像感知特征的球体网格；
所述步骤3中网格形变网络采用图残差网络G-ResNet；在图残差网络G-ResNet中输入附带图像感知特征的球体网格的特征向量，所述特征向量包括图像感知特征、网格顶点坐标和顶点形状特征；G-ResNet输出变更后的顶点的特征向量；所述G-ResNet中每一层的卷积运算如下所示：
是顶点p在卷积操作后的特征向量；l表示图残差网络G-ResNet中第l层图卷积层；w0和w1是图残差网络G-ResNet应用于所有顶点的学习参数矩阵，w0用于调整当前顶点p，w1用于调整当前顶点p的相邻顶点q；/>是顶点p在进行卷积操作前的特征向量；/>是与顶点p相邻的顶点的集合；/>为附加在顶点q上的特征向量；
所述步骤4中具体为：所述拓扑修改网络包括多层感知器MLP，所述拓扑修改网络对初始三维模型的所有三角形表面进行采样点的随机采样；将采样点的坐标组成坐标矩阵；将该坐标矩阵融合VGG-16编码网络输出的图像特征向量，构成特征矩阵；将特征矩阵输入至多层感知器MLP中，所述多层感知器MLP包括依次连接的第一全连接层，第一非线性激活函数ReLu，第二全连接层，第二非线性激活函数ReLu，第三全连接层，第三非线性激活函数ReLu，第四全连接层和第四非线性激活函数tanh；多层感知器MLP输出每个采样点与该采样点对应的地面真实网格顶点之间的距离误差，并计算每个三角形表面上所有采样点误差值的均值，将该均值作为对应三角形表面的误差值；拓扑修改网络中预设有误差阈值τ，拓扑修改网络删除误差值大于等于τ的三角形表面，从而更新网格拓扑结构。
2.根据权利要求1所述的一种基于GCN与拓扑修改的单图像三维重建方法，其特征在于，对网格形变网络和拓扑修改网络进行训练均采用三维监督方法；网格形变网络和拓扑修改网络的损失函数的表达式相同如下所示：
其中，代表总损失，/>为倒角损失，/>为搬土损失，/>为拉普拉斯正则化，/>为边长正则化，/>为边界正则化；λ1、λ2、λ3和λ4均为预设的权重参数；当对网格形变网络训练时，λ2＞λ4且λ3＞λ4；当对拓扑修改网络训练时，λ4＞λ2且λ4＞λ3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111120772.5A CN113808275B (zh) | 2021-09-24 | 2021-09-24 | 一种基于gcn与拓扑修改的单图像三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111120772.5A CN113808275B (zh) | 2021-09-24 | 2021-09-24 | 一种基于gcn与拓扑修改的单图像三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113808275A CN113808275A (zh) | 2021-12-17 |
| CN113808275B true CN113808275B (zh) | 2023-10-13 |
Family
ID=78940298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111120772.5A Active CN113808275B (zh) | 2021-09-24 | 2021-09-24 | 一种基于gcn与拓扑修改的单图像三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113808275B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593209B (zh) * | 2023-12-06 | 2024-07-09 | 深圳信息职业技术学院 | 基于曲率驱动的多流图神经网络三维网格去噪方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389671A (zh) * | 2018-09-25 | 2019-02-26 | 南京大学 | 一种基于多阶段神经网络的单图像三维重建方法 |
| CN109544656A (zh) * | 2018-11-23 | 2019-03-29 | 南京信息工程大学 | 一种基于生成对抗网络的压缩感知图像重建方法及系统 |
| CN110021069A (zh) * | 2019-04-15 | 2019-07-16 | 武汉大学 | 一种基于网格形变的三维模型重建方法 |
| CN110378047A (zh) * | 2019-07-24 | 2019-10-25 | 哈尔滨工业大学 | 一种基于计算机视觉的大跨度桥梁拓扑感知三维重建方法 |
| CN110458957A (zh) * | 2019-07-31 | 2019-11-15 | 浙江工业大学 | 一种基于神经网络的图像三维模型构建方法及装置 |
| US10885707B1 (en) * | 2019-07-23 | 2021-01-05 | Fudan University | Network, system and method for multi-view 3D mesh generation via deformation |
| CN112862949A (zh) * | 2021-01-18 | 2021-05-28 | 北京航空航天大学 | 基于多视图的物体3d形状重建方法 |
| CN112927357A (zh) * | 2021-03-05 | 2021-06-08 | 电子科技大学 | 一种基于动态图网络的3d物体重建方法 |
| CN113077554A (zh) * | 2021-04-08 | 2021-07-06 | 华南理工大学 | 一种基于任意视角图片的三维结构化模型重建的方法 |
| CN113313818A (zh) * | 2021-06-07 | 2021-08-27 | 聚好看科技股份有限公司 | 一种三维重建方法、装置及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10565707B2 (en) * | 2017-11-02 | 2020-02-18 | Siemens Healthcare Gmbh | 3D anisotropic hybrid network: transferring convolutional features from 2D images to 3D anisotropic volumes |
-
2021
- 2021-09-24 CN CN202111120772.5A patent/CN113808275B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389671A (zh) * | 2018-09-25 | 2019-02-26 | 南京大学 | 一种基于多阶段神经网络的单图像三维重建方法 |
| CN109544656A (zh) * | 2018-11-23 | 2019-03-29 | 南京信息工程大学 | 一种基于生成对抗网络的压缩感知图像重建方法及系统 |
| CN110021069A (zh) * | 2019-04-15 | 2019-07-16 | 武汉大学 | 一种基于网格形变的三维模型重建方法 |
| US10885707B1 (en) * | 2019-07-23 | 2021-01-05 | Fudan University | Network, system and method for multi-view 3D mesh generation via deformation |
| CN110378047A (zh) * | 2019-07-24 | 2019-10-25 | 哈尔滨工业大学 | 一种基于计算机视觉的大跨度桥梁拓扑感知三维重建方法 |
| CN110458957A (zh) * | 2019-07-31 | 2019-11-15 | 浙江工业大学 | 一种基于神经网络的图像三维模型构建方法及装置 |
| CN112862949A (zh) * | 2021-01-18 | 2021-05-28 | 北京航空航天大学 | 基于多视图的物体3d形状重建方法 |
| CN112927357A (zh) * | 2021-03-05 | 2021-06-08 | 电子科技大学 | 一种基于动态图网络的3d物体重建方法 |
| CN113077554A (zh) * | 2021-04-08 | 2021-07-06 | 华南理工大学 | 一种基于任意视角图片的三维结构化模型重建的方法 |
| CN113313818A (zh) * | 2021-06-07 | 2021-08-27 | 聚好看科技股份有限公司 | 一种三维重建方法、装置及系统 |
Non-Patent Citations (3)
| Title |
|---|
| Learning 3D Semantic Scene Graphs From 3D Indoor Reconstructions;Johanna Wald 等;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;3960-3969 * |
| 单幅图像服装三维重建技术研究;曹宇;《中国优秀硕士学位论文全文数据库 信息科技辑》(第05期);I138-769 * |
| 基于深度学习的图像三维重建的研究;郎雅琨;《中国优秀硕士学位论文全文数据库信息科技辑》(第09期);I138-503 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113808275A (zh) | 2021-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Nerf-art: Text-driven neural radiance fields stylization | |
| CN112889092B (zh) | 有纹理的神经化身 | |
| Fan et al. | Unified implicit neural stylization | |
| CN108921926B (zh) | 一种基于单张图像的端到端三维人脸重建方法 | |
| CN103606186B (zh) | 一种图像与视频的虚拟发型建模方法 | |
| CN111429347A (zh) | 图像超分辨率重建方法、装置及计算机可读存储介质 | |
| CN109271933A (zh) | 基于视频流进行三维人体姿态估计的方法 | |
| CN111784602A (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN111986075B (zh) | 一种目标边缘清晰化的风格迁移方法 | |
| Chen et al. | Towards Deep Style Transfer: A Content-Aware Perspective. | |
| CN110310351B (zh) | 一种基于草图的三维人体骨骼动画自动生成方法 | |
| CN110335350B (zh) | 基于地形特征的虚拟地形生成方法 | |
| CA3137297C (en) | Adaptive convolutions in neural networks | |
| CN113077554A (zh) | 一种基于任意视角图片的三维结构化模型重建的方法 | |
| CN116385667B (zh) | 三维模型的重建方法、纹理重构模型的训练方法以及装置 | |
| CN114998515A (zh) | 一种基于多视角图像的3d人体自监督重建方法 | |
| CN113808275B (zh) | 一种基于gcn与拓扑修改的单图像三维重建方法 | |
| CN114387392B (zh) | 一种根据人影重建三维人体姿态的方法 | |
| CN116934936A (zh) | 一种三维场景风格迁移方法、装置、设备及存储介质 | |
| CN116051936A (zh) | 基于时空分离外部注意力的叶绿素浓度有序补全方法 | |
| Kubade et al. | Afn: Attentional feedback network based 3d terrain super-resolution | |
| CN113808039B (zh) | 基于高斯过程映射的迁移学习去雾方法与系统 | |
| CN115908712A (zh) | 基于图像的三维重建及模型训练方法、设备及存储介质 | |
| CN113112596B (zh) | 人脸几何模型提取、3d人脸重建方法、设备及存储介质 | |
| CN114882173A (zh) | 一种基于隐式表达的3d单目头发建模方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |