CN113593007A - 一种基于变分自编码的单视图三维点云重建方法及系统 - Google Patents

一种基于变分自编码的单视图三维点云重建方法及系统 Download PDF

Info

Publication number
CN113593007A
CN113593007A CN202110765278.8A CN202110765278A CN113593007A CN 113593007 A CN113593007 A CN 113593007A CN 202110765278 A CN202110765278 A CN 202110765278A CN 113593007 A CN113593007 A CN 113593007A
Authority
CN
China
Prior art keywords
point cloud
view
dimensional point
feature map
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110765278.8A
Other languages
English (en)
Other versions
CN113593007B (zh
Inventor
胡若澜
陈纪刚
张涵
陈忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110765278.8A priority Critical patent/CN113593007B/zh
Publication of CN113593007A publication Critical patent/CN113593007A/zh
Application granted granted Critical
Publication of CN113593007B publication Critical patent/CN113593007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于变分自编码的单视图三维点云重建方法及系统，属于计算机视觉技术领域，方法包括：构建并训练单视图三维点云重建网络模型，单视图三维点云重建网络模型包括变分自编码模块、特征提取模块和解码器；获取单视图图像，利用变分自编码模块计算单视图图像的特征图的均值和方差，并根据均值和方差将特征图映射为标准正态分布的标准特征图，标准特征图与特征图的特征维度相同；再利用特征提取模块对标准特征图进行特征提取，得到多尺度特征图；利用解码器对提取的多尺度特征图进行多尺度特征提取及融合，以重建与单视图图像对应的三维点云模型。能够有效提升单视图图像三维点云重建的性能。

Description

一种基于变分自编码的单视图三维点云重建方法及系统
技术领域
本发明属于计算机视觉技术领域，更具体地，涉及一种基于变分自编码的单视图三维点云重建方法及系统。
背景技术
三维信息可以为研究人员提供很多有价值的内容，在动画制作、医疗健康、考古还原、智能自动驾驶、工业制造等领域具有重要的应用价值。随着成像技术的快速发展，获取单视图的图像变得方便快捷。但是，在单视图成像过程中的三维投影可能导致部分信息被遮挡，使得从单视图的二维图像中获取三维信息具有挑战性。
根据输出表示方法的不同，基于深度学习的三维重建方法可以分为三种：基于体素表示的三维重建、基于网格表示的三维重建和基于点云表示的三维重建。体素表示消耗的计算资源大，表示空间分辨率受到限制，重建的细节容易缺失。网格表示具有不规则性，不方便深度学习方法处理。点云表示简单，便于表示存在几何变换和变形的三维物体，近年来基于点云表示的三维重建方法受到重视。随着大量三维模型的构建和三维数据的精准细化，基于深度学习的三维重建方法在训练数据的问题得到了缓解，但是，如何提高单视图三维点云重建的精度和处理速度仍是有待解决的问题。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于变分自编码的单视图三维点云重建方法及系统，其目的在于解决现有单视图三维点云重建精度低、训练速度慢的问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于变分自编码的单视图三维点云重建方法，包括：S1，构建并训练单视图三维点云重建网络模型，所述单视图三维点云重建网络模型包括变分自编码模块、特征提取模块和解码器；S2，获取单视图图像，并利用所述变分自编码模块计算所述单视图图像的特征图的均值和方差，并根据所述均值和方差将所述特征图映射为标准正态分布的标准特征图，所述标准特征图与所述特征图的特征维度相同；S3，利用所述特征提取模块对所述标准特征图进行多尺度特征提取，得到多尺度特征图；S4，利用所述解码器对所述多尺度特征图进行多尺度特征提取及融合，以重建与所述单视图图像对应的三维点云模型。
更进一步地，所述单视图三维点云重建网络模型的损失函数为基于均值倒角距离的损失函数，所述S1中训练单视图三维点云重建网络模型包括：以所述基于均值倒角距离的损失函数最小为训练目标，训练所述单视图三维点云重建网络模型。
更进一步地，所述基于均值倒角距离的损失函数为：
Figure BDA0003150978390000021
Figure BDA0003150978390000022
其中，Loss为所述基于均值倒角距离的损失函数，
Figure BDA0003150978390000023
为第k个物体的预测点集坐标，
Figure BDA0003150978390000024
为第k个物体的真实点集坐标，k＝1,2,…,N，N为训练集中物体的总数，
Figure BDA0003150978390000025
为
Figure BDA0003150978390000026
与
Figure BDA0003150978390000027
之间的均值倒角距离，x为
Figure BDA0003150978390000028
中的点的集合，y为
Figure BDA0003150978390000029
中的点的集合，xi为
Figure BDA00031509783900000210
中第i个点，yi为
Figure BDA00031509783900000211
中第i个点，i＝1,2,…,n，n为需要查找的最近邻的点的个数。
更进一步地，所述S1中利用KD树最近邻搜索算法计算所述基于均值倒角距离的损失函数。
更进一步地，所述S3中映射得到的标准特征图为：
Figure BDA0003150978390000031
其中，y为所述标准特征图，x为所述单视图图像的特征图，E[x]为特征图x的均值，Var[x]为特征图x的方差，ε为定常数，γ为方差调整参数，β为均值调整参数。
更进一步地，所述单视图三维点云重建网络模型具有3个输入通道，所述S2中获取单视图图像包括：获取3通道的所述单视图图像。
更进一步地，所述变分自编码模块为两层网络结构，每层网络包括卷积层和变分自编码层，所述卷积层用于提取所述单视图图像的特征以得到所述单视图图像的特征图，所述变分自编码层用于将所述单视图图像的特征图映射为所述标准特征图。
更进一步地，所述特征提取模块为五层网络结构；所述解码器包括多尺度特征提取模块、全连接模块和特征融合模块；所述全连接模块的输入连接所述特征提取模块的输出，用于对所述特征提取模块输出的最高层特征图进行解码，所述S4包括：S41，利用所述多尺度特征提取模块对所述五层网络结构中后四层网络的输出分别进行上采样，得到相应的通道特征图；S42，从第五层网络至第二层网络，逐层将后一层网络相应的通道特征图与前一层网络相应的通道特征图依次进行特征值相加、卷积和反卷积操作，得到多尺度特征图；S43，利用所述特征融合模块对所述多尺度特征提取模块输出的所述多尺度特征图和所述全连接模块输出的特征图进行融合，得到所述三维点云模型。
更进一步地，所述S41中利用反卷积层对所述五层网络结构中第五层网络的输出进行上采样，利用卷积层对所述五层网络结构中第二至第四层网络的输出进行上采样。
按照本发明的另一个方面，提供了一种基于变分自编码的单视图三维点云重建系统，包括：构建模块，用于构建并训练单视图三维点云重建网络模型，所述单视图三维点云重建网络模型包括变分自编码模块、特征提取模块和解码器；所述变分自编码模块用于获取单视图图像，计算所述单视图图像的特征图的均值和方差，并根据所述均值和方差将所述特征图映射为标准正态分布的标准特征图，所述标准特征图与所述特征图的特征维度相同；所述特征提取模块用于对所述标准特征图进行多尺度特征提取，得到多尺度特征图；所述解码器用于对所述多尺度特征图进行多尺度特征提取及融合，以重建与所述单视图图像对应的三维点云模型。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：构建基于变分自编码的编码器-解码器结构的单视图三维点云重建网络模型，在编码器中增加变分自编码模块以将单视图的特征图映射为标准特征图，提高了单视图三维点云重建的精度；在解码器中增加多尺度融合模块，实现多尺度特征提取融合功能，进一步提高了单视图三维点云重建的精度；此外，利用KD树最近邻搜索算法计算基于均值倒角距离的损失函数，减少了网络模型训练过程中损失函数的计算量，提高了网络模型的训练速度。
附图说明
图1为本发明实施例提供的基于变分自编码的单视图三维点云重建方法的流程图；
图2为本发明实施例提供的变分自编码模块的网络结构示意图；
图3为本发明实施例提供的多尺度特征融合模块的网络结构示意图；
图4为本发明实施例提供的基于变分自编码的单视图三维点云重建方法的网络组成框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
图1为本发明实施例提供的基于变分自编码的单视图三维点云重建方法的流程图。参阅图1，结合图2-图4，对本实施例中基于变分自编码的单视图三维点云重建方法进行详细说明，方法包括操作S1-操作S4。
操作S1，构建并训练单视图三维点云重建网络模型，单视图三维点云重建网络模型包括变分自编码模块、特征提取模块和解码器。
单视图三维点云重建网络模型以单视图图像为输入，以三维点云模型为输出，用于重建单视图图像的三维点云模型。参阅图4，单视图三维点云重建网络模型包括编码器和解码器两部分。编码器部分增加变分自编码模块，提高单视图拍摄视角的适应性，包括变分自编码模块和特征提取模块，变分自编码模块为两层网络结构，特征提取模块为五层网络结构。
解码器部分增加了多尺度特征融合模块，增加重建三维点云模型中的局部细节。多尺度特征融合模块包括多尺度特征提取模块和特征融合模块，解码器部分还包括全连接模块。全连接模块的输入连接特征提取模块的输出，用于对特征提取模块输出的多尺度特征图进行解码，并输出相应的特征图。多尺度特征提取模块的输入连接特征提取模块的输出。全连接模块的输出和多尺度特征提取模块的输出均连接至特征融合模块的输入。
单视图三维点云重建网络模型的损失函数为基于均值倒角距离的损失函数Loss：
Figure BDA0003150978390000061
Figure BDA0003150978390000062
其中，Loss为基于均值倒角距离的损失函数，
Figure BDA0003150978390000063
为第k个物体的预测点集坐标，
Figure BDA0003150978390000064
为第k个物体的真实点集坐标，
Figure BDA0003150978390000065
和
Figure BDA0003150978390000066
表示相应点集坐标中点的个数且
Figure BDA0003150978390000067
k＝1,2,…,N，N为训练集中物体的总数，
Figure BDA0003150978390000068
为
Figure BDA0003150978390000069
与
Figure BDA00031509783900000610
之间的均值倒角距离，x为
Figure BDA00031509783900000611
中的点的集合，y为
Figure BDA00031509783900000612
中的点的集合，xi为
Figure BDA00031509783900000613
中第i个点，yi为
Figure BDA00031509783900000614
中第i个点，i＝1,2,…,n，n为需要查找的最近邻的点的个数，n优选取值为3。
操作S1中，以基于均值倒角距离的损失函数Loss最小为训练目标，训练单视图三维点云重建网络模型。训练过程中，利用KD树最近邻搜索算法计算该基于均值倒角距离的损失函数Loss。
操作S2，获取单视图图像，并利用变分自编码模块计算单视图图像的特征图的均值和方差，并根据均值和方差将特征图映射为标准正态分布的标准特征图，标准特征图与特征图的特征维度相同。
单视图三维点云重建网络模型具有3个输入通道，如图2所示。变分自编码模块设计为两层网络结构，每层网络中包含卷积层和变分自编码层。其中，卷积层包含1个卷积块，用于提取单视图图像的特征以得到该单视图图像的特征图；变分自编码层包含1个变分自编码块，用于将该单视图图像的特征图映射为标准特征图。变分自编码模块的输入为三通道的分辨率为192×256的单视图图像，输出为96×128×16的标准特征图。
每层网络中的变分自编码块按通道计算卷积块输出的特征图的均值和方差，并按通道将特征图映射为标准正态分布的标准特征图，如图2所示。经过变分自编码后的特征维度保持不变，避免特征信息的损失。映射公式为：
Figure BDA0003150978390000071
Figure BDA0003150978390000072
Figure BDA0003150978390000073
其中，y为标准特征图，x为卷积块输出的单视图图像的特征图，E[x]为特征图x的均值，Var[x]为特征图x的方差，ε为定常数，γ为方差调整参数，β为均值调整参数。通过操作S1中的网络训练对参数γ和β进行迭代更新。ε为一个小的定常数，取值优选为1e-5。
三通道的单视图图像输入至单视图三维点云重建网络模型，变分自编码模块按通道提取各通道单视图图像的特征，并将其映射为符合标准正态分布的标准特征图。
操作S3，利用特征提取模块对变分自编码模块输出的标准特征图进行特征提取，得到多尺度特征图。
特征提取模块采用5个卷积块共14层卷积层提取变分自编码块输出的标准特征图的特征，输入特征维数为96×128×16，输出特征维数为3×4×256。特征提取模块利用多层卷积块提取映射后特征图的特征，得到多尺度特征图。
操作S4，利用解码器对多尺度特征图进行多尺度特征提取及融合，以重建与单视图图像对应的三维点云模型。
根据本发明的实施例，操作S4包括子操作S41-子操作S43。
在子操作S41中，利用多尺度特征提取模块对编码器的五层网络结构中后四层网络的输出分别进行上采样，得到相应的通道特征图。
根据本发明实施例，利用反卷积层对第5层网络的输出进行上采样，利用卷积层对第2、3、4层网络的输出进行上采样，采样率均为2倍。第5层网络经过反卷积采样得到128个通道特征图；第4层网络经过卷积采样得到128个通道特征图；第3层网络经过卷积采样得到64个通道特征图；第2层网络经过卷积采样得到32个通道特征图。
S42，从第五层网络至第二层网络，逐层将后一层网络相应的通道特征图与前一层网络相应的通道特征图依次进行特征值相加、卷积和反卷积操作，得到多尺度特征图；
具体地，参阅图3，第5层网络经过反卷积采样得到128个通道特征图与第4层网路卷积采样得到的128个通道特征图进行对应通道的特征值相加，相加后的特征经过卷积和反卷积层得到64个通道特征图，再与第3层网络卷积采样得到的64个通道特征图进行对应通道的特征值相加，再经过卷积和反卷积得到32个通道特征图，再与第2层网络卷积采样得到的32个通道特征图进行对应通道的特征值相加，再经过一层卷积层和维度变换后输出大小为768×3的多尺度特征图。
S43，利用特征融合模块对多尺度特征提取模块输出的多尺度特征图和全连接模块输出的特征图进行融合，得到三维点云模型。
特征融合模块对多尺度特征提取模块输出的大小为768×3的多尺度特征图与全连接模块输出的大小为256×3的特征图进行融合，得到大小为1024×3的三维点云模型。该三维点云模型进行可视化处理后即可输出显示。
为了验证本发明实施例中基于变分自编码的单视图三维点云重建方法的单视图三维点云重建结果，本实施例中，基于ShapeNetCore.v2数据集进行验证。采用Z_buffer算法将ShapeNetCore.v2数据集中的OBJ文件生成为单视图的二维图像，并将该OBJ文件转换为三维点云真实值。实验中，使用ShapeNetCore.v2数据集中的飞机、轮船、汽车、椅子、长凳、枪和台灯等7类数据，每个类别数据中，4/5作为训练集，1/5作为测试集，利用训练集对单视图三维点云重建网络模型进行训练，并在测试集上进行单视图三维点云重建的性能评估。
单视图三维点云重建网络模型的训练过程如下：将训练集中的单视图图像输入至单视图三维点云重建网络模型，得到预测的三维点云重建结果，根据预测结果对单视图三维点云重建网络模型的网络参数进行调整。本实例中采用随机梯度下降法(stochasticgradient descent，SGD)优化器作为训练优化算法，批数据大小设置为32，模型的迭代次数为1000代，初始学习率为0.001。
利用训练好的单视图三维点云重建网络模型对测试集进行测试，同时，使用其他几种现有的基于深度学习的单视图三维点云重建方法对测试集进行测试，计算测试集上的角距离、推土机距离、重叠度(Intersection over Union，IoU)值和训练时间，实验结果如表1所示。
表1单视图三维点云重建性能对比表
Figure BDA0003150978390000091
从表1所示结果可以看出，相比于其他三种方法，本发明实施例中方法的倒角距离和推土机距离最低、IoU值最高、训练时间最少。测试结果表明，本发明实施例中基于变分自编码的单视图三维点云重建方法，其生成的三维点云模型更接近真实值，并且训练时间更低，即，本发明实施例中的方法以最短的训练时间训练网络模型，且达到了最优的单视图三维点云重建性能。
本发明实施例还提供了一种基于变分自编码的单视图三维点云重建系统，系统包括构建模块，该构建模块用于构建并训练单视图三维点云重建网络模型，单视图三维点云重建网络模型包括变分自编码模块、特征提取模块和解码器。
变分自编码模块用于获取单视图图像，计算单视图图像的特征图的均值和方差，并根据均值和方差将特征图映射为标准正态分布的标准特征图，标准特征图与特征图的特征维度相同。特征提取模块用于对标准特征图进行多尺度特征提取，得到多尺度特征图。解码器用于对多尺度特征图进行多尺度特征提取及融合，以重建与单视图图像对应的三维点云模型。
基于变分自编码的单视图三维点云重建系统用于执行上述图1-图4所示实施例中的基于变分自编码的单视图三维点云重建方法。本实施例未尽之细节，请参阅前述图1-图4所示实施例中的基于变分自编码的单视图三维点云重建方法，此处不再赘述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于变分自编码的单视图三维点云重建方法，其特征在于，包括：
S1，构建并训练单视图三维点云重建网络模型，所述单视图三维点云重建网络模型包括变分自编码模块、特征提取模块和解码器；
S2，获取单视图图像，并利用所述变分自编码模块计算所述单视图图像的特征图的均值和方差，并根据所述均值和方差将所述特征图映射为标准正态分布的标准特征图，所述标准特征图与所述特征图的特征维度相同；
S3，利用所述特征提取模块对所述标准特征图进行多尺度特征提取，得到多尺度特征图；
S4，利用所述解码器对所述多尺度特征图进行多尺度特征提取及融合，以重建与所述单视图图像对应的三维点云模型。
2.如权利要求1所述的基于变分自编码的单视图三维点云重建方法，其特征在于，所述单视图三维点云重建网络模型的损失函数为基于均值倒角距离的损失函数，所述S1中训练单视图三维点云重建网络模型包括：以所述基于均值倒角距离的损失函数最小为训练目标，训练所述单视图三维点云重建网络模型。
3.如权利要求2所述的基于变分自编码的单视图三维点云重建方法，其特征在于，所述基于均值倒角距离的损失函数为：
Figure FDA0003150978380000011
Figure FDA0003150978380000012
其中，Loss为所述基于均值倒角距离的损失函数，
Figure FDA0003150978380000013
为第k个物体的预测点集坐标，
Figure FDA0003150978380000014
为第k个物体的真实点集坐标，k＝1,2,…,N，N为训练集中物体的总数，
Figure FDA0003150978380000021
为
Figure FDA0003150978380000022
与
Figure FDA0003150978380000023
之间的均值倒角距离，x为
Figure FDA0003150978380000024
中的点的集合，y为
Figure FDA0003150978380000025
中的点的集合，xi为
Figure FDA0003150978380000026
中第i个点，yi为
Figure FDA0003150978380000027
中第i个点，i＝1,2,…,n，n为需要查找的最近邻的点的个数。
4.如权利要求2所述的基于变分自编码的单视图三维点云重建方法，其特征在于，所述S1中利用KD树最近邻搜索算法计算所述基于均值倒角距离的损失函数。
5.如权利要求1所述的基于变分自编码的单视图三维点云重建方法，其特征在于，所述S2中映射得到的标准特征图为：
Figure FDA0003150978380000028
其中，y为所述标准特征图，x为所述单视图图像的特征图，E[x]为特征图x的均值，Var[x]为特征图x的方差，ε为定常数，γ为方差调整参数，β为均值调整参数。
6.如权利要求1所述的基于变分自编码的单视图三维点云重建方法，其特征在于，所述单视图三维点云重建网络模型具有3个输入通道，所述S2中获取单视图图像包括：获取3通道的所述单视图图像。
7.如权利要求1所述的基于变分自编码的单视图三维点云重建方法，其特征在于，所述变分自编码模块为两层网络结构，每层网络中包括卷积层和变分自编码层，所述卷积层用于提取所述单视图图像的特征以得到所述单视图图像的特征图，所述变分自编码层用于将所述单视图图像的特征图映射为所述标准特征图。
8.如权利要求1-7任一项所述的基于变分自编码的单视图三维点云重建方法，其特征在于，所述特征提取模块为五层网络结构；所述解码器包括多尺度特征提取模块、全连接模块和特征融合模块；所述全连接模块的输入连接所述特征提取模块的输出，用于对所述特征提取模块输出的最高层特征图进行解码，所述S4包括：
S41，利用所述多尺度特征提取模块对所述五层网络结构中后四层网络的输出分别进行上采样，得到相应的通道特征图；
S42，从第五层网络至第二层网络，逐层将后一层网络相应的通道特征图与前一层网络相应的通道特征图依次进行特征值相加、卷积和反卷积操作，得到多尺度特征图；
S43，利用所述特征融合模块对所述多尺度特征提取模块输出的所述多尺度特征图和所述全连接模块输出的特征图进行融合，得到所述三维点云模型。
9.如权利要求8所述的基于变分自编码的单视图三维点云重建方法，其特征在于，所述S41中利用反卷积层对所述五层网络结构中第五层网络的输出进行上采样，利用卷积层对所述五层网络结构中第二至第四层网络的输出进行上采样。
10.一种基于变分自编码的单视图三维点云重建系统，其特征在于，包括：
构建模块，用于构建并训练单视图三维点云重建网络模型，所述单视图三维点云重建网络模型包括变分自编码模块、特征提取模块和解码器；
所述变分自编码模块用于获取单视图图像，计算所述单视图图像的特征图的均值和方差，并根据所述均值和方差将所述特征图映射为标准正态分布的标准特征图，所述标准特征图与所述特征图的特征维度相同；
所述特征提取模块用于对所述标准特征图进行多尺度特征提取，得到多尺度特征图；
所述解码器用于对所述多尺度特征图进行多尺度特征提取及融合，以重建与所述单视图图像对应的三维点云模型。
CN202110765278.8A 2021-07-07 2021-07-07 一种基于变分自编码的单视图三维点云重建方法及系统 Active CN113593007B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110765278.8A CN113593007B (zh) 2021-07-07 2021-07-07 一种基于变分自编码的单视图三维点云重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110765278.8A CN113593007B (zh) 2021-07-07 2021-07-07 一种基于变分自编码的单视图三维点云重建方法及系统

Publications (2)

Publication Number Publication Date
CN113593007A true CN113593007A (zh) 2021-11-02
CN113593007B CN113593007B (zh) 2024-04-26

Family

ID=78245997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110765278.8A Active CN113593007B (zh) 2021-07-07 2021-07-07 一种基于变分自编码的单视图三维点云重建方法及系统

Country Status (1)

Country Link
CN (1) CN113593007B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661277A (zh) * 2022-10-20 2023-01-31 中山大学 基于变分自编码的台风云图外推方法、系统、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070595A (zh) * 2019-04-04 2019-07-30 东南大学 一种基于深度学习的单张图像3d对象重建方法
US20210042929A1 (en) * 2019-01-22 2021-02-11 Institute Of Automation, Chinese Academy Of Sciences Three-dimensional object detection method and system based on weighted channel features of a point cloud
CN112396703A (zh) * 2020-11-18 2021-02-23 北京工商大学 一种单图像三维点云模型重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210042929A1 (en) * 2019-01-22 2021-02-11 Institute Of Automation, Chinese Academy Of Sciences Three-dimensional object detection method and system based on weighted channel features of a point cloud
CN110070595A (zh) * 2019-04-04 2019-07-30 东南大学 一种基于深度学习的单张图像3d对象重建方法
CN112396703A (zh) * 2020-11-18 2021-02-23 北京工商大学 一种单图像三维点云模型重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
肖铭杰: "基于深度学习的单视图三维点云重建方法研究", 中国优秀硕士学位论文全文数据库信息科技辑, 15 February 2021 (2021-02-15) *
陈加 等: "深度学习在基于单幅图像的物体三维重建中的应用", 自动化学报, no. 04, 28 November 2018 (2018-11-28) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661277A (zh) * 2022-10-20 2023-01-31 中山大学 基于变分自编码的台风云图外推方法、系统、设备和介质

Also Published As

Publication number Publication date
CN113593007B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
JP6745328B2 (ja) 点群データを復旧するための方法及び装置
CN110458939B (zh) 基于视角生成的室内场景建模方法
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN108399649B (zh) 一种基于级联回归网络的单张图片三维人脸重建方法
CN108921926B (zh) 一种基于单张图像的端到端三维人脸重建方法
CN110288695B (zh) 基于深度学习的单帧图像三维模型表面重建方法
CN110570522B (zh) 一种多视图三维重建方法
CN112861729B (zh) 一种基于伪深度图引导的实时深度补全方法
CN112927359B (zh) 一种基于深度学习和体素的三维点云补全方法
CN110910437B (zh) 一种复杂室内场景的深度预测方法
CN113158288A (zh) 一种基于构件复用与重装配的信息模型几何轻量化方法
CN111043988B (zh) 一种基于图形学和深度学习的单张条纹投影测量方法
CN112233249A (zh) 基于密集点云的b样条曲面拟合方法及装置
CN101080747A (zh) 来自单纯形网格的高质量的精确的曲面三角剖分
CN114359509A (zh) 一种基于深度学习的多视图自然场景重建方法
CN110992366A (zh) 一种图像语义分割方法、装置及存储介质
Son et al. SAUM: Symmetry-aware upsampling module for consistent point cloud completion
CN110717978B (zh) 基于单张图像的三维头部重建方法
CN115546442A (zh) 基于感知一致损失的多视图立体匹配重建方法及系统
CN115272599A (zh) 一种面向城市信息模型的三维语义地图构建方法
CN113593007A (zh) 一种基于变分自编码的单视图三维点云重建方法及系统
CN111028335A (zh) 一种基于深度学习的点云数据的分块面片重建方法
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
Zhou et al. A superior image inpainting scheme using Transformer-based self-supervised attention GAN model
CN113256543A (zh) 一种基于图卷积神经网络模型的点云补全方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant