CN114663543A - 一种基于深度学习和多视图几何的虚拟视图合成方法 - Google Patents

一种基于深度学习和多视图几何的虚拟视图合成方法 Download PDF

Info

Publication number
CN114663543A
CN114663543A CN202210332808.4A CN202210332808A CN114663543A CN 114663543 A CN114663543 A CN 114663543A CN 202210332808 A CN202210332808 A CN 202210332808A CN 114663543 A CN114663543 A CN 114663543A
Authority
CN
China
Prior art keywords
view
virtual view
pixel
network
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210332808.4A
Other languages
English (en)
Inventor
张雪涛
邓旺
郭宇
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202210332808.4A priority Critical patent/CN114663543A/zh
Publication of CN114663543A publication Critical patent/CN114663543A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习和多视图几何的虚拟视图合成方法，1、选取包含不同场景的视图合成公开数据集，并对场景中的图像做预处理，然后划分训练集、验证集和测试集；2、基于多视图几何，搭建用于虚拟视图合成的神经网络模型，网络最终的输出为图像中任意像素的像素值；3、使用训练集和验证集对虚拟视图合成神经网络模型进行训练，得到虚拟视图合成模型；4、为了合成虚拟视图，对该虚拟视图对应的虚拟视角进行重投影；然后对于投影之后的坐标点，使用虚拟视图合成模型来获取其对应的像素值，将所有坐标点的像素值进行组合，合成得到虚拟视图图像。本发明保证了合成的虚拟视图具有多视图几何一致性，并且可以直接将其应用于未知场景。

Description

一种基于深度学习和多视图几何的虚拟视图合成方法
技术领域
本发明属于计算机视觉和图形学的应用领域，具体涉及一种基于深度学习和多视图几何的虚拟视图合成方法。
背景技术
虚拟视图合成技术是计算机视觉和图像学的一个经典课题，其在现实生活的很多领域都有很广泛的应用。在医学领域，可以通过虚拟视图合成技术，对手术器官进行实时高精度的合成，帮助医生从任意角度观察手术器官，从而对手术器官进行精准的操作；在军事领域，可以通过虚拟视图合成技术合成完整的作战场景，提高应急和战备能力；在体育方面，通过虚拟视图合成技术，可以让观众从任意视角观看比赛，提供更佳的观赛体验；在娱乐方面，虚拟现实VR的主要技术就是虚拟视图合成技术。由于虚拟视图合成技术在许多场景都有不可或缺的作用，因此，探索一种高质量的虚拟视图合成算法具有重要的理论意义和使用价值。
随着深度学习的快速发展，涌现出许多基于深度学习的虚拟视图合成方法，并取得了不错的效果。但是这些方法都有共同的缺点，即需要事先采集大量的源图像几何以及对每个场景单独进行长时间的训练优化。这导致这些方法很难应用在现实场景中，并实现对不同场景进行快速的虚拟视图合成。因此，针对这些缺点，构建高质量且快速的虚拟视图合成网络模型是一个很重要的方向。
发明内容
本发明的目的在于，针对现有算法需要采集大量的源图像以及需要单独对每个场景进行长时间训练优化的缺点，提出了一种基于深度学习和多视图几何的虚拟视图合成方法。本发明通过结合多视图几何，充分利用多视图几何全局和局部信息，构造有效的场景特征，实现高质量且快速的虚拟视图合成。
为了达到上述目的，本发明采用如下技术方案：
一种基于深度学习和多视图几何的虚拟视图合成方法，包括如下步骤：
步骤A：选取包含不同场景的视图合成公开数据集，对数据集中的每个场景，获取其所有图像的相机内外参，然后将数据集划分训练集、验证集和测试集；
步骤B：基于多视图几何，搭建用于虚拟视图合成的虚拟视图合成神经网络模型，网络最终输出为图像中任意像素的像素值；
步骤C：使用步骤A得到的训练集和验证集训练虚拟视图合成神经网络模型，得到适用于不同复杂场景的虚拟视图合成模型；
步骤D：为了合成虚拟视图，首先对该虚拟视图对应的虚拟视角进行反投影，然后将反投影之后的所有坐标点输入到步骤C中得到的虚拟视图合成模型中，得到所有坐标点对应的像素值，将这些像素值进行组合并调整尺寸，即得到合成的虚拟视图图像。
所述步骤B的具体步骤如下：
步骤B01：虚拟视图合成神经网络模型使用特征金字塔网络作为源视角图像的特征提取网络；对M张源视角图像
Figure BDA0003575873110000021
进行特征提取，在特征金字塔网络的第二层、第五层和第八层分别加上自注意力层，并将对应的输出作为图像的多尺度特征，表示为
Figure BDA0003575873110000022
其中
Figure BDA0003575873110000023
和
Figure BDA0003575873110000024
具有不同的尺寸，相对源视角图像分别进行了1倍、2倍和4倍下采样；
步骤B02：使用平均分组相关性指标，分别在M个源视角下对步骤B01中的图像多尺度特征
Figure BDA0003575873110000031
进行聚合，得到M个代价立方体
Figure BDA0003575873110000032
然后，使用三维卷积网络对代价立方体进行卷积，得到M个包含丰富的多视图几何信息的多视图几何编码特征体，记为
Figure BDA0003575873110000033
其中，三维卷积网络的网络结构包括下采样层和上采样层，网络输出的尺寸和输入的尺寸保持一致；
步骤B03：对于场景三维空间中的任意位置点P，假设其坐标为xP＝(x,y,z)，对应的相机视角方向为dP＝(dx,dy,dz)；将点P分别投影到M个源视角对应的相机坐标系和像素坐标系下，得到投影之后的坐标分别为
Figure BDA0003575873110000034
和
Figure BDA0003575873110000035
根据投影之后的坐标，首先，通过对源视角图像
Figure BDA0003575873110000036
进行线性插值，得到多视图聚合颜色特征，记为：
cP＝concat(I1(p1),…,IM(pM))
式中，concat表示连接操作；然后，通过对步骤B01中得到图像多尺度特征
Figure BDA0003575873110000037
以及多视图几何编码特征体
Figure BDA0003575873110000038
进行线性插值，得到多视图视角相关特征为：
Figure BDA0003575873110000039
最后，通过对点P在不同视角下的二维和三维特征求取平均值和方差，得到多视图视角无关全局特征为：
fP＝[mean2D,var2D,mean3D,var3D]
式中：
Figure BDA00035758731100000310
Figure BDA00035758731100000311
Figure BDA0003575873110000041
Figure BDA0003575873110000042
式中，mean表示求平均值操作，var表示求方差操作；上述特征是每个场景独有的，即为每个场景都单独进行特征构造；
步骤B04：将步骤B03中获取的关于任意位置P的坐标特征xP、相机视角特征dP、多视图聚合颜色特征cP、多视图视角相关特征fp ′和多视图视角无关全局特征fP进行连接，得到一个输入特征inputP，然后，将其输入到一个多层感知机网络中，网络的输出为点P对应的体密度σ和RGB颜色值c；即(σ,c)＝MLP(inputP)，其中MLP表示多层感知机网络，该网络只有若干全连接层，没有任何卷积层；
步骤B05：为了对图像进行合成，需要合成图像中每一个像素的像素值；对于任意像素，为了渲染出对应的像素值，通过对经过该像素位置的一条射线进行采样，然后使用步骤B04中所述的多层感知机网络来获取每个采样点的体密度和RGB颜色值；最后，使用体渲染技术对射线上采样点的RGB颜色值进行累积，从而得到对应像素的像素值。
所述步骤C的具体步骤如下：
步骤C01：对步骤B中搭建的虚拟视图合成神经网络模型进行训练时，使用L2范数作为网络的损失函数，即损失函数为
Figure BDA0003575873110000043
其中N表示每次训练选取的像素个数，
Figure BDA0003575873110000044
表示网络输出的第i个像素对应的像素值预测值，
Figure BDA0003575873110000045
表示第i个像素对应的像素值真值；
步骤C02：使用经过预处理之后的训练集和验证集，将其输入到搭建的虚拟视图合成神经网络模型中，通过反向传播算法最小化步骤C01中的损失函数，不断优化虚拟视图合成神经网络模型参数，得到最优的虚拟视图合成模型。
步骤A中将数据集划分为80％的训练集、10％的验证集和10％的测试集。
与现有技术相比，本发明具有以下优点：
第一，由于本发明在合成虚拟视图时构造了大量与该虚拟视角相关的特征，所以本发明不需要事先采集大量的源图像，只需要少量的源图像(最少只需要3张)就可以合成高质量的虚拟视图；
第二，由于本发明结合了多视图几何，充分利用了多视图图像特征，所以本发明合成的虚拟视图保持了多视图几何一致性，更加符合人眼视觉感受；
第三，由于本发明为每个场景都构造单独的特征，所以可以同时使用若干场景对模型进行训练。因此本发明可以直接将训练好的模型应用于其他未知场景，而不用对每个场景都单独进行长时间的训练优化，从而实现快速的跨场景虚拟视图合成。
第四，本发明可以很方便的对每个场景进行快速的微调训练，从而进一步提高合成虚拟视图的质量。
附图说明
图1是本发明方法的整体流程图。
图2是本发明搭建的虚拟视图合成神经网络模型架构图。
具体实施方式
下面结合附图详细介绍本发明各步骤中的具体细节。
本发明提出了一种基于深度学习和多视图几何的虚拟视图合成方法，该方法的整个流程如图1所示。
该方法主要包括以下步骤：
步骤A：选取包含不同场景的视图合成公开数据集，对数据集中的每个场景，获取其所有图像的相机内外参，然后将数据集划分训练集、验证集和测试集。
步骤B：基于多视图几何，搭建用于虚拟视图合成的虚拟视图合成神经网络模型，网络最终输出为图像中任意像素的像素值。其中，虚拟视图合成神经网络模型架构如图2所示。
所述步骤B的具体步骤如下：
步骤B01：虚拟视图合成神经网络模型使用特征金字塔网络作为源视角图像的特征提取网络；对M张源视角图像
Figure BDA0003575873110000061
进行特征提取，在特征金字塔网络的第二层、第五层和第八层分别加上自注意力层，并将对应的输出作为图像的多尺度特征，表示为
Figure BDA0003575873110000062
其中
Figure BDA0003575873110000063
和
Figure BDA0003575873110000064
具有不同的尺寸，相对源视角图像分别进行了1倍、2倍和4倍下采样。
步骤B02：使用平均分组相关性指标，分别在M个源视角下对步骤B01中的图像多尺度特征
Figure BDA0003575873110000065
进行聚合，得到M个代价立方体
Figure BDA0003575873110000066
然后，使用三维卷积网络对代价立方体进行卷积，得到M个包含丰富的多视图几何信息的多视图几何编码特征体，记为
Figure BDA0003575873110000067
其中，三维卷积网络的网络结构包括下采样层和上采样层，网络输出的尺寸和输入的尺寸保持一致。
步骤B03：对于场景三维空间中的任意位置点P，假设其坐标为xP＝(x,y,z)，对应的相机视角方向为dP＝(dx,dy,dz)；将点P分别投影到M个源视角对应的相机坐标系和像素坐标系下，得到投影之后的坐标分别为
Figure BDA0003575873110000068
和
Figure BDA0003575873110000069
根据投影之后的坐标，首先，通过对源视角图像
Figure BDA00035758731100000610
进行线性插值，得到多视图聚合颜色特征，记为：
cP＝concat(I1(p1),…,IM(pM))
式中，concat表示连接操作；然后，通过对步骤B01中得到图像多尺度特征
Figure BDA0003575873110000071
以及多视图几何编码特征体
Figure BDA0003575873110000072
进行线性插值，得到多视图视角相关特征为：
Figure BDA0003575873110000073
最后，通过对点P在不同视角下的二维和三维特征求取平均值和方差，得到多视图视角无关全局特征为：
fP＝[mean2D,var2D,mean3D,var3D]
式中：
Figure BDA0003575873110000074
Figure BDA0003575873110000075
Figure BDA0003575873110000076
Figure BDA0003575873110000077
式中，mean表示求平均值操作，var表示求方差操作；上述特征是每个场景独有的，即为每个场景都单独进行特征构造。步骤B04：将步骤B03中获取的关于任意位置P的坐标特征xP、相机视角特征dP、多视图聚合颜色特征cP、多视图视角相关特征f′p和多视图视角无关全局特征fP进行连接，得到一个输入特征inputP。然后，将其输入到一个多层感知机网络中，网络的输出为点P对应的体密度σ和RGB颜色值c。即(σ,c)＝MLP(inputP)，其中MLP表示多层感知机网络，该网络只有若干全连接层，没有任何卷积层。
步骤B05：为了对图像进行合成，需要合成图像中每一个像素的像素值。对于任意像素，为了渲染出对应的像素值，通过对经过该像素位置的一条射线进行采样，然后使用步骤B04中所述的多层感知机网络来获取每个采样点的体密度和RGB颜色值。最后，使用体渲染技术对射线上采样点的RGB颜色值进行累积，从而得到对应像素的像素值。
步骤C：使用步骤A得到的训练集和验证集训练虚拟视图合成神经网络模型，得到适用于不同复杂场景的虚拟视图合成模型。
所述步骤C的具体步骤如下：
步骤C01：对步骤B中搭建的虚拟视图合成神经网络模型进行训练时，使用L2范数作为网络的损失函数。即损失函数为
Figure BDA0003575873110000081
其中N表示每次训练选取的像素个数，
Figure BDA0003575873110000082
表示网络输出的第i个像素对应的像素值预测值，
Figure BDA0003575873110000083
表示第i个像素对应的像素值真值。
步骤C02：使用经过预处理之后的训练集和验证集，将其输入到搭建的虚拟视图合成神经网络模型中。通过反向传播算法最小化步骤C01中的损失函数，不断优化虚拟视图合成神经网络模型参数，得到最优的虚拟视图合成模型。
步骤D：为了合成虚拟视图，首先对该虚拟视图对应的虚拟视角进行反投影，然后将反投影之后的所有坐标点输入到步骤C中得到的虚拟视图合成模型中，得到所有坐标点对应的像素值，将这些像素值进行组合并调整尺寸，即可得到合成的虚拟视图图像。
在步骤A中得到的训练集上，对目前使用较广泛的虚拟视图合成方法以及本发明的方法进行训练，训练完成后再使用不同测试集对不同的方法进行测试。结果如下表1所示，表中符号↑表示对应数值越大越好，符号↓表示对应数值越小越好。其中，将最好的结果用斜体加粗标注，将第二好的结果用下划线标注。从表1可以看出，本发明方法在不同数据集上，与其他方法相比，各种指标均有一定程度的提升，说明本发明方法的有效性。
表1
Figure BDA0003575873110000091
。

Claims (4)

1.一种基于深度学习和多视图几何的虚拟视图合成方法，包括如下步骤：
步骤A：选取包含不同场景的视图合成公开数据集，对数据集中的每个场景，获取其所有图像的相机内外参，然后将数据集划分训练集、验证集和测试集；
步骤B：基于多视图几何，搭建用于虚拟视图合成的虚拟视图合成神经网络模型，网络最终输出为图像中任意像素的像素值；
步骤C：使用步骤A得到的训练集和验证集训练虚拟视图合成神经网络模型，得到适用于不同复杂场景的虚拟视图合成模型；
步骤D：为了合成虚拟视图，首先对该虚拟视图对应的虚拟视角进行反投影，然后将反投影之后的所有坐标点输入到步骤C中得到的虚拟视图合成模型中，得到所有坐标点对应的像素值，将这些像素值进行组合并调整尺寸，即得到合成的虚拟视图图像。
2.根据权利要求1所述的一种基于深度学习和多视图几何的虚拟视图合成方法，其特征在于：所述步骤B的具体步骤如下：
步骤B01：虚拟视图合成神经网络模型使用特征金字塔网络作为源视角图像的特征提取网络；对M张源视角图像
Figure FDA0003575873100000011
进行特征提取，在特征金字塔网络的第二层、第五层和第八层分别加上自注意力层，并将对应的输出作为图像的多尺度特征，表示为
Figure FDA0003575873100000012
其中
Figure FDA0003575873100000013
和
Figure FDA0003575873100000014
具有不同的尺寸，相对源视角图像分别进行了1倍、2倍和4倍下采样；
步骤B02：使用平均分组相关性指标，分别在M个源视角下对步骤B01中的图像多尺度特征
Figure FDA0003575873100000015
进行聚合，得到M个代价立方体
Figure FDA0003575873100000016
然后，使用三维卷积网络对代价立方体进行卷积，得到M个包含丰富的多视图几何信息的多视图几何编码特征体，记为
Figure FDA0003575873100000021
其中，三维卷积网络的网络结构包括下采样层和上采样层，网络输出的尺寸和输入的尺寸保持一致；
步骤B03：对于场景三维空间中的任意位置点P，假设其坐标为xP＝(x,y,z)，对应的相机视角方向为dP＝(dx,dy,dz)；将点P分别投影到M个源视角对应的相机坐标系和像素坐标系下，得到投影之后的坐标分别为
Figure FDA0003575873100000022
和
Figure FDA0003575873100000023
根据投影之后的坐标，首先，通过对源视角图像
Figure FDA0003575873100000024
进行线性插值，得到多视图聚合颜色特征，记为：
cP＝concat(I1(p1),…,IM(pM))
式中，concat表示连接操作；然后，通过对步骤B01中得到图像多尺度特征
Figure FDA0003575873100000025
以及多视图几何编码特征体
Figure FDA0003575873100000026
进行线性插值，得到多视图视角相关特征为：
Figure FDA0003575873100000027
最后，通过对点P在不同视角下的二维和三维特征求取平均值和方差，得到多视图视角无关全局特征为：
fP＝[mean2D,var2D,mean3D,var3D]
式中：
Figure FDA0003575873100000028
Figure FDA0003575873100000029
Figure FDA00035758731000000210
Figure FDA00035758731000000211
式中，mean表示求平均值操作，var表示求方差操作；上述特征是每个场景独有的，即为每个场景都单独进行特征构造；
步骤B04：将步骤B03中获取的关于任意位置P的坐标特征xP、相机视角特征dP、多视图聚合颜色特征cP、多视图视角相关特征f′p和多视图视角无关全局特征fP进行连接，得到一个输入特征inputP，然后，将其输入到一个多层感知机网络中，网络的输出为点P对应的体密度σ和RGB颜色值c；即(σ,c)＝MLP(inputP)，其中MLP表示多层感知机网络，该网络只有若干全连接层，没有任何卷积层；
步骤B05：为了对图像进行合成，需要合成图像中每一个像素的像素值；对于任意像素，为了渲染出对应的像素值，通过对经过该像素位置的一条射线进行采样，然后使用步骤B04中所述的多层感知机网络来获取每个采样点的体密度和RGB颜色值；最后，使用体渲染技术对射线上采样点的RGB颜色值进行累积，从而得到对应像素的像素值。
3.根据权利要求1所述的一种基于深度学习和多视图几何的虚拟视图合成方法，其特征在于：所述步骤C的具体步骤如下：
步骤C01：对步骤B中搭建的虚拟视图合成神经网络模型进行训练时，使用L2范数作为网络的损失函数，即损失函数为
Figure FDA0003575873100000031
其中N表示每次训练选取的像素个数，
Figure FDA0003575873100000032
表示网络输出的第i个像素对应的像素值预测值，
Figure FDA0003575873100000033
表示第i个像素对应的像素值真值；
步骤C02：使用经过预处理之后的训练集和验证集，将其输入到搭建的虚拟视图合成神经网络模型中，通过反向传播算法最小化步骤C01中的损失函数，不断优化虚拟视图合成神经网络模型参数，得到最优的虚拟视图合成模型。
4.根据权利要求1所述的一种基于深度学习和多视图几何的虚拟视图合成方法，其特征在于：步骤A中将数据集划分为80％的训练集、10％的验证集和10％的测试集。
CN202210332808.4A 2022-03-31 2022-03-31 一种基于深度学习和多视图几何的虚拟视图合成方法 Pending CN114663543A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210332808.4A CN114663543A (zh) 2022-03-31 2022-03-31 一种基于深度学习和多视图几何的虚拟视图合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210332808.4A CN114663543A (zh) 2022-03-31 2022-03-31 一种基于深度学习和多视图几何的虚拟视图合成方法

Publications (1)

Publication Number Publication Date
CN114663543A true CN114663543A (zh) 2022-06-24

Family

ID=82033663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210332808.4A Pending CN114663543A (zh) 2022-03-31 2022-03-31 一种基于深度学习和多视图几何的虚拟视图合成方法

Country Status (1)

Country Link
CN (1) CN114663543A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439388A (zh) * 2022-11-08 2022-12-06 杭州倚澜科技有限公司 基于多层神经表面表达的自由视点图像合成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439388A (zh) * 2022-11-08 2022-12-06 杭州倚澜科技有限公司 基于多层神经表面表达的自由视点图像合成方法
CN115439388B (zh) * 2022-11-08 2024-02-06 杭州倚澜科技有限公司 基于多层神经表面表达的自由视点图像合成方法

Similar Documents

Publication Publication Date Title
CN109255831B (zh) 基于多任务学习的单视图人脸三维重建及纹理生成的方法
CN108921926B (zh) 一种基于单张图像的端到端三维人脸重建方法
CN107945282B (zh) 基于对抗网络的快速多视角三维合成和展示方法及装置
CN113012282B (zh) 三维人体重建方法、装置、设备及存储介质
CN110570522B (zh) 一种多视图三维重建方法
CN110288695A (zh) 基于深度学习的单帧图像三维模型表面重建方法
CN116977522A (zh) 三维模型的渲染方法、装置、计算机设备和存储介质
US11055892B1 (en) Systems and methods for generating a skull surface for computer animation
CN116152417B (zh) 一种多视点类透视空间拟合与渲染的方法和装置
CN117095128A (zh) 一种无先验多视角人体服饰编辑方法
CN115272608A (zh) 一种人手重建方法及设备
CN114663543A (zh) 一种基于深度学习和多视图几何的虚拟视图合成方法
Dundar et al. Fine detailed texture learning for 3D meshes with generative models
CN116740170A (zh) 一种单目内窥镜视频深度与位姿估计方法
CN108616746A (zh) 基于深度学习的2d全景图像转3d全景图像的方法
CN117274501B (zh) 一种可驱动数字人建模方法、装置、设备及介质
Xu et al. Self-supervised monocular depth estimation with 3-d displacement module for laparoscopic images
CN107509067A (zh) 一种高速高质量的自由视点图像合成方法
Hara et al. Enhancement of novel view synthesis using omnidirectional image completion
CN117711066A (zh) 一种三维人体姿态估计方法、装置、设备及介质
CN116385667B (zh) 三维模型的重建方法、纹理重构模型的训练方法以及装置
CN116012449A (zh) 一种基于深度信息的图像渲染方法及装置
CN115375839A (zh) 一种基于深度学习的多视角头发建模方法及系统
CN114943746A (zh) 一种利用深度信息辅助和轮廓增强损失的运动迁移方法
Zhang et al. A portable multiscopic camera for novel view and time synthesis in dynamic scenes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination