CN114429531A - 虚拟视点图像的生成方法及装置 - Google Patents

虚拟视点图像的生成方法及装置 Download PDF

Info

Publication number
CN114429531A
CN114429531A CN202111499262.3A CN202111499262A CN114429531A CN 114429531 A CN114429531 A CN 114429531A CN 202111499262 A CN202111499262 A CN 202111499262A CN 114429531 A CN114429531 A CN 114429531A
Authority
CN
China
Prior art keywords
image
target
viewpoint
virtual viewpoint
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111499262.3A
Other languages
English (en)
Inventor
桑新柱
齐帅
颜玢玢
王华春
叶晓倩
徐炜
张子强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bandu Technology Shenzhen Co ltd
Beijing University of Posts and Telecommunications
Original Assignee
Bandu Technology Shenzhen Co ltd
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bandu Technology Shenzhen Co ltd, Beijing University of Posts and Telecommunications filed Critical Bandu Technology Shenzhen Co ltd
Priority to CN202111499262.3A priority Critical patent/CN114429531A/zh
Publication of CN114429531A publication Critical patent/CN114429531A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种虚拟视点图像的生成方法及装置，该方法包括：基于输入视点的相机参数和第一图像，提取当前场景的三维模型；基于三维模型和目标虚拟视点的相机参数，获取目标虚拟视点的第一目标图像；将第二图像和第一目标图像输入至图像处理模型，得到目标虚拟视点的第二目标图像。本发明提供的虚拟视点图像的生成方法及装置，通过第一目标图像恢复对应三维场景的几何信息，以及第二目标图像恢复对应三维场景的光照和色彩信息，获取目标虚拟视点图像，能提高3D光场信息重建的准确性和效率。

Description

虚拟视点图像的生成方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种虚拟视点图像的生成方法及装置。
背景技术
传统的二维图像的获取和显示技术难以满足观看者日益增长的观赏需求。随着显示技术的革新和算力的提升，对三维光场信息进行准确高效重现的方法受到大量的关注。为了将真实场景的光场信息在真三维光场显示器中进行重现，需要通过搭建摄影机阵列对真实场景进行采集，通过密集视点的方式，恢复三维光场信息。在此过程中，受限于摄影机物理限制，难以进行密集视点采集，只能满足稀疏视点采集。为了生成密集视点内容，研究人员提出很多以稀疏视点作为输入，生成密集视点的虚拟视点生成方法。
一种是基于多平面图像(Multi-Plane Image，MPI)方法，该方法包含了多个平面的RGB-alpha图片，其中每个平面表达场景在某个深度中的内容。但各个平面的深度是固定且离散的，在输入视点水平排列时效果较好，当输入视点位置存在旋转时，限制三维空间的表达能力，导致重建的3D光场信息精度较差。另一种是基于3D Mesh Scaffold的方法需要预先输入大量的场景图像(50张以上)，且极为耗时(小时量级)，导致重建的3D光场信息效率较低。可见，现有技术中在重建3D光场信息的过程中，无法同时兼顾精度和效率。
发明内容
本发明提供一种虚拟视点图像的生成方法及装置，用以解决现有技术中无法同时兼顾生成虚拟视点图像的精度和效率的缺陷，实现设置较少的输入视点，可以得到场景内自由虚拟视点的图像。
本发明提供一种虚拟视点图像的生成方法，包括：
基于输入视点的相机参数和第一图像，提取当前场景的三维模型；
基于所述三维模型和目标虚拟视点的相机参数，获取所述目标虚拟视点的第一目标图像；
将第二图像和所述第一目标图像输入至图像处理模型，得到所述目标虚拟视点的第二目标图像；
其中，所述图像处理模型是基于所述目标虚拟视点的真实彩色图作为样本进行训练后得到，所述第一图像是所述输入视点下采集的所述当前场景的深度图，所述第二图像是所述输入视点下采集的所述当前场景的彩色图，所述输入视点的数量为一个或者多个。
根据本发明提供的一种虚拟视点图像的生成方法，所述将第二图像和所述第一目标图像输入至图像处理模型，得到所述目标虚拟视点的第二目标图像，包括：
将所述第二图像输入至所述图像处理模型的深度编码层，获取与所述第二图像对应的第一编码图像；
将所述第一编码图像和所述第一目标图像输入至所述图像处理模型的特征融合层，获取第二编码图像；
将所述第二编码图像输入至所述图像处理模型的深度解码层，获取所述目标虚拟视点的第二目标图像。
根据本发明提供的一种虚拟视点图像的生成方法，所述将所述第二图像输入至所述图像处理模型的深度编码层，获取与所述第二图像对应的第一编码图像，包括：
基于所述第二图像，进行特征提取，获取目标深度特征图；
基于所述目标深度特征图，进行特征融合，获取所述第一编码图像；
其中，所述目标深度特征图至少包括两个分辨率不同的深度特征图。
根据本发明提供的一种虚拟视点图像的生成方法，所述将所述第一编码图像和所述第一目标图像输入至所述图像处理模型的特征融合层，获取第二编码图像，包括：
基于所述第一编码图像和所述第一目标图像，采用DIBR算法，将坐标投影到所述目标虚拟视点的坐标系，获取目标投影图像；
基于所述目标投影图像，进行图像融合，获取所述第二编码图像。
根据本发明提供的一种虚拟视点图像的生成方法，在所述基于输入视点的相机参数和第一图像之前，还包括：基于所述输入视点，采用相机标定方法，获取所述输入视点的相机参数；
其中，所述相机参数包括相机内部参数和相机外部参数。
根据本发明提供的一种虚拟视点图像的生成方法，所述基于输入视点的相机参数和第一图像，提取当前场景的三维模型，包括：
基于所述输入视点的相机参数和所述第一图像，采用TSDF算法，获取深度融合信息；
基于所述深度融合信息，采用Marching Cube算法，获取所述当前场景的三维模型。
本发明还提供一种虚拟视点图像的生成装置，包括：
三维模型获取模块，用于基于输入视点的相机参数和第一图像，提取当前场景的三维模型；
第一获取模块，用于基于所述三维模型和目标虚拟视点的相机参数，获取所述目标虚拟视点的第一目标图像；
第二获取模块，用于将第二图像和所述第一目标图像输入至图像处理模型，得到所述目标虚拟视点的第二目标图像；
其中，所述图像处理模型是基于所述目标虚拟视点的真实彩色图作为样本进行训练后得到，所述第一图像是所述输入视点下采集的所述当前场景的深度图，所述第二图像是所述输入视点下采集的所述当前场景的彩色图，所述输入视点的数量为一个或者多个。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述虚拟视点图像的生成方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述虚拟视点图像的生成方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述虚拟视点图像的生成方法的步骤。
本发明提供的虚拟视点图像的生成方法及装置，通过本发明实施例基于输入视点的相机参数和第一图像获取场景的三维模型，通过目标虚拟视点的相机参数获取第一目标图像，通过第二图像输入值图像处理模型，获取第二目标图像，通过第一目标图像恢复对应三维场景的几何信息，以及第二目标图像恢复对应三维场景的光照和色彩信息，获取目标虚拟视点图像。能提高3D光场信息重建的准确性和效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的虚拟视点图像的生成方法的流程示意图；
图2是本发明提供的虚拟视点图像的生成方法的子流程示意图之一；
图3是本发明提供的虚拟视点图像的生成方法的子流程示意图之二；
图4是本发明提供的虚拟视点图像的生成装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
图1是本发明提供的虚拟视点图像的生成方法的流程示意图。如图1所示，本发明实施例提供的虚拟视点图像的生成方法，包括：步骤101、基于输入视点的相机参数和第一图像，提取当前场景的三维模型。
其中，第一图像是输入视点下采集的当前场景的深度图，输入视点的数量为一个或者多个。
需要说明的是，本发明实施例提供的虚拟视点图像的生成方法的执行主体是虚拟视点图像的生成装置。
输入视点，是指相机模组对当前场景进行拍摄时，其拍摄点所在的位置。输入视点在当前场景中，具有数量较少、不规则分布的特点。
输入视点的数量可以为一个或者多个，并且在当前场景中设置的相机模组与输入视点的数量相等。
本发明实施例对相机模组不作具体限定。
可选地，相机模组可以为RGB-D相机。
RGB-D相机所拍摄的图像由普通的RGB三通道彩色图和深度图构成，其中，深度图是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。它的每个像素值是传感器距离物体的实际距离。通常RGB图像和深度图像是配准的，像素点之间具有一对一的对应关系。
可选地，相机模组也可以为具有彩色信息传感器和深度信息传感器的器件。
输入视点的相机参数，是指输入视点处的相机模组的相关参数。输入视点的相机参数用于唯一区分对应的相机模组在当前场景中的特性。
本发明实施例对输入视点的相机参数的内容不作具体限定。
示例性地，输入视点的相机参数可以包括与相机模组自身特性相关的参数，比如相机的焦距、像素大小等。
示例性地，输入视点的相机参数也可以包括在当前场景中的水平位置。
示例性地，输入视点的相机参数也可以包括在当前场景中的旋转位置。
第一图像，是指相机模组在输入视点的位置，对当前场景进行拍摄得到的图像中的深度图像。
示例性地，第一图像为RGB-D相机在输入视点的位置所采集的图像中的深度图。
具体地，在步骤101中，虚拟视点图像的生成装置通过在输入视点获取对应的相机模组拍摄的第一图像，将所有的第一图像根据各自对应的输入视点的相机参数所指示的位姿信息进行融合，恢复出当前场景的三维模型。
当前场景的三维模型，是指包括场景的三维几何信息和结构信息的数据集合。采用不同的处理方式，可以得到不同类型的三维模型。本发明实施例对此不作具体限定。
示例性地，当前场景的三维模型可以为体素模型。
体素或立体像素(voxel)，即体积像素(volume pixel)，是数字数据于三维空间分区上的最小单位。体素本身并不含有空间中位置的数据(即它们的坐标)，可以从它们相对于其他体素的位置进行推理。
示例性地，当前场景的三维模型可以为点云模型。
点云(point cloud)是指透过3D扫描器所取得的资料。扫描资料以点的型式记录，每一个点包含有三维坐标，有些可能含有色彩信息(R,G,B)或物体反射面强度。
优选地，当前场景的三维模型可以为多边形网格模型。
多边形网格(Polygon mesh)是三维计算机图形学中表示多面体形状的顶点与多边形的集合，这些网格通常由三角形、四边形或者其它的简单凸多边形组成，这样可以简化渲染过程。
步骤102、基于三维模型和目标虚拟视点的相机参数，获取目标虚拟视点的第一目标图像。
需要说明的是，目标虚拟视点，是指当前场景中的自由视点。
本发明实施例对自由视点的选取不作具体限定。
优选地，由于目标虚拟视点位置所观察到的内容应与输入视点的图像有较大的重叠区域，可以一定程度上提高视点图像的成像质量。所以目标虚拟视点的位置距离输入视点位置较近。
对应地，目标虚拟视点的相机参数，与邻近的输入视点的相机参数接近。具体表现为与关于相机模组自身特性相关的参数一致，以及目标虚拟视点在世界坐标系中位置信息接近输入视点在世界坐标系中位置信息。
具体地，在步骤102中，虚拟视点图像的生成装置通过目标虚拟视点的相机参数，设置虚拟相机模组，对当前场景的三维模型进行深度图的采集，得到目标虚拟视点的第一目标图像。
第一目标图像，是指在目标虚拟视点处利用对应设置的虚拟相机模组所采集的深度图。
步骤103、将第二图像和第一目标图像输入至图像处理模型，得到目标虚拟视点的第二目标图像。
其中，图像处理模型是基于目标虚拟视点的真实彩色图作为样本进行训练后得到，第二图像是输入视点下采集的当前场景的彩色图。
需要说明的是，图像处理模型可以是一种人工智能模型，本发明实施例对模型类型不作具体限定。
优选地，图像处理模型是一种神经网络模型，神经网络的结构和参数包括但不限于神经网络的输入层，隐含层和输出层的层数，以及每一层的权重参数等。本发明实施例对神经网络的种类和结构不作具体限定。
优选地，虚拟视点图像的生成装置利用图像处理模型，将各输入视点的彩色图，投影到目标虚拟视点，生成目标虚拟视点的彩色图像，该模型由输入层、隐藏层和输出层构成。
输入层在整个网络的最前端部分，直接接收第二图像和第一目标图像。
隐含层至少包含三层，分别是深度编码层、特征融合层和深度解码层。通过自身的神经元，对输入的每一个输入视点的彩色图根据空间几何关系，获取对应深度图，并根据估计出的深度图和输入视点与目标虚拟视点之间的位姿关系，投影到目标虚拟视点对应的坐标系。
输出层是最后一层，用来输出第二目标图像。
需要说明的是，样本数据包括各视点位置下的真实彩色图像数据。并将样本数据中的训练集至少包括目标虚拟视点下的真实彩色图像数据，而测试集则不包括目标虚拟视点下的真实彩色图像数据，本发明实施例对训练集和测试集的样本比例不作具体限定。
虚拟视点图像的生成装置根据输入层与隐藏层的权值系数，还原步骤103中的图像处理模型，并将测试集中的一组测试样本输入到训练好的图像处理模型，可以得到与该测试样本对应的第二目标图像的预测值，用于检验模型的精度。
第二图像，是指相机模组在输入视点的位置，对当前场景进行拍摄得到的图像中的彩色图像。
示例性地，第二图像为RGB-D相机在输入视点的位置所采集的图像中的彩色图。
具体地，在步骤103中，虚拟视点图像的生成装置对构建好的图像处理模型各层间的权值系数初始化，根据目标虚拟视点的真实彩色图依次对模型进行训练和检验，可以获取精度最高的模型参数，即输入层与隐藏层的权值系数。
虚拟视点图像的生成装置根据训练好的模型参数，对图像处理模型进行设置后，通过该模型对依次对每一个第二图像，并结合第一目标图像进行图像处理，可以得到目标虚拟视点的第二目标图像。
第二目标图像，是指在目标虚拟视点处利用对应设置的虚拟相机模组所采集的彩色图。
现有技术中，在MPI方法中将输入视点设置为水平排列而构建的三维场景，在输入视点的设置位置发生旋转后，光场重建的准确度较低。而本发明实施例通过在输入视点的相机参数中设置旋转位置相关参数，可以打破其限制性，一定程度上提高光场重建的准确度。
现有技术中，3D Mesh Scaffold可以有效处理输入视点位置包含旋转的问题，但是该方法需要先获取很多视点下的场景图像进行重建，光场重建的效率较低。而本发明实施例通过设置少量的输入视点，可以重建出少量输入视点形成的范围内的任意视点的光场信息，一定程度上提高光场重建的效率。
本发明实施例基于输入视点的相机参数和第一图像获取场景的三维模型，通过目标虚拟视点的相机参数获取第一目标图像，通过第二图像输入值图像处理模型，获取第二目标图像，通过第一目标图像恢复对应三维场景的几何信息，以及第二目标图像恢复对应三维场景的光照和色彩信息，获取目标虚拟视点图像。能提高3D光场信息重建的准确性和效率。
在上述任一实施例的基础上，将第二图像和第一目标图像输入至图像处理模型，得到目标虚拟视点的第二目标图像，包括：将第二图像输入至图像处理模型的深度编码层，获取与第二图像对应的第一编码图像。
需要说明的是，图像处理模型可以至少包括深度编码层、特征融合层和深度解码层。
具体地，虚拟视点图像的生成装置的深度编码层接收到由输入层发送的第二图像，将每一个第二图像转换成第一编码图像，并将第一编码图像作为深度编码层的输出。
第一编码图像，是指对第二图像进行特征提取所获得的特征图。
本发明实施例对第一编码图像包含的特征维度不作具体限定。
示例性地，第一编码图像可以包括某一尺度上的语义特征。
示例性地，第一编码图像也可以包括某几个尺度上的语义特征。
将第一编码图像和第一目标图像输入至图像处理模型的特征融合层，获取第二编码图像。
具体地，虚拟视点图像的生成装置的特征融合层接收到由深度编码层发送的第一编码图像，以及第一目标图片。将每一个第一编码图像按照第一目标图片所指示的坐标系，进行投影，将投影得到的图像进行图像融合，生成第二编码图像，并将第二编码图像作为深度编码层的输出。
将第二编码图像输入至图像处理模型的深度解码层，获取目标虚拟视点的第二目标图像。
具体地，虚拟视点图像的生成装置的深度解码层接收到由特征融合层发送的第二编码图像，将每一个第二编码图像转换成第二目标图像，并将第二目标图像作为深度解码层的输出。
本发明实施例对深度解码层不作具体限定。
优选地，第二编码图像经过多个级联的U-Net网络进行解码，生成最终的目标视点下的2D彩色图，即第二目标图像。
对应地，在图像处理模型的训练过程种，通过将生成的第二目标图像与目标视点下真实的2D彩色图，计算出Loss，训练神经网络，更新网络中的权值参数。
本发明实施例基于使第二图像和第一目标图像进入图像处理模型进行优化处理，通过将第二图片转化成第一编码图像，对第一编码图像按照第一目标图像进行投影关联后，进行图像融合获取第二编码图像，再将第二编码图像解码成第二目标图像。可以充分挖掘操作间的逻辑性和关联性，降低了计算复杂度以及开发难度，提高3D光场信息重建的准确性和效率。
在上述任一实施例的基础上，将第二图像输入至图像处理模型的深度编码层，获取与第二图像对应的第一编码图像，包括：基于第二图像，进行特征提取，获取目标深度特征图。
其中，目标深度特征图至少包括两个分辨率不同的深度特征图。
具体地，虚拟视点图像的生成装置接收第二图像后，根据设置不同的特征维度需求，在图像处理模型的深度编码层中进行特征提取的处理，获取目标深度特征图。
本发明实施例对目标深度特征图的获取方式和过程不作具体限定。
优选地，将每一个第二图像输入至经过ImageNet预训练的VGG-16，获取VGG-16网络前三个阶段输出的深度特征图，作为后续步骤的输入。
即目标深度特征图，包括前三个阶段对应输出的三张分辨率不同的深度特征图。其中，各深度特征图的分别率和输入的第二图像相比，分别为等于第二图像的分辨率、第二图像的二分之一和第二图像的四分之一。
基于目标深度特征图，进行特征融合，获取第一编码图像。
具体地，虚拟视点图像的生成装置将目标深度特征图，按照对应分辨率上采样至相同的分辨率，按照特征维度进行拼接融合，获取第一编码图像。
其中，第一编码图像的数量与第二图像的数量相等。
本发明实施例基于第二图像获取不同分辨率的目标深度特征图，通过目标深度特征图进行融合，获取第一编码图像。能够在图像编码过程中增加其包含的语义特征，进而，提高3D光场信息重建的准确性和效率。
在上述任一实施例的基础上，将第一编码图像和第一目标图像输入至图像处理模型的特征融合层，获取第二编码图像，包括：基于第一编码图像和第一目标图像，采用DIBR算法，将坐标投影到目标虚拟视点的坐标系，获取目标投影图像。
具体地，虚拟视点图像的生成装置接收第一编码图像和第一目标图像后，在图像处理模型的特征融合层中采用投影算法，将第一编码图像的像素坐标系中的坐标值转换成第一目标图像的相机坐标系的坐标值，获取目标投影图像。
本发明实施例对投影算法，以及生成的目标投影图像不作具体限定。
优选地，获取步骤102生成的第一目标图像Dtgt以及其目标虚拟视点的相机参数Ktgt、Rtgt、Ttgt。将每一张第一编码图像Ei，通过基于深度图像绘制(Depth-Image BasedRendering，DIBR)算法，投影到目标虚拟视点，得到目标投影图像Ei→tgt。具体变换过程如下所示：
Figure BDA0003402125280000131
Ei→tgt(p)＝Ei(p′i)
其中，p为第一目标图像坐标系下的任一像素坐标，Dtgt(p)为当前像素的深度值，Ki[Ri|Ti]为输入视点i的相机参数，p′i为第一目标图像坐标系下的像素p投影到输入视点i坐标系下的坐标值。
目标投影图像Ei→tgt的数量和第一编码图像Ei数量相等。
基于目标投影图像，进行图像融合，获取第二编码图像。
具体地，虚拟视点图像的生成装置将各目标投影图像中位于同一像素坐标位置的数据融合为一个特征向量，获取第二编码图像。
第二编码图像用于输入至深度解码层进行解码获取第二目标图像。
图2是本发明提供的虚拟视点图像的生成方法的子流程示意图之一。如图2所示，给出一个获取第二目标图像的具体实施过程：
(1)使用经过ImageNet预训练的VGG-16网络，对输入的多视点图片提取特征。将VGG-16网络前三个阶段的特征图输出，作为后续步骤的输入。
(2)VGG-16网络前三个阶段的特征图和输入原图的尺寸相比，分别为等于原图分辨率、原图的二分之一和四分之一。将二分之一和四分之一的特征图通过最近邻插值，上采样到和原图分辨率一致。将三个阶段的特征图在特征维度上拼接在一起，生成每一张输入彩色图的第一编码图像Ei。
(3)通过前一阶段生成的第一目标图像及其目标虚拟视点的相机参数，将每一张第一编码图像Ei通过DIBR变换，投影到目标视点，得到目标投影图像Ei→tgt。
(4)N张输入的第二图像会生成与之对应的N个目标投影图像Ei→tgt，通过设计好的自注意-光线聚合模块，将这N张Ei→tgt按照特征维度融合为一张第二编码图像。
(5)将第二编码图像输入至多个级联的U-Net网络进行解码，生成第二目标图像。
本发明实施例基于第第一编码图像，通过DIBR算法进行投影，获取目标投影图像，通过目标投影图像的融合，获取第二编码图像。能够在编码图像的融合过程中，提高坐标转换的准确度和稳定性，进而，提高3D光场信息重建的准确性和效率。
在上述任一实施例的基础上，在基于输入视点的相机参数和第一图像之前，还包括：基于输入视点，采用相机标定方法，获取输入视点的相机参数。
其中，相机参数包括相机内部参数和相机外部参数。
具体地，对输入视点对应的相机模组采用相机标定算法，进行世界坐标到像素坐标的映射，获取输入视点的相机参数。
输入视点的相机参数，包括输入视点对应的相机模组的内部参数和外部参数。
本发明实施例对相机标定算法及其过程不作具体限定。
示例性地，相机标定可以通过跳棋盘和自动算法来执行，将具有[X,Y,Z]坐标的3D点转换为具有[X,Y]坐标的2D像素。其过程可以分为两个阶段，分别是：
外部校准，是指从世界坐标到摄像头坐标的转换过程。外部校准用于获取相机外部参数中的旋转矩阵R和平移矩阵T。
内部校准，是指从摄像头坐标到像素坐标的转换过程。内部校准用于获取相机内部参数，如焦距、像素大小、光学中心等，并将内部参数以一个矩阵K进行表达。
优选地，虚拟视点图像的生成装置对当前场景中多个输入视点对应的RGB-D相机进行标定，获取每个RGB-D相机的内参Ki和外参Ri、Ti，其中，i为不同RGB-D相机的序号。
本发明实施例基于输入视点进行相机标定，获取输入视点对应的相机内部参数和相机外部参数。能够提高输入视点采集图像的准确性，进而，提高3D光场信息重建的准确性和效率。
在上述任一实施例的基础上，基于输入视点的相机参数和第一图像，提取当前场景的三维模型，包括：基于输入视点的相机参数和第一图像，采用TSDF算法，获取深度融合信息。
具体地，虚拟视点图像的生成装置按照输入视点的相机参数所指示的相机位姿信息，对对应相机模组采集的第一图像采用融合算法进行处理，获取深度融合信息。
本发明实施例对所采用的融合算法，以及对应生成的深度融合信息不作具体限定。
优选地，虚拟视点图像的生成装置根据每个RGB-D相机的内参和外参，结合采集到的第一图像，通过基于截断的带符号距离函数(Truncated Signed Distance Function，TSDF)构建体素模型，获取深度融合信息。
深度融合信息，是指将所有第一图像的深度数据，依据TSDF算法对每一个图像对应的深度数据求取TSDF值，并通过不断更新TSDF值融合至对应体素中，构成TSDF体素模型。
基于深度融合信息，采用Marching Cube算法，获取当前场景的三维模型。
具体地，虚拟视点图像的生成装置采用提取算法，提取出深度融合信息中的表面信息，获取当前场景的三维模型。
本发明实施例对所采用的提取算法，以及对应生成的三维模型不作具体限定。
优选地，虚拟视点图像的生成装置采用Marching Cube方法，对深度融合信息(即TSDF体素模型)提取出三角面，并将由多个三角面构成网格模型作为当前场景的三维模型。
当前场景的三维模型，是指包含当前场景三维信息的网格模型。当前场景的三维模型用于结合给定的任一目标虚拟视点的相机参数(即虚拟摄影机位姿)，即可采集第一目标图像(即该虚拟摄影机位置的深度图)。
示例性地，图3是本发明提供的虚拟视点图像的生成方法的子流程示意图之二。如图3所示，给出一个获取第一目标图像的具体实施过程：
(1)对场景中放置的多个RGB-D相机进行标定，求出每个深度相机的内参和空间位置参数Ki、Ri、Ti。
(2)根据每个相机的相机参数和采集到的深度数据，通过构建TSDF Volume，将所有深度数据融合。
(3)通过Marching Cube方法，对TSDF Volume提取网格模型，得到场景的三维模型。
(4)确定目标虚拟视点的位置，并确定其内参和空间位置参数Ktgt、Rtgt、Ttgt。
(5)通过目标虚拟视点的参数Ktgt、Rtgt、Ttgt，设置虚拟摄影机，对场景的三维网格模型进行深度图采集，得到目标视点的深度图Dtgt。
本发明实施例基于输入视点的相机参数和第一图像，通过TSDF算法构建体素空间的深度融合信息，通过Marching Cube算法对深度融合信息计算出当前场景的三维模型。能够提高当前场景的三维模型的准确性，进而，提高3D光场信息重建的准确性和效率。
图4是本发明提供的虚拟视点图像的生成装置的结构示意图。在上述任一实施例的基础上，如图4所示，该装置包括：三维模型获取模块410、第一获取模块420和第二获取模块430，其中：
三维模型获取模块410，用于基于输入视点的相机参数和第一图像，提取当前场景的三维模型。
第一获取模块420，用于基于三维模型和目标虚拟视点的相机参数，获取目标虚拟视点的第一目标图像。
第二获取模块430，用于将第二图像和第一目标图像输入至图像处理模型，得到目标虚拟视点的第二目标图像。
其中，图像处理模型是基于目标虚拟视点的真实彩色图作为样本进行训练后得到，第一图像是输入视点下采集的当前场景的深度图，第二图像是输入视点下采集的当前场景的彩色图，输入视点的数量为一个或者多个。
具体地，三维模型获取模块410、第一获取模块420和第二获取模块430顺次电连接。
三维模型获取模块410通过在输入视点获取对应的相机模组拍摄的第一图像，将所有的第一图像根据各自对应的输入视点的相机参数所指示的位姿信息进行融合，恢复出当前场景的三维模型。
当前场景的三维模型，是指包括场景的三维几何信息和结构信息的数据集合。
第一获取模块420通过目标虚拟视点的相机参数，设置虚拟相机模组，对当前场景的三维模型进行深度图的采集，得到第一目标图像。
第一目标图像，是指在目标虚拟视点处利用对应设置的虚拟相机模组所采集的深度图。
第二获取模块430构建好的图像处理模型各层间的权值系数初始化，根据目标虚拟视点的真实彩色图依次对模型进行训练和检验，可以获取精度最高的模型参数，即输入层与隐藏层的权值系数。
虚拟视点图像的生成装置根据训练好的模型参数，对图像处理模型进行设置后，通过该模型对依次对每一个第二图像，并结合第一目标图像进行图像处理，可以得到第二目标图像。
第二目标图像，是指在目标虚拟视点处利用对应设置的虚拟相机模组所采集的彩色图。
可选地，第二获取模块430包括编码单元、融合单元和解码单元，其中：
编码单元，用于将第二图像输入至图像处理模型的深度编码层，获取与第二图像对应的第一编码图像。
融合单元，用于将第一编码图像和第一目标图像输入至图像处理模型的特征融合层，获取第二编码图像。
解码单元，用于将第二编码图像输入至图像处理模型的深度解码层，获取目标虚拟视点的第二目标图像。
可选地，编码单元包括特征提取子单元和第一融合子单元，其中：
特征提取子单元，用于基于第二图像，进行特征提取，获取目标深度特征图。
第一融合子单元，用于基于目标深度特征图，进行特征融合，获取第一编码图像。
其中，目标深度特征图至少包括两个分辨率不同的深度特征图。
可选地，融合单元包括投影子单元和第二融合子单元，其中：
投影子单元，用于基于第一编码图像和第一目标图像，采用DIBR算法，将坐标投影到目标虚拟视点的坐标系，获取目标投影图像。
第二融合子单元，用于基于目标投影图像，进行图像融合，获取第二编码图像。
可选地，装置还包括标定模块，其中：
标定模块，用于基于输入视点，采用相机标定方法，获取输入视点的相机参数。
其中，相机参数包括相机内部参数和相机外部参数。
可选地，三维模型获取模块410包括深度融合单元和模型获取单元，其中：
深度融合单元，用于基于输入视点的相机参数和第一图像，采用TSDF算法，获取深度融合信息。
模型获取单元，用于基于深度融合信息，采用Marching Cube算法，获取当前场景的三维模型。
本发明实施例提供的虚拟视点图像的生成装置，用于执行本发明上述虚拟视点图像的生成方法，其实施方式与本发明提供的虚拟视点图像的生成方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本发明实施例基于输入视点的相机参数和第一图像获取场景的三维模型，通过目标虚拟视点的相机参数获取第一目标图像，通过第二图像输入值图像处理模型，获取第二目标图像，通过第一目标图像恢复对应三维场景的几何信息，以及第二目标图像恢复对应三维场景的光照和色彩信息，获取目标虚拟视点图像。能提高3D光场信息重建的准确性和效率。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行虚拟视点图像的生成方法，该方法包括：基于输入视点的相机参数和第一图像，提取当前场景的三维模型；基于三维模型和目标虚拟视点的相机参数，获取目标虚拟视点的第一目标图像；将第二图像和第一目标图像输入至图像处理模型，得到目标虚拟视点的第二目标图像；其中，图像处理模型是基于目标虚拟视点的真实彩色图作为样本进行训练后得到，第一图像是输入视点下采集的当前场景的深度图，第二图像是输入视点下采集的当前场景的彩色图，输入视点的数量为一个或者多个。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的虚拟视点图像的生成方法，该方法包括：基于输入视点的相机参数和第一图像，提取当前场景的三维模型；基于三维模型和目标虚拟视点的相机参数，获取目标虚拟视点的第一目标图像；将第二图像和第一目标图像输入至图像处理模型，得到目标虚拟视点的第二目标图像；其中，图像处理模型是基于目标虚拟视点的真实彩色图作为样本进行训练后得到，第一图像是输入视点下采集的当前场景的深度图，第二图像是输入视点下采集的当前场景的彩色图，输入视点的数量为一个或者多个。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的虚拟视点图像的生成方法，该方法包括：基于输入视点的相机参数和第一图像，提取当前场景的三维模型；基于三维模型和目标虚拟视点的相机参数，获取目标虚拟视点的第一目标图像；将第二图像和第一目标图像输入至图像处理模型，得到目标虚拟视点的第二目标图像；其中，图像处理模型是基于目标虚拟视点的真实彩色图作为样本进行训练后得到，第一图像是输入视点下采集的当前场景的深度图，第二图像是输入视点下采集的当前场景的彩色图，输入视点的数量为一个或者多个。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种虚拟视点图像的生成方法，其特征在于，包括：
基于输入视点的相机参数和第一图像，提取当前场景的三维模型；
基于所述三维模型和目标虚拟视点的相机参数，获取所述目标虚拟视点的第一目标图像；
将第二图像和所述第一目标图像输入至图像处理模型，得到所述目标虚拟视点的第二目标图像；
其中，所述图像处理模型是基于所述目标虚拟视点的真实彩色图作为样本进行训练后得到，所述第一图像是所述输入视点下采集的所述当前场景的深度图，所述第二图像是所述输入视点下采集的所述当前场景的彩色图，所述输入视点的数量为一个或者多个。
2.根据权利要求1所述的虚拟视点图像的生成方法，其特征在于，所述将第二图像和所述第一目标图像输入至图像处理模型，得到所述目标虚拟视点的第二目标图像，包括：
将所述第二图像输入至所述图像处理模型的深度编码层，获取与所述第二图像对应的第一编码图像；
将所述第一编码图像和所述第一目标图像输入至所述图像处理模型的特征融合层，获取第二编码图像；
将所述第二编码图像输入至所述图像处理模型的深度解码层，获取所述目标虚拟视点的第二目标图像。
3.根据权利要求2所述的虚拟视点图像的生成方法，其特征在于，所述将所述第二图像输入至所述图像处理模型的深度编码层，获取与所述第二图像对应的第一编码图像，包括：
基于所述第二图像，进行特征提取，获取目标深度特征图；
基于所述目标深度特征图，进行特征融合，获取所述第一编码图像；
其中，所述目标深度特征图至少包括两个分辨率不同的深度特征图。
4.根据权利要求2所述的虚拟视点图像的生成方法，其特征在于，所述将所述第一编码图像和所述第一目标图像输入至所述图像处理模型的特征融合层，获取第二编码图像，包括：
基于所述第一编码图像和所述第一目标图像，采用DIBR算法，将坐标投影到所述目标虚拟视点的坐标系，获取目标投影图像；
基于所述目标投影图像，进行图像融合，获取所述第二编码图像。
5.根据权利要求1所述的虚拟视点图像的生成方法，其特征在于，在所述基于输入视点的相机参数和第一图像之前，还包括：基于所述输入视点，采用相机标定方法，获取所述输入视点的相机参数；
其中，所述相机参数包括相机内部参数和相机外部参数。
6.根据权利要求5所述的虚拟视点图像的生成方法，其特征在于，所述基于输入视点的相机参数和第一图像，提取当前场景的三维模型，包括：
基于所述输入视点的相机参数和所述第一图像，采用TSDF算法，获取深度融合信息；
基于所述深度融合信息，采用Marching Cube算法，获取所述当前场景的三维模型。
7.一种虚拟视点图像的生成装置，其特征在于，包括：
三维模型获取模块，用于基于输入视点的相机参数和第一图像，提取当前场景的三维模型；
第一获取模块，用于基于所述三维模型和目标虚拟视点的相机参数，获取所述目标虚拟视点的第一目标图像；
第二获取模块，用于将第二图像和所述第一目标图像输入至图像处理模型，得到所述目标虚拟视点的第二目标图像；
其中，所述图像处理模型是基于所述目标虚拟视点的真实彩色图作为样本进行训练后得到，所述第一图像是所述输入视点下采集的所述当前场景的深度图，所述第二图像是所述输入视点下采集的所述当前场景的彩色图，所述输入视点的数量为一个或者多个。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述虚拟视点图像的生成方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述虚拟视点图像的生成方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述虚拟视点图像的生成方法的步骤。
CN202111499262.3A 2021-12-09 2021-12-09 虚拟视点图像的生成方法及装置 Pending CN114429531A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111499262.3A CN114429531A (zh) 2021-12-09 2021-12-09 虚拟视点图像的生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111499262.3A CN114429531A (zh) 2021-12-09 2021-12-09 虚拟视点图像的生成方法及装置

Publications (1)

Publication Number Publication Date
CN114429531A true CN114429531A (zh) 2022-05-03

Family

ID=81311792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111499262.3A Pending CN114429531A (zh) 2021-12-09 2021-12-09 虚拟视点图像的生成方法及装置

Country Status (1)

Country Link
CN (1) CN114429531A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115442580A (zh) * 2022-08-17 2022-12-06 深圳市纳晶云实业有限公司 一种便携式智能设备裸眼3d图片效果处理方法
CN116528065A (zh) * 2023-06-30 2023-08-01 深圳臻像科技有限公司 一种高效虚拟场景内容光场获取与生成方法
CN116996654A (zh) * 2023-07-24 2023-11-03 京东方科技集团股份有限公司 新视点图像生成方法、新视点生成模型的训练方法与装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115442580A (zh) * 2022-08-17 2022-12-06 深圳市纳晶云实业有限公司 一种便携式智能设备裸眼3d图片效果处理方法
CN115442580B (zh) * 2022-08-17 2024-03-26 深圳市纳晶云实业有限公司 一种便携式智能设备裸眼3d图片效果处理方法
CN116528065A (zh) * 2023-06-30 2023-08-01 深圳臻像科技有限公司 一种高效虚拟场景内容光场获取与生成方法
CN116528065B (zh) * 2023-06-30 2023-09-26 深圳臻像科技有限公司 一种高效虚拟场景内容光场获取与生成方法
CN116996654A (zh) * 2023-07-24 2023-11-03 京东方科技集团股份有限公司 新视点图像生成方法、新视点生成模型的训练方法与装置

Similar Documents

Publication Publication Date Title
CN114429531A (zh) 虚拟视点图像的生成方法及装置
CN111652960B (zh) 基于可微渲染器的从单幅图像求解人脸反射材质的方法
CN112837406B (zh) 一种三维重建方法、装置及系统
Bangchang et al. Experimental system of free viewpoint television
CN113723317B (zh) 3d人脸的重建方法、装置、电子设备和存储介质
CN110517352B (zh) 一种物体的三维重建方法、存储介质、终端及系统
CN113989432A (zh) 3d影像的重构方法、装置、电子设备及存储介质
CN116071278A (zh) 无人机航拍图像合成方法、系统、计算机设备及存储介质
CN106056656A (zh) 一种三维显示数据获取方法
CN115359173A (zh) 虚拟多视点视频生成方法、装置、电子设备和存储介质
CN115115805A (zh) 三维重建模型的训练方法、装置、设备及存储介质
CN116402943A (zh) 基于符号距离场的室内三维重建方法和装置
JPH11504452A (ja) ２次元投影図に基づいて３次元の対象物を再現し、取り扱うための装置と方法
Liu et al. Creating simplified 3D models with high quality textures
CN114998514A (zh) 一种虚拟角色的生成方法及设备
Waizenegger et al. Real-time patch sweeping for high-quality depth estimation in 3D video conferencing applications
CN114638866A (zh) 一种基于局部特征学习的点云配准方法及系统
CN113989434A (zh) 一种人体三维重建方法及设备
CN116993926B (zh) 单视图人体三维重建方法
CN118154770A (zh) 基于神经辐射场的单幅树木图像三维重建方法和装置
WO2021245326A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
JP2008310724A (ja) ３次元形状復元装置，３次元形状復元方法，３次元形状復元プログラム及びそのプログラムを格納した記録媒体
CN117274446A (zh) 一种场景视频处理方法、装置、设备及存储介质
CN116863069A (zh) 三维光场人脸内容生成方法、电子设备及存储介质
CN116310228A (zh) 一种针对遥感场景的表面重建与新视图合成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination