CN112233165A - 一种基于多平面图像学习视角合成的基线扩展实现方法 - Google Patents

一种基于多平面图像学习视角合成的基线扩展实现方法 Download PDF

Info

Publication number
CN112233165A
CN112233165A CN202011105754.5A CN202011105754A CN112233165A CN 112233165 A CN112233165 A CN 112233165A CN 202011105754 A CN202011105754 A CN 202011105754A CN 112233165 A CN112233165 A CN 112233165A
Authority
CN
China
Prior art keywords
image
plane
mpi
camera
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011105754.5A
Other languages
English (en)
Other versions
CN112233165B (zh
Inventor
张淼
朴永日
孙小飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202011105754.5A priority Critical patent/CN112233165B/zh
Publication of CN112233165A publication Critical patent/CN112233165A/zh
Application granted granted Critical
Publication of CN112233165B publication Critical patent/CN112233165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • G06T7/596Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多平面图像学习视角合成的基线扩展实现方法,用于从窄基线立体摄像机捕获的图像中推断出基线之外的视图。包括:基于视频剪辑获取包括由第一相机采集的第一幅图像和由第二相机采集的第二幅图像的立体图像对;将第二幅图像投影到第一相机坐标系下的一组深度平面上,计算平面扫描量,得到重新投影的图像;将重新投影的图像沿着颜色通道级联,再将张量与第一幅图像级联,得到输入张量;将输入张量输入训练好的基于深度神经网络的MPI学习网络,得到多平面图像MPI的RGBA分层表示;基于MPI的RGBA分层表示,合成同一场景的输入视图之外的视图。本发明在扩展窄基线立体图像方面具有良好的应用前景,并能对许多具有挑战性的场景获得准确的推理结果。

Description

一种基于多平面图像学习视角合成的基线扩展实现方法
技术领域
本发明涉及计算机视觉领域,尤其涉及一种基于多平面图像学习视角合成的基线扩展实现方法。
背景技术
随着立体摄像机的广泛应用,大量立体图像数据的产生促进了立体视觉技术的进步。然而,大部分立体摄相机,如虚拟现实(VR)摄像机和当前广泛使用的双镜头摄像机,都属于窄基线立体摄相机,这类立体摄相机的基线比人眼的距离要窄,所以拍摄出的立体图像不能与人类视觉系统相匹配,不能到达引人注目的3D立体效果,或者不能到达沉浸式的虚拟体验。
因此,亟需一种从这样窄基线的参考图像合成基线之外的新视图的方法。
发明内容
从成对的输入图像到基线放大数倍的新视角,称之为视图的基线扩展。基线扩展在摄影中有许多应用,例如,可以在手机上拍摄一对窄基线(约1厘米)的立体图像,并通过基线扩展实现适合人类视觉系统(约6.3厘米)的立体图像对,以创建具有引人注目的3D立体效果的照片;或者,可以使用VR180°摄像机拍摄瞳距(IPD)分离的立体图像对,并沿一条半米长的线外插值至整个视角的图像集,以便在较小的头部运动范围内实现全视差。
本发明提供了一种基于多平面图像学习视角合成的基线扩展实现方法,该方法是一个实用而强大的深度学习解决方案,用于捕捉和渲染复杂现实场景的基线外视图,以进行虚拟探索。
本发明提供了以下技术方案:
一种基于多平面图像学习视角合成的基线扩展实现方法,包括以下步骤:
步骤1、基于视频剪辑获取立体图像对;所述立体图像对包括由第一相机采集的第一幅图像I1和由第二相机采集的第二幅图像I2
步骤2、将所述第二幅图像I2重新投影到所述第一相机的坐标系下的一组固定深度平面上,计算平面扫描量,得到重新投影的图像
Figure BDA0002726900940000021
Figure BDA0002726900940000022
表示I2重新投影到I1视角下深度为D的平面上的图像;
步骤3、将所述重新投影的图像
Figure BDA0002726900940000023
沿着颜色通道级联,得到维度为H×W×3D的张量
Figure BDA0002726900940000024
再将所述张量
Figure BDA0002726900940000025
与所述第一幅图像级联,得到维度为H×W×3(D+1)的输入张量;其中,H和W表示投影图像的长和宽,D表示深度;
步骤4、将所述输入张量输入训练好的基于深度神经网络的MPI学习网络,得到多平面图像MPI的RGBA分层表示;
步骤5、基于MPI的RGBA分层表示,合成同一场景的输入视图之外的视图。
进一步地,获取立体图像对包括:
基于视频剪辑选取连续N帧视频子序列;其中,N为大于2的正整数;
从所述视频子序列中随机选取立体图像对。
进一步地,得到多平面图像MPI的RGBA分层表示,包括:
获取所述MPI学习网络的网络输出;所述网络输出包括每一个平面的α通道、全局RGB背景图像
Figure BDA0002726900940000026
和每个平面的混合权重图像Wd
基于所述网络输出得到多平面图像MPI的RGBA分层表示。
进一步地,用于训练所述MPI学习网络的训练集由元组I1,I2,It,c1,c2,ct组成,其中It和ct=(pt,kt)分别表示目标真值图像和其对应的相机参数,其中pt和kt分别表示针对目标视图的相机外参和内参。
进一步地,基于所述MPI的RGBA分层表示,合成同一场景的输入视图之外的视图,包括:
对每个平面的RGBA图像进行平面变换;
将变换后的图像进行alpha合成,以从后到前的顺序合成视图。
进一步地,训练所述MPI学习网络包括:优化网络参数;
对于所述训练集,通过以下方式优化网络参数:
Figure BDA0002726900940000031
其中,fθ(I1,I2,c1,c2)为学习得到的MPI,R(·)表示渲染流程,所述渲染流程使用学习得到的MPI合成目标相机ct的新视图,L(·)是合成图像和目标图像之间的损失函数;
使用深度特征匹配损失。
进一步地,使用深度特征匹配损失包括:使用归一化的VGG-19中的特征层进行深度特征匹配损失,匹配如下:
Figure BDA0002726900940000032
其中,{φl}是VGG-19中的一组层,权重超参数{λl}设置为每一层中神经元数量的倒数。
进一步地,所述深度平面与MPI的深度平面一致。
进一步地,所述D取32。
进一步地,固定深度平面中最近平面和最远平面分别为1m和100m。
本发明公开了一种基于多平面图像学习视角合成的基线扩展方法,该方法中,用视频剪辑作为训练数据来训练神经网络,以从窄基线立体图像对生成MPI(多平面图像)场景表示。然后,从神经网络得到的多视点图像可以用来合成新的场景视图,即那些超出输入立体图像对基线的视图。该方法能够表示包括遮挡元素在内的几何和纹理,因为使用α通道可以使它们捕捉部分反射或透明的对象并处理软边缘。本发明在扩展窄基线立体图像方面具有良好的应用前景,并能对许多具有挑战性的场景获得准确的推理结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明基线外插值结果图;
图2是本发明实施例中一种基于多平面图像学习视角合成的基线扩展实现方法流程图;
图3是本发明实施例中获取立体图像对的示意图;
图4是本发明实施例中基线扩展示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明提出了一种从不规则视频剪辑中合成基线外部视图的方法,该方法首先通过扫描算法将第二幅图像视角投影到第一幅图像,生成平面扫描量。然后,通过深度学习来推断遮挡像素,从而获得真实场景中的MPI表示。最后,MPIs在输入视图基线之外合成新的视图,从而实现基线扩展。本发明中只有两个视图作为输入,这与考虑多个视图的常见视图插值方案不同(如图1所示),本发明能够通过反射和透明度处理具有挑战性的场景,以及具备渲染被遮挡并因此在任一输入视图中都不可见的像素的能力。
参见图2,其示出了本发明实施例中一种基于多平面图像学习视角合成的基线扩展实现方法,该方法可以从一对输入视图中预测多平面的场景表示,然后再用于合成很多基线外新视图;该方法包括以下步骤:
A、基于视频剪辑临近选取已知参数的立体图像对I1和I2
其中,步骤A可以按照如下方式实现:
A1、基于视频剪辑选取连续十帧视频子序列Seqi
A2、从Seqi中随机选取立体图像对I1和I2。如图3所示,其示出了本发明实施例中选取立体图像对的示意图。
B、将I2重新投影到第一相机坐标系下的一组D个固定深度平面上获得平面扫描量(plane-sweeping volume,PSV)。
通过平面扫描算法生成的一系列平面扫描量作为我们网络的输入。平面扫描量是一组由I2视角映射到I1视角的不同深度下d∈{d1,d2,...dD}的切片VC∈{P1,P2,...PD}。Pi表示由I2视角映射到I1视角的di的深度下的平面。将输入图像I2视角重新投影到目标视角I1中仅需要基本的纹理映射能力,并且可以在GPU上执行。
C、将
Figure BDA0002726900940000051
沿着颜色通道级联起来,从而得到H×W×3D的张量
Figure BDA0002726900940000052
进一步将
Figure BDA0002726900940000053
和I1级联起来,以获得网络的输入张量H×W×3(D+1)。
该输入张量为基于深度神经网络的MPI学习网络的网络输入。
为了对来自第二幅输入图像I2的姿态信息进行编码,计算平面扫描量(PSV),该平面扫描量将I2重新投影到一组D个固定深度平面上的参考相机(采集第一幅图像I1的第一相机)中。优选地,这些深度平面与输出MPI的深度平面一致。这种平面扫描计算会产生一堆重新投影的图像
Figure BDA0002726900940000054
将它们沿着颜色通道级联起来,从而得到大小为H×W×3D的张量。进一步将I2与I1级联起来,以获得网络的输入张量大小为H×W×3(D+1)。PSV表示使网络可以通过简单地将I1与I2的每个平面重投影进行比较来推断场景的几何形状-任何给定像素处的场景深度通常位于I1和重投影的I2一致的深度平面上。许多算法都遵循此原理,但是在这里,本发明中让网络通过视图综合目标自动学习这种关系,以实现遮挡元素的恢复。
鉴于MPI推理和渲染流程,可以训练基于深度神经网络的MPI学习网络来预测满足目标视图合成的MPI。用于训练该网络的训练集由大量元组I1,I2,It,c1,c2,ct组成,其中It和ct=(pt,kt)分别表示目标真值图像和其对应的相机参数,其中pi和ki分别表示相机外参和内参。进一步地,对于I1,I2,It,c1,c2,ct元组的训练集,可以通过以下方式优化网络参数:
Figure BDA0002726900940000061
其中R(·)表示渲染流程,该流程使用学习得到的MPI fθ(I1,I2,c1,c2)合成目标相机ct的新视图,而L(·)是合成图像和目标图像之间的损失函数。
本发明实施例中使用深度特征匹配损失(也称为“感知损失”),并专门使用归一化的VGG-19中的特征层匹配如下:
Figure BDA0002726900940000062
其中{φl}是VGG-19中的一组层(conv1_2,conv2_2,conv3_2,conv4_2和conv5_2),而权重超参数{λl}设置为每一层中神经元数量的倒数。
D、将输入张量输入训练好的基于深度神经网络的MPI学习网络,得到多平面图像MPI的RGBA分层表示。
最直接的网络输出方法是为每个深度平面生成单独的RGBA图像。彩色图像捕获场景的外观,alpha通道对可见性和透明度进行编码。但是,这种输出被过度参数化,可以用更简单的输出来实现。尤其是,假设场景内的颜色信息只能对两个图像(前景图像和背景图像)正常地建模。其中,前景图像仅是I1,背景图像通过网络预测,旨在捕捉隐藏的表面的外观表现。因此,RGB图像Cd可以由前景图像I1和预测背景图像
Figure BDA0002726900940000071
的每个深度平面的加权平均来算出,公式如下:
Figure BDA0002726900940000072
其中⊙表示哈达玛积,并且混合权重wd是由网络预测。直观地理解,由于前景图像在浅景深中占主导地位,因此I1在浅景深平面中获得高权重,
Figure BDA0002726900940000073
是为了捕获参考视场角中遮挡的表面像素。请注意,背景图像本身不必是自然的图像。因为网络可以利用alpha和混合的权重灵活地选择其不同深度的不同区域。事实上,某些背景影像中可能有未在新视图中使用过的区域。总而言之,网络的输出包括:1)每个平面的alpha通道αd。2)全局RGB背景图像
Figure BDA0002726900940000074
。3)表示每个像素位于前景和背景的混合权重图wd。如果预测每个深度为W×H的D个深度平面,则输出参数的总数为WH(2D+3)。
E、基于MPI的RGBA分层表示,合成同一场景的输入视图之外的视图。
如图4所示,给定相对于I2的MPI表示,可以通过对每个平面的RGBA图像进行平面变换,然后将变换后的图像进行alpha合成,从而以从后到前的顺序合成一个新颖的视图。平面变换和alpha合成都是可微的,并且可以轻松地合并到学习流程的其余部分中。
下面对平面变换进行具体说明。本发明中,将每个MPI RGBA平面逆向映射到目标视点上的平面变换。假设要转换的MPI平面的3D点满足n·x+a=0,其中n表示平面法线,x=[us,vs,1]T源图像I1像素坐标系下的齐次坐标表示,并且a表示平面偏移。由于MPI平面与源图像I1平面正面平行,因此我们有n=[0,0,1]和a=-ds,其中ds是MPI平面的深度。从源相机到目标相机的刚性3D变换矩阵映射由3D旋转R和平移t定义,并且源相机和目标相机内参分别表示为ks和kt。然后,对于目标MPI平面中的每个像素(ut,vt),我们使用标准逆向单应性映射获得:
Figure BDA0002726900940000081
因此,可以通过在源图像中查找对应的[us,vs]来获得每个目标像素[ut,vt]的颜色值和alpha值。由于[us,vs]可能不是精确的像素坐标,因此本发明实施例中在4网格邻域之间使用双线性插值来获取重采样值。
在将平面变换应用于每个MPI平面之后,本发明实施例中通过使用标准over操作以从后到前的顺序对彩色图像进行alpha合成来获得预测的目标视图。
F、优化
本发明实施例在TensorFlow框架下实现,使用ADAM求解器,学习率为0.0002进行600K次迭代,β1=0.9,β2=0.999,并且批处理大小1.在训练期间,图像和MPI的空间分辨率为1024×576,但是模型可以是在测试时以全卷积方式应用于任意分辨率。在Tesla P100GPU上的训练大约需要一周。
本发明实施例中的基于多平面图像学习视角合成的基线扩展方法,用视频剪辑作为训练数据来训练神经网络,以从窄基线立体图像对生成MPI场景表示。然后,从神经网络得到的多视点图像可以用来合成新的场景视图,即那些超出输入立体图像对基线的视图。该方法能够表示包括遮挡元素在内的几何和纹理,因为使用α通道可以使它们捕捉部分反射或透明的对象并处理软边缘。本发明在扩展窄基线立体图像方面具有良好的应用前景,并能对许多具有挑战性的场景获得准确的推理结果。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于多平面图像学习视角合成的基线扩展实现方法,其特征在于,包括以下步骤:
步骤1、基于视频剪辑获取立体图像对;所述立体图像对包括由第一相机采集的第一幅图像I1和由第二相机采集的第二幅图像I2
步骤2、将所述第二幅图像I2重新投影到所述第一相机的坐标系下的一组固定深度平面上,计算平面扫描量,得到重新投影的图像
Figure FDA0002726900930000011
Figure FDA0002726900930000012
表示I2重新投影到I1视角下深度为D的平面上的图像;
步骤3、将所述重新投影的图像
Figure FDA0002726900930000013
沿着颜色通道级联,得到维度为H×W×3D的张量
Figure FDA0002726900930000014
再将所述张量
Figure FDA0002726900930000015
与所述第一幅图像级联,得到维度为H×W×3(D+1)的输入张量;其中,H和W表示投影图像的长和宽,D表示深度;
步骤4、将所述输入张量输入训练好的基于深度神经网络的MPI学习网络,得到多平面图像MPI的RGBA分层表示;
步骤5、基于MPI的RGBA分层表示,合成同一场景的输入视图之外的视图。
2.根据权利要求1所述的方法,其特征在于,获取立体图像对包括:
基于视频剪辑选取连续N帧视频子序列;其中,N为大于2的正整数;
从所述视频子序列中随机选取立体图像对。
3.根据权利要求1所述的方法,其特征在于,得到多平面图像MPI的RGBA分层表示,包括:
获取所述MPI学习网络的网络输出;所述网络输出包括每一个平面的α通道、全局RGB背景图像
Figure FDA0002726900930000016
和每个平面的混合权重图像Wd
基于所述网络输出得到多平面图像MPI的RGBA分层表示。
4.根据权利要求1所述的方法,其特征在于,用于训练所述MPI学习网络的训练集由元组<I1,I2,It,c1,c2,ct〉组成,其中It和ct=(pt,kt)分别表示目标真值图像和其对应的相机参数,其中pt和kt分别表示针对目标视图的相机外参和内参。
5.根据权利要求1所述的方法,其特征在于,基于所述MPI的RGBA分层表示,合成同一场景的输入视图之外的视图,包括:
对每个平面的RGBA图像进行平面变换;
将变换后的图像进行alpha合成,以从后到前的顺序合成视图。
6.根据权利要求4所述的方法,其特征在于,训练所述MPI学习网络包括:优化网络参数;
对于所述训练集,通过以下方式优化网络参数:
Figure FDA0002726900930000021
其中,fθ(I1,I2,c1,c2)为学习得到的MPI,R(·)表示渲染流程,所述渲染流程使用学习得到的MPI合成目标相机ct的新视图,L(·)是合成图像和目标图像之间的损失函数;
使用深度特征匹配损失。
7.根据权利要求6所述的方法,其特征在于,使用深度特征匹配损失包括:使用归一化的VGG-19中的特征层进行深度特征匹配损失,匹配如下:
Figure FDA0002726900930000022
其中,{φl}是VGG-19中的一组层,权重超参数{λl}设置为每一层中神经元数量的倒数。
8.根据权利要求1所述的方法,其特征在于,所述深度平面与MPI的深度平面一致。
9.根据权利要求1所述的方法,其特征在于:所述D取32。
10.根据权利要求1所述的方法,其特征在于:固定深度平面中最近平面和最远平面分别为1m和100m。
CN202011105754.5A 2020-10-15 2020-10-15 一种基于多平面图像学习视角合成的基线扩展实现方法 Active CN112233165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011105754.5A CN112233165B (zh) 2020-10-15 2020-10-15 一种基于多平面图像学习视角合成的基线扩展实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011105754.5A CN112233165B (zh) 2020-10-15 2020-10-15 一种基于多平面图像学习视角合成的基线扩展实现方法

Publications (2)

Publication Number Publication Date
CN112233165A true CN112233165A (zh) 2021-01-15
CN112233165B CN112233165B (zh) 2024-06-21

Family

ID=74118982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011105754.5A Active CN112233165B (zh) 2020-10-15 2020-10-15 一种基于多平面图像学习视角合成的基线扩展实现方法

Country Status (1)

Country Link
CN (1) CN112233165B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220207663A1 (en) * 2020-12-30 2022-06-30 Samsung Eletrônica da Amazônia Ltda. Method for generating an adaptive multiplane image from a single high-resolution image
CN114782546A (zh) * 2022-04-11 2022-07-22 北京航空航天大学 一种级联立体视觉系统从眼设备的标眼关系标定方法
WO2023272510A1 (zh) * 2021-06-29 2023-01-05 Oppo广东移动通信有限公司 多平面图像的生成、数据处理、编码和解码方法、装置
WO2023272531A1 (zh) * 2021-06-29 2023-01-05 Oppo广东移动通信有限公司 图像处理方法及装置、设备、存储介质
WO2023050396A1 (zh) * 2021-09-30 2023-04-06 Oppo广东移动通信有限公司 多平面图像的生成、数据处理、编码和解码方法、装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903393A (zh) * 2019-02-22 2019-06-18 清华大学 基于深度学习的新视角场景合成方法和装置
CN111127536A (zh) * 2019-12-11 2020-05-08 清华大学 基于神经网络的光场多平面表示重建方法及装置
US20200228774A1 (en) * 2019-01-14 2020-07-16 Fyusion, Inc. Free-viewpoint photorealistic view synthesis from casually captured video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200228774A1 (en) * 2019-01-14 2020-07-16 Fyusion, Inc. Free-viewpoint photorealistic view synthesis from casually captured video
CN109903393A (zh) * 2019-02-22 2019-06-18 清华大学 基于深度学习的新视角场景合成方法和装置
CN111127536A (zh) * 2019-12-11 2020-05-08 清华大学 基于神经网络的光场多平面表示重建方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
余从津, 何丕廉, 侯越先: "用基于视角的方法分析和合成图像", 微处理机, no. 02, 30 April 2004 (2004-04-30) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220207663A1 (en) * 2020-12-30 2022-06-30 Samsung Eletrônica da Amazônia Ltda. Method for generating an adaptive multiplane image from a single high-resolution image
US11704778B2 (en) * 2020-12-30 2023-07-18 Samsung Eletronica Da Amazonia Ltda. Method for generating an adaptive multiplane image from a single high-resolution image
WO2023272510A1 (zh) * 2021-06-29 2023-01-05 Oppo广东移动通信有限公司 多平面图像的生成、数据处理、编码和解码方法、装置
WO2023272531A1 (zh) * 2021-06-29 2023-01-05 Oppo广东移动通信有限公司 图像处理方法及装置、设备、存储介质
WO2023050396A1 (zh) * 2021-09-30 2023-04-06 Oppo广东移动通信有限公司 多平面图像的生成、数据处理、编码和解码方法、装置
CN114782546A (zh) * 2022-04-11 2022-07-22 北京航空航天大学 一种级联立体视觉系统从眼设备的标眼关系标定方法
CN114782546B (zh) * 2022-04-11 2024-05-28 北京航空航天大学 一种级联立体视觉系统从眼设备的标眼关系标定方法

Also Published As

Publication number Publication date
CN112233165B (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
Niklaus et al. 3d ken burns effect from a single image
Zhou et al. Stereo magnification: Learning view synthesis using multiplane images
Attal et al. MatryODShka: Real-time 6DoF video view synthesis using multi-sphere images
Yuan et al. Star: Self-supervised tracking and reconstruction of rigid objects in motion with neural rendering
CN112233165B (zh) 一种基于多平面图像学习视角合成的基线扩展实现方法
JP5011168B2 (ja) 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US8164617B2 (en) Combining views of a plurality of cameras for a video conferencing endpoint with a display wall
CN109791704B (zh) 用于自由运行fvv应用的基于多层uv映射的纹理渲染方法、系统和装置
US20210217225A1 (en) Arbitrary view generation
JP2019046077A (ja) オブジェクト情報の複数面への投影によって視点映像を合成する映像合成装置、プログラム及び方法
Starck et al. Virtual view synthesis of people from multiple view video sequences
Waidhofer et al. PanoSynthVR: Toward light-weight 360-degree view synthesis from a single panoramic input
CA3173542A1 (en) Techniques for re-aging faces in images and video frames
JP5373931B2 (ja) 仮想視点画像生成方法,仮想視点画像生成装置および仮想視点画像生成プログラム
Zhou et al. Single-view view synthesis with self-rectified pseudo-stereo
Nicolet et al. Repurposing a relighting network for realistic compositions of captured scenes
Cooke et al. Multi-view synthesis: A novel view creation approach for free viewpoint video
US12051150B2 (en) Computer implemented method and system for classifying an input image for new view synthesis in a 3D visual effect, and non-transitory computer readable storage medium
CN109816765A (zh) 面向动态场景的纹理实时确定方法、装置、设备和介质
JP2019149112A (ja) 合成装置、方法及びプログラム
WO2022208497A1 (en) Surface texturing from multiple cameras
Li et al. Extending 6-dof vr experience via multi-sphere images interpolation
Huang et al. 360° stereo image composition with depth adaption
Wang et al. Learning View Synthesis for Desktop Telepresence with Few RGBD Cameras
Hobloss et al. Hybrid dual stream blender for wide baseline view synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant