CN111010559B - 裸眼三维光场内容的生成方法及装置 - Google Patents

裸眼三维光场内容的生成方法及装置 Download PDF

Info

Publication number
CN111010559B
CN111010559B CN201911108124.0A CN201911108124A CN111010559B CN 111010559 B CN111010559 B CN 111010559B CN 201911108124 A CN201911108124 A CN 201911108124A CN 111010559 B CN111010559 B CN 111010559B
Authority
CN
China
Prior art keywords
pixel
light field
field content
generating
dimensional light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911108124.0A
Other languages
English (en)
Other versions
CN111010559A (zh
Inventor
桑新柱
李远航
邢树军
管延鑫
颜玢玢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201911108124.0A priority Critical patent/CN111010559B/zh
Publication of CN111010559A publication Critical patent/CN111010559A/zh
Application granted granted Critical
Publication of CN111010559B publication Critical patent/CN111010559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明实施例提供一种裸眼三维光场内容的生成方法及装置，其中方法包括：获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，通过虚拟相机向具有对应关系的像素点多次发射定向光线；对每次发射的定向光线照射至虚拟物体上后的反射光线进行路径跟踪，根据多次路径追踪的结果进行积分，获得所述像素点的像素值；根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容。本发明实施例解决了超多密集视点在复杂光照下无法快速生成高质量的集成成像的生成问题。

Description

裸眼三维光场内容的生成方法及装置
技术领域
本发明涉及三维成像技术领域，更具体地，涉及裸眼三维光场内容的生成方法及装置。
背景技术
采用计算机图形学中的渲染技术和光学中的三维显示技术可以生成三维图像。结合三维光场显示能够实现大视角、高分辨率、全视差的真实空间感的立体显示。
对原始图像的高质量的采集和再现是三维显示关键。根据三维光场显示的光学成像过程，模拟每个像素发射光线的传播，在虚拟三维空间中模拟光线传播的逆过程进行像素编码和采集。由于三维光场显示依赖于超密集视点排布来提供全视差，因此，在空间中传统的视点数目使用传统的多视点方案无法达到实时计算，不能提供实时可交互的三维内容。
发明内容
本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的裸眼三维光场内容的生成方法及装置。
第一个方面，本发明实施例提供一种裸眼三维光场内容的生成方法，包括：
获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，通过虚拟相机向具有对应关系的像素点多次发射定向光线；
对每次发射的定向光线照射至虚拟物体上后的反射光线进行路径跟踪，根据多次路径追踪的结果进行积分，获得所述像素点的像素值；
根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容。
进一步地，所述根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容，具体为：
将多次路径追踪后积分得到的所有像素点的像素值以及场景信息输入至预先训练的神经网络模型中，输出三维光场内容；
其中，所述场景信息通过路径追踪获得；所述神经网络模型以n次样本路径追踪后积分得到的所有像素点的像素值以及场景信息作为样本，以m次样本路径追踪后获得的三维光场内容为样本标签训练而成；其中，m和n均为正整数，且n小于m。
进一步地，所述神经网络模型为递归卷积神经网络。
进一步地，所述神经网络模型的输入的像素值为至少第四次进行路径追踪结果后进行积分获得的像素点的像素值。
进一步地，所述获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，具体为：
确定显示面板上各像素点的坐标，将各像素点划分至矩形排布的基元图像子块；
根据像素点的坐标以及像素点所划分的基元图像子块，确定像素点在基元图像子块中的位置；
根据像素点在基元图像子块中的位置以及虚拟相机阵列的宽度和高度，确定像素点对应的虚拟相机。
进一步地，所述根据多次路径追踪的结果进行积分，获得所述像素点的像素值，具体通过以下公式计算：
Figure BDA0002271930990000021
其中，u(x)表示像素点x的像素值，nx表示定向光线的采样次数，
Figure BDA0002271930990000022
表示随机采样的第j次通过像素点x的定向光线的采样的像素值。
进一步地，所述路径跟踪的结果通过BRDF函数进行积分来实现。
第二个方面，本发明实施例提供一种裸眼三维光场内容的生成装置，包括：
光线发射模块，用于获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，通过虚拟相机向具有对应关系的像素点多次发射定向光线；
像素值获取模块，用于对每次发射的定向光线照射至虚拟物体上后的反射光线进行路径跟踪，根据多次路径追踪的结果进行积分，获得所述像素点的像素值；
光场内容生成模块，用于根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的裸眼三维光场内容的生成方法及装置，利用像素点可以并行渲染的优势，将现有技术对视点的直接跟踪变更为对像素点的跟踪，可以大幅提升三维光场内容的生成效率，通过对由视点向像素点发射的定向光线照射至虚拟物体后的反射光线进行路线跟踪，利用蒙特卡洛积分的方法估算出像素点的像素值，将所有像素点的像素值进行显示，即获得虚拟物体的三维光场内容。本发明实施例为获取裸眼三维光场内容提供了新的方向，能够大幅提升三维光场内容的生成效率，解决了超多密集视点在复杂光照下无法快速生成高质量的集成成像的生成问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的裸眼三维光场内容的生成方法的流程示意图；
图2为本发明实施例提供的裸眼三维光场内容的生成装置的结构示意图；
图3为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了更好地理解本发明实施例的技术方案，首先对技术方案中出现的技术名词进行解释说明。
物理渲染：利用物理光学来更真实的模拟现实世界的渲染技术。物理渲染的目的是利用更接近实际物理理论的光照计算生成更加真实的画面。
三维光场显示：不用佩戴任何辅助设备，可以直接为观看者提供全视差的立体视觉。
视点：视差图像在空间中形成的可正确观看的位置。
基元图像阵列：用于存储多视图的光场信息的图像，借助于三维显示系统能够显示出三维像。
路径追踪：依据真实世界中的表面特性，模拟光线在表面的作用，对所有可能的光线路径进行积分。
蒙特卡洛积分：也称统计模拟方法，是一种以概率统计理论为指导的一类非常重要的数值计算方法。
全局光照：是指既考虑场景中直接光照，又考虑经过场景中其他物体反射后的间接光照的一种渲染技术。使用全局光照能够有效地增强场景的真实感。
卷积神经网络：是一类包含卷积计算且具有深度结构的前馈神经网络，它仿造生物的视知觉、机制构建，可以进行监督学习和非监督学习。
图形去噪：根据渲染过程中已知的场景参数，如法线，光照度，面片位置，阴影等，构造匹配滤波器，输入有噪声的图像序列，输出去噪后的图像。
本发明实施例的三维光场的光学层由显示面板(例如可以为液晶显示面板)、透镜阵列和扩散膜组成。透镜阵列具有空间分光能力，能够控制它所覆盖的显示面板的像素上的光线到空间中的指定位置，以生成视差图像。由显示面板发射的光线形成空间视点，分别进入左右眼，形成立体感。
三维光场显示能够提供超多视点显示，比如对于83*83大小的虚拟相机阵列来说，就存在6889个视点。传统的栅格化的渲染方案的渲染的时间复杂度和视点数成正比，在超密集视点的显示系统中，逐个视点的方法无法实现实时渲染。
显示面板上的像素被划分至基元图像，一个基元图像包括了若干个像素，这些基元图像组成了基元图像阵列。根据光线可逆原则，基元上的像素O'(m',i')发射的光经过它所覆盖的透镜L(m',i')后，沿着点方向传播到达相机平面(Camera array，相机平面是虚拟相机阵列所在的平面)上的虚拟相机O(m,i)，则，虚拟相机O(m,i)即为像素O'(m',i')对应的视点。利用光线路径追踪每个像素的渲染过程都是独立进行的优势，采用并行对像素进行渲染的方式，相比现有技术对视点进行渲染的方式，能够极大提高渲染效率。
图1为本发明实施例的裸眼三维光场内容的生成方法的流程示意图，如图1所示，包括：
S101、获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，通过虚拟相机向具有对应关系的像素点多次发射定向光线。
本发明实施例可以根据透镜针孔模型的成像显示原理构造作为视点的虚拟相机与像素的对应关系，可以理解的是，由于一个基元图像中含有多个像素点，因此一个作为视点的虚拟相机可以与多个像素点构成对应关系，但一个像素点仅可能与一个虚拟相机对应。
本发明实施例在确定每个虚拟相机与像素点的对应关系后，虚拟相机阵列的所有虚拟相机同时向具有对应关系的像素点发射定向光线，并持续发射多次。
S102、对每次发射的定向光线照射至虚拟物体上后的反射光线进行路径跟踪，根据多次路径追踪的结果进行积分，计算所述像素点的像素值。
需要说明的是，由于在多次发射虚拟相机、像素点、虚拟物体的位置都不会发生变动，因此发射多次定向光线所产生的反射光线的路径也是不会变动的。对于显示面板上的每个像素，沿着光线传播过程的逆过程计算每条反射光线对像素点像素值的权重，通过将多次采样的结果进行积分，即可获得像素点的像素值。可选地，本发明实施例使用蒙特卡洛方法来对离散采样的积分结果进行估算。蒙特卡罗方法是一种利用随机路径抽样估计积分值的方法，在本发明实施例中能够无偏的生成真实感像素值。
S103、根据计算的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容。
本发明实施例通过显示计算的所有像素点的像素值，即可获得三维光场内容，该三维光场内容即虚拟物体的三维成像。
需要说明的是，本发明实施例利用像素点可以并行渲染的优势，将现有技术对视点的直接跟踪变更为对像素点的跟踪，可以大幅提升三维光场内容的生成效率，通过对由视点向像素点发射的定向光线照射至虚拟物体后的反射光线进行路线跟踪，利用积分的方法估算出像素点的像素值，将所有像素点的像素值进行显示，即获得虚拟物体的三维光场内容。本发明实施例为获取裸眼三维光场内容提供了新的方向，能够大幅提升三维光场内容的生成效率。
通过统计本发明实施例在不同分辨率下的渲染时间，在4K分辨率下，渲染一帧的开销小于30ms，证明本发明实施例能够实现4K超高分辨率下的光场实时渲染。由于渲染复杂度只与输出图像的分辨率有关，而与视点数无关。因此，本发明实施例在采用密集视点的三维光场显示中有着非常有效的应用。
需要说明的是，在根据光线路径追踪结果进行积分时，由于积分的过程未收敛会导致噪声的存在，因此会导致影响交互体验的问题，因此在上述各实施例的基础上，作为一种可选实施例，本发明实施例还提供一种消除噪声的方法，该方法应用于根据获得显示面板上所有像素点的像素值生成虚拟物体的三维光场内容的步骤中，具体地，所述根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容：
将多次路径追踪后计算积分的所有像素点的像素值以及场景信息输入至预先训练的神经网络模型中，输出三维光场内容；
其中，所述场景信息通过路径追踪获得；所述神经网络模型以n次样本路径追踪后积分得到的所有像素点的像素值以及场景信息作为样本，以m次样本路径追踪后获得的三维光场内容为样本标签训练而成；其中，m和n均为正整数，且n小于m。
具体地，本发明实施例的场景信息包括反照率、法线以及虚拟物体的表面材质信息，本发明实施例为了加速积分过程，采用机器学习的方法消除积分产生的噪声，为噪声的去除计算提供了新的方向。由于像素点的像素值是一个随着路径追踪的次数变多，积分结果越来越准确的过程，因此，本发明实施例在训练神经网络时，以低次数的样本路径追踪后积分得到的像素点的像素值和场景信息为样本，以高次数的样本路径追踪后积分得到像素点生成的光场内容为样本标签，使得在训练后的神经网络模型能够在输入低次数的路径追踪后积分得到的像素点的像素值和场景信息后，能够输出高次数的路径追踪后生成的三维光场内容，减少了路径追踪的次数，提高了三维光场内容的生成效率。
作为一种可选实施例，本发明实施例的神经网络模型为递归卷积神经网络。递归卷积神经网络具有以下特点：(1)在去除噪声的同时保留边缘；(2)具有良好的超分辨率适应能力；(3)在帧序列之间保持稳定。
递归卷积神经网络包括编码器和解码器，在编码器和解码器之间存在分层跳转连接，编码器卷积层中存在递归卷积块，在帧内具有足够的时间一致性。全卷积网络结构有利于超分辨率图像滤波的处理。其内置的U型网络结构能够在极短的时间实现很好的去噪。编码器部分不断对输入图像进行降采样，保留重要的高维特征，而逐渐的去除噪声，解码器部分通过高速通道的跳接，重新引入相应层中被过滤场景信息。
在上述实施例的基础上，作为一种可选实施例，递归卷积神经网络输入的像素值为至少第四次进行路径追踪结果后进行积分获得的像素点的像素值，这样设置的原因在于，如果路径追踪的次数较少，积分结果将不准确，而如果路径追踪的次数较多，会延误三维光场内容的生成，因此本发明实施例选择至少第4次进行路径追踪结果后进行积分获得的像素点的像素值。
在上述各实施例的基础上，作为一种可选实施例，本发明实施例所述路径跟踪的结果通过BRDF函数进行积分来实现
双向反射分布函数(Bidirectional Reflectance Distrbution Function,BRDF)是用来定义给定入射方向上的辐射照度如何影响给定出射方向上的辐射率。更笼统地说，它描述了入射光线经过某个表面反射后如何在各个出射方向上的分布，可以是从理想镜面反射到漫反射、各向同性或者各向异性的各种反射。
BRDF是一个定义光线在不透明表反射的四次元函数，基本式为：fr(ωi,ωr)，ωi表示光线的反方向，ωr表示光线反射的方向，除此之外，还有一个n参量表示法线，这个值的意义是在ωr方向的反射光线的辐射率和同一点上从ωi方向射入的光线的辐射率的比值。每一个ω的方向可以被参数化为方位角和天顶角，BRDF的单位是sr，其中(sr)是球面度的单位。
在上述各实施例的基础上，作为一种可选实施例，根据多次路径追踪的结果进行积分，获得所述像素点的像素值，具体通过以下公式计算：
Figure BDA0002271930990000091
其中，u(x)表示像素点x的像素值，nx表示定向光线的采样次数，
Figure BDA0002271930990000094
表示随机采样的第j次通过像素点x的定向光线的采样的像素值。
在上述各实施例的基础上，作为一种可选实施例，所述获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，包括S201、S202和S203，具体地：
S201、确定显示面板上各像素点的坐标，将各像素点划分至矩形排布的基元图像子块。
本发明实施例首先将显示面板划分为多个基元图像子块，每个基元图像子块之间不重合，然后根据像素点的坐标划分到响应的基元图像子块中，具体可根据以下公式计算：
Figure BDA0002271930990000092
其中，index(m,n)表示像素点(x,y)所划分的基元图像子块的编号，m和n分别表示编号的行数和列数；M和N分别表示基元图像子块在每一行所包含的像素点数和每一列所包含的像素点数。由该公式可知，本发明实施例的基元图像子块的编号从(0,0)开始。
S202、根据像素点的坐标以及像素点所划分的基元图像子块，确定像素点在基元图像子块中的位置。
需要说明的是，确定像素点所属的基元图像子块后，还需要进一步确定像素点在基元图像子块中的位置。具体可根据以下公式计算：
Figure BDA0002271930990000093
其中，pos(j,k)表示像素点(x,y)在基元图像子块中的位置，j和k分别表示像素点(x,y)在基元图像子块中的行数和列数；indexx表示像素点(x,y)所划分的基元图像子块的编号的行数；indexy表示像素点(x,y)所划分的基元图像子块的编号的列数。
S203、根据像素点在基元图像子块中的位置以及虚拟相机阵列的宽度和高度，确定像素点对应的虚拟相机。
具体根据以下公式计算：
Figure BDA0002271930990000101
其中，Vp(m,n)表示像素点(x,y)对应的虚拟相机，负号表示坐标颠倒，由于三维显示中使用的透镜在成像的时候是倒立的像，即基元图像和虚拟相机平面是上下，左右颠倒的，因此需要增加负号；u和v分别表示虚拟相机在虚拟相机阵列中的行数和列数；a和b分别表示虚拟相机阵列的宽度和高度；posx表示像素点(x,y)在基元图像子块中的行数，posy表示像素点(x,y)在基元图像子块中的列数。由上述格式可知，一个像素点只与一个虚拟相机对应，但是在同一个基元图像中的像素点，对应着同一个虚拟相机。
图2为本发明实施例提供的裸眼三维光场内容的生成装置的结构示意图，如图2所示，该裸眼三维光场内容的生成装置包括：光线发射模块201、像素值获取模块202和光场内容生成模块203，其中：
光线发射模块，用于获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，通过虚拟相机向具有对应关系的像素点多次发射定向光线；
像素值获取模块，用于对每次发射的定向光线照射至虚拟物体上后的反射光线进行路径跟踪，根据多次路径追踪的结果进行积分，获得所述像素点的像素值；
光场内容生成模块，用于根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容。
本发明实施例提供的裸眼三维光场内容的生成装置，具体执行上述各裸眼三维光场内容的生成方法实施例流程，具体请详见上述各裸眼三维光场内容的生成方法实施例的内容，在此不再赘述。本发明实施例提供的裸眼三维光场内容的生成装置利用像素点可以并行渲染的优势，将现有技术对视点的直接跟踪变更为对像素点的跟踪，可以大幅提升三维光场内容的生成效率，通过对由视点向像素点发射的定向光线照射至虚拟物体后的反射光线进行路线跟踪，利用蒙特卡洛积分的方法估算出像素点的像素值，将所有像素点的像素值进行显示，即获得虚拟物体的三维光场内容。本发明实施例为获取裸眼三维光场内容提供了新的方向，能够大幅提升三维光场内容的生成效率。
图3为本发明实施例提供的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储在存储器330上并可在处理器310上运行的计算机程序，以执行上述各实施例提供的裸眼三维光场内容的生成方法，例如包括：获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，通过虚拟相机向具有对应关系的像素点多次发射定向光线；对每次发射的定向光线照射至虚拟物体上后的反射光线进行路径跟踪，根据多次路径追踪的结果进行积分，获得所述像素点的像素值；根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的裸眼三维光场内容的生成方法，例如包括：获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，通过虚拟相机向具有对应关系的像素点多次发射定向光线；对每次发射的定向光线照射至虚拟物体上后的反射光线进行路径跟踪，根据多次路径追踪的结果进行积分，获得所述像素点的像素值；根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种裸眼三维光场内容的生成方法，其特征在于，包括：
获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，通过虚拟相机向具有对应关系的像素点多次发射定向光线；
对每次发射的定向光线照射至虚拟物体上后的反射光线进行路径跟踪，对多次路径追踪结果进行积分，获得所述像素点的像素值；
根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容。
2.根据权利要求1所述的裸眼三维光场内容的生成方法，其特征在于，所述根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容，具体为：
将多次路径追踪后积分得到的所有像素点的像素值以及场景信息输入至预先训练的神经网络模型中，输出三维光场内容；
其中，所述场景信息通过路径追踪获得；所述神经网络模型以n次样本路径追踪后积分得到的所有像素点的像素值以及场景信息作为样本，以m次样本路径追踪后获得的三维光场内容为样本标签训练而成；其中，m和n均为正整数，且n小于m。
3.根据权利要求2所述的裸眼三维光场内容的生成方法，其特征在于，所述神经网络模型为递归卷积神经网络。
4.根据权利要求2或3所述的裸眼三维光场内容的生成方法，其特征在于，所述神经网络模型的输入的像素值为至少第四次进行路径追踪结果后进行积分获得的像素点的像素值。
5.权利要求1所述的裸眼三维光场内容的生成方法，其特征在于，所述获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，具体为：
确定显示面板上各像素点的坐标，将各像素点划分至矩形排布的基元图像子块；
根据像素点的坐标以及像素点所划分的基元图像子块，确定像素点在基元图像子块中的位置；
根据像素点在基元图像子块中的位置以及虚拟相机阵列的宽度和高度，确定像素点对应的虚拟相机。
6.根据权利要求1所述的裸眼三维光场内容的生成方法，其特征在于，所述对多次路径追踪结果进行积分，获得所述像素点的像素值，具体通过以下公式计算：
Figure FDA0002895243780000021
其中，u(x)表示像素点x的像素值，nx表示定向光线的采样次数，
Figure FDA0002895243780000022
表示对定向光线进行第j次随机采样，所述定向光线通过像素点x时所述像素点x的像素值。
7.根据权利要求1所述的裸眼三维光场内容的生成方法，其特征在于，所述路径跟踪的结果通过BRDF函数进行积分来实现。
8.一种裸眼三维光场内容的生成装置，其特征在于，包括：
光线发射模块，用于获取虚拟相机阵列中每个虚拟相机与显示面板上各像素点的对应关系，通过虚拟相机向具有对应关系的像素点多次发射定向光线；
像素值获取模块，用于对每次发射的定向光线照射至虚拟物体上后的反射光线进行路径跟踪，对多次路径追踪结果进行积分，获得所述像素点的像素值；
光场内容生成模块，用于根据获得的显示面板上所有像素点的像素值生成所述虚拟物体的三维光场内容。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7任一项所述裸眼三维光场内容的生成方法的步骤。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7中任意一项所述的裸眼三维光场内容的生成方法。
CN201911108124.0A 2019-11-13 2019-11-13 裸眼三维光场内容的生成方法及装置 Active CN111010559B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911108124.0A CN111010559B (zh) 2019-11-13 2019-11-13 裸眼三维光场内容的生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911108124.0A CN111010559B (zh) 2019-11-13 2019-11-13 裸眼三维光场内容的生成方法及装置

Publications (2)

Publication Number Publication Date
CN111010559A CN111010559A (zh) 2020-04-14
CN111010559B true CN111010559B (zh) 2021-02-26

Family

ID=70113138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911108124.0A Active CN111010559B (zh) 2019-11-13 2019-11-13 裸眼三维光场内容的生成方法及装置

Country Status (1)

Country Link
CN (1) CN111010559B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967370B (zh) * 2021-03-03 2022-06-21 北京邮电大学 三维光场重建方法、装置及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101982838B (zh) * 2010-11-02 2012-06-27 长春理工大学 一种加速被面光源照射的3d虚拟场景的光线跟踪的方法
KR20150088355A (ko) * 2014-01-23 2015-08-03 한국전자통신연구원 눈동자 이동 시점 생성을 지원하는 스테레오 라이트필드 입출력 장치 및 방법
US9549174B1 (en) * 2015-10-14 2017-01-17 Zspace, Inc. Head tracked stereoscopic display system that uses light field type data
CN107067455B (zh) * 2017-04-18 2019-11-19 腾讯科技（深圳）有限公司 一种实时渲染的方法及设备
CN107563088B (zh) * 2017-09-14 2019-10-01 北京邮电大学 一种基于光线跟踪算法的光场显示设备仿真方法
CN110365965B (zh) * 2019-06-26 2020-11-06 北京邮电大学 三维光场图像生成方法及装置

Also Published As

Publication number Publication date
CN111010559A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
Mildenhall et al. Nerf: Representing scenes as neural radiance fields for view synthesis
US6791540B1 (en) Image processing apparatus
US10924727B2 (en) High-performance light field display simulator
Zhou et al. Accurate depth of field simulation in real time
CN109660783A (zh) 虚拟现实视差校正
CN112200902A (zh) 图像渲染方法、装置、电子设备及存储介质
CN110648274B (zh) 鱼眼图像的生成方法及装置
Matsubara et al. Light field display simulation for light field quality assessment
CN111010559B (zh) 裸眼三维光场内容的生成方法及装置
Kosloff et al. Depth of field postprocessing for layered scenes using constant-time rectangle spreading.
Yuan et al. Free-viewpoint image based rendering with multi-layered depth maps
CN114879377B (zh) 水平视差三维光场显示系统的参数确定方法、装置及设备
JP7387029B2 (ja) ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術
CN110149508A (zh) 一种基于一维集成成像系统的阵列图生成及填补方法
Marcus et al. A lightweight machine learning pipeline for LiDAR-simulation
CN114815286A (zh) 全视差三维光场显示系统的参数确定方法、装置及设备
Yan et al. Stereoscopic image generation from light field with disparity scaling and super-resolution
Mori et al. Exemplar-based inpainting for 6dof virtual reality photos
CN114693857A (zh) 光线追踪多帧降噪方法、电子设备、芯片及可读存储介质
Zhou Accurate depth based post-processing for perception enhancement in real time three-dimensional graphics
Papadopoulos et al. Realistic real-time underwater caustics and godrays
Xu et al. Real-time panoramic map modeling method based on multisource image fusion and three-dimensional rendering
Srinivasan Scene Representations for View Synthesis with Deep Learning
Mora et al. Visualization and computer graphics on isotropically emissive volumetric displays
Lomas Enhancing Perception of Complex Sculptural Forms Using Interactive Real-time Ray Tracing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant