CN115166993A - 自适应三维光场显示方法及系统 - Google Patents

自适应三维光场显示方法及系统 Download PDF

Info

Publication number
CN115166993A
CN115166993A CN202210616248.5A CN202210616248A CN115166993A CN 115166993 A CN115166993 A CN 115166993A CN 202210616248 A CN202210616248 A CN 202210616248A CN 115166993 A CN115166993 A CN 115166993A
Authority
CN
China
Prior art keywords
dimensional
scene
viewpoint
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210616248.5A
Other languages
English (en)
Other versions
CN115166993B (zh
Inventor
于迅博
高鑫
粟曦雯
李涵宇
桑新柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202210616248.5A priority Critical patent/CN115166993B/zh
Publication of CN115166993A publication Critical patent/CN115166993A/zh
Application granted granted Critical
Publication of CN115166993B publication Critical patent/CN115166993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/33—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving directional light or back-light sources
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133504—Diffusing, scattering, diffracting elements

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Nonlinear Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)

Abstract

本发明提供一种自适应三维光场显示方法及系统，该方法包括：提取目标三维场景图中的场景信息；场景信息用于表征目标三维场景图的场景复杂度；将场景信息输入至视点密度与场景复杂度的匹配模型中，匹配模型输出目标三维场景图对应的视点密度，使用视点密度对目标三维场景图进行编码得到合成图像；将合成图像加载在显示面板作为显示源，对携带合成图像中视点信息的光线进行调制，得到目标三维场景图的三维光场显示图；其中，匹配模型以三维场景图为样本并通过训练得到。本发明使用视点密度与场景复杂度的匹配模型根据三维场景结构复杂度而自适应调整三维光场显示的视点密度，满足不同的三维场景复杂度对视点密度的需求。

Description

自适应三维光场显示方法及系统
技术领域
本发明涉及光场显示技术及计算机视觉技术领域，尤其涉及一种自适应三维光场显示方法及系统。
背景技术
三维显示在传统二维显示的基础上增加了深度信息，能真实还原三维物体和场景，在医疗成像、军事指挥、智能制造和远程教育等领域有着广泛的应用前景。三维显示通常使用显示面板和控光器件向不同角度构建不同视差图像，给观看者提供接近真实的三维视觉感受。
视点密度是影响三维显示准确度的重要指标。目前，提升三维显示视点密度的方法主要包括基于投影阵列的方法、基于时序刷新的方法和基于人眼跟踪的方法。其中，基于投影阵列的光场显示系统因其体积庞大、调节困难而导致应用困难。利用时序刷新提升视点密度的方法受限于液晶显示面板的刷新率，且系统的稳定性和视觉的连续性都有待提高。在基于人眼追踪的方面，裸眼三维显示技术可以实时跟踪人眼位置，为人眼提供不同角度的视点图像，可以有效提升三维显示的视点密度，但该技术的最大问题是无法支持多人同时观看。
三维场景的复杂度越高，需要越密集的视点来保证显示的准确性。然而，受限于现有显示设备的空间带宽积，对裸眼三维显示而言，视点密度并非越大越好，过度提高视点密度，会带来空间分辨率的下降。但是现有三维显示技术的视点密度都是固定的，三维场景的不同区域通常具有不同的复杂度。如果视点密度较小，无法准确显示三维场景中复杂度高的内容。如果视点密度较大，对于三维场景中复杂度高的内容可能空间分辨率较低；对于三维场景中的复杂度较低的内容，则信息利用效率较低。
发明内容
本发明提供一种自适应三维光场显示方法及系统，用以解决现有技术中视点密度固定，无法兼顾三维显示的准确度、空间分辨率和信息利用效率的缺陷，实现视点密度随场景复杂度自适应调整。
本发明提供一种自适应三维光场显示方法，包括：
提取目标三维场景图中的场景信息；所述场景信息用于表征所述目标三维场景图的场景复杂度；
将所述场景信息输入至视点密度与场景复杂度的匹配模型中，所述匹配模型输出所述目标三维场景图对应的视点密度，使用所述视点密度对所述目标三维场景图进行编码得到合成图像；
将所述合成图像加载至显示面板，对携带所述合成图像的视点信息的光线进行调制，得到所述目标三维场景图的三维重建场景；
其中，所述匹配模型以三维场景图为样本进行训练得到。
根据本发明提供的一种自适应三维光场显示方法，将所述场景信息输入至视点密度与场景复杂度的匹配模型中，所述匹配模型输出所述目标三维场景图对应的视点密度的步骤，包括：
将所述三维场景图样本的场景信息输入至所述匹配模型中，所述匹配模型输出所述三维场景图样本对应的视点密度；
确定所述三维场景图样本在所述三维场景图样本对应的视点密度下的显示准确度；
使用所述显示准确度对所述匹配模型进行调优；
将所述目标三维场景图的场景信息输入至调优后的匹配模型中，所述调优后的匹配模型输出所述目标三维场景图对应的视点密度。
根据本发明提供的一种自适应三维光场显示方法，确定所述三维场景图样本在所述三维场景图样本对应的视点密度下的显示准确度，包括：
基于预设方法得到所述三维场景图样本对应的视点密度下所述三维场景图样本的三维光场显示图；
将所述三维场景图样本的三维光场显示图与所述目标三维场景图进行对比，得到所述三维场景图样本的显示准确度。
根据本发明提供的一种自适应三维光场显示方法，将所述三维场景图样本的三维光场显示图与所述目标三维场景图进行对比，得到所述三维场景图样本的显示准确度，包括：
确定用于衡量三维场景图样本的三维光场显示图与目标三维场景图之间差异的图像质量评价指标；
根据所述图像质量评价指标，得到所述三维场景图样本的显示准确度。
根据本发明提供的一种自适应三维光场显示方法，对携带所述合成图像的视点信息的光线进行调制，得到所述目标三维场景图的三维光场显示图，包括：
对携带所述视点信息的光线进行调制，使得所述光线以预设比例在预设平面上交叠，得到所述目标三维场景图对应的视点密度下所述目标三维场景图的三维光场显示图。
根据本发明提供的一种自适应三维光场显示方法，所述场景信息包括场景深度、场景深度的梯度、图像纹理和图像纹理的梯度中的一种或多种。
本发明还提供一种自适应三维光场显示系统，包括：
显示背光源，用于提供光源；
控制设备，用于提取目标三维场景图中的场景信息；所述场景信息用于表征所述目标三维场景图的场景复杂度；将所述场景信息输入至视点密度与场景复杂度的匹配模型中，所述匹配模型输出所述目标三维场景图对应的视点密度，使用所述视点密度对所述目标三维场景图进行编码得到合成图像；其中，所述匹配模型以三维场景图为样本进行训练得到；
显示面板，用于加载所述控制设备生成的所述合成图像，并在所述显示背光源的作用下将所述合成图像携带的视点信息以光线投射；
控光元件阵列，用于调制携带所述合成图像的视点信息的光线；
定向扩散膜，用于再次调制经控光元件阵列调制后的光线进行扩散和/或融合，得到所述目标三维场景图的三维重建场景；
其中，所述显示背光源、显示面板、控光元件阵列和定向扩散膜沿所述显示背光源的光路方向依次设置。
根据本发明提供的一种自适应三维光场显示系统，所述控光元件阵列为棱镜、柱透镜、圆透镜、菲涅尔透镜、平面镜或衍射光栅阵列，用于将携带所述视点信息的光线调制，使携带不同所述视点信息的光线以预设比例在预设平面交叠，交叠区域用于根据所述场景复杂度，改变视点密度。
根据本发明提供的一种三维光场显示系统，所述视点密度随场景复杂度自适应调整的三维光场显示，可以在同一个三维光场显示中呈现不同视点密度的区域。
本发明提供的自适应三维光场显示方法及系统，通过提取三维场景图中表征场景复杂度的场景信息，使用视点密度与场景复杂度的匹配模型根据三维场景结构复杂度而自适应调整三维光场显示的视点密度，将三维场景图中复杂度不同的区域按照合适的视点密度进行显示。对三维场景中复杂度高的内容，提供密集视点，保证显示的准确性和分辨率；对三维场景中复杂度低的内容，提供稀疏视点，保证空间的利用率；满足不同的三维场景复杂度对视点密度的需求。
附图说明
为了更清楚地说明本发明中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的自适应三维光场显示方法的流程示意图；
图2是本发明提供的自适应三维光场显示系统的结构示意图；
图3是本发明提供的自适应三维光场显示系统中控光元件阵列的结构示意图；
图4是本发明提供的自适应三维光场显示系统中控光元件阵列所生成视点的分布示意图；
图5是本发明提供的自适应三维光场显示系统中视点密度可调整的原理示意图。
附图标记：
201：显示背光源；202：显示面板；203：控光元件阵列；204：定向扩散膜；205：控制设备；301：光阑；2021：子像素；303：棱镜阵列。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1描述本发明的一种自适应三维光场显示方法，包括：步骤101，提取目标三维场景中的场景信息；所述场景信息用于表征所述目标三维场景的场景复杂度；
目标三维场景为需要进行三维光场显示的场景。选取并计算目标三维场景中一个或多个特征作为目标三维场景的场景信息，场景信息用于表征三维场景的结构复杂度。本实施例不限制场景信息的种类。
步骤102，将所述场景信息输入至视点密度与场景复杂度的匹配模型中，所述匹配模型输出与目标三维场景对应的视点密度，使用所述视点密度对所述目标三维场景图进行编码得到合成图像；其中，所述匹配模型以三维场景图为样本进行训练得到。
视点密度为对三维场景抽样和还原的密度。视点密度与场景复杂度的匹配模型为三维显示视点密度与三维场景复杂度之间的关联关系，通过该关联关系可以获知不同三维场景复杂度对应的合适的三维显示视点密度。
可选地，匹配模型为机器学习模型，如卷积神经网络。机器学习是令计算机模拟或实现人类的学习行为，使其重新组织已有的知识结构并不断提高自身推理性能的一种计算机技术。
通过使用三维场景图样本对匹配模型进行训练，对匹配模型的参数进行调优，使得在调优后的匹配模型输出的视点密度下，三维场景图样本的三维显示效果更佳。
调优后的匹配模型，对于三维场景中复杂度高的内容提供合适的密集视点，保证三维显示的准确性和分辨率；对于三维场景中复杂度低的内容提供合适的稀疏视点，保证空间利用率。
使用匹配模型获取与目标三维场景的场景复杂度匹配的视点密度，使用该获取的视点密度得到目标三维场景的视差图像。视差图像是对同一场景从不同角度观看/拍摄到的多幅有差异的图像。
合成图像为将视差图像的像素按照视点密度及系统控光规律以重新排列后生成的图像，即为重编码完成后的图像，亦称编码图像。
步骤103，将所述合成图像加载至显示面板，对携带所述合成图像的视点信息的光线进行调制，得到所述目标三维场景的三维重建场景。
视点信息为构成三维重建场景的离散化数据。
在背光源作用下，使显示面板上携带合成图像视点信息的光线投射到控光元件上。控光元件对投射光线进行调制，得到视点密度随场景复杂度自适应调整的三维光场显示。
本实施例通过提取三维场景图中表征场景复杂度的场景信息，使用视点密度与场景复杂度的匹配模型根据三维场景结构复杂度而自适应调整三维光场显示的视点密度，将三维场景中复杂度不同的区域按照合适的视点数目进行显示。对三场景中复杂度高的内容，提供密集视点，保证显示的准确性和分辨率；对三维场景中复杂度低的内容，提供稀疏视点，保证信息的利用效率，满足不同的三维场景复杂度对视点密度的需求。
在上述实施例的基础上，本实施例在将所述场景信息输入至视点密度与场景复杂度的匹配模型，输出所述目标三维场景图对应的视点密度的步骤，包括：将所述三维场景图样本的场景信息输入至所述匹配模型中，所述匹配模型输出所述三维场景图样本对应的视点密度；
可选地，使用显示准确度对匹配模型调优。具体为建立一组具有不同场景复杂度的三维场景图样本，利用光线反向追迹方法，通过可视化仿真得到不同视点密度下的三维显示图，计算显示图像的显示准确度。本实施例不限于显示准确度的评判依据。
以显示准确度为评判依据，测试呈现不同场景复杂度的每个三维场景图样本所需的最小视点密度。使得匹配模型以三维场景图样本的场景信息作为输入，以三维场景图样本所需的最小视点密度作为输出，对匹配模型进行拟合。
根据显示准确度对匹配模型的参数进行调整，使得显示准确度尽可能接近或高于预设值。
部署调优后的匹配模型，将所述目标三维场景图的场景信息输入至部署的匹配模型中，所述部署的匹配模型输出不同复杂度的三维场景所需的最适视点密度。
使用训练完成后的匹配模型为目标三维场景图中的不同区域设定不同的视点密度。
在上述实施例的基础上，本实施例中确定所述三维场景图样本在所述三维场景图样本对应的视点密度下的显示准确度，包括：基于预设方法得到所述三维场景图样本对应的视点密度下所述三维场景图样本的三维光场显示图；将所述三维场景图样本的三维光场显示图与所述目标三维场景图进行对比，得到所述三维场景图样本的显示准确度。若两者越相近，则显示准确度越高，反之则显示准确度越低。
在上述实施例的基础上，本实施例中所述将所述三维场景图样本的三维光场显示图与所述三维场景图样本进行对比，得到所述三维场景图样本的显示准确度，包括：确定三维场景图样本的三维光场显示图与所述三维场景图样本之间的图像质量评价指标；
图像质量评价指标包括但不限于结构相似性(Structural Similarity，SSIM)和均方误差(Mean Squared Error，MSE)。
根据所述图像质量评价指标，得到所述三维场景图样本的显示准确度。
本实施例将结构相似性和均方误差中的一种或两种图像评价指标作为显示准确度的评判依据。
当同时使用结构相似性和均方误差计算显示准确度时，可将两者进行加权求和得到显示准确度。
在上述各实施例的基础上，本实施例中所述对携带所述合成图像的视点信息的光线进行调制，得到所述目标三维场景图的三维重建场景，包括：对携带所述视点信息的光线进行调制，使得所述光线以预设比例在预设平面上交叠，得到所述目标三维场景图对应视点密度下所述目标三维场景图的三维重建场景。
使用控光元件能将携带视点信息的光线调制，使携带不同视点信息的光线以特定比例在预设平面交叠。交叠区域可用于根据当前场景复杂度，改变视点的疏密程度。
在上述各实施例的基础上，本实施例中所述场景信息包括但不限于场景深度、场景深度的梯度、图像纹理和图像纹理的梯度在内的一种或多种。
下面对本发明提供的自适应三维光场显示系统进行描述，下文描述的自适应三维光场显示系统与上文描述的自适应三维光场显示方法可相互对应参照。
如图2所示，本实施例提供的一种自适应三维光场显示系统，包括：
显示背光源201用于为整个自适应三维光场显示系统提供光源；
控制设备205用于提取目标三维场景图中的场景信息；所述场景信息用于表征所述目标三维场景图的场景复杂度；将所述场景信息输入至视点密度与场景复杂度的匹配模型中，所述匹配模型输出所述目标三维场景图对应的视点密度，使用所述视点密度对所述目标三维场景图进行编码得到合成图像；其中，所述匹配模型以三维场景图为样本进行训练得到；
本实施例至少存在一个与显示面板202连接的控制设备205。控制设备205用于控制显示面板202的显示内容。
显示面板202用于加载所述控制设备生成的所述合成图像，并在所述显示背光源的作用下将所述合成图像携带的视点信息以光线投射；
显示面板202作为信息输入端，将经控制设备205编码后的合成图像向控光元件阵列203投射。
优选地，可采用超高清LCD(Liquid Crystal Display，液晶显示器)面板(分辨率为7680×4320)作为显示面板，此时，搭建的三维光场设备尺寸≥69cm×39cm，实现视点密度可以随场景复杂度的变化在0.2个视点每度至3个视点每度之间调整。
控光元件阵列203用于调制携带所述合成图像的视点信息的光线；
定向扩散膜204用于再次调制经控光元件阵列调制后的光线进行扩散或融合，得到视点密度随场景复杂度自适应调整的三维重建场景；
其中，所述显示背光源201、显示面板202、控光元件阵列203和定向扩散膜204沿所述显示背光源201的光路方向依次设置。
在上述实施例的基础上，本实施例中在所述显示背光源201和所述显示面板202之间设置有光阑301，可以有效消除杂散光，如图3所示。
在上述各实施例的基础上，本实施例中所述控光元件阵列203为棱镜、柱透镜、圆透镜、菲涅尔透镜、平面镜或衍射光栅阵列，用于控制所述显示面板上每个子像素发出光线的方向。
本实施例中的控光元件阵列包括但不限于上述光学器件。
可选地，本实施例中所述控光元件阵列为棱镜阵列。
如图3所示，采用棱镜阵列303作为主要控光元件。棱镜阵列303控制显示面板202上每个子像素2021发出光线的方向，定向扩散膜204可以对光线进行扩散融合。
棱镜阵列303由多个结构相同的控光周期组成，每个控光周期内包含多个子棱镜阵列。子棱镜阵列中的每个棱镜结构精确覆盖在每个子像素表面，通过调整每个棱镜结构的倾角，控制子像素发出光线的方向。
需要说明的是，本实施例的控光元件阵列203包括至少一层控光元件，也可以为两层或更多层，层数越多形成的最小视点越窄，系统复杂度越大。本实施例采用单层控光元件阵列为例来对本实施例进行具体的阐述。
在以上控光元件阵列的基础上，自适应三维光场显示系统能生成如图4所示的视点分布情况。图4仅为示意图，并非只有按照图示排列的视点情况才能满足需求。
如图5所示，由于子像素发出的光线相互交叠，每个最小视点都由携带不同视点信息的光线共同合成。根据子像素发出光线之间的交叠关系，利用方程联立拟合，求解每个视点的合成表达式。基于棱镜阵列与全息功能屏的融合控光原理，进一步建立控光元器件的数学表达模型。利用相邻(最小)视点可合并的性质，获得密度可调的视点合成算法。
以图5中V1、V2、V3、V4和V5五个视点为例作说明，解释本实施例中的自适应三维光场显示系统如何控制视点的疏密。当需要提供密集视点时，V1、V2、V3、V4和V5各自独立为一个视点；当需要提供中等疏密视点时，V1和V2合并为一个视点，V3和V4合并为一个视点，V5为一个视点；当需要呈现稀疏视点时，V1、V2、V3、V4和V5全部合并为一个视点；以此类推，相邻视点可根据需求合并为一个视点。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种自适应三维光场显示方法，其特征在于，包括：
提取目标三维场景图中的场景信息；所述场景信息用于表征所述目标三维场景图的场景复杂度；
将所述场景信息输入至视点密度与场景复杂度的匹配模型中，所述匹配模型输出所述目标三维场景图对应的视点密度，使用所述视点密度对所述目标三维场景图进行编码得到合成图像；
将所述合成图像加载至显示面板，对携带所述合成图像中视点信息的光线进行调制，得到所述目标三维场景图的三维光场显示图；
其中，所述匹配模型以三维场景图为样本进行训练得到。
2.根据权利要求1所述的自适应三维光场显示方法，其特征在于，将所述场景信息输入至视点密度与场景复杂度的匹配模型中，所述匹配模型输出所述目标三维场景图对应的视点密度的步骤，包括：
将所述三维场景图样本的场景信息输入至所述匹配模型中，所述匹配模型输出所述三维场景图样本对应的视点密度；
确定所述三维场景图样本在所述三维场景图样本对应的视点密度下的显示准确度；
使用所述显示准确度对所述匹配模型进行调优；
将所述目标三维场景图的场景信息输入至调优后的匹配模型中，所述调优后的匹配模型输出所述目标三维场景图对应的视点密度。
3.根据权利要求2所述的自适应三维光场显示方法，其特征在于，确定所述三维场景图样本在所述三维场景图样本对应的视点密度下的显示准确度，包括：
基于预设方法得到所述三维场景图样本对应的视点密度下所述三维场景图样本的三维光场显示图；
将所述三维场景图样本的三维光场显示图与所述目标三维场景图进行对比，得到所述三维场景图样本的显示准确度。
4.根据权利要求3所述的自适应三维光场显示方法，其特征在于，将所述三维场景图样本的三维光场显示图与所述目标三维场景图进行对比，得到所述三维场景图样本的显示准确度，包括：
确定用于衡量三维场景图样本的三维光场显示图与目标三维场景图之间差异的图像质量评价指标；
根据所述图像质量评价指标，得到所述三维场景图样本的显示准确度。
5.根据权利要求1-4任一所述的自适应三维光场显示方法，其特征在于，对携带所述合成图像的视点信息的光线进行调制，得到所述目标三维场景图的三维光场显示图，包括：
对携带所述视点信息的光线进行调制，使得所述光线以预设比例在预设平面上交叠，得到所述目标三维场景图对应的视点密度下所述目标三维场景图的三维光场显示图。
6.根据权利要求1-4任一所述的自适应三维光场显示方法，其特征在于，所述场景信息包括场景深度、场景深度的梯度、图像纹理和图像纹理的梯度中的一种或多种。
7.一种自适应三维光场显示系统，其特征在于，包括：
显示背光源，用于提供光源；
控制设备，用于提取目标三维场景图中的场景信息；所述场景信息用于表征所述目标三维场景图的场景复杂度；将所述场景信息输入至视点密度与场景复杂度的匹配模型中，所述匹配模型输出所述目标三维场景图对应的视点密度，使用所述视点密度对所述目标三维场景图进行编码得到合成图像；其中，所述匹配模型以三维场景图为样本进行训练得到；
显示面板，用于加载所述控制设备生成的所述合成图像，并在所述显示背光源的作用下将所述合成图像携带的视点信息以光线投射；
控光元件阵列，用于调制携带所述合成图像中视点信息的光线；
定向扩散膜，用于再次调制经所述控光元件阵列调制后的光线进行扩散和/或融合，得到所述目标三维场景图的三维重建场景；
其中，所述显示背光源、显示面板、控光元件阵列和定向扩散膜沿所述显示背光源的光路方向依次设置。
8.根据权利要求7所述的自适应三维光场显示系统，其特征在于，所述控光元件阵列为棱镜、柱透镜、圆透镜、菲涅尔透镜、平面镜或衍射光栅阵列，用于将携带所述视点信息的光线调制，使携带不同所述视点信息的光线以预设比例在预设平面交叠，交叠区域用于根据所述场景复杂度，改变视点密度。
9.根据权利要求8所述的自适应三维光场显示系统，其特征在于，所述视点密度随所述场景复杂度自适应调整三维光场显示，在同一个三维光场显示中呈现不同视点密度的区域。
CN202210616248.5A 2022-05-31 2022-05-31 自适应三维光场显示方法及系统 Active CN115166993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210616248.5A CN115166993B (zh) 2022-05-31 2022-05-31 自适应三维光场显示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210616248.5A CN115166993B (zh) 2022-05-31 2022-05-31 自适应三维光场显示方法及系统

Publications (2)

Publication Number Publication Date
CN115166993A true CN115166993A (zh) 2022-10-11
CN115166993B CN115166993B (zh) 2023-11-10

Family

ID=83484270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210616248.5A Active CN115166993B (zh) 2022-05-31 2022-05-31 自适应三维光场显示方法及系统

Country Status (1)

Country Link
CN (1) CN115166993B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116088193A (zh) * 2022-11-07 2023-05-09 北京京东方技术开发有限公司 显示装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030071813A1 (en) * 1996-06-05 2003-04-17 Alessandro Chiabrera Three-dimensional display system: apparatus and method
KR20110049039A (ko) * 2009-11-04 2011-05-12 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
CN108761815A (zh) * 2018-06-21 2018-11-06 利亚德光电股份有限公司 影像的显示方法及系统
US20190258072A1 (en) * 2018-02-19 2019-08-22 Microsoft Technology Licensing, Llc Curved display of content in mixed reality
CN111670576A (zh) * 2017-12-05 2020-09-15 艾瑞3D有限公司 用于深度获取的光场图像处理方法
US20210132693A1 (en) * 2019-11-01 2021-05-06 Raxium, Inc. Light Field Displays Incorporating Eye Trackers and Methods for Generating Views for a Light Field Display Using Eye Tracking Information
CN113325601A (zh) * 2021-08-03 2021-08-31 成都工业学院 一种高视点密度光场立体显示装置
CN114339191A (zh) * 2021-10-27 2022-04-12 东南大学 一种基于多视点重建的裸眼三维显示方法
US20220210397A1 (en) * 2020-11-18 2022-06-30 Samsung Electronics Co., Ltd. Display apparatus and the control method thereof

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030071813A1 (en) * 1996-06-05 2003-04-17 Alessandro Chiabrera Three-dimensional display system: apparatus and method
KR20110049039A (ko) * 2009-11-04 2011-05-12 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
CN111670576A (zh) * 2017-12-05 2020-09-15 艾瑞3D有限公司 用于深度获取的光场图像处理方法
US20190258072A1 (en) * 2018-02-19 2019-08-22 Microsoft Technology Licensing, Llc Curved display of content in mixed reality
CN108761815A (zh) * 2018-06-21 2018-11-06 利亚德光电股份有限公司 影像的显示方法及系统
US20210132693A1 (en) * 2019-11-01 2021-05-06 Raxium, Inc. Light Field Displays Incorporating Eye Trackers and Methods for Generating Views for a Light Field Display Using Eye Tracking Information
US20220210397A1 (en) * 2020-11-18 2022-06-30 Samsung Electronics Co., Ltd. Display apparatus and the control method thereof
CN113325601A (zh) * 2021-08-03 2021-08-31 成都工业学院 一种高视点密度光场立体显示装置
CN114339191A (zh) * 2021-10-27 2022-04-12 东南大学 一种基于多视点重建的裸眼三维显示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田西雨: "用于光场显示的多视点内容处理方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 25 - 40 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116088193A (zh) * 2022-11-07 2023-05-09 北京京东方技术开发有限公司 显示装置

Also Published As

Publication number Publication date
CN115166993B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
US11113794B2 (en) Systems and methods for generating defocus blur effects
Chakravarthula et al. Learned hardware-in-the-loop phase retrieval for holographic near-eye displays
CN105700320B (zh) 一种基于空间光调制器的全息三维显示方法及装置
CN103885181B (zh) 近眼视差屏障显示器
US7224526B2 (en) Three-dimensional free space image projection employing Fresnel lenses
CN103885582B (zh) 近眼微透镜阵列显示器
US6843564B2 (en) Three-dimensional image projection employing retro-reflective screens
US20030122828A1 (en) Projection of three-dimensional images
CN104427318B (zh) 校正图像交叠区域的方法及设备
EP0590913A1 (en) Stereoscopic display method and apparatus
US20020114078A1 (en) Resolution modulation in microlens image reproduction
CN102156624A (zh) 用于显示系统的图像非意愿光污染的基于感知的补偿
US20050122549A1 (en) Computer assisted hologram forming method and apparatus
US20210389724A1 (en) Holographic display system
CN115166993B (zh) 自适应三维光场显示方法及系统
CN112230443B (zh) 基于可调液晶微透镜阵列的集成成像显示装置
US20230171385A1 (en) Methods, systems, and computer readable media for hardware-in-the-loop phase retrieval for holographic near eye displays
Yang et al. Deep neural network-enabled resolution enhancement for the digital light field display based on holographic functional screen
US10409221B2 (en) Wide viewing angle holographic video camera and display using a phase plate
CN106125324A (zh) 光场编辑装置、系统及方法以及光场显示系统及方法
Hopper Reality and surreality of 3-D displays: holodeck and beyond
CN111818324A (zh) 一种三维大视角光场的生成装置及生成方法
CN114995082B (zh) 一种基于光反射虚拟投影成像的方法
Escobar et al. 3D-Holograms in Real Time for Representing Virtual Scenarios
CN107976888B (zh) 能够表示再现像遮挡关系的计算全息三维显示方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant