CN116663429A - 一种面向光场显示器的参数联合调优方法 - Google Patents
一种面向光场显示器的参数联合调优方法 Download PDFInfo
- Publication number
- CN116663429A CN116663429A CN202310912663.XA CN202310912663A CN116663429A CN 116663429 A CN116663429 A CN 116663429A CN 202310912663 A CN202310912663 A CN 202310912663A CN 116663429 A CN116663429 A CN 116663429A
- Authority
- CN
- China
- Prior art keywords
- light field
- optimization
- parameters
- field display
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000011156 evaluation Methods 0.000 claims abstract description 52
- 230000000007 visual effect Effects 0.000 claims abstract description 33
- 238000013461 design Methods 0.000 claims abstract description 30
- 238000004088 simulation Methods 0.000 claims abstract description 20
- 238000012795 verification Methods 0.000 claims abstract description 8
- 238000003384 imaging method Methods 0.000 claims description 28
- 230000000694 effects Effects 0.000 claims description 15
- 238000013441 quality evaluation Methods 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 238000004040 coloring Methods 0.000 claims description 2
- 239000000725 suspension Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 36
- 238000010276 construction Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 23
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 7
- 238000001816 cooling Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- KJONHKAYOJNZEC-UHFFFAOYSA-N nitrazepam Chemical compound C12=CC([N+](=O)[O-])=CC=C2NC(=O)CN=C1C1=CC=CC=C1 KJONHKAYOJNZEC-UHFFFAOYSA-N 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/06—Multi-objective optimisation, e.g. Pareto optimisation using simulated annealing [SA], ant colony algorithms or genetic algorithms [GA]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Optics & Photonics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明涉及一种面向光场显示器的参数联合调优方法,解决现有技术中没有有效方法来高效率地对光场显示系统的全局参数进行自动联合设计的问题。本发明由光线追踪可视化仿真模块、优化环境构建模块、参数联合调优模块、有效性验证模块组成。光线追踪可视化仿真模块包括仿真、建模、同步和调节等步骤;优化环境构建模块用于建立包含决策变量、约束条件和目标函数的优化环境;参数联合调优模块综合考虑光场参数建立优化模型,联合寻找合适的系统参数;有效性验证模块根据全局优化的参数设计三维光场显示器,并根据人眼评价方法进行有效性验证。本技术方案能协同优化三维光场显示系统的设计参数,使光场显示系统能够产生清晰、完整的重建立体图像。
Description
技术领域
本发明本属于三维显示领域,尤其是涉及一种面向光场显示器的参数联合调优方法。
背景技术
光场显示技术被认为是一种很有希望为观众提供真实自然的立体三维感知的方法,因为它能够再现真实立体场景的所有深度线索和光场分布。在光场显示技术中,首先需要记录来自目标立体场景的光线的相对方向和强度信息,然后根据所记录的信息生成具有相同相对方向和强度的光线,从而恢复目标场景的光场信息以实现立体显示效果。研究人员已经做出了很多努力来对光场显示系统进行设计和改进。然而,光场显示系统的设计与改进始终是非常耗费精力的过程,尤其是在成像系统的立体显示效果无法直接获得的情况下。使用光场三维显示可视化仿真可以有效且直观地预测和评估光场显示系统性能。
光场显示系统从光场的采集到重建显示的过程都很复杂,系统内各组件参数对显示效果的影响是非线性且无法简单描述的。在其它变量保持不变的情况下,对单个组件参数进行设计优化和组合以观察其对显示效果的影响的方法往往只能得到部分改进。通过采用全局优化策略来获得约束范围内的最佳性能设计通常是有益的。然而,目前还没有有效的方法来高效率地对光场显示系统的全局参数进行自动的联合设计。
发明内容
本发明的目的在于提供一种面向光场显示器的参数联合调优方法,以解决现有技术中没有有效的方法来高效率地对光场显示系统的全局参数进行自动的联合设计的问题。
为实现上述目的,本发明提供了一种面向光场显示器的参数联合调优方法的具体技术方案如下:
1、光线追踪可视化仿真模块。包括:采用真实透镜模型模拟空间角度光线分布,使用基于亚像素的渲染方法获取带有虚拟场景光场信息的单元图像阵列;在虚拟场景中构建显示系统的组件,基于逆向光线追踪技术生成可视化三维光场显示结果图像。
(1)采用真实透镜模型模拟空间角度光线分布,使用基于亚像素的渲染方法获取带有虚拟场景光场信息的单元图像阵列。
在虚拟场景中,建立了动画模型、镜头阵列模型和带有单元图像阵列的LCD屏幕模型,根据镜头模型和像素位置,采用逆向光线追踪方法模拟视图光线采样,将得到的立体图像保存在元素图像阵列中,作为内容采集过程的模拟结果。
内容采集的仿真方法实际上是模拟空间角度光线分布的过程,即由计算机生成单元图像阵列的过程。考虑到精度问题,使用真实透镜模型来模拟成像过程,而不使用传统的将其简化为针孔相机的方法。为了使仿真结果更加精确和逼真,使用了基于亚像素的渲染方法。在虚拟场景中,构建虚拟摄像机阵列、镜头阵列、动画模型和带有单元图像阵列的LCD屏幕模型,单元图像阵列由逆向光线追踪技术生成。像素由三个子像素组成:红色、绿色和蓝色。从虚拟摄像机通过虚拟视图中的各个子像素跟踪路径,并计算通过它可见对象的颜色。虚拟视图光线与虚拟空间中的所有对象发生碰撞后,使用最近碰撞点的颜色对应的RGB值作为子像素的颜色。这样,就可以获取带有虚拟场景光场信息的单元图像阵列。
在生成单元图像阵列的后向光线跟踪器中,视图光线应以单元图像阵列视图上其中一个子像素为起点,其方向应为从起点到其相应镜头的中心位置。
采用并行计算方法来生成视图光线。每个光线都有其从属线程,其光线与场景中对象相交、着色发生在同一线程中。当逆向光线跟踪流程完成时,将与最近碰撞点的颜色对应的RGB值用于虚拟视图中的子像素颜色,从而获取场景的单元图像阵列。
(2)在虚拟场景中构建显示系统的组件,基于逆向光线追踪技术生成可视化三维光场显示结果图像。
基本的逆向光线跟踪器由三个部分组成。第一部分为光线生成,基于摄影机视锥体来计算每个像素所发出视图光线的原点和方向。第二部分是光线相交,在视线相交处找到最近的对象。最后一部分是着色处理,通过光线相交的结果来计算像素颜色。
在成像系统中,LCD屏幕面板用作显示单元图像阵列的基本输出。透镜阵列由多个相同结构的透镜均匀排列而成。通过透镜阵列的调制效应,将不同像素点的位置信息转换成不同视点光线的方向信息,从而实现在空间中不同的位置显示出不同视点图像的目的。最后,通过全息功能屏重建透镜阵列的光分布,以逼近真实三维场景的光场分布,从而在三维空间中形成均匀的立体三维图像。为了模拟上述过程,在虚拟场景中构建显示系统的组件,包括LCD屏幕、透镜阵列和扩散器。
在虚拟场景中构建显示系统各个组件后,逆向光线跟踪器通过跟踪虚拟摄像机穿过虚拟视图中每个子像素的光路径来工作。然后得到了可视化三维显示结果图像,并实现了光学重建的仿真。
2、优化环境构建模块。包括:针对多性能指标优化,设计质量评价的目标函数,并确定影响目标函数的决策变量;根据所述决策变量间的相关性,确定设计优化时的约束条件;
(1)针对多性能指标优化,设计质量评价的目标函数,并确定影响目标函数的决策变量。
目标函数一般为用以评估设计系统性能的数学表达式。在实际的工程设计中,设计者通常期望能够同时对多项性能指标进行优化。光场三维显示质量通常涉及多个评估参数,如FOV、DOF、SSIM等。因此,光场显示系统的优化设计可以被看是一个多目标优化的问题。而优化的目的是尽可能的优化这些评估参数。但是,这些子目标函数直接并不是相互独立的,存在有一定的矛盾。其中一个子目标的指标的提高可能会使其他一个或多个子目标指标降低,因而无法在同一时间获取多个子目标的共同最优解。
所以,在综合多种评价参数的基础上,构建三维显示质量评价的目标函数Q。这样就可以将光场显示的设计优化从多目标优化问题转为单目标优化问题。目标函数Q基于可视化仿真图像和虚拟相机在不同位置捕获的3D对象图像之间的差异进行计算。理想情况下,真实模型的光场与重建出的光场应该是一致的,因此对应位置下,虚拟相机捕获的3D模型图像与观察相机捕获的重建3D模型图像可用来对显示系统进行评估。
结构相似性(SSIM)指数是一种用于预测数字电视、影片和其他类型数字图像或视频感知品质的方法。SSIM从亮度、结构和对比度三个角度来衡量两张图像的相似性。峰值信噪比(PSNR)是基于两幅图片像素间误差的客观图像评价指标。这里,使用SSIM和PSNR来量化仿真图像和视差图像(理想观察图像)之间的差异,以客观地评估集成成像系统的最终成像质量。
为了能够尽可能获得高成像质量的光场显示系统,且保证在整个观看范围内都可以有良好的观看体验,不应该仅针对一个视点位置的可视化结果进行优化设计,而是需要同时针对视角范围内的多个视点位置的可视化结果进行优化。Q值作为目标函数,用于评估每次优化迭代后的系统显示效果,通过Q值的改变对光场显示系统进行优化。
利用基于人眼可视化的光场质量评价指标,可构建出不同的目标函数。可选的可视化光场的质量评价指标,包括:同一观看位置下的多方法的联合评价指标;同一观看距离下多视点图的联合评价指标;同一视角下多观看距离的联合评价指标;一定观看区域内多观看位置的联合评价指标等。
所述同一观看位置下的多方法的联合评价指标,具体评价方法为:选用PSNR,SSIM, MS-SSIM, VIF, FSIM, NIQE等一系列图像质量的评价方法;衡量每种方法的评价结果和主观实验结果的相关性,将其作为该评价方法的准确性。并以准确性的相对大小给每种评价方法赋予一定权重;可采用皮尔森相关系数,斯皮尔曼相关系数等衡量相关性;在同一观看位置下,累加所有评价方法得到的结果与其相应权重的乘积,并将其作为衡量该位置可视化光场质量的指标。
所述同一观看距离下多视点图的联合评价指标,将观看距离作为衡量可视化光场质量的维度,具体评价方法为:在可视化光场的某一观看距离下,从左到右横向的选择所有的视点,通过建立模型或主观实验等方法赋予每个视点一定的权重;累加所有视点的评价结果与其相应权重的乘积,并将其作为衡量该观看距离下可视化光场质量的指标;
所述同一视角下多观看距离的联合评价指标,将观看视角作为衡量可视化光场质量的维度,具体评价方法为: 在可视化光场的某一观看视角下,从前到后纵向的选择所有的观看距离,通过建立模型或主观实验等方法赋予每个观看距离一定的权重;累加所有观看距离的评价结果与其相应权重的乘积,并将其作为衡量该视角下可视化光场质量的指标。
对于影响目标函数的决策变量,在设计优化的过程中,可选的固定参数包括:透镜数目、LCD屏幕分辨率、视点数目、透镜折射度、像素间距、衰减系数或透镜圆柱半径等。可选的可变优化参数包括:线数、倾角、透镜顶面半径、透镜底面半径、透镜厚度、LCD面板或透镜阵列间距等。
(2)根据所述决策变量间的相关性,确定设计优化时的约束条件。
所述优化参数之间有一定的相关性。这些关系可以作为设计优化时的约束条件,从而大大提高设计优化的速度。由于重建的三维图像是每个单元图像通过对应透镜成像和合并的结果,因此整个系统之间的位置关系一定满足高斯透镜成像公式:
。
式中,为透镜焦距,/>为物距,即物方主点到物点的距离,/>为像距,即像方主点到像点的距离。由于物方主点和像方主点与透镜中心的距离,相对整个显示系统组件间的距离来说极小,所以将物方主点和像方主点近似看为透镜中心点。物方的点和像方的点为一一对应关系,所以物方的中心点与像方的中心点也满足高斯公式一一对应。
3、参数联合调优模块。包括:综合考虑光场参数建立优化模型,利用所述目标函数对三维光场显示系统中的优化变量进行全局优化。
根据仿真结果和用于评价光场显示质量的目标函数,利用基于SSIM和PSNR的目标函数对三维光场显示系统中的优化变量进行优化求解,联合优化框架具有较高的鲁棒性和可靠性,能够对进行全局优化并得到全局最优解。
优选的,联合优化模型包括基于梯度下降的联合优化回归模型,基于蒙特卡洛随机寻优迭代的联合优化模型等。
(1)基于梯度下降的联合优化回归模型
梯度下降是迭代法的一种,可以用于求解线性或非线性的最小二乘问题。在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降是最常采用的方法之一。求解损失函数的最小值时,可以通过梯度下降法来一步步的迭代求解,得到最小化的损失函数和模型参数值。它的中心思想在于通过迭代次数的递增,调整使得损失函数最小化的权重。
利用基于梯度下降的联合优化回归模型,对三维光场显示系统中的优化变量进行全局优化的实现过程如下:
①. 收集数据:为了训练深度学习模型,首先需要收集大量的光场仿真数据。这些可视化三维光场显示结果图像数据是通过所述光线追踪可视化仿真模块利用逆向光线追踪技术生成的。
②. 数据预处理:将收集到的图像数据进行预处理,包括图像裁剪、归一化、增强等操作。这些操作可以提高模型的训练效率和泛化性能。
③. 构建模型:通过所述优化环境构建模块建立一个深度学习模型用于联合调优光场参数。可以在模型中嵌入一些光学物理的先验知识,以提高模型的性能。
④. 训练模型:
A.将预处理后的数据分为训练集和验证集。使用训练集对模型进行训练,不断优化模型的权重参数。
B.梯度计算:为了使用梯度下降法进行优化,需要计算目标函数关于光场参数的梯度。这可以通过自动微分库(如TensorFlow或PyTorch)或有限差分法来实现。对于光线追踪,由于其计算过程涉及到很多非光滑的操作(如光线与物体的相交判断),可能需要采用一些特殊的技巧来计算梯度,如微分路径追踪算法(differential path tracing)。
C.梯度下降更新:根据梯度的方向和大小,按照一定的学习率对光场参数进行更新。这一过程可以迭代多次,直至达到收敛条件或预设的迭代次数。
D.参数调整与收敛判断:在优化过程中,可以监控目标函数的变化情况,以判断算法是否收敛。如果发现目标函数下降过慢或陷入局部最优,可以尝试调整学习率、增加动量项、采用自适应学习率等策略来改善优化效果。
E.在训练过程中,可以使用诸如交叉熵损失函数、均方误差损失函数等衡量模型输出与真实标签之间的差距。训练过程中需要监控验证集上的性能,以防止过拟合。
⑤. 模型评估:在测试集上评估模型的性能,以检验其泛化能力。可以使用一些指标,如准确率、F1分数、均方误差等,对模型进行量化评估。
⑥. 调优与迭代:根据模型在测试集上的表现,调整模型结构、超参数等,进行进一步优化。重复步骤4-5,直至模型性能达到满意程度。
⑦. 应用模型:将训练好的模型应用到实际场景中,对光场参数进行联合调优。
(2)基于蒙特卡洛随机寻优迭代的联合优化模型
基于蒙特卡罗随机寻优迭代算法,其出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性,该算法与Metropolis接受准则相结合,利用冷却参数温度对优化算法的进程进行控制,由此在多项式时间内获得问题的近似最优解。
由于光场显示系统的显示效果不能简单地通过包含自变量的直接函数表示,且需要优化的变量太多且连续,搜索空间太大,无法遍历所有情况,因此采用了基于蒙特卡洛随机寻优迭代的联合优化方法。
下面是算法的详细步骤:
①、问题建模:根据优化环境构建模块的输出结果,将光场显示系统的优化问题建模为一个组合优化问题,确定目标函数,例如最小化系统失真或最大化图像质量,确定需要优化的变量。
②、初始化参数:选择一个初始解作为优化的起点,包括初始的光场参数、光源位置和光源强度等。设置初始参数T0,下降系数α,停止条件(如最大迭代次数)等。
③、循环迭代:按以下步骤进行迭代,直至满足停止条件。
A. 随机扰动:在当前解的基础上,对优化变量进行小幅度随机扰动,产生一个新的候选解。
B. 计算目标函数:评估新的候选解和当前解的目标函数值,计算两者之间的差值ΔE。
C. 概率接受:如果ΔE<0,说明新的候选解更优,直接接受。如果ΔE ≥ 0,则以概率exp(-ΔE/T)接受新的候选解。这样可以以一定概率跳出局部最优解。
D. 降温:更新T = α * T,其中α是下降系数,通常在(0, 1)之间。
④、结果输出:当满足停止条件后,输出当前解作为全局优化结果。
⑤、验证与优化:在实际光场显示系统中验证优化结果。如果结果满足要求,结束优化。否则,可以根据实际表现调整算法参数,如初始参数、下降系数等,重新执行优化过程。
4、有效性验证模块。包括:根据全局优化的参数设计三维光场显示器,并根据人眼评价方法进行有效性验证。
根据全局优化的变量,结合固定参数,可设计出完整的三维光场显示器,进而通过人眼评价方法对显示效果进行评估和效果验证。可选的三维光场显示器包括:狭缝光栅立体显示器、柱透镜光栅立体显示器、集成成像三维显示器或悬浮三维显示器等。可选的人眼评价方法包括:同一观看位置下的多方法的联合评价;同一观看距离下多视点图的联合评价;同一视角下多观看距离的联合评价;一定观看区域内多观看位置的联合评价等。
所述光栅三维显示器,主要由显示面板和光栅精密耦合而成,包含三维场景多个角度信息的编码合成图像被加载到显示器上显示,分光器件光栅被放置在显示器的前方或后方,用来调控光线的传播方向,实现视点图像的空间分离,根据所采用光栅类型的不同,光栅立体显示器主要分为狭缝光栅立体显示器和柱透镜光栅立体显示器两类。
所述集成成像三维显示器,其三维显示原理是利用微透镜阵列对三维场景进行拍摄,记录空间中向不同方向传播的光,根据光路可逆原理,重建原始光场的过程为采集的逆过程。通过集成成像技术重建的3D图像具有全色彩、全角度、平滑运动视差等优点,观看者不需要借助辅助工具即可观看到真实的3D画面。
本发明提供的一种面向光场显示器的参数联合调优方法具有以下优点:
1.本申请通过使用真实光学器件模型和基于亚像素的渲染方法获取带有虚拟场景光场信息的单元图像阵列,能够更准确地模拟和呈现真实场景中的光线分布,提高显示效果的真实感和逼真度。
2.基于逆向光线追踪技术生成可视化三维光场显示结果图像,可以直观地展示光场显示器的效果,便于设计评估和优化。
3.设计质量评价的目标函数,并确定影响目标函数的决策变量,能够量化评估光场显示系统的性能,并提供有针对性的优化方向。
4.根据决策变量间的相关性确定约束条件,可以约束优化过程中的决策变量的取值范围,减少无效搜索,提高优化效率。
5.综合考虑光场参数建立优化模型,并利用目标函数对三维光场显示系统中的优化变量进行全局优化,可以在多个性能指标间寻找平衡,得到更优的参数配置。
6.根据全局优化的参数设计三维光场显示器,并利用人眼评价方法进行有效性验证,能够确保优化结果的可行性和效果的可感知性。
7.优化设计参数后的集成成像三维显示系统表现好于传统参数下的集成成像三维显示系统,能够产生更加清晰、完整的重建立体图像,可以为观察者提供更高质量的自然立体视觉效果。
附图说明
图1为本发明提供的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明。
参阅图1,本发明提供了一种面向光场显示器的参数联合调优方法,包括下面基于蒙特卡洛随机寻优迭代的联合优化模型,对集成成像显示系统进行光场参数的全局优化。
(1)光线追踪可视化仿真模块
在虚拟场景中,建立动画模型、镜头阵列模型和带有单元图像阵列的LCD屏幕模型,根据镜头模型和像素位置,采用逆向光线追踪方法模拟视图光线采样,将得到的立体图像保存在元素图像阵列中,作为内容采集过程的模拟结果。
显示系统的透镜阵列由许多相同结构的透镜组成,单个透镜是透镜阵列的基元。透镜采用CSG方法进行建模。CSG的核心是用隐式方程定义所有曲面边界,使模型易于表达,具有结构简单、精度高的特点。
成像系统中典型透镜的表面包括3个部分;顶部球体曲面、部分圆柱体曲面和底部球体曲面。透镜的折射率决定了视图光线在透镜中的传播路径。nlens表示透镜的折射率,nair表示空气的折射率。i和t是透镜的入射和折射光线矢量,n是透镜表面入射点处的单位法向量。r是圆柱体表面的半径,h是圆柱体的高度(透镜的厚度),R1和R2分别是透镜顶部和底部表面的半径。透镜的CSG表面隐式方程可表示为:
。
在成像系统中,LCD屏幕面板用作显示单元图像阵列的基本输出。透镜阵列由多个相同结构的透镜均匀排列而成。通过透镜阵列的调制效应,将不同像素点的位置信息转换成不同视点光线的方向信息,从而实现在空间中不同的位置显示出不同视点图像的目的。最后,通过全息功能屏重建透镜阵列的光分布,以逼近真实三维场景的光场分布,从而在三维空间中形成均匀的立体三维图像。为了模拟上述过程,在虚拟场景中构建显示系统的组件,包括LCD屏幕、透镜阵列和扩散器。
LCD面板的几何模型为矩形,其纹理为上述内容采集过程中获得的单元图像阵列。全息功能屏的几何模型也是矩形的。在虚拟场景中构建显示系统各个组件后,逆向光线跟踪器通过跟踪虚拟摄像机穿过虚拟视图中每个子像素的光路径来工作。然后得到了集成成像系统的可视化三维显示结果图像,并实现了光学重建的仿真。
(2)优化环境构建模块
集成成像的显示质量通常涉及多个评估参数,如FOV、DOF、SSIM等。此处我们利用SSIM和PSNR构建目标函数,对三维光场显示系统中的优化变量进行优化求解。
为了能够尽可能获得高成像质量的集成成像系统,且保证在整个观看范围内都可以有良好的观看体验,不应该仅针对一个视点位置的可视化结果进行优化设计,而是需要同时针对视角范围内的多个视点位置的可视化结果进行优化。Q值计算公式如下所示:
。
这里,n是参考视点的数目,具体数值为10。参考视点以相等间隔排列,间距为60厘米。SSIM是每个参考视点的SSIM值。Q值作为目标函数,用于评估每次优化迭代后的系统显示效果,通过Q值的改变对集成成像系统进行优化。
集成成像显示系统包括三个部分:LCD面板、透镜阵列和扩散器。系统中典型透镜的表面包括3个部分;顶部球面、部分圆柱面和底部球面。透镜上表面的半径R1、透镜下表面的半径R2、透镜的厚度h、全息功能屏的扩散角ω以及透镜与LCD面板之间的距离Lll是优化过程中的可变参数。
由于重建的三维图像是每个单元图像通过对应透镜成像和合并的结果,因此整个集成成像系统之间的位置关系一定满足高斯透镜成像公式:。
式中,为透镜焦距,/>为物距,即物方主点到物点的距离,/>为像距,即像方主点到像点的距离。
(3)参数联合调优模块
基于集成成像系统联合参数设计的蒙特卡洛随机寻优迭代算法实现过程如下:
步骤1:建模。如上文优化环境构建模块所述,针对多性能指标优化,设计质量评价的目标函数,并确定影响目标函数的决策变量,根据所述决策变量间的相关性,确定设计优化时的约束条件。此处,设置优化变量为线数LN和倾角TA。
步骤2:初始化参数:选择一个初始解(LN0, TA0),例如随机选取或根据经验设置。设置初始参数T0为 100;下降系数α为0.95;停止条设为最大迭代次数为1000。
基本参数如下表所示:
。
步骤3:循环迭代:
a. 随机扰动:在当前解(LN, TA)的基础上,对线数和倾角进行小幅度随机扰动,产生一个新的候选解(LN', TA')。注意保证扰动后的值在允许的范围内。
b. 计算目标函数:评估新的候选解f(LN', TA')和当前解f(LN, TA)的目标函数值,计算两者之间的差值ΔE。
c. 概率接受:如果ΔE<0,说明新的候选解更优,直接接受。如果ΔE ≥ 0,则以概率exp(-ΔE/T)接受新的候选解。
d. 降温:更新T = α * T。
重复上述步骤,直至满足停止条件。
整个优化设计过程包括两个循环:内循环和外循环。内循环产生马尔可夫链中的试验点,外循环降低“温度”。内循环确保在给定的“温度”下充分搜索参数空间,外循环则模拟“温度”的冷却,这两者都是保证算法能够找到全局最优值所必需的。
步骤4:结果输出:输出当前解(LN, TA)作为全局优化结果。
(4)有效性验证模块
根据全局优化的参数设计三维光场显示器,并根据人眼评价方法进行有效性验证,人眼评价方法采用同一观看位置下的多方法联合评价指标来验证。
具体评价方法为:选用PSNR, SSIM, MS-SSIM, VIF, FSIM, NIQE等一系列图像质量的评价方法;衡量每种方法的评价结果和主观实验结果的相关性,将其作为该评价方法的准确性。并以准确性的相对大小给每种评价方法赋予一定权重;可采用皮尔森相关系数,斯皮尔曼相关系数等衡量相关性;在同一观看位置下,累加所有评价方法得到的结果与其相应权重的乘积,并将其作为衡量该位置可视化光场质量的指标。
在算法设计合理、运行正常的情况下,经实验验证,优化设计参数后的集成成像三维显示系统表现好于传统参数下的集成成像三维显示系统,能够产生更加清晰、完整的重建立体图像,可以为观察者提供更高质量的自然立体视觉效果。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种面向光场显示器的参数联合调优方法,其特征在于,包括以下步骤:
采用真实光学器件模型模拟空间角度光线分布,使用基于亚像素的渲染方法获取带有虚拟场景光场信息的单元图像阵列;
在虚拟场景中构建显示系统的组件,基于逆向光线追踪技术生成可视化三维光场显示结果图像;
针对多性能指标优化,设计质量评价的目标函数,并确定影响目标函数的决策变量;
根据决策变量间的相关性,确定设计优化时的约束条件;
综合考虑光场参数建立优化模型,利用所述目标函数对三维光场显示系统中的优化变量进行全局优化;
根据全局优化的参数设计三维光场显示器,并根据人眼评价方法进行有效性验证。
2.根据权利要求1所述的一种面向光场显示器的参数联合调优方法,其特征在于,所述综合考虑光场参数建立优化模型,利用所述目标函数对三维光场显示系统中的优化变量进行全局优化包括:
根据仿真结果,利用基于人眼可视化光场质量评价指标的目标函数对三维光场显示系统中的优化变量进行优化求解,联合优化框架具有较高的鲁棒性和可靠性,进行全局优化并得到全局最优解。
3.根据权利要求1所述的一种面向光场显示器的参数联合调优方法,其特征在于,所述针对多性能指标优化,设计质量评价的目标函数,并确定影响目标函数的决策变量包括:
在综合多种评价参数的基础上,设计三维光场显示质量评价的目标函数Q,将多目标优化问题转为单目标优化问题;目标函数Q基于可视化仿真图像和虚拟相机在不同位置捕获的3D对象图像之间的差异进行计算,对于设计质量评价的目标函数,可视化光场的质量评价指标包括:同一观看位置下的多方法的联合评价指标;同一观看距离下多视点图的联合评价指标;同一视角下多观看距离的联合评价指标;一定观看区域内多观看位置的联合评价指标。
4.根据权利要求1所述的一种面向光场显示器的参数联合调优方法,其特征在于,所述根据决策变量间的相关性,确定设计优化时的约束条件包括:所述决策变量间具有一定的相关性,这些关系作为设计优化时的约束条件,从而提高了设计优化的速度。
5.根据权利要求1所述的一种面向光场显示器的参数联合调优方法,其特征在于,所述在虚拟场景中构建显示系统的组件,基于逆向光线追踪技术生成可视化三维光场显示结果图像包括:
在虚拟场景中构建显示系统各个组件,逆向光线跟踪器通过跟踪虚拟摄像机穿过虚拟视图中每个子像素的光路径来工作,便得到了光场可视化三维显示结果图像,并实现了光学重建的仿真。
6.根据权利要求1所述的一种面向光场显示器的参数联合调优方法,其特征在于,所述采用真实透镜模型模拟空间角度光线分布,使用基于亚像素的渲染方法获取带有虚拟场景光场信息的单元图像阵列包括:
采用并行计算方法来生成视图光线,光线与场景中对象相交、着色发生在同一线程中,当逆向光线跟踪流程完成时,将最近碰撞点对应的RGB值作为虚拟视图中的子像素颜色,从而获取场景的单元图像阵列。
7.根据权利要求1所述的一种面向光场显示器的参数联合调优方法,其特征在于,所述根据全局优化的参数设计三维光场显示器,并根据人眼评价方法进行有效性验证包括:
根据全局优化的变量,结合固定参数,可设计出完整的三维光场显示器,进而通过人眼评价方法对显示效果进行评估和效果验证。
8.根据权利要求7所述的一种面向光场显示器的参数联合调优方法,其特征在于,三维光场显示器包括:狭缝光栅三维显示器、柱透镜光栅三维显示器、集成成像三维显示器或悬浮三维显示器。
9.根据权利要求7所述的一种面向光场显示器的参数联合调优方法,其特征在于,人眼评价方法包括:同一观看位置下的多方法的联合评价;同一观看距离下多视点图的联合评价;同一视角下多观看距离的联合评价;一定观看区域内多观看位置的联合评价。
10.根据权利要求2所述的一种面向光场显示器的参数联合调优方法,其特征在于,联合优化模型包括基于梯度下降的联合优化回归模型,基于蒙特卡洛随机寻优迭代的联合优化模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310912663.XA CN116663429A (zh) | 2023-07-25 | 2023-07-25 | 一种面向光场显示器的参数联合调优方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310912663.XA CN116663429A (zh) | 2023-07-25 | 2023-07-25 | 一种面向光场显示器的参数联合调优方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116663429A true CN116663429A (zh) | 2023-08-29 |
Family
ID=87715622
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310912663.XA Pending CN116663429A (zh) | 2023-07-25 | 2023-07-25 | 一种面向光场显示器的参数联合调优方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116663429A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105931190A (zh) * | 2016-06-14 | 2016-09-07 | 西北工业大学 | 高角度分辨率光场获取装置与图像生成方法 |
CN107563088A (zh) * | 2017-09-14 | 2018-01-09 | 北京邮电大学 | 一种基于光线跟踪算法的光场显示设备仿真方法 |
CN114815286A (zh) * | 2022-04-11 | 2022-07-29 | 北京邮电大学 | 全视差三维光场显示系统的参数确定方法、装置及设备 |
CN114879377A (zh) * | 2022-04-11 | 2022-08-09 | 北京邮电大学 | 水平视差三维光场显示系统的参数确定方法、装置及设备 |
-
2023
- 2023-07-25 CN CN202310912663.XA patent/CN116663429A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105931190A (zh) * | 2016-06-14 | 2016-09-07 | 西北工业大学 | 高角度分辨率光场获取装置与图像生成方法 |
CN107563088A (zh) * | 2017-09-14 | 2018-01-09 | 北京邮电大学 | 一种基于光线跟踪算法的光场显示设备仿真方法 |
CN114815286A (zh) * | 2022-04-11 | 2022-07-29 | 北京邮电大学 | 全视差三维光场显示系统的参数确定方法、装置及设备 |
CN114879377A (zh) * | 2022-04-11 | 2022-08-09 | 北京邮电大学 | 水平视差三维光场显示系统的参数确定方法、装置及设备 |
Non-Patent Citations (1)
Title |
---|
YINGYING CHEN等: "Automatic co-design of light field display system based on simulated annealing algorithm and visual simulation", 《OPTICS EXPRESS》, vol. 30, no. 10, pages 17577 - 17590 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106846463B (zh) | 基于深度学习神经网络的显微图像三维重建方法及系统 | |
US6717728B2 (en) | System and method for visualization of stereo and multi aspect images | |
US7224526B2 (en) | Three-dimensional free space image projection employing Fresnel lenses | |
US10924727B2 (en) | High-performance light field display simulator | |
RU2453922C2 (ru) | Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты) | |
CN101729920B (zh) | 一种自由视角立体视频显示方法 | |
Liao et al. | Autostereoscopic 3D display with long visualization depth using referential viewing area-based integral photography | |
CN109313807A (zh) | 使用光场相机的三维重建方法 | |
Huang et al. | Generalized methods and strategies for modeling and optimizing the optics of 3D head-mounted light field displays | |
CN113238472B (zh) | 基于频域位移的高分辨率光场显示方法及装置 | |
CN111427166A (zh) | 一种光场显示方法及系统、存储介质和显示面板 | |
CN108345108A (zh) | 头戴式显示设备、三维图像信息的生成方法及装置 | |
Wu et al. | Depth mapping of integral images through viewpoint image extraction with a hybrid disparity analysis algorithm | |
Park et al. | Viewpoint vector rendering for efficient elemental image generation | |
CN117058334A (zh) | 一种室内场景表面重建的方法、装置、设备及存储介质 | |
Lian et al. | Image systems simulation for 360 camera rigs | |
CN114815286B (zh) | 全视差三维光场显示系统的参数确定方法、装置及设备 | |
CN116663429A (zh) | 一种面向光场显示器的参数联合调优方法 | |
CN114879377B (zh) | 水平视差三维光场显示系统的参数确定方法、装置及设备 | |
Fu et al. | Analysis of the relationship between display depth and 3D image definition in light-field display from visual perspective | |
Yang et al. | Real-time light-field generation based on the visual hull for the 3D light-field display with free-viewpoint texture mapping | |
Xie et al. | Analytical model for three-dimensional light-field displays based on voxel construction | |
Su et al. | A visual comfort assessment approach of stereoscopic images based on random forest regressor | |
Yuan et al. | Resolution enhanced 3D image reconstruction by use of ray tracing and auto-focus in computational integral imaging | |
JP2022544287A (ja) | 3d明視野ディスプレイのための光学設計および最適化技法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |