CN117176936A - 一种可自由拓展的立体数字沙盘系统和光场渲染方法 - Google Patents
一种可自由拓展的立体数字沙盘系统和光场渲染方法 Download PDFInfo
- Publication number
- CN117176936A CN117176936A CN202311235666.0A CN202311235666A CN117176936A CN 117176936 A CN117176936 A CN 117176936A CN 202311235666 A CN202311235666 A CN 202311235666A CN 117176936 A CN117176936 A CN 117176936A
- Authority
- CN
- China
- Prior art keywords
- rendering
- module
- display
- light field
- sand table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 150
- 239000004576 sand Substances 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000005516 engineering process Methods 0.000 claims abstract description 45
- 230000003993 interaction Effects 0.000 claims abstract description 22
- 210000005036 nerve Anatomy 0.000 claims abstract description 16
- 230000003068 static effect Effects 0.000 claims abstract description 16
- 230000005855 radiation Effects 0.000 claims abstract description 15
- 230000003287 optical effect Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 19
- 239000004973 liquid crystal related substance Substances 0.000 claims description 17
- 230000001537 neural effect Effects 0.000 claims description 11
- 238000013461 design Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000007654 immersion Methods 0.000 abstract description 6
- 230000004927 fusion Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 239000011521 glass Substances 0.000 description 7
- 230000004888 barrier function Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明提出了一种可自由拓展的立体数字沙盘系统和光场渲染方法，其中系统包括数据编码模块、数据解码模块、人眼跟踪模块、人机交互模块、光场图像渲染模块、驱动模块及显示模块。一方面通过准直背光调控技术和光学微结构阵列实现高密度显示屏的无缝拼接，从而使得数字沙盘的显示尺寸可自由拓展。另一方面配合人眼跟踪技术，在神经辐射场三维静态场景渲染的基础上，配合传统图形渲染管线技术，进一步实现静态与动态场景的融合，使得隐式表达与显示表达的3D场景可在统一框架中实时渲染与展示，同时通过仅在人眼观看位置进行数据渲染有效降低了图像渲染数据量。综合以上两方面的技术，观察者在任何视角都可以获得较好的裸眼立体沉浸感。
Description
技术领域
本申请涉及立体显示与人工智能领域，具体涉及一种可自由拓展的立体数字沙盘系统和光场渲染方法。
背景技术
人类的双眼能够感知三维世界看到立体效果是因为人类在观察三维世界时左右眼看到的画面是略有差异的图像，经过大脑可以将两幅略有差异的图像融合成立体效果，从而使人获得立体感。3D显示技术就是利用这个原理，让观察者左右眼观察到略有差异的两个画面，从而获得立体感。目前3D显示技术可以分为裸眼式和眼镜式两大类。眼镜式的又可以分为快门眼镜、偏振眼镜、VR头盔和色差眼镜等。裸眼式的又可以分为视差屏障(Barrier)技术、柱状透镜(Lenticular Lens)技术和指向光源(Directional Backlight)技术三种。
视差屏障技术，通过控制生成的不透明条纹，当应该由左眼看到的图像显示在液晶屏上时，不透明的条纹会遮挡右眼；同理，应该由右眼看到的图像显示在液晶屏上时，不透明的条纹会遮挡左眼，通过将左眼和右眼的可视画面分开，使观者看到3D影像。该技术主要优点是与LCD液晶工艺兼容，因此在量产性和成本上较具优势。主要缺点是画面亮度低，分辨率会随着显示器在同一时间播出影像的增加呈反比降低。
柱状透镜技术的原理是在液晶显示屏的前面加上一层柱透镜，液晶屏的像平面位于透镜的焦平面上，这样在每个柱透镜下面的图像的素被分成几个子像素，这样透镜就能以不同的方向投影每个子像素。于是双眼从不同的角度观看显示屏，就看到了不同的子像素。该技术主要优点是3D显示效果更好，亮度不受影响；主要缺点是相关制造技术与现有的LCD液晶工艺不兼容，需要投资新的设备和生产线，并且该技术产生的图像的分辨率不高。
指向光源技术搭配两组LED，配合快速反应的LCD面板和驱动方法，让3D内容以排序方式进入观看者的左右眼互换影像来产生视差，进而让人眼感受到三维效果。该技术主要优点是分辨率、透光率方面能保证，不会影响既有的设计架提构，3D显示效果出色；主要缺点是产品不成熟。
现有的沙盘系统主要采用沙土进行堆砌或者3D打印式实体沙盘，导致军事推演效率低、数据无法实时刷新、且需要投入大量的人力与物力财力、无法满足瞬息万变的战场环境实时变化保障的需求，对战场信息数据更新适应性差。此外有采用，全息卡片式立体方案的，其优点是分辨率高，重量轻便携带，但不足是智能化和交互体验度低、投影距离和尺寸受限、装备适应性差、不可实时刷新、对工作环境等要求高，不适应室外应用环境。因此，无法适应战争环境下装备随战车随时移动的野战需求，无法支撑装备适应野战及动态战场环境。目前比较成熟的技术是眼镜式立体沙盘，其优点是立体沉浸感好，成本低。不足是使用便捷性差、观看舒适度不舒服、不利于用户面对面指挥与交流。数字立体沙盘可动态交互与刷新、立体沉浸感好。集成化技术水平高，国内外技术发展程度低，目前国内外研究尚处于空白状态。
神经辐射场(Neural Radiance Fields，NeRF)在2020年被Ben Mildenhall等人首次提出。NeRF是一种计算机图形学技术，通过神经网络的学习可以从2D图像生成高度逼真的3D场景。NeRF的工作原理是自监督的，输入为空间点的3D坐标位置(x，y，z)以及方向(θ，)，以颜色作为监督项，采用全连接网络进行模型训练，通过在有限的输入视图上训练数据，可以用较少的数据集生成高质量的渲染。相比传统方法中使用离散化的网格或体素表示场景，NeRF的连续函数表示具有优势，并能够从任意角度渲染，产生令人惊叹的高质量渲染效果。但是目前NeRF对于静态场景获得了较好的渲染效果，对于动态场景还有一定的局限性。
现有三维模型的表达方式分为显示表达和隐式表达，显式表达方法包括基于体素、网格、点云方法，其优点是可以直观的显示三维几何物体，但是显示表达的物体是离散不连续的，并且它存储的三维场景表达信息数据量极大；隐式表达方法是将一个3D场景用一个函数描述，如神经辐射场等方法，其优点是对于场景是连续化的，可以精细建模细节，理论上分辨率可以达到无穷，并且占用空间小，但其不足是，对动态场景的描述存在一定的局限性，不易渲染动态物体。
现有技术存在如下缺点：
1、传统堆砌式沙盘造价高昂、不可刷新、时效性差，无法满足现代化指挥系统的应用需求；眼镜式立体沙盘使用便捷性差、观看舒适度不舒服、不利于用户面对面指挥与交流；全息卡片式立体方案的投影距离和尺寸受限、装备适应性差、对工作环境等要求高，不适应室外应用环境。
2、眼镜式立体显示技术需要额外的辅助设备，容易视觉疲劳；光屏障式技术画面亮度低，分辨率会随着显示器在同一时间播出影像的增加呈反比降低。
3、现有屏幕拼接技术大部分无法消除拼接屏幕的黑边部分，影响观看的效果。
4、神经辐射场对于动态场景还有一定的局限性，不易渲染动态物体。
5、三维模型的显示表达占用空间大，场景不连续。
6、光场图像的生成面临数据量大、计算复杂等困难。
发明内容
为解决上述问题，本申请提供一种可自由拓展的立体数字沙盘系统和光场渲染方法。
根据本申请的第一方面，本申请提供一种可自由拓展的立体数字沙盘系统，包括：
数据编码模块、数据解码模块、人眼跟踪模块、人机交互模块、光场图像渲染模块、驱动模块及显示模块。该系统的数据编码模块通过HDMI/DP接口与数据解码模块和人机交互模块相连，用于将三维模型数据和交互指令与服务器互传，光场图像渲染模块根据接收到的三维模型数据、人机交互指令和人眼的实时观看位置坐标进行光场图像渲染，光场图像渲染模块和显示模块通过驱动模块相连接，驱动模块用于将光场图像以三维形式在显示模块上展现，自由拓展显示屏由多个子屏幕无缝拼接而成，可使得立体数字沙盘的显示尺寸无限拓展。
所述的一种可自由拓展的立体数字沙盘系统，其特征在于，用户不但可以通过PC端的2D显示屏与数字沙盘进行交互控制，还可以设置数字沙盘的工作模式，如实现2D与3D显示模型的模式切换。数据编码模块用于将隐式或显式表达的三维模型编码后通过标准的HDMI/DP进行无损传输。
所述的一种可自由拓展的立体数字沙盘系统，其特征在于，所述的光场图像渲染模块采用模块化光场图像渲染硬件平台设计，用于对光场图像的并行渲染，提高渲染速度。
所述的一种可自由拓展的立体数字沙盘系统，其特征在于，所述驱动模块，采用阵列化设计，用于对高密度液晶显示面板进行分区刷新与控制，整个显示屏幕可由多个子驱动模块进行驱动，每个子驱动模块可以驱动多个子显示屏刷新。
所述的一种可自由拓展的立体数字沙盘系统，其特征在于，所述显示模块，与所述的驱动模块相连，用于将显示内容映射到液晶面板，并显示立体信息，可供观看者裸眼观看到立体场景，该模块由多个子屏幕拼接而成。采用准直背光技术和光学微结构阵列实现高密度显示屏的无缝拼接，可使得立体数字沙盘的显示尺寸自由拓展。
根据本申请的第二方面，一种可自由拓展的立体数字沙盘光场渲染方法，包括：
包括模型的隐式转换和视点的混合渲染两个阶段，其中模型的隐式转换包括数据集获取步骤和神经辐射场模型训练步骤，具体步骤描述如下：
数据集获取步骤：根据显示表达的目标场景，为神经渲染管线提供原始的训练数据集，数据集包括多视角图像以及对应的相机位姿信息；
神经辐射场模型训练步骤：对所述数据集进行预处理处理后作为神经网络的输入，采用全连接网络进行模型训练，获得模型的隐式表达，完成模型训练；
视点的混合渲染步骤：根据人眼观看位置，采用混合渲染管线，将神经渲染管线与传统图形渲染管线相结合，用于将静态与动态场景的融合，使得隐式表达与显示表达的3D场景可在统一框架中实时渲染与展示。并加入三维场景的在线编辑功能，用于对三维场景进行实时的标记和修改，渲染所需要显示的图像，增加目标场景的可读性和可用性。
所述的一种可自由拓展的立体数字沙盘光场渲染方法，其特征在于，所述数据集获取步骤中，所述数据可以是需要展示的实景地图，也可以是虚拟地图场景。
所述的一种可自由拓展的立体数字沙盘光场渲染方法，其特征在于，所述视角渲染步骤中，采用混合渲染管线进行图像生成，其中神经辐射场用于渲染静态的地图场景，传统渲染管线用于渲染可编辑动态场景，如地图标识符等。
所述的一种可自由拓展的立体数字沙盘光场渲染方法，其特征在于，所述光场渲染方法为基于人眼跟踪数据的轻量化渲染算法，所述人眼跟踪算法采用红外引导的方式进行跟踪，红外相机用于快速定位人脸的感兴趣区域，可见光相机根据所述感兴趣区域精确快速定位人眼，并将人眼位置坐标实时发送给光场图像渲染模块，所述图像渲染模块仅在人眼观看位置进行图像渲染，从而降低光场渲染算法的数据量。
所述的一种可自由拓展的立体数字沙盘光场渲染方法，其特征在于，所述的光场渲染方法为实时渲染方法。
本申请的有益效果是：
依上述实施例的采用一种可自由拓展的立体数字沙盘系统和光场渲染方法，一方面通过准直背光调控技术和光学微结构阵列实现高密度显示屏的无缝拼接，从而使得数字沙盘的显示尺寸可自由拓展。另一方面配合人眼跟踪技术，在神经辐射场三维静态场景渲染的基础上，配合传统图形渲染管线技术，进一步实现静态与动态场景的融合，使得隐式表达与显示表达的3D场景可在统一框架中实时渲染与展示，同时通过仅在人眼观看位置进行数据渲染有效降低了图像渲染数据量。综合以上两方面的技术，观察者在任何视角都可以获得较好的裸眼立体沉浸感。
附图说明
图1为本申请一种可自由拓展的立体数字沙盘系统的原理图；
图2为本申请一种可自由拓展的立体数字沙盘系统的样机概念图；
图3为本申请一种可自由拓展的立体数字沙盘系统的液晶面板分区驱动示意图；
图4为本申请一种可自由拓展的立体数字沙盘系统的屏幕无缝拼接示意图；
图5为本申请一种可自由拓展的立体数字沙盘光场渲染方法流程图；
图6为本申请一种可自由拓展的立体数字沙盘光场渲染方法的基于人眼跟踪加速示意图。
具体实施方式
下面通过具体实施方式结合附图对本申请作进一步详细说明。
请参考图1，本申请公开了一种可自由拓展的立体数字沙盘系统(以下简称数字沙盘)，其包括数据编码模块11、数据解码模块12、人眼跟踪模块13、人机交互模块14、光场图像渲染模块15、驱动模块16及显示模块17，下面分别说明。
数据编码模块11，用于将隐式或显式表达的三维模型编码后通过标准的HDMI/DP进行无损传输，为数字沙盘提供立体显示数据和人机交互指令等相关信息。在一具体实施例中，数据编码模块11为具有高稳定度和较高算力的计算机。例如，数据编码模块11可以是服务器，当然，在其他一些实施例中，数据编码模块11也可以是常规的计算机或是具备HDMI/DP视频接口的计算机。发送的立体数据可以传统的三维点云或者面片等模型，也可以是隐式表达的三维模型。数据编码模块将隐式或显式表达的三维模型编码后通过标准的HDMI/DP进行无损传输。
数据解码模块12，与所述的数据编码模块12相连，用于立体显示数据的接收与解码，并将三维模型数据传输给光场图像渲染模块15。在一具体实例中，数据解码模块12将接收到的编码数据解码后复原获得隐式或显式表达的三维模型，并将三维模型数据传输给光场图像渲染模块15。
人眼跟踪模块13包括：一个红外相机和两个可见光相机，人眼跟踪算法采用红外引导的方式进行跟踪，红外相机用于快速定位人脸的感兴趣区域，可见光相机根据所述感兴趣区域精确快速定位人眼，并将人眼位置坐标实时发送给光场图像渲染模块。
人机交互模块14，与数据编码模块12相连接，接收数据编码模块发送的人机交互指令并作用于光场图像渲染模块15，使其根据指令进行相应渲染。
光场图像渲染模块15，用于生成显示模块17所需显示的光场图像。在一具体实施例中，光场图像渲染模块15根据接收到的三维模型数据、实时人眼坐标位置和相应的人机交互指令进行光场图像渲染，渲染过程中由多个渲染单元并进行光场渲染，加速生成光场图像。
驱动模块16，与光场图像渲染模块15和显示模块17相连接，采用阵列化设计，用于对高密度液晶显示面板进行分区刷新与控制，整个显示屏幕可由多个子驱动模块进行驱动，每个子驱动模块可以驱动多个子显示屏幕。在一具体实施例中，渲染单元通过网线分别向不同的驱动单元发送不同的图像，每个驱动单元再分别控制四个子显示屏幕显示，每个驱动单元的分辨率为3840×2160，一个驱动单元可以驱动四个子显示屏幕。
显示模块17，与所述的驱动模块16相连接，用于显示立体信息，可供观看者裸眼观看到立体效果，该模块通过采用准直背光技术和光学微结构模组实现高密度显示屏的无缝拼接，可使得数字沙盘的显示尺寸自由拓展。在一具体实施例中，显示模块17为具有高分辨率的液晶显示面板和光学微结构等组成的复合显示载体。数字沙盘由多个子屏幕拼接而成，每个子屏幕的分辨率为1920×1080。如图4所示，背光单元47通过准直背光模组46点亮子屏幕41，由于每个子屏幕41的边缘影响，直接进行屏幕拼接会有明显的黑边，严重影响整体的观看效果。本申请通过在屏幕上方增加一个光学微结构42对光束进行调控，将光线扩束后覆盖子屏幕的边缘，然后再将子屏幕进行拼接可以达到无缝拼接效果，最后在拼接后的屏幕上方加一个透镜阵列45使其可以显示立体信息。
相应地，本申请还提出一种可自由拓展的立体数字沙盘光场渲染方法，如图5所示，其包括以下步骤。
S51数据集获取步骤：需要显示的目标场景，可为神经渲染管线提供原始的训练数据集，数据集包括图像以及对应的相机位姿信息，如图5所示。在一具体实施例中，目标场景可以是计算机软件中虚拟三维地图场景也可以是现实环境中真实场景，对应的采集相机可以是虚拟相机或者真实相机。根据显示表达的目标场景，为神经渲染管线提供原始的训练数据集，数据集包括多视角图像以及对应的相机位姿信息。
S52神经辐射场模型训练步骤：对所述数据集进行预处理处理后作为网络的输入，采用全连接网络进行模型训练，获得模型的隐式表达，完成模型训练。在一具体实例中，根据视角的位置和方向，以颜色作为监督项，采用全连接网络进行模型训练，获得全连接网络的模型参数。
S53视点的混合渲染步骤：根据人眼观看位置，采用混合渲染管线，将神经渲染管线与传统图形渲染管线相结合，用于将静态与动态场景的融合，使得隐式表达与显示表达的3D场景可在统一框架中实时渲染与展示。并加入三维场景的在线编辑功能，用于对三维场景进行实时的标记和修改，渲染所需要显示的图像，增加目标场景的可读性和可用性。
本申请提出的一种可自由拓展的立体数字沙盘系统和光场渲染方法，一方面通过准直背光调控技术和光学微结构阵列实现高密度显示屏的无缝拼接，从而使得数字沙盘的显示尺寸可自由拓展。另一方面配合人眼跟踪技术，在神经辐射场三维静态场景渲染的基础上，配合传统图形渲染管线技术，进一步实现静态与动态场景的融合，使得隐式表达与显示表达的3D场景可在统一框架中实时渲染与展示，同时通过仅在人眼观看位置进行数据渲染有效降低了图像渲染数据量。综合以上两方面的技术，观察者在任何视角都可以获得较好的裸眼立体沉浸感。下面具体分析。
如图1所示，为本申请一种可自由拓展的立体数字沙盘系统的原理图，图中数据编码模块11用于提供显示所需的三维模型以及人机交互操作指令，其中三维模型可以传统的三维点云或者面片模型，也可以是隐式表达的三维模型。将隐式或显式表达的三维模型编码后通过标准的HDMI/DP进行无损传输，数据解码模块12将接收到的编码数据解码后复原三维模型。根据接收到的三维模型数据，结合人眼跟踪模块13实时捕获的人眼位置坐标和人机交互模块14所接收到的交互指令，光场图像渲染模块15由多个渲染单元并进行光场渲染，加速生成光场图像。生成的光场图像再由阵列化设计的驱动模块16在高密度液晶显示面板进行分区显示，驱动单元具有路由功能，渲染单元通过网线分别向不同的驱动单元发送不同的图像，每个驱动单元再分别控制四个子显示屏幕显示，每个驱动单元的分辨率为3840×2160，每个子显示屏的分辨率为1920×1080，一个驱动单元可以驱动四个子显示屏幕，所有子显示屏通过拼接组成了显示模块17。
如图2所示，为本申请一种可自由拓展的立体数字沙盘系统的样机概念图，样机整体可以分为三层，最下层21包括数据编码模块、数据解码模块、人机交互模块；中间层22包括光场图像渲染模块和驱动模块；最上层23包括显示模块24和人眼跟踪模块25。
如图3所示，为本申请一种可自由拓展的立体数字沙盘系统的数据流示意图，三维模型数据和人机交互指令由数据编码模块31通过标准的HDMI/DP分别传输给数据解码模块32和人机交互模块34，并结合人眼跟踪模块33所捕获到的人眼位置坐标同时作用于光场图像渲染模块35，光场图像渲染模块35由多个渲染单元并行进行光场渲染，生成的光场图像再由阵列化设计的驱动模块36在高密度液晶显示面板进行分区显示，驱动单元具有路由功能，渲染单元通过网线分别向不同的驱动单元发送不同的图像，每个驱动单元再分别控制四个子显示屏幕显示，所有子显示屏通过拼接组成了显示模块37。
如图4所示，为本申请一种可自由拓展的立体数字沙盘系统的屏幕无缝拼接示意图，背光单元47通过准直背光模组46点亮子屏幕41，每个子屏幕单元41包括屏幕中间LCD面板43和屏幕边框44，由于每个子屏幕41的边框影响，直接进行屏幕拼接会有明显的黑边，严重影响整体的观看效果。本申请通过在屏幕上方增加一个光学微结构42对光束进行调控，将光线扩束后覆盖子屏幕的边缘，然后再将子屏幕进行拼接可以达到无缝拼接效果，最后在拼接后的屏幕上方加一个透镜阵列45使其可以显示立体信息。
如图5所示，为本申请一种可自由拓展的立体数字沙盘光场渲染方法流程图，算法包括目标场景获取步骤S51、神经辐射场训练步骤S52、视角渲染步骤S53。整个混合渲染管线包括神经渲染管线和传统图形渲染管线，其中神经渲染管线用于渲染静态的地图场景，传统渲染管线用于渲染地图标识符。神经渲染管线中首先对场景对目标场景进行采集，获取图像及对应的相机位姿信息，然后对图像进行预处理，去除场景中动态信息，如行人、行驶中的车辆等。将处理后的信息送入NeRF(Neural Radiance Fields)网络进行学习，NeRF网络的输入为空间点的3D坐标位置(x，y，z)以及方向(θ，)，输出为与视角相关的该3D点的颜色c＝(r，g，b)以及该位置的体密度σ。通过NeRF网络的学习可以将三维模型转化为网络的参数和权重系数，获得三维模型的隐式表达。渲染新视角时仅需输入新视角的位姿即可获得对应的图像。传统图形渲染管线通过应用层处理、几何处理和光栅化处理后，可获得简单的地图标识符图像。将神经渲染管线和传统图形渲染管线结合，使静态地图场景变成动态可编辑场景，增加目标场景的可读性和可用性。
如图6所示，为本申请一种可自由拓展的立体数字沙盘光场渲染方法的加速示意图，图中S61为观看者观看位置，S62为左视图成像平面，S63为右视图成像平面，S64为等效成像目标，S65为透镜阵列，S66为子图像单元，S67为子图像阵列，S68为无效光线。与传统的视差型自由立体显示技术不同，光场显示技术的成像调制平面上的每一个小窗口都能够为观看者提供三维场景某一部分的视点图像，随着小孔数量的增加，视点分辨率也会相应的增加。使用混合渲染技术来实现基于人眼定位的光场内容渲染时，子图像中的每个像素的光线方向和起点都各不相同，需要根据显示屏的像素坐标反推临时起点坐标从而确定光线起点解决深度反转现象，然后判断光线起点是否位于人眼所在的小范围视点区域。为了便于理解我们将透镜阵列视为一个理想的小孔阵列，从液晶显示面板出发，根据小孔的规模我们将液晶显示面板等分为若干个显示区域，如果小孔的规模为K×K，液晶面板的分辨率为M×N，那么每一个子图像单元S66的大小为M/K×N/K，光场渲染时从液晶面板左上角的第一个子图像单元的第一个像素开始渲染，子图像单元中每个像素均和小孔构成一束光线，根据元图像和小孔的连线延长线穿过模型，在高于模型位置处的点即可作为渲染该光线的起点，以此来解决深度反转的问题。需要说明的是在渲染过程中需要将量纲统一，即将液晶面板显示坐标系、光学微透镜阵列坐标系、以及世界坐标系间的单位需要统一。假设像素在显示面板上的索引为(k，m)，则其坐标(Xp，Yp，Zp)表示为：
Xp＝k*pp-pp*W/2 (1)
Yp＝pp*H/2-m*pp (2)
Zp＝0 (3)
其中，pp代表像素尺寸，W和H分别表示显示器的水平和垂直分辨率，假设子图像单元分辨率为N×N，则索引为(k，m)的像素对应的透镜中心坐标(Xlen，Ylen，Zlen)为：
Zlen＝g (6)
其中，ceil表示向上取整函数，g表示透镜阵列与现实面板的距离。在人眼定位的情况下，单个像素实际上对应了周围W/N×H/N个透镜形成的光线，本申请定义这种情况为像素的复用性。由式可推得像素(k，m)确定的光线为：
其中，origin()代表光线起点，direction()代表光线方向，i和j分表代表W/N×H/N透镜阵列中的行列索引，像素正上方的透镜编号为(0，0)，其他透镜依此递推。为了解决深度翻转问题，光线追踪时需要获得最远碰撞物体，而这可以通过将光线按照方向前进到达人眼平面获得新起点来实现，其原理如图6所示确定了每个像素对应的光线后，就可以根据人眼坐标来部分渲染像素。对于显示器上的像素，根据公式7计算光线的起点和方向，然后判断光线是否能到达人眼附近，如果能则用光线追踪技术渲染，否则说明这条光线并不能被观察到，本申请中称之为无效光线S68，直接进入下一像素直至渲染完成。
综上所述，本申请一方面通过准直背光调控技术和光学微结构阵列实现高密度显示屏的无缝拼接，从而使得数字沙盘的显示尺寸可自由拓展。另一方面配合人眼跟踪技术，在神经辐射场三维静态场景渲染的基础上，配合传统图形渲染管线技术，进一步实现静态与动态场景的融合，使得隐式表达与显示表达的3D场景可在统一框架中实时渲染与展示，同时通过仅在人眼观看位置进行数据渲染有效降低了图像渲染数据量。综合以上两方面的技术，观察者在任何视角都可以获得较好的裸眼立体沉浸感。
以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。
Claims (10)
1.一种可自由拓展的立体数字沙盘系统，其特征在于，所述系统包括：数据编码模块、数据解码模块、人眼跟踪模块、人机交互模块、光场图像渲染模块、驱动模块及显示模块。该系统的数据编码模块通过HDMI/DP接口与数据解码模块和人机交互模块相连，用于将三维模型数据和交互指令与服务器互传，光场图像渲染模块根据接收到的三维模型数据、人机交互指令和人眼的实时观看位置坐标进行光场图像渲染，光场图像渲染模块和显示模块通过驱动模块相连接，驱动模块用于将光场图像以三维形式在显示模块上展现，自由拓展显示屏由多个子屏幕无缝拼接而成，可使得立体数字沙盘的显示尺寸无限拓展。
2.如权利要求1所述的一种可自由拓展的立体数字沙盘系统，其特征在于，用户不但可以通过PC端的2D显示屏与数字沙盘进行交互控制，还可以设置数字沙盘的工作模式，如实现2D与3D显示模型的模式切换。数据编码模块用于将隐式或显式表达的三维模型编码后通过标准的HDMI/DP进行无损传输。
3.如权利要求1所述的一种可自由拓展的立体数字沙盘系统，其特征在于，所述的光场图像渲染模块采用模块化光场图像渲染硬件平台设计，用于对光场图像的并行渲染，提高渲染速度。
4.如权利要求1所述的一种可自由拓展的立体数字沙盘系统，其特征在于，所述驱动模块，采用阵列化设计，用于对高密度液晶显示面板进行分区刷新与控制，整个显示屏幕可由多个子驱动模块进行驱动，每个子驱动模块可以驱动多个子显示屏刷新。
5.如权利要求1所述的一种可自由拓展的立体数字沙盘系统，其特征在于，所述显示模块，与所述的驱动模块相连，用于将显示内容映射到液晶面板，并显示立体信息，可供观看者裸眼观看立体场景，该模块由多个子屏幕拼接而成。采用准直背光技术和光学微结构阵列实现高密度显示屏的无缝拼接，可使得立体数字沙盘的显示尺寸自由拓展。
6.一种可自由拓展的立体数字沙盘光场渲染方法，其特征在于，包括模型的隐式转换和视点的混合渲染两个阶段，其中模型的隐式转换包括数据集获取步骤和神经辐射场模型训练步骤，具体步骤描述如下：
数据集获取步骤：根据显示表达的目标场景，为神经渲染管线提供原始的训练数据集，数据集包括多视角图像以及对应的相机位姿信息；
神经辐射场模型训练步骤：对所述数据集进行预处理处理后作为神经网络的输入，采用全连接网络进行模型训练，获得模型的隐式表达，完成模型训练；
视点的混合渲染步骤：根据人眼观看位置，采用混合渲染管线，将神经渲染管线与传统图形渲染管线相结合，用于将静态与动态场景的融合，使得隐式表达与显示表达的3D场景可在统一框架中实时渲染与展示。并加入三维场景的在线编辑功能，用于对三维场景进行实时的标记和修改，渲染所需要显示的图像，增加目标场景的可读性和可用性。
7.如权利要求6所述的一种可自由拓展的立体数字沙盘光场渲染方法，其特征在于，所述数据集获取步骤中，所述数据可以是需要展示的实景地图，也可以是虚拟地图场景。
8.如权利要求6所述的一种可自由拓展的立体数字沙盘光场渲染方法，其特征在于，所述视角渲染步骤中，采用混合渲染管线进行图像生成，其中神经辐射场用于渲染静态的地图场景，传统渲染管线用于渲染可编辑动态场景，如地图标识符等。
9.如权利要求6所述的一种可自由拓展的立体数字沙盘光场渲染方法，其特征在于，所述光场渲染方法为基于人眼跟踪数据的轻量化渲染算法，所述人眼跟踪算法采用红外引导的方式进行跟踪，红外相机用于快速定位人脸的感兴趣区域，可见光相机根据所述感兴趣区域精确快速定位人眼，并将人眼位置坐标实时发送给光场图像渲染模块，所述图像渲染模块仅在人眼观看位置进行图像渲染，从而降低光场渲染算法的数据量。
10.如权利6至9中任一项所述的一种可自由拓展的立体数字沙盘光场渲染方法，其特征在于，所述的光场渲染方法为实时渲染方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311235666.0A CN117176936A (zh) | 2023-09-22 | 2023-09-22 | 一种可自由拓展的立体数字沙盘系统和光场渲染方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311235666.0A CN117176936A (zh) | 2023-09-22 | 2023-09-22 | 一种可自由拓展的立体数字沙盘系统和光场渲染方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117176936A true CN117176936A (zh) | 2023-12-05 |
Family
ID=88933602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311235666.0A Pending CN117176936A (zh) | 2023-09-22 | 2023-09-22 | 一种可自由拓展的立体数字沙盘系统和光场渲染方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117176936A (zh) |
-
2023
- 2023-09-22 CN CN202311235666.0A patent/CN117176936A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10939085B2 (en) | Three dimensional glasses free light field display using eye location | |
| US10567741B2 (en) | Stereoscopic image display device, terminal device, stereoscopic image display method, and program thereof | |
| CN100483463C (zh) | 用于在3-d图像显示屏上显示3-d图像的系统和方法 | |
| CN101909219B (zh) | 一种立体显示方法及跟踪式立体显示器 | |
| KR102121389B1 (ko) | 무안경 3d 디스플레이 장치 및 그 제어 방법 | |
| CN101587386B (zh) | 光标处理方法、装置及系统 | |
| US6888540B2 (en) | Autostereoscopic display driver | |
| CN100459719C (zh) | 三维影像显示装置和方法及三维显示用影像数据生成方法 | |
| CN108573521B (zh) | 基于cuda并行计算框架的实时交互式裸眼3d显示方法 | |
| CN101984670A (zh) | 一种立体显示方法、跟踪式立体显示器及图像处理装置 | |
| CN102801999A (zh) | 基于裸眼3d显示技术的合成算法 | |
| Wickens | Three-dimensional stereoscopic display implementation: Guidelines derived from human visual capabilities | |
| CN108076208B (zh) | 一种显示处理方法及装置、终端 | |
| CN105388623A (zh) | 一种显示装置 | |
| JP4703635B2 (ja) | 立体視画像生成方法、その装置、及び立体視画像表示装置 | |
| CN112866676B (zh) | 一种基于单像素多视点重建的裸眼三维显示算法 | |
| JP2006163547A (ja) | 立体画像生成プログラム、立体画像生成システム及び立体画像生成装置。 | |
| Chen et al. | A method of stereoscopic display for dynamic 3D graphics on android platform | |
| CN109541812A (zh) | 一种体三维显示装置及其控制方法 | |
| Chen et al. | Distributed real‐time rendering for ultrahigh‐resolution multiscreen 3D display | |
| CN117176936A (zh) | 一种可自由拓展的立体数字沙盘系统和光场渲染方法 | |
| CN115236871A (zh) | 基于人眼跟踪和双向背光的桌面式光场显示系统及方法 | |
| Zhang et al. | An interactive multiview 3D display system | |
| CN105447812B (zh) | 一种基于线状阵列的三维活动图像显示及信息隐藏方法 | |
| CN102970498A (zh) | 菜单立体显示的显示方法及显示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |