CN115236871A - 基于人眼跟踪和双向背光的桌面式光场显示系统及方法 - Google Patents

基于人眼跟踪和双向背光的桌面式光场显示系统及方法 Download PDF

Info

Publication number
CN115236871A
CN115236871A CN202210540211.9A CN202210540211A CN115236871A CN 115236871 A CN115236871 A CN 115236871A CN 202210540211 A CN202210540211 A CN 202210540211A CN 115236871 A CN115236871 A CN 115236871A
Authority
CN
China
Prior art keywords
rendering
display
human eye
light field
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210540211.9A
Other languages
English (en)
Inventor
于迅博
高鑫
董昊翔
黄辉
邢树军
徐斌
温旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhenxiang Technology Co ltd
Beijing University of Posts and Telecommunications
Original Assignee
Shenzhen Zhenxiang Technology Co ltd
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhenxiang Technology Co ltd, Beijing University of Posts and Telecommunications filed Critical Shenzhen Zhenxiang Technology Co ltd
Priority to CN202210540211.9A priority Critical patent/CN115236871A/zh
Publication of CN115236871A publication Critical patent/CN115236871A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/33—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving directional light or back-light sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)

Abstract

本发明涉及三维显示技术领域，为了解决现有三维显示系统在多人应用场景下无法高清显示的技术问题，本发明公开了基于人眼跟踪和双向背光的桌面式光场显示系统及方法，包括液晶显示屏、双向背光单元和控光器件，还设置有渲染装置和人眼跟踪装置，渲染装置根据不同观看者人眼位置信息渲染合成出适应不同的观看区域的3D图像。双向背光单元可以在桌面式光场显示器两侧分别构造三维场景各自侧面的视差信息，以满足多人多方向观看的实际需求，人眼跟踪装置可以实时跟踪人眼位置，单独为其提供视野范围内的三维图像，消除现有三维显示系统造成的视觉疲劳、视区跳变和分辨率低等不足，实现高刷新率、高分辨率的三维图像显示。

Description

基于人眼跟踪和双向背光的桌面式光场显示系统及方法
技术领域
本发明涉及三维显示技术领域，尤其涉及基于人眼跟踪和双向背光的桌面式光场显示系统及方法。
背景技术
随着显示技术的发展，从最初的黑白显示、彩色电视显示、视差型的裸眼3D显示以及最终的真三维显示，显示技术不断迭代更新，人们也对显示设备的应用场景提出了更多要求，简单的二维平面显示已经不能满足目前人们对影视动画、互动游戏、楼宇沙盘、文物展示等领域的多样化需求。桌面化的三维场景展示，是契合人眼对三维场景的一种观看方式，也能够满足多人观看的需求，是一种理想的三维显示方案。
目前已经开发出的基于光栅结构的桌面式裸眼三维显示装置大都仅仅具有一个方向的立体视角，无法为多人同时提供高分辨率的三维图像。基于透镜阵列的集成成像三维显示，虽然可以在多个方向显示三维场景，但分辨率无法满足高清显示的需求。
发明内容
本发明的目的在于提供基于人眼跟踪和双向背光的桌面式光场显示系统及方法，以解决现有三维显示系统在多人应用场景下无法高清显示的技术问题。
为实现上述目的，本发明的基于人眼跟踪和双向背光的桌面式光场显示系统及方法的具体技术方案如下：
作为本发明的一个方面，提供了基于人眼跟踪和双向背光的桌面式光场显示系统，包括液晶显示屏、位于液晶显示屏背光侧的双向背光单元和位于液晶显示屏出光侧的控光器件，还设置有渲染装置和用于采集观看者人眼位置信息的人眼跟踪装置，渲染装置根据不同观看者人眼位置信息渲染合成出适应不同的观看区域的3D图像。双向背光单元的结构可以在桌面式光场显示器两侧分别构造三维场景各自侧面的视差信息，以满足多人多方向观看的实际需求，人眼跟踪装置可以实时跟踪观看者的观看位置，单独为其提供视野范围内的三维图像，可以消除原有三维显示技术带来的视觉疲劳、视区跳变和分辨率低等不足，实现高刷新率、高分辨率的三维图像显示，提升观看体验。
进一步的，渲染装置包括：
第一获取模块，用于获取当前需要渲染的图像数据；
第二获取模块，用于获取人眼位置坐标；
处理模块，用于根据人眼位置坐标，以及人眼与全息功能屏夹角，计算人眼所聚焦的空间位置坐标；确定当前帧及下一帧所需要的高清渲染区域，建立高清渲染区域与空间位置坐标的对应关系；对当前帧对应的第一类型显示数据进行预渲染，生成第一预显示图像；对当前帧对应的第二类型显示数据进行渲染，生成第二预显示图像；
合成模块，用于对第一预显示图像和第二预显示图像进行合成，生成当前帧完整的显示图像；
依次对下一帧进行如当前帧的循环往复渲染操作；
其中，第一类型显示数据的分辨率低于第二类型显示数据的分辨率；
输出模块，用于将显示图像输出至液晶显示屏。
进一步的，控光器件包括光栅和全息功能屏，经过全息功能屏的扩散作用后,体像素发出的光线发生扩束,因而重构的光场分布将更加均匀连续,与原始光场也更加接近,显示图像更加均匀自然。
进一步的，光栅包括柱镜光栅或狭缝光栅，柱镜光栅和狭缝光栅可将不同合成图像的光线折射到不同方向并周期性会聚到对应的焦点处,这些焦点可以看作为三维显示系统的体像素点，多个不同体像素发出的光线分别进入人的双眼时,即可获得三维场景的多幅视差图像,从而获得立体感。
作为本发明的另一个方面，提供了基于人眼跟踪和双向背光的桌面式光场显示方法，包括如下步骤：
步骤S101，获取观看者的人眼位置信息，位置信息包括垂深度信息、竖直空间坐标和水平空间坐标；
步骤S102，确定观看者人眼的聚焦区域为观看子区域，通过光线反向追踪定位并点亮观看子区域的子像素；
步骤S103，将人眼位置信息进行作为调制参数，渲染合成出包括观看子区域的3D图像；
步骤S104，跟踪观看者人眼位置的变化，重复步骤以动态获得相应的3D图像。
进一步的，渲染合成过程包括如下步骤：
步骤S201，获取当前需要渲染的图像数据和人眼位置坐标；
步骤S202，根据人眼位置坐标，以及人眼与全息功能屏夹角，计算人眼所聚焦的空间位置坐标；
步骤S203，确定当前帧及下一帧所需要的高清渲染区域，建立高清渲染区域与空间位置坐标的对应关系；
步骤S204，对当前帧对应的第一类型显示数据进行预渲染，生成第一预显示图像；
步骤S205，对当前帧对应的第二类型显示数据进行渲染，生成第二预显示图像；
步骤S206，对第一预显示图像和第二预显示图像进行合成，生成当前帧完整的显示图像；
步骤S207，依次对下一帧进行如步骤S204至步骤S205的循环往复渲染操作；
其中，第一类型显示数据的分辨率低于第二类型显示数据的分辨率。
进一步的，在步骤S102中，包括如下步骤：
步骤S1021，根据人眼位置信息，计算观看子区域对应光场单元的视锥体的透视变换矩阵；
步骤S1022，通过透视投影变换分析，计算出虚拟相机的视锥体透视变换矩阵后，根据观看者的视锥体修改虚拟相机的投影矩阵，确定投影点坐标，建立非标准投影，使虚拟相机采集的光场信息具有正确的透视关系；
步骤S1023，根据实时人眼位置信息和投影点坐标，通过光线反向追踪点亮观看子区域所需的所有子像素单元，用于为每个观看子区域渲染具有正确透视关系的光场图像。
进一步的，偏离人眼所聚焦的空间位置坐标每增加预定角度，渲染分辨率依层级递减。
本发明提供的基于人眼跟踪和双向背光的桌面式光场显示系统及方法具有以下优点：
双向背光单元的结构可以在桌面式光场显示器两侧分别构造三维场景各自侧面的视差信息，以满足多人多方向观看的实际需求。人眼跟踪装置可以实时跟踪观看者的观看位置，单独为其提供视野范围内的三维图像，可以消除原有三维显示技术带来的视觉疲劳、视区跳变和分辨率低等不足，实现高刷新率、高分辨率的三维图像显示，提升观看体验。
附图说明
图1为本发明提供的桌面式光场显示系统功能框图；
图2为本发明提供的桌面式光场显示系统的产品结构示意图；
图3为本发明提供的双向背光单元结构示意图；
图4为本发明提供的桌面式光场显示系统应用场景图；
图5为本发明提供的中央凹视野和边视野示意图；
图6为本发明提供的桌面式光场显示方法流程图；
图7为本发明提供的渲染流程图；
图8为本发明提供的视点分段式体像素构建示意图；
图9为本发明提供的LCD上子像素的图像编码过程图；
图10为本发明提供的入射光线与柱镜上覆盖子像素的几何关系图。
图中：10、液晶显示屏；20、双向背光单元；21、LED灯珠；22、菲涅尔透；30、控光器件；31、光栅；32、全息功能屏；40、人眼跟踪装置；50、渲染装置；60、3D图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参阅图1至图7，本发明提供了基于人眼跟踪和双向背光的桌面式光场显示系统，包括液晶显示屏10、位于液晶显示屏10背光侧的双向背光单元20和位于液晶显示屏10出光侧的控光器件30，还设置有渲染装置50和用于采集观看者人眼位置信息的人眼跟踪装置40，渲染装置50分别液晶显示屏10和人眼跟踪装置40连接，渲染装置50根据不同观看者人眼位置信息渲染合成出适应不同的观看区域的3D图像60。
双向背光单元20的结构可以在桌面式光场显示器两侧分别构造三维场景各自侧面的视差信息，以满足多人多方向观看的实际需求。人眼跟踪装置40可以实时跟踪观看者的观看位置，单独为其提供视野范围内的三维图像，可以消除原有三维显示技术带来的视觉疲劳、视区跳变和分辨率低等不足，实现高刷新率、高分辨率的三维图像显示，提升观看体验。
其中，渲染装置50包括：
第一获取模块，用于获取当前需要渲染的图像数据；
第二获取模块，用于获取人眼位置坐标；
处理模块，用于根据人眼位置坐标，以及人眼与全息功能屏32夹角，计算人眼所聚焦的空间位置坐标；确定当前帧及下一帧所需要的高清渲染区域，建立高清渲染区域与空间位置坐标的对应关系；对当前帧对应的第一类型显示数据进行预渲染，生成第一预显示图像；对当前帧对应的第二类型显示数据进行渲染，生成第二预显示图像；
合成模块，用于对第一预显示图像和第二预显示图像进行合成，生成当前帧完整的显示图像；
依次对下一帧进行如当前帧的循环往复渲染操作；
其中，第一类型显示数据的分辨率低于第二类型显示数据的分辨率；
输出模块，用于将显示图像输出至液晶显示屏10。
在本发明的一实施例中，控光器件30包括光栅31和全息功能屏32，将携带子像素颜色和强度信息的定向光线转换为体像素点，由此构建出三维图像。
在本发明的一实施例中，光栅31包括柱镜光栅或狭缝光栅，可将不同合成图像的光线折射到不同方向并周期性汇聚到对应的焦点处，这些焦点可以看作为三维显示系统的体像素点。多个不同体像素发出的光线分别进入人的双眼时，即可获得三维场景的多幅视差图像，从而获得立体感。
在本发明的一实施例中，双向背光单元20包括LED灯珠21和菲涅尔透22镜，LED灯珠21位于菲涅尔透22镜的焦点位置，构成双向准直背光单元，提供双向准直背光，并根据液晶显示屏10的刷新频率实时刷新。
例如，液晶显示屏10的最高刷新频率为120Hz，双向背光单元20以每秒120次与液晶显示屏10交替同步刷新，使得观看到的动态三维图像刷新率均为60Hz。
人眼跟踪装置40包括两个具有深度采集功能的深度相机组成，人眼跟踪装置40分别与渲染装置50和液晶显示屏10连接，用于采集双向背光单元20发出光线范围内，参阅图4，多位观看者距离光场显示装置的吹着深度以及处在采集范围内的水平和竖直坐标。与此同时，系统将双向背光单元20提供的两侧观看范围分为多个视区宽度不小于常规人眼瞳距的观看子区域，当采集到多个观看者的人眼坐标后，通过光线反向追迹定位到点亮该观看子区域的子像素，并在渲染装置50中计算生成该子区域内的三维场景所需的合成图像。并传输至渲染装置50实时计算当前观看者位置应当看到的合成图像。渲染装置50将信号输出至液晶显示屏10，与双向背光同步刷新。
当观看者从某一位置观看整个桌面光场显示系统时，观看者与桌面光场设备的相对位置和观看角度各不相同。这会导致基于人眼追踪的三维光场构建位置偏离虚拟相机的光场采集位置，使光场内容的透视关系发生错误，发生不同程度的扭曲、畸变、倾斜等情况。在传统的光场显示系统的3D信息采集过程中,虚拟相机阵列简单的面向三维场景拍摄，采集到的光场图像透视关系单一。当观看者变换观看位置和观看角度时,就会出现透视关系与观看角度不一致,场景变得“倾倒”、“压缩”。
为此本发明还提供了基于人眼跟踪和双向背光的桌面式光场显示方法，包括如下步骤：
步骤S101，获取观看者的人眼位置信息，位置信息包括深度信息、竖直空间坐标和水平空间坐标；
步骤S102，确定观看者人眼的聚焦区域为观看子区域，通过光线反向追踪定位并点亮观看子区域的子像素；
步骤S103，将人眼位置信息进行作为调制参数，渲染合成出包括观看子区域的3D图像60；
步骤S104，跟踪观看者人眼位置的变化，重复步骤以动态获得相应的3D图像60。
进一步的，渲染合成过程包括如下步骤：
步骤S201，获取当前需要渲染的图像数据和人眼位置坐标；
步骤S202，根据人眼位置坐标，以及人眼与全息功能屏32夹角，计算人眼所聚焦的空间位置坐标；
步骤S203，确定当前帧及下一帧所需要的高清渲染区域，建立高清渲染区域与空间位置坐标的对应关系；
步骤S204，对当前帧对应的第一类型显示数据进行预渲染，生成第一预显示图像；
步骤S205，对当前帧对应的第二类型显示数据进行渲染，生成第二预显示图像；
步骤S206，对第一预显示图像和第二预显示图像进行合成，生成当前帧完整的显示图像；
步骤S207，依次对下一帧进行如步骤S204至步骤S205的循环往复渲染操作；
其中，第一类型显示数据的分辨率低于第二类型显示数据的分辨率。
在步骤S102中，还涉及了观看子区域的分配方法以及图像编码方法：
参阅图8，三位观看者分别位于桌面式光场显示观看范围中的三个不同坐标处，每个观看者人都能看到由各自区域内视点分段式体像素提供的正确、全视差3D场景。3D场景中每个体像素发出的光线的集合V3Dscene由式(1)表示：
Figure BDA0003647869460000081
其中，Vvoxel代表一个像素发出的光线的集合。
Figure BDA0003647869460000082
表示视点分段式体像素发出的每根光线。x,y,z表示该体像素的坐标，θ和
Figure BDA0003647869460000083
用来表示这些光线的出射角度，R,G,B包含了LCD上像素的颜色和强度信息。这8个参数可以精确的描述大量的光线信息，继而建立一个可以精确编码的3D光场显示场景。(xk,yk,zk)表示观看范围内第k位观看者的空间坐标，Pixel(i,j,R,G,B)表示了LCD面板上子像素的位置、颜色、强度信息。通过计算光线在光场显示系统中的传播公式，可以计算出子像素与构成的体像素之间的函数映射关系。根据图9中所示的几何关系，观看者k所看到的视点分段式体像素发出的光线出射角度如式(2)(3)所示：
Figure BDA0003647869460000084
Figure BDA0003647869460000085
根据视点分布分段编码的体像素可以为多位观看者提供正确的视差关系，相对应的子图像的编码方法如图9和图10所示。在实验中，
Figure BDA0003647869460000086
的范围为-50°至50°，能够形成100°的观看视角范围，经过光学偏折膜对光线的折射作用后，将观看范围偏折至正面观看范围。根据图9中所示的几何关系可以得到出射光线的参数
Figure BDA0003647869460000087
与柱镜坐标(x′,y′)的映射关系如式(4)(5)(6)所示：
Figure BDA0003647869460000088
y＝y′+(L′+z)·tanθ\*MERGEFORMAT(5)
Figure BDA0003647869460000089
其中，L是LCD面板到全息扩散膜(HFS)的距离，L′是HFS到光学偏折膜的距离，N为光栅阵列的序列号，P为透镜或光栅单元的宽度。如图10所示，光线出射坐标(x′,y′)和子像素坐标(i,j)的关系如下所示：
i·Wp＝N·P+y′·tanγ+P/2-d\*MERGEFORMAT(7)
j·Wp＝y′\*MERGEFORMAT(8)
Figure BDA0003647869460000091
Figure BDA0003647869460000092
其中，d是子像素与相对应的倾角为γ和折射率为n的柱透镜中心的距离，d′为入射的准直光线与柱透镜中心的距离，h为光栅阵列到LCD显示面板之间的距离。将每个子像素的(i,j)和R,G,B值带入公式(2)(3)(4)(5)(6)(9)(10)中，就可以得到LCD上的子像素与HFS上的视点分段式体像素的函数映射关系，根据此关系可以在观看范围内精确地重构离散采样的3D光场图像。
在步骤S102中，还包括如下步骤：
步骤S1021，根据观看者的空间三维坐标即人眼位置信息，计算观看子区域对应光场单元的视锥体的透视变换矩阵；
本发明提供的透视变换矩阵计算公式如下：
Figure BDA0003647869460000101
步骤S1022，通过透视投影变换分析，计算出虚拟相机的视锥体透视变换矩阵后，根据观看者的视锥体修改虚拟相机的投影矩阵，确定投影点坐标，建立非标准投影，使虚拟相机采集的光场信息具有正确的透视关系；
本发明提供的投影点坐标计算公式如下：
Figure BDA0003647869460000102
步骤S1023，根据实时人眼位置信息和投影点坐标，通过光线反向追踪点亮观看子区域所需的所有子像素单元，用于为每个观看子区域渲染具有正确透视关系的光场图像。
参阅图5，对于所观看的区域，包括中央凹视野B和位于其两侧的第一边视野A、第二边视野C，人眼在成像过程中，中央凹视野B的覆盖视野角度α一般为1～2度，视觉敏锐度高，而第一边视野A、第二边视野C成像是模糊的。
模渲染装置50在画面渲染过程中只需要高清渲染中央凹视野B的范围，而对第一边视野A、第二边视野C进行模糊渲染。双眼及眼球转动，高清渲染的区域随着注视点的变化而变化，以在达到高清视觉体验的同时，又可降低系统负荷。
进一步的，偏离人眼所聚焦的空间位置坐标每增加预定角度，对像素进行压缩，渲染分辨率依层级递减。
在本发明的一实施例中，偏离人眼所聚焦的空间位置坐标每增加1度，渲染分辨率降低0.1～2％；偏离人眼所聚焦的空间位置坐标每增加5度，渲染分辨率降低1～10％；如此，依照人眼敏感度的下降规律，对图像区域又进一步进行划分，兼顾了重点区域高清视觉显示的同时，又可降低渲染时负荷，节约了系统功耗。
相关部件工作原理：
从LED灯珠21发出的散射光线经过菲涅尔透22镜产生折射，成为方向倾斜向上的两条定向光线，定向光线向前传播并穿过液晶显示屏10时会携带上显示屏中对应子像素的颜色和强度信息，用于在空间中重现三维图像。
全息功能屏32是一种定向扩散膜，利用定向激光散斑法制作，上面分布差重复的散斑图案，能够使光线在水平和竖直方向以一定角度进行扩散。经过全息功能屏32的扩散作用后，体像素发出的光线发生扩束，使得重构的光场分布更加均匀和连续，与原始光场也更加接近，显示图像更加均匀自然。
综上所述，本发明提供的基于人眼跟踪和双向背光的桌面式光场显示系统及方法，双向背光单元的结构可以在桌面式光场显示器两侧分别构造三维场景各自侧面的视差信息，以满足多人多方向观看的实际需求。人眼跟踪装置可以实时跟踪观看者的观看位置，单独为其提供视野范围内的三维图像，可以消除原有三维显示技术带来的视觉疲劳、视区跳变和分辨率低等不足，实现高刷新率、高分辨率的三维图像显示，提升观看体验。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于人眼跟踪和双向背光的桌面式光场显示系统，其特征在于，包括液晶显示屏(10)、位于液晶显示屏(10)背光侧的双向背光单元(20)和位于液晶显示屏(10)出光侧的控光器件(30)，还设置有渲染装置(50)和用于采集观看者人眼位置信息的人眼跟踪装置(40)，所述渲染装置(50)根据不同观看者人眼位置信息渲染合成出适应不同的观看区域的3D图像(60)。
2.根据权利要求1所述的基于人眼跟踪和双向背光的桌面式光场显示系统，其特征在于，所述渲染装置(50)包括：
第一获取模块，用于获取当前需要渲染的图像数据；
第二获取模块，用于获取人眼位置坐标；
处理模块，用于根据人眼位置坐标，以及人眼与全息功能屏(32)夹角，计算人眼所聚焦的空间位置坐标；确定当前帧及下一帧所需要的高清渲染区域，建立高清渲染区域与空间位置坐标的对应关系；对当前帧对应的第一类型显示数据进行预渲染，生成第一预显示图像；对当前帧对应的第二类型显示数据进行渲染，生成第二预显示图像；
合成模块，用于对第一预显示图像和第二预显示图像进行合成，生成当前帧完整的显示图像；
依次对下一帧进行如上述当前帧的循环往复渲染操作；
其中，第一类型显示数据的分辨率低于第二类型显示数据的分辨率；
输出模块，用于将显示图像输出至液晶显示屏(10)。
3.根据权利要求1或2所述的基于人眼跟踪和双向背光的桌面式光场显示系统，其特征在于，所述控光器件(30)包括光栅(31)和全息功能屏(32)。
4.根据权利要求3所述的基于人眼跟踪和双向背光的桌面式光场显示系统，其特征在于，所述光栅(31)包括柱镜光栅或狭缝光栅。
5.基于人眼跟踪和双向背光的桌面式光场显示方法，其特征在于，包括如下步骤：
步骤S101，获取观看者的人眼位置信息，所述位置信息包括深度信息、竖直空间坐标和水平空间坐标；
步骤S102，确定观看者人眼的聚焦区域为观看子区域，通过光线反向追踪定位并点亮观看子区域的子像素；
步骤S103，将人眼位置信息进行作为调制参数，渲染合成出包括该观看子区域的3D图像(60)；
步骤S104，跟踪观看者人眼位置的变化，重复上述步骤以动态获得相应的3D图像(60)。
6.根据权利要求5所述的基于人眼跟踪和双向背光的桌面式光场显示方法，其特征在于，渲染合成过程包括如下步骤：
步骤S201，获取当前需要渲染的图像数据和人眼位置坐标；
步骤S202，根据人眼位置坐标，以及人眼与全息功能屏(32)夹角，计算人眼所聚焦的空间位置坐标；
步骤S203，确定当前帧及下一帧所需要的高清渲染区域，建立高清渲染区域与空间位置坐标的对应关系；
步骤S204，对当前帧对应的第一类型显示数据进行预渲染，生成第一预显示图像；
步骤S205，对当前帧对应的第二类型显示数据进行渲染，生成第二预显示图像；
步骤S206，对第一预显示图像和第二预显示图像进行合成，生成当前帧完整的显示图像；
步骤S207，依次对下一帧进行如上述步骤S204至步骤S205的循环往复渲染操作；
其中，第一类型显示数据的分辨率低于第二类型显示数据的分辨率。
7.根据权利要求6所述的基于人眼跟踪和双向背光的桌面式光场显示方法，其特征在于，在步骤S102中，包括如下步骤：
步骤S1021，根据人眼位置信息，计算观看子区域对应光场单元的视锥体的透视变换矩阵；
步骤S1022，通过透视投影变换分析，计算出虚拟相机的视锥体透视变换矩阵后，根据观看者的视锥体修改虚拟相机的投影矩阵，确定投影点坐标，建立非标准投影，使虚拟相机采集的光场信息具有正确的透视关系；
步骤S1023，根据实时人眼位置信息和投影点坐标，通过光线反向追踪点亮观看子区域所需的所有子像素单元，用于为每个观看子区域渲染具有正确透视关系的光场图像。
8.根据权利要求7所述的基于人眼跟踪和双向背光的桌面式光场显示方法，其特征在于，偏离人眼所聚焦的空间位置坐标每增加预定角度，渲染分辨率依层级递减。
CN202210540211.9A 2022-05-17 2022-05-17 基于人眼跟踪和双向背光的桌面式光场显示系统及方法 Pending CN115236871A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210540211.9A CN115236871A (zh) 2022-05-17 2022-05-17 基于人眼跟踪和双向背光的桌面式光场显示系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210540211.9A CN115236871A (zh) 2022-05-17 2022-05-17 基于人眼跟踪和双向背光的桌面式光场显示系统及方法

Publications (1)

Publication Number Publication Date
CN115236871A true CN115236871A (zh) 2022-10-25

Family

ID=83667904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210540211.9A Pending CN115236871A (zh) 2022-05-17 2022-05-17 基于人眼跟踪和双向背光的桌面式光场显示系统及方法

Country Status (1)

Country Link
CN (1) CN115236871A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116880723A (zh) * 2023-09-08 2023-10-13 江西格如灵科技股份有限公司 一种3d场景显示方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120913A (zh) * 2018-10-09 2019-01-01 深圳市眸合科技有限公司 一种指向背光型自由立体显示系统及其显示方法
CN109791605A (zh) * 2016-08-01 2019-05-21 脸谱科技有限责任公司 基于眼睛跟踪信息的图像区域中的自适应参数
WO2020033875A1 (en) * 2018-08-10 2020-02-13 Compound Photonics Limited Apparatus, systems, and methods for foveated display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791605A (zh) * 2016-08-01 2019-05-21 脸谱科技有限责任公司 基于眼睛跟踪信息的图像区域中的自适应参数
WO2020033875A1 (en) * 2018-08-10 2020-02-13 Compound Photonics Limited Apparatus, systems, and methods for foveated display
CN109120913A (zh) * 2018-10-09 2019-01-01 深圳市眸合科技有限公司 一种指向背光型自由立体显示系统及其显示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王培人: "桌面式光场显示关键技术研究", 《中国博士学位论文全文数据库 基础科学辑》, pages 43 - 58 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116880723A (zh) * 2023-09-08 2023-10-13 江西格如灵科技股份有限公司 一种3d场景显示方法及系统
CN116880723B (zh) * 2023-09-08 2023-11-17 江西格如灵科技股份有限公司 一种3d场景显示方法及系统

Similar Documents

Publication Publication Date Title
US6795241B1 (en) Dynamic scalable full-parallax three-dimensional electronic display
Lipton et al. New autostereoscopic display technology: the synthaGram
KR20190043999A (ko) 눈 위치를 사용하는 삼차원 무안경 광 필드 디스플레이
CN106842597B (zh) 大景深近眼光场三维显示方法
Kawakita et al. 3D image quality of 200-inch glasses-free 3D display system
CN1640153A (zh) 使用回归反射屏幕的三维图像投影
CN113917700B (zh) 一种三维光场显示系统
KR101975246B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
Yang et al. Demonstration of a large-size horizontal light-field display based on the LED panel and the micro-pinhole unit array
US9961333B1 (en) System and method for light field projection
Yoshida fVisiOn: glasses-free tabletop 3-D display–its design concept and prototype–
Wang et al. Three-dimensional light-field display with enhanced horizontal viewing angle by introducing a new lenticular lens array
CN110082960B (zh) 一种基于高亮分区背光的光场显示装置及其光场优化算法
WO2023056865A1 (zh) 裸眼 3d 显示方法及相关设备
Wang et al. High-resolution integral imaging display with precise light control unit and error compensation
CN115236871A (zh) 基于人眼跟踪和双向背光的桌面式光场显示系统及方法
Wu et al. Integral imaging with full parallax based on mini LED display unit
Yang et al. Deep neural network-enabled resolution enhancement for the digital light field display based on holographic functional screen
CN111193921A (zh) 一种基于组合离散光栅的led屏一维集成成像显示方法
US20040178969A1 (en) Spatial three-dimensional image display device
Zhang et al. An interactive multiview 3D display system
CN105447812B (zh) 一种基于线状阵列的三维活动图像显示及信息隐藏方法
Hirayama One-dimensional integral imaging 3D display systems
KR101398804B1 (ko) 양안 식의 안위감지기, 부채꼴의 변형 렌티큘러와 액정식 배리어를 사용한 입체영상표시장치에서의 안위인식방법
Park et al. Augmented reality lightfield display for a smart window using an active pinhole array

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination