CN216086864U - 一种多视点裸眼立体显示器和裸眼立体显示系统 - Google Patents
一种多视点裸眼立体显示器和裸眼立体显示系统 Download PDFInfo
- Publication number
- CN216086864U CN216086864U CN201920414572.2U CN201920414572U CN216086864U CN 216086864 U CN216086864 U CN 216086864U CN 201920414572 U CN201920414572 U CN 201920414572U CN 216086864 U CN216086864 U CN 216086864U
- Authority
- CN
- China
- Prior art keywords
- pixels
- display
- view
- grating
- video processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本实用新型涉及一种多视点裸眼立体显示器,包括具有显示面板和光栅的显示屏、用于接收3D视频信号的视频信号接口和一个或多个3D视频处理单元,其中所述显示面板包括多行多列像素并且限定出多个像素组,各像素组由至少3个像素构成且对应于多视点设置,其中所述一个或多个3D视频处理单元配置为基于所述3D视频信号的图像生成对应于全部视点或预定的视点的多个图像并依据所生成的多个图像渲染各像素组中对应的像素。在一些实施例中,多个像素组所具有的相互排布位置是基于像素与光栅的光学关系数据和/或显示面板的像素与视点的对应关系数据调整或确定的。本实用新型还提供裸眼立体显示系统。
Description
技术领域
本实用新型涉及立体影像领域,尤其是涉及裸眼式立体显示技术。具体地,本实用新型涉及多视点裸眼立体显示器和裸眼立体(3D)显示系统。
背景技术
立体影像是视像行业中最热点的技术之一,推动着从平面显示向立体显示的技术变革。立体显示技术是立体影像产业中的关键一环,主要分为两类,即眼睛式立体显示和裸眼式立体显示技术。裸眼式立体显示技术是一种观看者无需佩戴眼镜而能够之间观看到立体显示画面的技术。与眼睛式立体显示相比,裸眼式立体显示属于自由立体显示技术,减少了对观看者的约束。
通常,裸眼式立体显示是基于视点的,在空间中不同位置处形成视差图像(帧)的序列,使得具有视差关系的立体图像对可以分别进入人的左右眼当中,从而给观看者带来立体感。对于具有例如N个视点的传统的多视点裸眼立体(3D)显示器,需要用显示面板上的多个独立像素来投射空间的多个视点。由于显示面板的分辨率总数为定值,因此分辨率会急剧下降,例如列分辨率降为原分辨率的1/N。由于多视点显示器的像素排布,这还会导致水平与竖直方向分辨率降低倍数不同。
如果要维持高清晰度的显示,在提供高清晰度例如N倍于2D显示器件的N视点3D显示器件的情况下,需要占用的终端到显示器的传输带宽也以N倍倍增,导致信号传输量太大。而且,对于这种N倍的高分辨率图像的像素级渲染会严重占用终端或显示器自身的计算资源,造成性能大幅下降。
本背景技术仅为了便于了解本领域的相关技术,并不视作对现有技术的承认。
实用新型内容
本实用新型实施例意图提供一种多视点裸眼立体显示器和裸眼立体显示系统,意图克服或减轻裸眼立体显示的分辨率下降的问题,同时不会占用过大的传输带宽或渲染计算资源。
此外,本发明人还意识到,由于光栅的安装、材质或对位等原因,可能会存在空间中的视点所观看到的显示屏的像素与“理想”的像素不对应(或反过来)的问题。在本实用新型的一些实施例中还提供了针对该技术问题的全新的技术方案。
在一个技术方案中,提供一种多视点裸眼立体显示器,其特征在于,包括具有显示面板和光栅的显示屏、用于接收3D视频信号的视频信号接口和一个或多个3D视频处理单元,其中所述显示面板包括多行多列像素并且限定出多个像素组,各像素组由至少3个像素构成且对应于多视点设置,其中所述一个或多个3D视频处理单元配置为基于所述3D视频信号的图像生成对应于全部视点或预定的视点的多个图像并依据所生成的多个图像渲染各像素组中对应的像素。
在本实用新型实施例的技术方案中,所生成的图像是对应于全部视点或预定的视点由所接收的3D视频信号的图像以“分辨率无损”的方式生成的,即根据所需的(全部或预定的)视点由原3D视频信号的图像“点对点”地生成图像和渲染像素。这有利地克服了现有技术中存在的分辨率下降的问题。在本实用新型的实施例中,所述“分辨率无损”或“点对点”地渲染明确包括对应于单个视点的图像与所接收的3D视频信号的图像(帧)有相同分辨率且各像素组中对应于各视点的像素(或根据像素-视点对应关系所确定的像素)与该生成的图像(进而所接收的图像)基本上逐点对应。所述“分辨率无损”或“点对点”地渲染还可包括下述实施例,即对所接收的3D视频信号进行插值或以其他方式增加分辨率,再以“分辨率无损”的方式对应于该经插值或分辨率增加的图像生成针对各视点的图像以及相应地渲染各像素组中对应于各视点的像素(或根据像素-视点对应关系所确定的像素)。
在一个实施例中,所述多个像素组所具有的相互排布位置是基于像素与光栅的光学关系数据和/或显示面板的像素与视点的对应关系数据调整或确定的。
在一个实施例中,所述光栅包括柱状棱镜光栅,所述像素与光栅的光学关系包括像素与柱状棱镜光栅的对位关系和/或所述柱状棱镜光栅相对于相应的像素的折射状态。
在一个实施例中,所述光栅包括前置和/或后置的视差屏障光栅,所述视差屏障光栅包括遮光部和透光部,所述像素与光栅的光学关系包括像素与视差屏障光栅的相应的透光部的对位关系。
在一个实施例中,像素与视点的对应关系是基于像素与光栅的光学关系计算或确定的。
在一个实施例中,像素与视点的对应关系是通过在各视点位置处测量确定的。
在一个实施例中,多视点裸眼立体显示器还包括存储有所述光学关系数据和/或像素与视点的对应关系数据的存储器,所述一个或多个3D视频处理单元配置为读取所述存储器中的数据。
在一个实施例中,接收到的3D视频信号包括接收到的景深图像和渲染色彩图像,生成的图像包括生成的景深图像和渲染色彩图像。
在一个实施例中,接收到的3D视频信号包括接收到的景深图像和渲染色彩图像,生成的图像包括生成的第一视差图像和第二视差图像。
在一个实施例中,接收到的3D视频信号包括接收到的第一视差图像和第二视差图像,生成的图像包括生成的第一视差图像和第二视差图像。
在一个实施例中,接收到的3D视频信号包括接收到的第一视差图像和第二视差图像,生成的图像包括生成的景深图像和渲染色彩图像。
在一个实施例中,在所述多视点裸眼立体显示器中设置多个3D视频处理单元,各3D视频处理单元被配置为各自分配有多行或者多列像素并渲染各自的多行或多列像素。在一个实施例中,所述多个3D视频处理单元可以依序配设并渲染各自的多行或多列像素。例如,假设设置4个3D视频处理单元,显示面板总共设置有M列像素,则各3D视频处理单元例如从左到右或从右到左依次配设各自的M/4列像素。
在本实用新型的一些实施例中,显示面板的像素驱动、渲染是逐行扫描的。
在本实用新型的一些优选实施例中,上述各自分配多列像素的3D视频处理单元与所述逐行扫描相结合,具有突出的效果,有效减少了计算带宽。
在一个实施例中,所述一个或多个3D视频处理单元为FPGA或ASIC芯片或芯片组。
在一个实施例中,所述3D视频信号为单路信号,所述一个或多个3D视频处理单元配置为基于该单路3D视频信号生成对应于全部视点的多个图像并渲染各像素组中所有的像素。
在一个实施例中,所述3D视频信号为多路信号,其中多视点数量为N,多路信号数为M,N≥M,所述一个或多个3D视频处理单元配置为生成对应于全部视点的N个图像并渲染各像素组中所有的像素,各个生成的图像分别基于所述M路信号之一生成。
在一个实施例中,多视点裸眼立体显示器还包括用于获取眼球追踪数据的眼球追踪装置或眼球追踪数据接口。
在一个实施例中,所述一个或多个3D视频处理单元配置为基于所述3D视频信号的图像生成对应于预定的视点的多个图像并依据所生成的多个图像渲染各像素组中对应的像素,所述预定的视点由观看者的实时眼球追踪数据确定。
在一个实施例中,所述一个或多个3D视频处理单元配置为,当观看者的各眼球位于单个视点时,基于所述3D视频信号的图像生成对应于该单个视点的图像并且渲染各像素组中该单个视点所对应的像素。
在一个实施例中,所述一个或多个3D视频处理单元配置为,还生成与该单个视点相邻的视点相对应的图像并且还渲染各像素组中该相邻的视点所对应的像素。
在一个实施例中,所述一个或多个3D视频处理单元配置为,当观看者的各眼球位于两个视点之间时,基于所述3D视频信号的图像生成对应于所述两个视点的图像并且渲染各像素组中所述两个视点所对应的像素。
在一个实施例中,其中所述3D视频信号为单路信号,所述一个或多个3D视频处理单元配置为,当观看者为多个时,基于所述单路信号,针对各观看者的各自眼球所对应的视点,生成所述多个图像并渲染各像素组中对应的像素。
在一个实施例中,其中所述3D视频信号为多路信号,所述一个或多个3D视频处理单元配置为,当观看者为多个时,针对其中至少一些观看者的各自眼球所对应的视点,基于不同的3D视频信号生成所述多个图像并渲染各像素组中对应的像素。
在一个实施例中,所述显示面板为自发光显示面板,所述自发光显示面板配置为未被渲染的像素不发光。优选地,所述显示面板为MICRO-LED显示面板。
在另一个技术方案中,提供一种多视点裸眼立体显示器,包括具有显示面板和光栅的显示屏、视频信号接口和一个或多个3D视频处理单元,其中所述显示面板包括多行多列像素并且限定出多个像素组,各像素组由至少3个像素构成且对应于多视点设置,其中所述多个像素组具有的相互排布位置是基于像素与光栅的光学关系和/或显示面板的像素与视点的对应关系数据调整或确定的,其中所述一个或多个3D视频处理单元配置为可渲染各像素组中对应的像素。
相比于常规的提高精度克服对位误差、安装误差、材料误差,在本实用新型的实施例中通过简单地以调整像素组的排布方式,提供了简单、可靠性高的高清晰度、如分辨率无损的裸眼立体显示。
在一个实施例中,所述光栅包括柱状棱镜光栅,所述像素与光栅的光学关系包括像素与柱状棱镜光栅的对位关系和/或所述柱状棱镜光栅相对于相应的像素的折射状态。
在一个实施例中,所述光栅包括前置和/或后置的视差屏障光栅,所述视差屏障光栅包括遮光部和透光部,所述像素与光栅的光学关系包括像素与视差屏障光栅的相应的透光部的对位关系。
在一个实施例中,像素与视点的对应关系是基于像素与光栅的光学关系计算或确定的。
在一个实施例中,像素与视点的对应关系是通过在各视点位置处测量确定的。
在一个实施例中,所述的多视点裸眼立体显示器还包括存储有所述光学关系数据和/或像素与视点的对应关系数据的存储器,所述一个或多个3D视频处理单元配置为读取所述存储器中的数据。
在又一个技术方案中,提供一种多视点裸眼立体显示器,包括显示屏、存储器、视频信号接口和一个或多个3D视频处理单元,所述具有显示面板和光栅,其中所述显示面板包括多行多列像素,其中所述存储器存储有所述显示面板的各像素与光栅的光学关系数据和/或所述显示面板的各像素与视点的对应关系数据。借助于所存储的数据,可用于根据本实用新型的裸眼立体显示,尤其是“分辨率无损”的裸眼立体显示。
相比于常规的提高精度克服对位误差、安装误差、材料误差,在本实用新型的实施例中提供了简单、可靠性高的高清晰度、如分辨率无损的裸眼立体显示。
在一个实施例中,所述光栅包括柱状棱镜光栅,所述像素与光栅的光学关系包括像素与柱状棱镜光栅的对位关系和/或所述柱状棱镜光栅相对于相应的像素的折射状态。
在一个实施例中,所述光栅包括前置和/或后置的视差屏障光栅,所述视差屏障光栅包括遮光部和透光部,所述像素与光栅的光学关系包括像素与视差屏障光栅的相应的透光部的对位关系。
在一个实施例中,像素与视点的对应关系是基于像素与光栅的光学关系计算或确定的。
在一个实施例中,像素与视点的对应关系是通过在各视点位置处测量确定的。
在一个实施例中,所述一个或多个3D视频处理单元配置为基于接收到的视频信号生成对应于部分或全部视点的多个3D视频的图像,且所述一个或多个3D视频处理单元还配置为读取所述显示面板的各像素与光栅的对位关系数据和/或所述显示面板的各像素与视点的对应关系数据并基于所述数据渲染与所述部分或全部视点相对应的像素。
在另一个技术方案中,提供一种裸眼立体显示系统,包括处理器单元和根据本实用新型实施例所述的多视点裸眼立体显示器,所述处理器单元与所述多视点裸眼立体显示器通讯连接。
在一个实施例中,所述裸眼立体显示系统构造为具有所述处理器单元的智能电视。
在一个实施例中,所述裸眼立体显示系统为智能蜂窝电话、平板电脑、个人计算机或可穿戴设备。
在一个实施例中,所述裸眼立体显示系统包括作为所述处理器单元的机顶盒或可投屏的蜂窝电话或平板电脑和与所述机顶盒、蜂窝电话或平板电脑有线或无线连接的作为多视点裸眼立体显示器的数字电视。
在一个实施例中,所述裸眼立体显示系统构造为智能家居系统或其一部分,其中所述处理器单元包括所述智能家居系统的智能网关或中央控制器,所述智能家居系统还包括用于获取眼球追踪数据的眼球追踪装置。
在一个实施例中,所述裸眼立体显示系统构造为娱乐互动系统或其一部分。优选地,所述娱乐互动系统配置成适合于多人使用并基于多个用户生成多路3D视频信号以便传送至裸眼立体显示系统。
本实用新型的优选特征部分在下文描述,部分可通过阅读本文而明白。
附图说明
以下,结合附图来详细说明本公开的实施例,其中:
图1A示出了根据本实用新型的一个实施例的多视点裸眼立体显示器的结构示意图。
图1B示出了根据本实用新型的一个实施例的多视点裸眼立体显示器的结构示意图。
图1C示出了根据本实用新型的一个实施例的多视点裸眼立体显示器的结构示意图。
图2示出了图1A-C所示实施例中的显示面板中的像素与视点相对应的结构示意图。
图3示意性地示出了图1A-C所示实施例中由所接收到的3D视频信号的图像(帧)生成对应各视点的图像的示意图。
图4示出了根据本实用新型的一个实施例的多视点裸眼立体显示器的单个3D视频处理单元的结构示意图。
图5示出了根据本实用新型的一个实施例的多视点裸眼立体显示器的多个3D视频处理单元的结构示意图。
图6示意性地示出了图1所示实施例中由所接收到的3D视频信号的图像(帧)生成对应各视点的图像的示意图。
图7A示出了根据本实用新型的一个实施例的多视点裸眼立体显示器的结构示意图,并示意性地呈现了某些像素组中的像素与视点的对应关系产生偏差。
图7B示出了图7A的实施例的多视点裸眼立体显示器的结构示意图,并示意性地呈现了调整像素与视点的对应关系。
图8示出了根据本实用新型的一个实施例的多视点裸眼立体显示器的结构示意图,并示意性地呈现了显示面板的各像素与视点的对应关系。
图9示出了根据本实用新型的一个实施例的多视点裸眼立体显示器的部分结构示意图,其采用柱状棱镜光栅。
图10示出了根据本实用新型的一个实施例的多视点裸眼立体显示器的部分结构示意图,其采用柱状棱镜光栅。
图11示出了根据本实用新型的一个实施例的多视点裸眼立体显示器的部分结构示意图,其采用视差屏障光栅。
图12示出了根据本实用新型的一个实施例的使用实时眼球追踪数据的多视点裸眼立体显示器的结构示意图,其中各眼球对应一个视点。
图13示出了根据本实用新型的一个实施例的使用实时眼球追踪数据的多视点裸眼立体显示器的结构示意图,其中各眼球对应一个视点。
图14示出了根据本实用新型的一个实施例的使用实时眼球追踪数据的多视点裸眼立体显示器的结构示意图,其中各眼球位于两个视点之间。
图15示出了根据本实用新型的一个实施例的使用实时眼球追踪数据的多视点裸眼立体显示器的结构示意图,其中眼球产生了运动。
图16示出了根据本实用新型的一个实施例的使用实时眼球追踪数据的多视点裸眼立体显示器的结构示意图,其中具有多个观看者。
图17示意性地示出了图16所示实施例中由所接收到的两路3D视频信号的图像(帧)生成对应预定视点的图像的示意图。
图18示意性地示出了根据本实用新型实施例的多视点裸眼立体显示系统构造成蜂窝电话或其一部分。
图19示意性地示出了根据本实用新型实施例的多视点裸眼立体显示系统构造成连接机顶盒的数字电视。
图20示意性地示出了根据本实用新型实施例的多视点裸眼立体显示系统构造成智能家居系统或其一部分。
图21示意性地示出了根据本实用新型实施例的多视点裸眼立体显示系统构造成娱乐互动系统或其一部分。
具体实施方式
为使本实用新型的目的、技术方案和优点更加清楚明白,下面结合具体实施方式和附图,对本实用新型做进一步详细说明。在此,本实用新型的示意性实施方式及其说明用于解释本实用新型,但并不作为对本实用新型的限定。
定义
在本文中,“裸眼立体(3D)显示”涉及观看者无需佩戴立体显示用的眼镜而能在平面显示器上观察到立体的显示图像的技术,包括但不限于“视差屏障”、“柱状透镜”、“指向式背光”技术。
在本文中,“光栅”具有本领域中最广义的解释,包括但不限于“视差屏障”光栅和“柱状透镜”光栅。
在本文中,“多视点”具有本领域的常规含义,意指在空间中不同位置(视点)处形成视差图像的序列(帧)。在本文中,多视点将意味着至少3个视点。
参考图1A,在本实用新型的一个实施例中提供了一种裸眼立体显示系统,其可包括处理器单元和多视点裸眼立体显示器,处理器单元与所述多视点裸眼立体显示器通讯连接。在本文的一些实施例中,处理器单元包括用于发送3D视频信号至裸眼立体显示器的处理\发送\转发\控制装置,其可以是同时具有生成和发送3D视频信号功能的装置,也可以是处理或不处理接收到的3D视频信号并将其转发至显示器的装置。在一些实施例中,处理器单元可以被包括在或被称为处理终端或终端。
该多视点裸眼立体显示器可包括具有显示面板和光栅(未标识)的显示屏、用于接收3D视频信号的视频信号接口和3D视频处理单元。参考图2,在所示的实施例中,该显示器可具有12个视点(V1-V12),但可以想到其可以具有更多或更少个视点。
在本实用新型的实施例中,显示器还可以选择性地包括时序控制器和/或显示驱动芯片,其可与3D视频处理单元集成设置或独立设置。
在本实用新型的一些实施例中,显示器还可以选择性地包括存储器,以便存储所需的数据。本实用新型的一些结合存储器的显示器实施例将在下文进一步说明。
继续参考图1A,显示面板可包括多行多列像素并且限定出多个像素组。在所示的实施例中,为了示意性起见,仅示出了两个示意性的像素组PG1,1和PGx,y,各像素组对应于多视点设置,分别具有各自的12个像素(P1-P12)。作为示意性的实施例,该像素组中的像素是以单行多列形式排布的,但可以想到其他的排布形式,如单列多行或多行多列等。仅作为示意性描述,前述PGx,y可示意性地表示在第X行、第Y列的像素组。
结合参考图1A和图2,描述该实施例的显示器的显示。如前所述,该显示器可以具有12个视点V1-V12,观看者的眼睛在每个视点(空间位置)可看到显示面板中各像素组中相应的像素点的显示,并进而看到不同的渲染的画面。观看者的两只眼睛在不同的视点看到的两个不同画面形成视差,在大脑中合成立体的画面。
在本实用新型的实施例中,一个或多个3D视频处理单元配置为如此地生成用于显示的图像和渲染像素,即,基于所述3D视频信号的图像生成对应于全部视点的多个图像并依据所生成的多个图像渲染各像素组中对应的像素。
相应地,本实用新型实施例还可以提供一种多视点裸眼立体显示器的显示方法,所述方法包括如下步骤:定义多个像素组,各像素组由至少3个像素构成且对应于多视点设置;接收3D视频信号;基于接收到的3D视频信号的图像生成对应于全部视点或预定的视点的多个图像;依据所生成的多个图像渲染各像素组中对应的像素。在所示的实施例中,对应于全部视点(12个)来进行图像生成和像素渲染。
结合参考图1A、图2和图3,描述所示的具体实施例中的3D视频处理单元的处理。视频信号接口接收到的3D视频信号S1为含色彩图像和景深两幅内容的图像帧。由此,该3D视频处理处理单元将所接收到的3D视频信号S1的图像信息和景深信息作为输入,按V1-V12的视点对应的观看角度渲染出12幅画面。然后,将所生成的每幅图像的内容写入到各视点对应看到的像素中。
从而当观看者的眼睛在不同视点V1-V12处观看时,能看到不同角度的渲染画面,产生视差,以形成3D显示的立体效果。
在一些的实施例中,上述生成的12幅画面是与接收到的3D视频信号的对应的图像帧以“分辨率无损”,尤其是分辨率相等的情况下生成的,而且,在这些实施例中,所对应写入的像素也是基本逐点对应于该生成的图像的分辨率(并进而接收的3D视频信号的图像的分辨率)。
在一些实施例中,还可以进行对接收的3D视频信号进行分辨率增加(倍增)的处理,如插值处理,或称为预处理。作为示意性举例,例如可以对色彩图像和景深图像均进行2倍的行分辨率插值。然后可结合根据本实用新型的实施例所述的“分辨率无损”和/或“点对点渲染”的处理以获得新的实施例。人们将明白,结合了插值或其他分辨率增加处理的“分辨率无损”和/或“点对点渲染”的处理或其本身均落入本实用新型所述的“分辨率无损”和/或“点对点渲染”处理的范围内。在本文中,结合分辨率增加的对应视点的图片生成有时也可称为分辨率增加(倍增)的生成。
在本实用新型的一些实施例中,可以设置另外的(预)处理器来执行所述分辨率增加(倍增)或插值,也可以由所述一个或多个3D视频处理处理单元执行所述分辨率增加(倍增)或插值,这落入发明的范围内。
在本实用新型的一些实施例中,显示系统或显示器可以包括眼球追踪装置或可读取眼球追踪数据。
参考图1B,在本实用新型的一个实施例中提供了一种裸眼立体显示系统,其可包括处理器单元和多视点裸眼立体显示器,处理器单元与所述多视点裸眼立体显示器通讯连接。在所示实施例中,显示器可以集成有眼球追踪装置,其与3D视频处理单元可直接通讯连接。在未示出的一些实施例中,显示器可以设置存储器以便存储眼球追踪数据,而3D视频处理单元与该存储器相连接并读取眼球追踪数据。优选地,眼球追踪数据为实时数据。在所示的实施例中,眼球追踪装置可例如呈双摄像头形式。在本实用新型的另一些实施例中,可以采用其他形式的眼球追踪装置,例如单摄像头、眼球追踪摄像头与景深摄像头的结合以及其他的能用于确定观看者眼球位置的感应装置或其组合。在本实用新型的一些实施例中,所述眼球追踪装置可以具有其他作用或者与其他功能或部件共享。例如在一个实施例中,构造成蜂窝电话的显示系统中可以采用蜂窝电话自带的前置摄像头用作眼球追踪装置。
作为替代,该显示器还可包括眼球追踪数据接口,3D处理单元可借助该眼球追踪数据传输接口以读取实时的眼球追踪数据。
参考图1C的一个实施例中,提供了一种裸眼立体显示系统,其可包括处理器单元和多视点裸眼立体显示器,处理器单元与所述多视点裸眼立体显示器通讯连接。在所示实施例中,该裸眼立体显示系统还可包括例如呈双摄像头形式的眼球追踪装置,其与处理器单元通讯连接。进而,所述显示器可包括眼球追踪数据接口,并且3D处理单元可借助该眼球追踪数据传输接口与该处理器单元通讯连接以读取实时的眼球追踪数据。
在一些未示出的实施例中,处理器单元可以不配设或不连接眼球追踪装置,而是自身读取实时的眼球追踪数据。或者,3D处理单元可以通过眼球追踪数据接口从其他来源获取实时的眼球追踪数据。这都落入本实用新型的范围内。
本实用新型的设置眼球追踪装置的实施例可以与上述实施例相结合以得到进一步的实施例。例如,可以将本实用新型的“分辨率无损”的实施例结合眼球追踪装置或数据的常规使用来得到新的实施例。也可以,利用眼球追踪装置或数据得到进一步的改进,以获得优选的实施例,如下文进一步说明。
在一个实施例中,通过逐行写入(渲染)将生成的图像内容写入(渲染)显示面板的像素。这极大地减少了渲染计算的压力。
在本实用新型的一个实施例中,逐行写入(渲染)处理按照下述方式执行:分别读取各个生成的图像中相应的点的信息并逐行写入显示面板的像素中。
在本实用新型的另一实施例中,还包括将多个生成的图像合成为合成图像,并读取合成图像中相应的点的信息并逐行写入显示面板的像素中。
继续参考图4,示出了根据本实用新型的显示器的另一实施例。在所示的实施例中,仅提供了单个3D视频处理单元,该单个3D视频处理单元同时处理对应多个视点的图像生成和像素组中相应的多个像素的渲染。
在本实用新型的一些实施例中,可以提供多个3D视频处理单元,它们并行、串行或串并行结合处理图像生成和像素渲染。
参考图5,示出了根据本实用新型的包括多个3D视频处理单元的显示器的优选实施例。在该实施例中,提供了多个3D视频处理单元,即3D视频处理单元组。更优选的是,该多个并行的3D视频处理单元对应于各自的多列像素依次地并行设置。由此,各3D视频处理单元尤其可并行处理像素渲染。也就是说,各3D视频处理单元可对应地处理各自各自的像素(列)的渲染。如图5示例性地示出,当显示面板具有总共M列像素时,如设置有4个并行的3D视频处理单元(组),第一3D视频处理单元处理第一M/4列像素,第二3D视频处理单元处理第二M/4列像素,第三3D视频处理单元处理第三M/4列像素,第四3D视频处理单元处理第四M/4列像素。
这样的3D视频处理单元(组)的设置简化了结构,大大加快了处理过程。尤其是,该实施例适合与前述分别读取各个生成图像以逐行写入(渲染)处理的实施例相结合,以获得进一步的优选实施例。例如以图5所示实施例为例,当为逐行扫描时,第一至第四列可以依次处理、渲染第一行的各M/4列像素,而例如当第一3D视频处理单元完成处理后,在依次进行其他视频处理单元的处理时,第一3D视频处理单元可获得充分的时间准备处理下一行(如第二行)的对应的M/4列像素,如第二行的第一M/4列像素。这能够极大克服常规结构中可能带来的渲染计算能力严重不足的问题。
本领域技术人员将明白,附图所示的实施例仅是示意性的,可以有更多个或更少的3D视频处理单元,或者3D视频处理单元(组)可以有其他的方式分配且并行处理该多行多列像素,这落入本实用新型的范围内。
参考图1A-1C、图2和图6,示出了根据本实用新型的另一实施例的裸眼立体显示系统,其可包括处理器单元和多视点裸眼立体显示器,处理器单元与所述多视点裸眼立体显示器通讯连接。在所示实施例中,该裸眼立体显示系统还可包括例如呈双摄像头形式的眼球追踪装置,其与处理器单元通讯连接。
该多视点裸眼立体显示器可包括具有显示面板和光栅(未标识)的显示屏、用于接收3D视频信号的视频信号接口和3D视频处理单元。参考图2,在所示的实施例中,该显示器可具有12个视点(V1-V12),但可以想到其可以具有更多或更少个视点。在所示的实施例中,该显示器还可包括眼球追踪数据接口。3D处理单元可借助该眼球追踪数据传输接口与处理器单元通讯连接以读取实时的眼球追踪数据。在本实用新型的实施例中,显示器还可以选择性地包括时序控制器和/或显示驱动芯片,其可与3D视频处理单元集成设置或独立设置。在本实用新型的一些实施例中,显示器可以集成眼球最终装置,其与3D视频处理单元可直接通讯连接。
显示面板可包括多行多列像素并且限定出多个像素组。在所示的实施例中,为了示意性起见,仅示出了两个示意性的像素组PG1,1和PGx,y,各像素组对应于多视点设置,分别具有各自的12个像素(P1-P12)。
结合参考图1和图2,描述该实施例的显示器的显示。如前所述,该显示器可以具有12个视点V1-V12,观看者的眼睛在每个视点(空间位置)可看到显示面板中各像素组中相应的像素点的显示,并进而看到不同的渲染的画面。观看者的两只眼睛在不同的视点看到的两个不同画面形成视差,在大脑中合成立体的画面
结合参考图1-2和图6,描述所示的具体实施例中的3D视频处理单元的处理。视频信号接口接收到的3D视频信号S1为含左右视差色彩图像两幅内容的图像帧。由此,该3D视频处理处理单元将所接收到的3D视频信号S1的左右视差色彩图像作为输入,并由此生成中间图像信息I1。在一个具体实施例中,一方面用左右视差色彩图像合成景深图像。另一方面,借助于上述左右视差色彩图像之一或两者生成中心点的色彩图像。然后以该中间图像信息I1,即景深图像信息和中心点的色彩图像信息作为输入,按V1-V12的视点对应的观看角度渲染出12幅画面。然后,将所生成的每幅图像的内容写入到各视点对应看到的各像素组中的相应像素中。
从而当观看者的眼睛在不同视点V1-V12处观看时,能看到不同角度的渲染画面,产生视差,以形成3D显示的立体效果。
在一些的实施例中,上述生成的12幅画面是与接收到的3D视频信号的对应的图像帧以“分辨率无损”,尤其是分辨率相等的情况下生成的,而且,在这些实施例中,所对应写入的像素也是基本逐点对应于该生成的图像的分辨率(并进而接收的3D视频信号的图像的分辨率)。
在一些实施例中,还可以进行对接收的3D视频信号进行分辨率增加(倍增)的处理,如插值处理,或称为预处理。作为示意性举例,例如可以对左眼和右眼视差图像均进行2倍的行分辨率插值。然后可结合根据本实用新型的实施例所述的“分辨率无损”和/或“点对点渲染”的处理以获得新的实施例,且在处理前可如前所述地进行图像转换处理,这都落入发明的范围内。人们将明白,结合了插值或其他分辨率增加处理的“分辨率无损”和/或“点对点渲染”的处理或其本身均落入本实用新型所述的“分辨率无损”和/或“点对点渲染”处理的范围内。在本文中,结合分辨率增加的对应视点的图片生成有时也可称为分辨率增加(倍增)的生成。
在本实用新型的一些实施例中,可以设置另外的(预)处理器来执行所述分辨率增加(倍增)或插值,也可以由所述一个或多个3D视频处理处理单元执行所述分辨率增加(倍增)或插值,这落入发明的范围内。
参考图7A和图7B,示出了根据本实用新型的另一实施例的裸眼立体显示系统及其显示器。
尽管未示出,根据本实用新型实施例的裸眼立体显示器的显示面板具有多行多列像素。为了“多视点”显示,所述多行多列像素以对应于多视点的方式分为多组。例如在所示的实施例中,各像素组包括对应于12个视点的一行12个像素。在常规的配置中,各像素组按照规律的方式相互排布。例如,在由单行多列像素构成的像素组中,像素组在同一行依次排列,例如同一行的像素组PG1,i(i≥1)依次首尾相接地排列;像素组在同一列相对齐,例如同一列的像素组PGj,1(j≥1)竖向对齐地排列。作为示意性的实施例,该像素组中的像素是以单行多列形式排布的,但可以想到其他的排布形式,如单列多行或多行多列等。在常规的配置中,其他形式的像素组PG相互之间仍是规律设置的。
理想状态下,上述规律排列的像素组中的相应的像素在对应的视点中正确显示。然而,本实用新型人意识到,由于光栅的安装、材质或对位等原因,可能会存在空间中的视点所观看到的显示屏的像素与“理想”的像素不对应(或反过来)的问题。
例如图7A示例性地示出,所示的显示面板具有按照规律地分布的多个像素组PG,包括PG1,1和PGx,y。在所示的实施例中,像素组PG1,1中的相应的像素分别在对应的视点V1-V12中正确显示。然而,“理论上”应在对应的视点V1-V12显示的像素组PGx,y的像素实际上在视点V1’-V 12’中分别显示。(在所示的实施例中,V1’对应于V3)。
参考图7B示例性地示出,在所示的示例性实施例中,该多视点裸眼立体显示器配置为具有非规则的相互排布位置的像素组,即相对于“规则”排布的像素组被调整。这样的调整是基于显示面板的像素与视点的对应关系调整或确定的。在所示的具体实施例中,基于像素与视点的对应关系,该像素组PG’x,y如此调整或确定,即相比于“规则”排布的像素组PGx,y向图面的左侧平移两个像素。由此,调整后的“非规则”排布的像素组PG’x,y中的像素在对应的视点V1-V12处正确显示。
尽管在所示的实施例中,提供了单行多列像素构成的像素组的横向(行)调整,但是可以想到其他方向的调整,如竖向(列)调整或横向竖向组合调整。此外,也可以想到其他像素排布形式构成的像素组的横向、竖向和/或组合调整。
在所示的实施例中,上述“非规则”像素组的调整是基于像素与视点的对应关系直接调整的。在某些实施例中,所示像素与视点的“非规则”的对应关系基于像素与光栅的光学关系、例如对位关系、折射关系所确定的。因此,在一些实施例中,可基于像素与光栅的光学关系调整或确定“非规则”的像素组。在另一些实施例中,像素与视点的对位关系可以是通过直接测量确定的。
在一些实施例中,上述光学数据和/或对位关系数据可以存储在存储器中,以便3D视频处理单元处理时读取。在替代的实施例中,可以提供与3D视频处理单元相通讯的数据接口,以便3D视频处理单元借助该数据接口读取光学数据和/或对位关系数据。在替代的实施例中,光学数据和/或对位关系数据可被直接写入3D视频处理单元中或者作为其算法的一部分。这都落入本实用新型的范围内。
结合参考图1-3、图6以及图7A-7B,描述所示实施例的3D视频处理单元的处理,进而显示器的显示。视频信号接口接收到的3D视频信号S1为含左右视差色彩图像两幅内容的图像帧。由此,该3D视频处理处理单元将所接收到的3D视频信号S1的左右视差色彩图像作为输入,并由此生成中间图像信息I1。在一个具体实施例中,一方面用左右视差色彩图像合成景深图像。另一方面,借助于上述左右视差色彩图像之一或两者生成中心点的色彩图像。然后以该中间图像信息I1,即景深图像信息和中心点的色彩图像信息作为输入,按V1-V12的视点对应的观看角度渲染出12幅画面。然后,将所生成的每幅图像的内容写入到各视点对应看到的各像素组中的相应像素中,其中各像素组为基于光学数据或像素-视点对位关系调整的或确定的、优选非规则排布的像素组。例如在所示的实施例中,像素组包括“规则”排布的PG1,1和经调整的PG’x,y。
从而当观看者的眼睛在不同视点V1…V12处观看时,能看到不同角度的渲染画面,产生视差,以形成3D显示的立体效果。
在图7A-7B所示的实施例中描述了基于光学数据和/或像素-视点对位关系调整像素组,用于3D视频处理单元正确渲染像素组中的对应像素。但是,可以想到,无论是否有意定义像素组及其调整,直接或间接地利用光学数据和/或像素-视点对位关系以确定在对应的视点正确显示的像素的方法以及渲染该像素的方法,落入本实用新型的范围内或属于本实用新型的等同。
参考图8,示出了根据本实用新型的另一实施例的裸眼立体显示系统及其显示器。在所示的实施例中,实施例的裸眼立体显示器的显示面板具有多行多列像素。在图8所示的实施例中,该显示器存储有或可读取显示面板的各个像素所对应的视点的数据。例如图8示例性地示出,像素P1,b1对应于视点V8,像素Pam,bn对应于视点V6,像素Paz,bz对应于视点V12。
在图8所示的实施例中,示出了各像素与视点的直接对应关系数据。但是,可以想到,在一些实施例中,可以采用能用于确定像素与视点的对应关系的光学数据,如光栅与像素对位数据和/或光栅折射数据,或者其他间接数据。在一些实施例中,上述光学数据和/或对位关系数据可以存储在存储器中,以便3D视频处理单元处理时读取。在替代的实施例中,可以提供与3D视频处理单元相通讯的数据接口,以便3D视频处理单元借助该数据接口读取光学数据和/或对位关系数据。在替代的实施例中,光学数据和/或对位关系数据可被直接写入3D视频处理单元中或者作为其算法的一部分。在一个优选的实施例中,所述像素-视点对应关系数据可以呈查找表形式。这都落入本实用新型的范围内。
结合参考图1-3、图6以及图8,描述所示实施例的3D视频处理单元的处理,进而显示器的显示。视频信号接口接收到的3D视频信号S1为含左右视差色彩图像两幅内容的图像帧。由此,该3D视频处理处理单元将所接收到的3D视频信号S1的左右视差色彩图像作为输入,并由此生成中间图像信息I1。在一个具体实施例中,一方面用左右视差色彩图像合成景深图像。另一方面,借助于上述左右视差色彩图像之一或两者生成中心点的色彩图像。然后以该中间图像信息I1,即景深图像信息和中心点的色彩图像信息作为输入,按V1-V12的视点对应的观看角度渲染出12幅画面。然后,将所生成的每幅图像内容按照像素-视点的对应关系写入到各视点对应看到的各像素。
从而当观看者的眼睛在不同视点V1-V12处观看时,能看到不同角度的渲染画面,产生视差,以形成3D显示的立体效果。
在一些实施例中,所述显示器的光栅为柱状棱镜光栅。图9示出了柱状棱镜光栅的一个实施例。
在图9所示的柱状棱镜光栅的实施例中,可以相应地,采用如图7A-7B所示的像素组调整或图8所示的像素-视点对位关系等特征。
具体参考图9,在所示的实施例中,倾斜设置的柱状棱镜每行大体覆盖12个像素点。作为示例,该实施例的显示器同样具有12个视点,显示面板的像素组具有对应于12个视点的单行多列像素。结合参考图9和图7A-7B,所示实施例的该柱状棱镜光栅的显示器中,位于图示柱状棱镜顶部的“规则”排布的像素组中的像素Pa1,b1-Pa1,b4可具有正确对应于视点V1-V4。然而位于柱状棱镜底部的“规则”排布的像素组中的四个像素未对准正确的视点V1-V4,而是对应的视点V1’-V4’。为此,可调整该像素组在图示中向左平移一个像素,以便在正确的视点V1-V4显示,像素组中的其余视点可同样向左平移一个像素,例如图9中所示的“理论上”对应于视点V4’的像素对应于视点V5。
结合参考图9和图8,图9所示的实施例同样可适用于直接针对显示面板的各像素利用光学(偏差)数据和/或像素-视点的“非规则”对位关系。例如,可以存储、记录或读取如下像素-视点对应数据,位于柱状棱镜底部的四个像素分别对应视点V2、V3、V4、V5。
尽管不愿意受理论之约束,所述像素组或像素的“错位”可以是由柱状棱镜与像素的对位偏差和/或柱状棱镜的折射状态所造成的。图9以虚线和实线示例性示出了棱镜左侧的理论对位位置和实际对位偏差。
结合参考图9和图10,所示实施例中的柱状棱镜例如是倾斜于像素设置的,这例如是为了消除摩尔纹。因此,存在着处于柱状棱镜边界之间的“共享”的像素(例如上述视点V1对应的像素)。在一些配置中,对于这些“共享”的像素均规定有其对应的视点。然而,在本实用新型的一些优选实施例中,可以提供基于这些“共享”像素的像素组微调或像素-视点的“动态”对应关系或称为视点共享的像素。
参考图10,针对像素行Pam,bn-Pam,bn+i(i≥1),例如常规对应于视点V12的“共享”像素,例如可以在视点V12不渲染时,按照视点V1的图像进行渲染。
本领域技术人员将明白,图10所示实施例的微调或“动态”关系可以应用于其他类型的光栅中,还可以与实时眼球追踪数据的获取的实施例相结合获得进一步的优选实施例。
参考图11,示出了视差屏障式的显示器的部分结构示意图。视差屏障光栅100包括遮光部102和透光部104。在图11所示的视差屏障光栅的实施例中,可以相应地,采用如图7A-7B所示的像素组调整或图8所示的像素-视点对位关系等特征。
尽管不愿意受理论之约束,所述像素组或像素的“错位”可以是由视差屏障光栅的透光部104与像素的对位偏差所造成的。
在所示的实施例中,所述视差屏障光栅100为前置光栅,但可以想到设置后置光栅和同时设置前置和后置光栅。
结合参考图1B-1C和图12,在本实用新型的一个实施例中提供了一种裸眼立体显示系统,其可包括处理器单元和多视点裸眼立体显示器,处理器单元与所述多视点裸眼立体显示器通讯连接。在所示实施例中,该裸眼立体显示系统还可包括例如呈双摄像头形式的眼球追踪装置,其与处理器单元通讯连接。作为替代的实施例,该眼球追踪装置可以设置在显示器中或者该系统或显示器仅具有可接收实时眼球追踪数据的传输接口。
继续参考图1B-1C,该多视点裸眼立体显示器可包括具有显示面板和光栅(未标识)的显示屏、用于接收3D视频信号的视频信号接口和3D视频处理单元。参考图2,在所示的实施例中,该显示器可具有12个视点(V1-V12),但可以想到其可以具有更多或更少个视点。在本实用新型的实施例中,显示器还可以选择性地包括时序控制器和/或显示驱动芯片,其可与3D视频处理单元集成设置或独立设置。在本实用新型的一些实施例中,显示器可以集成眼球最终装置,其与3D视频处理单元可直接通讯连接。
继续参考图1B-1C,显示面板可包括多行多列像素并且限定出多个像素组。在所示的实施例中,为了示意性起见,仅示出了两个示意性的像素组PG1,1和PGx,y,各像素组对应于多视点设置,分别具有各自的12个像素(P1-P12)。作为示意性的实施例,该像素组中的像素是以单行多列形式排布的,但可以想到其他的排布形式,如单列多行或多行多列等。仅作为示意性描述,前述PGx,y可示意性地表示在第X行、第Y列的像素组。
结合参考图1B-1C和图12,描述该实施例的显示器的显示。如前所述,该显示器可以具有12个视点V1-V12,观看者的眼睛在每个视点(空间位置)可看到显示面板中各像素组中相应的像素点的显示,并进而看到不同的渲染的画面。观看者的两只眼睛在不同的视点看到的两个不同画面形成视差,在大脑中合成立体的画面
在图12所示的实施例中,一个或多个3D视频处理单元配置为如此地生成用于显示的图像和渲染像素,即,基于所述3D视频信号的图像生成对应于预定的视点的多个图像并依据所生成的多个图像渲染各像素组中与所述预定的视点对应的像素。在所示的实施例中,该预定的视点是基于实时的眼球追踪数据确定的。更具体地,当检测到观看者的眼球(左眼和右眼)处于预定的视点(空间位置)处,则生成针对相应视点的图像,并渲染与相应的视点相对应的像素组中的像素。具体地,在图12所示的实施例中,检测到第一眼球(如右眼)位于视点V4处,而第二眼球(如左眼)位于视点V8处。
相应地,本实用新型实施例还可以提供一种多视点裸眼立体显示器的显示方法,所述方法包括如下步骤:定义多个像素组,各像素组由至少3个像素构成且对应于多视点设置;接收3D视频信号;基于接收到的3D视频信号的图像生成对应于预定的视点(如视点V4和V8)的多个图像;依据所生成的多个图像渲染各像素组中对应的像素。在所示的实施例中,对应于预定的视点(V4和V8)来进行图像生成和像素渲染。
结合参考图1B-1C和图12,描述所示的具体实施例中的3D视频处理单元的处理。视频信号接口接收到的3D视频信号S1为含色彩图像和景深两幅内容的图像帧。由此,该3D视频处理处理单元将所接收到的3D视频信号S1的图像信息和景深信息作为输入,基于实时眼球数据,将眼球所在的视点V4、V8按对应的观看角度渲染出2幅画面。然后,将所生成的相应的图像的内容写入到各像素组(如PG1,1和PGx,y)中相应视点对应看到的像素(如第4个和第8个像素)中。
从而位于视点V4和V8的观看者的眼睛能看到不同角度的渲染画面,产生视差,以形成3D显示的立体效果。
在本实用新型一些的实施例中,前述的“分辨率无损”的实施例可以与眼球追踪相结合以获得新的实施例。例如结合图1B-1C和图12所述,上述生成的对应视点V4和V8的画面是与接收到的3D视频信号的对应的图像帧以“分辨率无损”,尤其是分辨率相等的情况下生成的,而且,在这些实施例中,所对应写入的像素也是基本逐点对应于该生成的图像的分辨率(并进而接收的3D视频信号的图像的分辨率)。
在一些实施例中,还可以进行对接收的3D视频信号进行分辨率增加(倍增)的处理,如插值处理,或称为预处理。作为示意性举例,例如可以对色彩图像和景深图像均进行2倍的行分辨率插值。然后可结合根据本实用新型的实施例所述的“分辨率无损”和/或“点对点渲染”的处理以获得新的实施例,例如获得分辨率对应于2倍插值后的图像的对应视点V4和V8的生成的画面。人们将明白,结合了插值或其他分辨率增加处理的“分辨率无损”和/或“点对点渲染”的处理或其本身均落入本实用新型所述的“分辨率无损”和/或“点对点渲染”处理的范围内。在本文中,结合分辨率增加的对应视点的图片生成有时也可称为分辨率增加(倍增)的生成。
在本实用新型的一些实施例中,可以设置另外的(预)处理器来执行所述分辨率增加(倍增)或插值,也可以由所述一个或多个3D视频处理处理单元执行所述分辨率增加(倍增)或插值,这落入发明的范围内。
此外,人们将明白,所述利用实时眼球追踪数据渲染预定视点(非全部视点)的实施例可以与前述的众多实施例相结合、或者被一些特征所替代以获得新的实施例。尤其是,该实施例可以与光学数据/像素-视点对位数据相关的特征相结合获得新的实施例。以及,该实施例可以改造而无需明确地对像素分组以获得新的实施例。
继续参考图13所示的实施例,其大体类似于图12所示的实施例。区别在于,所述预定的视点还包括与眼球所在视点相邻的视点。例如在图13所示的实施例中,要生成图像的预定的视点还可包括视点V3和V5,以及视点V7和V9,并进而渲染像素组中这些视点所对应的像素。在一些实施例中,可以是仅以单侧的相邻视点作为预定视点。
在一些实施例中,例如可以仅渲染如图12或13所述的像素,其余像素不渲染。优选地,对于液晶显示器而言,不渲染的像素可以留白光或者残留之前图像帧的颜色。由此,这可以尽可能减小计算负荷。
参考图12、图13,描述根据本实用新型的一个优选实施例,该显示器包括自发光显示面板,优选为MICRO-LED显示面板。在本实用新型的一些实施例中,该自发光显示面板、如MICRO-LED显示面板配置为未被渲染的像素不发光。这能够极大节省显示屏所耗的功率,尤其是针对多视点的超高清显示器而言。
结合参考图1B-1C和图14,在本实用新型的一个实施例中提供了一种裸眼立体显示系统,其可包括处理器单元和多视点裸眼立体显示器,处理器单元与所述多视点裸眼立体显示器通讯连接。在所示实施例中,该裸眼立体显示系统还可包括例如呈双摄像头形式的眼球追踪装置,其与处理器单元通讯连接。作为替代的实施例,该眼球追踪装置可以设置在显示器中或者该系统或显示器仅具有可接收实时眼球追踪数据的传输接口。
继续参考图1,该多视点裸眼立体显示器可包括具有显示面板和光栅(未标识)的显示屏、用于接收3D视频信号的视频信号接口和3D视频处理单元。参考图2,在所示的实施例中,该显示器可具有12个视点(V1-V12),但可以想到其可以具有更多或更少个视点。在本实用新型的实施例中,显示器还可以选择性地包括时序控制器和/或显示驱动芯片,其可与3D视频处理单元集成设置或独立设置。在本实用新型的一些实施例中,显示器可以集成眼球最终装置,其与3D视频处理单元可直接通讯连接。
继续参考图1,显示面板可包括多行多列像素并且限定出多个像素组。在所示的实施例中,为了示意性起见,仅示出了两个示意性的像素组PG1,1和PGx,y,各像素组对应于多视点设置,分别具有各自的12个像素(P1-P12)。作为示意性的实施例,该像素组中的像素是以单行多列形式排布的,但可以想到其他的排布形式,如单列多行或多行多列等。仅作为示意性描述,前述PGx,y可示意性地表示在第X行、第Y列的像素组。
结合参考图1和图14,描述该实施例的显示器的显示。如前所述,该显示器可以具有12个视点V1-V12,观看者的眼睛在每个视点(空间位置)可看到显示面板中各像素组中相应的像素点的显示,并进而看到不同的渲染的画面。观看者的两只眼睛在不同的视点看到的两个不同画面形成视差,在大脑中合成立体的画面
在图14所示的实施例中,一个或多个3D视频处理单元配置为如此地生成用于显示的图像和渲染像素,即,基于所述3D视频信号的图像生成对应于预定的视点的多个图像并依据所生成的多个图像渲染各像素组中与所述预定的视点对应的像素。在所示的实施例中,该预定的视点是基于实时的眼球追踪数据确定的。更具体地,当检测到观看者的眼球(左眼和右眼)处于相邻的视点处,则生成针对相邻的视点的图像,并渲染与相应的视点相对应的像素组中的像素。具体地,在图12所示的实施例中,检测到第一眼球(如右眼)位于视点V4和V5之间,而第二眼球(如左眼)位于视点V8和V9之间。由此,可以相应地生成对应于视点V4、V5和V8、V9的四个图像,并渲染像素组中这四个视点对应的像素。
相应地,本实用新型实施例还可以提供一种多视点裸眼立体显示器的显示方法,所述方法包括如下步骤:定义多个像素组,各像素组由至少3个像素构成且对应于多视点设置;接收3D视频信号;基于接收到的3D视频信号的图像生成对应于预定的视点(如视点V4、V5和V8、V9)的多个图像;依据所生成的多个图像渲染各像素组中对应的像素。
结合参考图1和图14,描述所示的具体实施例中的3D视频处理单元的处理。视频信号接口接收到的3D视频信号S1为含色彩图像和景深两幅内容的图像帧。由此,该3D视频处理处理单元将所接收到的3D视频信号S1的图像信息和景深信息作为输入,基于实时眼球数据,将眼球所在的视点V4、V5、V8和V9按对应的观看角度渲染出4幅画面。然后,将所生成的相应的图像的内容写入到各像素组(如PG1,1和PGx,y)中相应视点对应看到的像素(如第4、5个和第8、9个像素)中。
从而位于视点V4、V5之间和V8、V9之间的观看者的眼睛能看到不同角度的渲染画面,产生视差,以形成3D显示的立体效果。
人们将明白,所述利用实时眼球追踪数据渲染预定视点(非全部视点)的实施例可以与前述的众多实施例相结合、或者被一些特征所替代以获得新的实施例。尤其是,该实施例可以与光学数据/像素-视点对位数据相关的特征相结合获得新的实施例。以及,该实施例可以改造而无需明确地对像素分组以获得新的实施例。
结合参考图1B-C和图14,在本实用新型的另一个实施例中提供了一种裸眼立体显示系统,其可包括处理器单元和多视点裸眼立体显示器。该实施例不同之处在于,视频信号接口接收到的3D视频信号S1为含左右视差色彩图像内容的图像帧。由此,该3D视频处理处理单元将所接收到的3D视频信号S1的含左右视差色彩图像内容的图像帧作为输入。基于实时眼球数据,按照实时眼球追踪数据检测到的眼球,对应地生成左眼或右眼视差色彩图像。例如,针对右眼所在的视点V4和V5,基于3D视频信号S1的右视差色彩图像内容渲染出两幅画面。针对左眼所在的视点V8和V9,基于3D视频信号S1的左视差色彩图像内容渲染出两幅画面。然后,将所生成的相应的图像的内容写入到各像素组(如PG1,1和PGx,y)中相应视点对应看到的像素(如第4、5个和第8、9个像素)中。
从而位于视点V4、V5之间和V8、V9之间的观看者的眼睛能看到不同角度的渲染画面,产生视差,以形成3D显示的立体效果。
结合参考图1和图15,在本实用新型的一个实施例中提供了一种裸眼立体显示系统,其可包括处理器单元和多视点裸眼立体显示器,处理器单元与所述多视点裸眼立体显示器通讯连接。在所示实施例中,该裸眼立体显示系统还可包括例如呈双摄像头形式的眼球追踪装置,其与处理器单元通讯连接。作为替代的实施例,该眼球追踪装置可以设置在显示器中或者该系统或显示器仅具有可接收实时眼球追踪数据的传输接口。
继续参考图1,该多视点裸眼立体显示器可包括具有显示面板和光栅(未标识)的显示屏、用于接收3D视频信号的视频信号接口和3D视频处理单元。参考图2,在所示的实施例中,该显示器可具有12个视点(V1-V12),但可以想到其可以具有更多或更少个视点。在本实用新型的实施例中,显示器还可以选择性地包括时序控制器和/或显示驱动芯片,其可与3D视频处理单元集成设置或独立设置。在本实用新型的一些实施例中,显示器可以集成眼球最终装置,其与3D视频处理单元可直接通讯连接。
继续参考图1,显示面板可包括多行多列像素并且限定出多个像素组。在所示的实施例中,为了示意性起见,仅示出了两个示意性的像素组PG1,1和PGx,y,各像素组对应于多视点设置,分别具有各自的12个像素(P1-P12)。作为示意性的实施例,该像素组中的像素是以单行多列形式排布的,但可以想到其他的排布形式,如单列多行或多行多列等。仅作为示意性描述,前述PGx,y可示意性地表示在第X行、第Y列的像素组。
结合参考图1和图15,描述该实施例的显示器的显示。如前所述,该显示器可以具有12个视点V1-V12,观看者的眼睛在每个视点(空间位置)可看到显示面板中各像素组中相应的像素点的显示,并进而看到不同的渲染的画面。观看者的两只眼睛在不同的视点看到的两个不同画面形成视差,在大脑中合成立体的画面
在图15所示的实施例中,一个或多个3D视频处理单元配置为如此地生成用于显示的图像和渲染像素,即,基于所述3D视频信号的图像生成对应于预定的视点的多个图像并依据所生成的多个图像渲染各像素组中与所述预定的视点对应的像素。在所示的实施例中,该预定的视点是基于实时的眼球追踪数据确定的。更具体地,当检测到观看者的眼球(左眼和右眼)处于预定的视点(空间位置)处,则生成针对相应视点的图像,并渲染与相应的视点相对应的像素组中的像素。具体地,在图15所示的实施例中,检测到第一眼球(如右眼Er)位于视点V4处,而第二眼球(如左眼El)位于视点V8处。
继续参考图15,当实时眼球追踪数据表明,观看者的眼球发生运动时,则可基于3D视频信号的下一图像(帧),生成对应于新的预定的视点的多个图像并依据所生成的多个图像渲染各像素组中与所述预定的视点对应的像素。具体地,在图15所示的实施例中,当前检测到第一眼球(如右眼Er)移动至视点V6处,而第二眼球(如左眼El)位于视点V10处。在所示的实施例中,还可以基于显示器所具有的时序控制器来基于实时眼球追踪数据,改变预定的视点。
相应地,本实用新型实施例还可以提供一种多视点裸眼立体显示器的显示方法,所述方法包括如下步骤:定义多个像素组,各像素组由至少3个像素构成且对应于多视点设置;接收3D视频信号;基于接收到的3D视频信号的图像生成对应于预定的视点的多个图像;依据所生成的多个图像渲染各像素组中对应的像素。还包括步骤:基于实时的眼球追踪数据,调整预定的视点,并基于新的预定视点生成图像和渲染像素。在所示实施例中,基于实时眼球追踪数据,对应于当前的预定的视点V4、V8或V6、V10来进行图像生成和像素渲染。
结合参考图1和图15,描述所示的具体实施例中的3D视频处理单元的处理。视频信号接口接收到的3D视频信号S1为含左右视差色彩图像内容的图像帧。基于实时眼球数据,按照实时眼球追踪数据检测到的眼球,对应地生成左眼或右眼视差色彩图像。
例如,在第一时间,针对右眼所在的视点V4,基于3D视频信号S1的右视差色彩图像内容渲染出一幅画面。针对左眼所在的视点V8,基于3D视频信号S1的左视差色彩图像内容渲染出一幅画面。然后,将所生成的相应的图像的内容写入到各像素组(如PG1,1和PGx,y)中相应视点对应看到的像素(如第4个和第8个像素)中。
在第二时间,针对右眼所在的视点V6,基于3D视频信号S1的右视差色彩图像内容渲染出一幅画面。针对左眼所在的视点V10,基于3D视频信号S1的左视差色彩图像内容渲染出一幅画面。然后,将所生成的相应的图像的内容写入到各像素组(如PG1,1和PGx,y)中相应视点对应看到的像素(如第6个和第10个像素)中。
从而处于运动状态的观看者的眼睛仍能实时看到不同角度的渲染画面,产生视差,以形成3D显示的立体效果。
结合参考图1和图16,在本实用新型的一个实施例中提供了一种裸眼立体显示系统,其可包括处理器单元和多视点裸眼立体显示器,处理器单元与所述多视点裸眼立体显示器通讯连接。在所示实施例中,该裸眼立体显示系统还可包括例如呈双摄像头形式的眼球追踪装置,其与处理器单元通讯连接。作为替代的实施例,该眼球追踪装置可以设置在显示器中或者该系统或显示器仅具有可接收实时眼球追踪数据的传输接口。
继续参考图1,该多视点裸眼立体显示器可包括具有显示面板和光栅(未标识)的显示屏、用于接收3D视频信号的视频信号接口和3D视频处理单元。参考图2,在所示的实施例中,该显示器可具有12个视点(V1-V12),但可以想到其可以具有更多或更少个视点。在本实用新型的实施例中,显示器还可以选择性地包括时序控制器和/或显示驱动芯片,其可与3D视频处理单元集成设置或独立设置。在本实用新型的一些实施例中,显示器可以集成眼球最终装置,其与3D视频处理单元可直接通讯连接。
继续参考图1,显示面板可包括多行多列像素并且限定出多个像素组。在所示的实施例中,为了示意性起见,仅示出了两个示意性的像素组PG1,1和PGx,y,各像素组对应于多视点设置,分别具有各自的12个像素(P1-P12)。作为示意性的实施例,该像素组中的像素是以单行多列形式排布的,但可以想到其他的排布形式,如单列多行或多行多列等。仅作为示意性描述,前述PGx,y可示意性地表示在第X行、第Y列的像素组。
结合参考图1和图16,描述该实施例的显示器的显示。如前所述,该显示器可以具有12个视点V1-V12,观看者的眼睛在每个视点(空间位置)可看到显示面板中各像素组中相应的像素点的显示,并进而看到不同的渲染的画面。观看者的两只眼睛在不同的视点看到的两个不同画面形成视差,在大脑中合成立体的画面
在图16所示的实施例中,一个或多个3D视频处理单元配置为如此地生成用于显示的图像和渲染像素,即,基于所述3D视频信号的图像生成对应于预定的视点的多个图像并依据所生成的多个图像渲染各像素组中与所述预定的视点对应的像素。在所示的实施例中,观看者有多位,如两位。基于不同观看者眼球所在的位置,针对对应视点渲染图像并写入像素组中对应的像素。
相应地,本实用新型实施例还可以提供一种多视点裸眼立体显示器的显示方法,所述方法包括如下步骤:定义多个像素组,各像素组由至少3个像素构成且对应于多视点设置;接收3D视频信号;基于接收到的3D视频信号的图像生成对应于预定的视点(如第一用户左右眼对应的视点V4、V6和第二用户左右眼对应的视点V8、V10)的多个图像;依据所生成的多个图像渲染各像素组中对应的像素。
结合参考图1和图16,描述所示的具体实施例中的3D视频处理单元的处理。视频信号接口接收到的3D视频信号S1为含色彩图像和景深图像两幅内容的图像帧。由此,该3D视频处理处理单元将所接收到的3D视频信号S1的图像信息和景深信息作为输入,基于实时眼球数据,将第一用户左右眼对应的视点V4、V6和和第二用户左右眼对应的视点V8、V10按对应的观看角度渲染出4幅画面。然后,将所生成的相应的图像的内容写入到各像素组(如PG1,1和PGx,y)中相应视点对应看到的像素(如第4、6个和第8、10个像素)中。
从而每个人可以观看对应自己观察角度的渲染图像,产生视差,以形成3D显示的立体效果。
结合参考图1和图16,在本实用新型的另一个实施例中提供了一种裸眼立体显示系统,其可包括处理器单元和多视点裸眼立体显示器。该实施例不同之处在于,视频信号接口接收到的3D视频信号S1为含左右视差色彩图像内容的图像帧。由此,该3D视频处理处理单元将所接收到的3D视频信号S1的含左右视差色彩图像内容的图像帧作为输入。基于实时眼球数据,按照实时眼球追踪数据检测到的眼球,对应地生成左眼或右眼视差色彩图像。例如,针对第一用户右眼所在的视点V4和第一用户右眼所在的视点V8,基于3D视频信号S1的右视差色彩图像内容渲染出两幅画面。针对第一用户左眼所在的视点V6和第一用户左眼所在的视点V10,基于3D视频信号S1的左视差色彩图像内容渲染出两幅画面。然后,将所生成的相应的图像的内容写入到各像素组(如PG1,1和PGx,y)中相应视点对应看到的像素(如第4、6个和第8、10个像素)中。
从而每个人可以观看对应自己观察角度的渲染图像,产生视差,以形成3D显示的立体效果。
结合参考图16和图17,在本实用新型的另一个实施例中提供了一种裸眼立体显示系统,其可包括处理器单元和多视点裸眼立体显示器。该显示器配置为可接收多路信号输入,在图17所示的实施例中为两路S1(左右视差图像)和S2(色彩图像和景深图像)。
继续参考图16,例如第一用户(User2)希望看到左右视差信号S1,而第二用户(User2)希望看到色彩和景深信号。由此,3D视频处理处理单元根据第一用户的左右眼球(Er和El)所在的位置(视点V4和V6)和第一用户的左右眼球(Er和El)所在的位置(视点V8和V10),分别生成对应于所述视点的渲染图像并将所生成的相应的图像的内容写入到各像素组(如PG1,1和PGx,y)中相应视点对应看到的像素(如第4、6个和第8、10个像素)中。
从而每个人可以观看对应自己观察角度的渲染图像,产生视差,以形成3D显示的立体效果,且不同的使用者可以观看不同的视频内容。
在本实用新型的一些实施例中,上述实施例可以具有具体的实现方案。例如针对具有12个视点的裸眼3D显示器,视频信号接口接收1920x1200分辨率的MiPi信号,信号进入时序控制器后以后转为mini-LVDS信号。传统的处理方式为分别给到多个显示驱动芯片用于屏的信号输出。对此,在本实用新型的一个实施例中,在显示驱动芯片之前设置呈FPGA、ASIC形式的3D视频处理处理单元(或单元组)。
显示屏的分辨率为1920x12x 1200,对接口接收到的信号进行处理,以完成针对各视点分辨率无损的扩展,即针对接收视频的12倍分辨率的扩展。
在本实用新型的一些实施例中,视频信号接口可以有多重实现形式,包括但不限于,如版本为1.2的高清数字显示接口(Display Port,DP1.2)、版本为2.0的高清晰度多媒体接口(High Definition Multimedia Interface,HDMI 2.0)、高清数字显示接口(V-by-One)等或无线接口,如WiFi、蓝牙、蜂窝网络等。
在本实用新型的一些实施例中,显示器或显示系统以及显示方法可以结合其他图像处理技术:如对视频信号进行颜色调整,包括颜色空间旋转(Color Tint)调整和颜色增益(Color Gain)调整;亮度调整,包括对比度(Contrast)调整、驱动增益(Drive Gain)调整、以及伽玛GAMMA曲线调整。
在本实用新型的一些实施例中,描述了根据本实用新型的显示系统的实施。在一个实施例中,如图18所示,所述显示系统1800为蜂窝电话或者构造为蜂窝电话的一部分。在一些实施例中,所述显示系统的处理单元可以由蜂窝电话的处理器、例如应用处理器(AP)提供或集成在其中。在一些实施例中,眼球追踪装置可以包括或构造为蜂窝电话的摄像头,尤其是前置摄像头。在一些优选的实施例中,根据本实用新型的眼球追踪装置可以包括或构造为前置摄像头结合结构光摄像头。
在一些实施例中,显示系统可构造为具有处理器单元的平板电脑、个人计算机或可穿戴设备。
在本实用新型的一个实施例中,所述裸眼立体显示器可以为数字电视(智能或非智能的)。在本实用新型的一些实施例中,如图19所示,显示系统1900可以构造为连接有机顶盒1902或投屏蜂窝电话或平板电脑的所述裸眼立体显示器1904,处理器单元被包含在所述机顶盒或投屏蜂窝电话或平板电脑中。
在一个替代的实施例中,所述裸眼立体显示器为智能电视并集成有所述处理器单元。
在本实用新型的一些实施例中,裸眼立体显示系统构造为智能家居系统或其一部分。如图20所示的实施例中,智能家居系统2000(或裸眼立体显示系统)可包括包含或集成有处理器单元的智能网关2002或中央控制器、裸眼立体显示器2004以及获取眼球追踪数据的眼球追踪装置,如双摄像头2006。作为举例,眼球追踪装置可以为其他形式,例如包括单摄像头、摄像头与景深摄像头的结合等。在所示的实施例中,显示器和眼球追踪装置均与智能网关或中央控制器无线连接、如通过WiFi连接。但可以想到其他的连接形式。
在本实用新型的一些实施例中,所述裸眼立体显示系统构造为娱乐互动系统或其一部分。
如图21示出了根据本实用新型的一个优选实施例的裸眼立体显示系统,其构造为娱乐互动系统2100或其一部分。该娱乐互动系统2100包括裸眼立体显示器2104以及获取眼球追踪数据的眼球追踪装置,如双摄像头2106,处理器单元未示出。在所述娱乐互动系统2100中,其配置成适合于多人使用,在所述的实施例中,适合两位用户使用。在所示的实施例中,娱乐互动系统2100的裸眼立体显示器2104例如基于眼球追踪装置,如双摄像头2106的眼球追踪数据生成图像并写入对应于视点的像素。
在更优选的实施例中,该娱乐互动系统2100还可以结合多路信号输入的实施例以获得新的实施例。例如,在一个具体实施例中,基于使用者的互动(例如基于眼球追踪装置或其他传感器检测到的数据),处理单元相应地生成多路、如两路个性化的视频信号,并可利用本实用新型的实施例所述的显示器及其显示方法显示。
根据本实用新型实施例的娱乐互动系统可为使用者提供极高的自由度和互动程度。
上述实施例阐明的系统、装置、模块或单元,可以由各种可能的实体来来实现。一种典型的实现实体为计算机或其处理器或其他部件。具体的,计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板电脑、可穿戴设备、智能电视、物联网系统、智能家居、工业计算机、单片机系统或者这些设备中的组合。在一个典型的配置中,计算机可包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。
在本实用新型的实施例的方法、程序、系统、装置等,可以在单个或多个连网的计算机中执行或实现,也可以在分布式计算环境中实践。在本说明书实施例中,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。
本领域技术人员可想到,上述实施例阐明的功能模块/单元或控制器以及相关方法步骤的实现,可以用软件、硬件和软/硬件结合的方式实现。例如,可以以纯计算机可读程序代码方式实现,也可以部分或全部通过将方法步骤进行逻辑编程来使得控制器以硬件来实现相同功能,包括但不限于逻辑门、开关、专用集成电路、可编程逻辑控制器(如FPGA)和嵌入微控制器。
在本实用新型的一些实施例中,以功能模块/单元的形式来描述装置的部件。可以想到,多个功能模块/单元一个或多个“组合”功能模块/单元和/或一个或多个软件和/或硬件中实现。也可以想到,单个功能模块/单元由多个子功能模块或子单元的组合和/或多个软件和/或硬件实现。功能模块/单元的划分,可以仅为一种逻辑功能划分,在具体的实现方式中,多个模块/单元可以结合或者可以集成到另一个系统。此外,本文所述的模块、单元、装置、系统及其部件的连接包括直接或间接的连接,涵盖可行的电的、机械的、通信的连接,尤其包括各种接口间的有线或无线连接,包括但不限于HDMI、雷电、USB、WiFi、蜂窝网络。
在本实用新型的实施例中,方法、程序的技术特征、流程图和/或方框图可以应用到相应的装置、设备、系统及其模块、单元、部件中。反过来,装置、设备、系统及其模块、单元、部件的各实施例和特征可以应用至根据本实用新型实施例的方法、程序中。例如,计算机程序指令可装载到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,其具有实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中相应的功能或特征。
根据本实用新型实施例的方法、程序可以以计算机程序指令或程序的方式存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读的存储器或介质中。本实用新型实施例也涉及存储有可实施本实用新型实施例的方法、程序、指令的可读存储器或介质。
存储介质包括永久性和非永久性、可移动和非可移动的可以由任何方法或技术来实现信息存储的物品。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
除非明确指出,根据本实用新型实施例记载的方法、程序的动作或步骤并不必须按照特定的顺序来执行并且仍然可以实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在本文中,针对本实用新型的多个实施例进行了描述,但为简明起见,各实施例的描述并不是详尽的,各个实施例之间相同相似的特征或部分可能会被省略。在本文中,“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”意指适用于根据本实用新型的至少一个实施例或示例中,而非所有实施例。且上述术语并不必然意味着指代相同的实施例或示例。而且,各实施例的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本文中,术语“包括”、“包含”或者其变体意在涵盖式,而非穷尽式,从而包括一系列要素的过程、方法、产品或者设备可包括这些要素,而不排除还可包括没有明确列出的其他要素。为了公开的目的且除非有它特别说明,“一”意味着“一个或多个”。就在本说明书和权利要求书中所使用的术语“包括”或“包括的”来说,它将是非遍举的,这一定程度上类似于“包含”,因为那些术语在用作过渡连接词时是解释性的。此外,就所用的术语“或”来说(例如A或B),它将意味着“A或B或这两者”。当申请人打算表明“仅A或B但非这两者”时,将会使用“仅A或B但非这两者”。因此,术语“或”的使用是包含的而非排他的。参见Bryan.A.Garner的《现代法律用语词典》624页(2d.Ed.1995)。
已参考上述实施例具体示出并描述了本实用新型的示例性系统及方法,其仅为实施本系统及方法的最佳模式的示例。本领域的技术人员可以理解的是可以在实施本系统及/或方法时对这里描述的系统及方法的实施例做各种改变而不脱离界定在所附权利要求中的本实用新型的精神及范围。所附权利要求意在界定本系统及方法的范围,故落入这些权利要求中及与其等同的系统及方法可被涵盖。对本系统及方法的以上描述应被理解为包括这里描述的全部的新的及非显而易见的元素的结合,而本申请或后续申请中可存在涉及任何新的及非显而易见的元素的结合的权利要求。此外,上述实施例是示例性的,对于在本申请或后续申请中可以要求保护的全部可能组合中,没有一个单一特征或元素是必不可少的。
Claims (39)
1.一种多视点裸眼立体显示器,其特征在于,包括:
显示屏,具有显示面板和光栅;
视频信号接口,用于接收3D视频信号的;和
一个或多个3D视频处理单元;
其中,所述视频信号接口与所述一个或多个3D视频处理单元连接,所述一个或多个3D视频处理单元与所述显示面板连接;
其中,所述显示面板包括多行多列像素并且限定出多个像素组,各像素组由至少3个像素构成且对应于多视点设置;
其中,所述一个或多个3D视频处理单元配置为基于所述3D视频信号的图像生成对应于全部视点或预定的视点的多个图像并依据所生成的多个图像渲染各像素组中对应的像素。
2.根据权利要求1所述的多视点裸眼立体显示器,其特征在于,所述多个像素组所具有的相互排布位置是基于像素与光栅的光学关系数据和/或显示面板的像素与视点的对应关系数据调整或确定的。
3.根据权利要求2所述的多视点裸眼立体显示器,其特征在于,所述光栅包括柱状棱镜光栅,所述像素与光栅的光学关系包括像素与柱状棱镜光栅的对位关系和/或所述柱状棱镜光栅相对于相应的像素的折射状态。
4.根据权利要求2所述的多视点裸眼立体显示器,其特征在于,所述光栅包括前置和/或后置的视差屏障光栅,所述视差屏障光栅包括遮光部和透光部,所述像素与光栅的光学关系包括像素与视差屏障光栅的相应的透光部的对位关系。
5.根据权利要求2所述的多视点裸眼立体显示器,其特征在于,像素与视点的对应关系是基于像素与光栅的光学关系计算或确定的。
6.根据权利要求2所述的多视点裸眼立体显示器,其特征在于,像素与视点的对应关系是通过在各视点位置处测量确定的。
7.根据权利要求2所述的多视点裸眼立体显示器,其特征在于,还包括存储有所述光学关系数据和/或像素与视点的对应关系数据的存储器,所述一个或多个3D视频处理单元配置为读取所述存储器中的数据。
8.根据权利要求1所述的多视点裸眼立体显示器,其特征在于,接收到的3D视频信号包括接收到的景深图像和渲染色彩图像,生成的图像包括生成的景深图像和渲染色彩图像。
9.根据权利要求1所述的多视点裸眼立体显示器,其特征在于,接收到的3D视频信号包括接收到的景深图像和渲染色彩图像,生成的图像包括生成的第一视差图像和第二视差图像。
10.根据权利要求1所述的多视点裸眼立体显示器,其特征在于,接收到的3D视频信号包括接收到的第一视差图像和第二视差图像,生成的图像包括生成的第一视差图像和第二视差图像。
11.根据权利要求1所述的多视点裸眼立体显示器,其特征在于,接收到的3D视频信号包括接收到的第一视差图像和第二视差图像,生成的图像包括生成的景深图像和渲染色彩图像。
12.根据权利要求1所述的多视点裸眼立体显示器,其特征在于,设置多个3D视频处理单元,各3D视频处理单元被配置为各自分配有多行或者多列像素并渲染各自的多行或多列像素。
13.根据权利要求1所述的多视点裸眼立体显示器,其特征在于,所述一个或多个3D视频处理单元为FPGA或ASIC芯片或芯片组。
14.根据权利要求1所述的多视点裸眼立体显示器,其特征在于,其中所述3D视频信号为单路信号,所述一个或多个3D视频处理单元配置为基于该单路3D视频信号生成对应于全部视点的多个图像并渲染各像素组中所有的像素。
15.根据权利要求1所述的多视点裸眼立体显示器,其特征在于,其中所述3D视频信号为多路信号,其中多视点数量为N,多路信号数为M,N≥M,所述一个或多个3D视频处理单元配置为生成对应于全部视点的N个图像并渲染各像素组中所有的像素,各个生成的图像分别基于所述M路信号之一生成。
16.根据权利要求1所述的多视点裸眼立体显示器,其特征在于,还包括用于获取眼球追踪数据的眼球追踪装置或眼球追踪数据接口。
17.根据权利要求16所述的多视点裸眼立体显示器,其特征在于,所述一个或多个3D视频处理单元配置为基于所述3D视频信号的图像生成对应于预定的视点的多个图像并依据所生成的多个图像渲染各像素组中对应的像素,所述预定的视点由观看者的实时眼球追踪数据确定。
18.根据权利要求17所述的多视点裸眼立体显示器,其特征在于,所述一个或多个3D视频处理单元配置为,当观看者的各眼球位于单个视点时,基于所述3D视频信号的图像生成对应于该单个视点的图像并且渲染各像素组中该单个视点所对应的像素。
19.根据权利要求18所述的多视点裸眼立体显示器,其特征在于,所述一个或多个3D视频处理单元配置为,还生成与该单个视点相邻的视点相对应的图像并且还渲染各像素组中该相邻的视点所对应的像素。
20.根据权利要求17所述的多视点裸眼立体显示器,其特征在于,所述一个或多个3D视频处理单元配置为,当观看者的各眼球位于两个视点之间时,基于所述3D视频信号的图像生成对应于所述两个视点的图像并且渲染各像素组中所述两个视点所对应的像素。
21.根据权利要求17所述的多视点裸眼立体显示器,其特征在于,其中所述3D视频信号为单路信号,所述一个或多个3D视频处理单元配置为,当观看者为多个时,基于所述单路信号,针对各观看者的各自眼球位置所对应的视点,生成所述多个图像并渲染各像素组中对应的像素。
22.根据权利要求17所述的多视点裸眼立体显示器,其特征在于,其中所述3D视频信号为多路信号,所述一个或多个3D视频处理单元配置为,当观看者为多个时,针对其中至少一些观看者的各自眼球所对应的视点,基于不同的3D视频信号生成所述多个图像并渲染各像素组中对应的像素。
23.根据权利要求17所述的多视点裸眼立体显示器,其特征在于,所述显示面板为自发光显示面板,且所述自发光显示面板配置为未被渲染的像素不发光。
24.根据权利要求23所述的多视点裸眼立体显示器,其特征在于,所述显示面板为Micro-LED显示面板。
25.一种多视点裸眼立体显示器,其特征在于,包括:
显示屏,具有显示面板和光栅;
视频信号接口;和
一个或多个3D视频处理单元;
其中,所述视频信号接口与所述一个或多个3D视频处理单元连接,所述一个或多个3D视频处理单元与所述显示面板连接;
其中,所述显示面板包括多行多列像素并且限定出多个像素组,各像素组由至少3个像素构成且对应于多视点设置;
其中,所述多个像素组具有的相互排布位置是基于像素与光栅的光学关系和/或显示面板的像素与视点的对应关系数据调整或确定的;
其中,所述一个或多个3D视频处理单元配置为可渲染各像素组中对应的像素。
26.根据权利要求25所述的多视点裸眼立体显示器,其特征在于,所述光栅包括柱状棱镜光栅,所述像素与光栅的光学关系包括像素与柱状棱镜光栅的对位关系和/或所述柱状棱镜光栅相对于相应的像素的折射状态。
27.根据权利要求25所述的多视点裸眼立体显示器,其特征在于,所述光栅包括前置和/或后置的视差屏障光栅,所述视差屏障光栅包括遮光部和透光部,所述像素与光栅的光学关系包括像素与视差屏障光栅的相应的透光部的对位关系。
28.根据权利要求25所述的多视点裸眼立体显示器,其特征在于,像素与视点的对应关系是基于像素与光栅的光学关系计算或确定的。
29.根据权利要求25所述的多视点裸眼立体显示器,其特征在于,像素与视点的对应关系是通过在各视点位置处测量确定的。
30.根据权利要求25所述的多视点裸眼立体显示器,其特征在于,还包括存储有所述光学关系数据和/或像素与视点的对应关系数据的存储器,所述一个或多个3D视频处理单元配置为可读取所述存储器中的数据。
31.一种多视点裸眼立体显示器,其特征在于,包括:
显示屏、存储器、视频信号接口和一个或多个3D视频处理单元;
所述显示屏具有显示面板和光栅;
其中,所述视频信号接口与所述一个或多个3D视频处理单元连接,所述一个或多个3D视频处理单元与所述显示面板连接,所述存储器与3D视频处理单元连接;
其中,所述显示面板包括多行多列像素;
其中,所述存储器存储有所述显示面板的各像素与光栅的光学关系数据和/或所述显示面板的各像素与视点的对应关系数据。
32.根据权利要求31所述的多视点裸眼立体显示器,其特征在于,所述光栅包括柱状棱镜光栅,所述像素与光栅的光学关系包括像素与柱状棱镜光栅的对位关系和/或所述柱状棱镜光栅相对于相应的像素的折射状态。
33.根据权利要求31所述的多视点裸眼立体显示器,其特征在于,所述光栅包括前置和/或后置的视差屏障光栅,所述视差屏障光栅包括遮光部和透光部,所述像素与光栅的光学关系包括像素与视差屏障光栅的相应的透光部的对位关系。
34.根据权利要求31所述的多视点裸眼立体显示器,其特征在于,像素与视点的对应关系是基于像素与光栅的光学关系计算或确定的。
35.根据权利要求31所述的多视点裸眼立体显示器,其特征在于,像素与视点的对应关系是通过在各视点位置处测量确定的。
36.根据权利要求31所述的多视点裸眼立体显示器,其特征在于,其中所述一个或多个3D视频处理单元配置为基于接收到的视频信号生成对应于部分或全部视点的多个3D视频的图像,且所述一个或多个3D视频处理单元还配置为读取所述显示面板的各像素与光栅的对位关系数据和/或所述显示面板的各像素与视点的对应关系数据并基于所述数据渲染与所述部分或全部视点相对应的像素。
37.一种裸眼立体显示系统,其特征在于,包括:
处理器单元;和
根据权利要求1至36之一所述的多视点裸眼立体显示器;
所述处理器单元与所述多视点裸眼立体显示器通讯连接。
38.根据权利要求37所述的裸眼立体显示系统,其特征在于,
所述裸眼立体显示系统构造为具有所述处理器单元的智能电视;
或者,所述裸眼立体显示系统为智能蜂窝电话、平板电脑、个人计算机或可穿戴设备;
或者,所述裸眼立体显示系统包括作为所述处理器单元的机顶盒或可投屏的蜂窝电话或平板电脑和与所述机顶盒、蜂窝电话或平板电脑有线或无线连接的作为多视点裸眼立体显示器的数字电视;
或者,所述裸眼立体显示系统构造为智能家居系统或其一部分,其中所述处理器单元包括所述智能家居系统的智能网关或中央控制器,所述智能家居系统还包括用于获取眼球追踪数据的眼球追踪装置;
或者,所述裸眼立体显示系统构造为娱乐互动系统或其一部分。
39.根据权利要求37所述的裸眼立体显示系统,其特征在于,所述娱乐互动系统配置成适合于多人使用并基于多个用户生成多路3D视频信号以便传送至裸眼立体显示器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201920414572.2U CN216086864U (zh) | 2019-03-29 | 2019-03-29 | 一种多视点裸眼立体显示器和裸眼立体显示系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201920414572.2U CN216086864U (zh) | 2019-03-29 | 2019-03-29 | 一种多视点裸眼立体显示器和裸眼立体显示系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN216086864U true CN216086864U (zh) | 2022-03-18 |
Family
ID=80633748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201920414572.2U Active CN216086864U (zh) | 2019-03-29 | 2019-03-29 | 一种多视点裸眼立体显示器和裸眼立体显示系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN216086864U (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111757088A (zh) * | 2019-03-29 | 2020-10-09 | 刁鸿浩 | 一种分辨率无损的裸眼立体显示系统 |
-
2019
- 2019-03-29 CN CN201920414572.2U patent/CN216086864U/zh active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111757088A (zh) * | 2019-03-29 | 2020-10-09 | 刁鸿浩 | 一种分辨率无损的裸眼立体显示系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111757088A (zh) | 一种分辨率无损的裸眼立体显示系统 | |
US9924153B2 (en) | Parallel scaling engine for multi-view 3DTV display and method thereof | |
US9083963B2 (en) | Method and device for the creation of pseudo-holographic images | |
CN103873844B (zh) | 多视点自动立体显示器及控制其最佳观看距离的方法 | |
EP1882368B1 (en) | Cost effective rendering for 3d displays | |
CN103988504A (zh) | 用于子像素渲染的图像处理设备和方法 | |
US8723920B1 (en) | Encoding process for multidimensional display | |
US20160295200A1 (en) | Generaton of images for an autostereoscopic multi-view display | |
US20160044305A1 (en) | Multiview image display apparatus and control method thereof | |
JP2012065174A (ja) | 画像処理装置および方法、ならびに立体画像表示装置 | |
WO2012172766A1 (en) | Image processing device and method thereof, and program | |
US10939092B2 (en) | Multiview image display apparatus and multiview image display method thereof | |
CN102238396A (zh) | 立体视觉的影像转换方法、成像方法及系统 | |
CN216086864U (zh) | 一种多视点裸眼立体显示器和裸眼立体显示系统 | |
US8693767B2 (en) | Method and device for generating partial views and/or a stereoscopic image master from a 2D-view for stereoscopic playback | |
KR102143463B1 (ko) | 다시점 영상 디스플레이 장치 및 그 제어 방법 | |
US20120163700A1 (en) | Image processing device and image processing method | |
US20120081513A1 (en) | Multiple Parallax Image Receiver Apparatus | |
US20240071280A1 (en) | Display Method of Display Panel and Display Control Apparatus Thereof, and Display Apparatus | |
US20120163702A1 (en) | Image processing apparatus and image processing method | |
CN103002296A (zh) | 立体影像显示方法及立体影像显示系统 | |
TWI499279B (zh) | 影像處理裝置及其方法 | |
US20130021324A1 (en) | Method for improving three-dimensional display quality | |
US20120249872A1 (en) | Video signal processing apparatus and video signal processing method | |
JP2012203050A (ja) | 立体表示装置並びに信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant |