CN112584125A - 三维图像显示设备及其显示方法 - Google Patents
三维图像显示设备及其显示方法 Download PDFInfo
- Publication number
- CN112584125A CN112584125A CN201910937968.XA CN201910937968A CN112584125A CN 112584125 A CN112584125 A CN 112584125A CN 201910937968 A CN201910937968 A CN 201910937968A CN 112584125 A CN112584125 A CN 112584125A
- Authority
- CN
- China
- Prior art keywords
- composite
- dimensional image
- video signal
- image display
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000002131 composite material Substances 0.000 claims abstract description 200
- 238000012545 processing Methods 0.000 claims abstract description 67
- 238000009877 rendering Methods 0.000 claims abstract description 25
- 230000001413 cellular effect Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 5
- 239000011174 green composite Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 30
- 230000006854 communication Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 239000010410 layer Substances 0.000 description 18
- 238000007726 management method Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 14
- 238000010295 mobile communication Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 6
- 229920001621 AMOLED Polymers 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请涉及立体影像领域,公开了一种三维图像显示设备,包括:多视点裸眼立体显示屏,包括m×n个复合像素并因此限定出m×n的显示分辨率;用于接收3D视频信号的视频帧的视频信号接口,3D视频信号的视频帧包含具有m×n分辨率的两幅图像或者包含具有2m×n或m×2n分辨率的复合图像;和至少一个3D视频处理单元;其中,每个复合像素包括多个复合子像素,各复合子像素由对应于i个视点的i个同色子像素构成,其中i≥3;其中,至少一个3D视频处理单元配置为基于两幅图像或者复合图像渲染各复合子像素中的子像素。本申请还公开一种三维(3D)图像显示方法。本申请的设备和方法能以较小渲染计算量实现优良的显示效果。
Description
技术领域
本申请涉及裸眼式立体显示技术,例如涉及三维图像显示设备及其显示方法。
背景技术
立体影像是视像行业中热点的技术之一,推动着从平面显示向立体显示的技术变革。立体显示技术是立体影像产业中的关键一环,主要分为两类,即眼镜式立体显示和裸眼式立体显示技术。裸眼式立体显示技术是一种观看者无需佩戴眼镜而能够之间观看到立体显示画面的技术。与眼镜式立体显示相比,裸眼式立体显示属于自由立体显示技术,减少了对观看者的约束。
裸眼式立体显示是基于视点的,近来还提出了多视点的裸眼立体显示,从而在空间中不同位置处形成视差图像(帧)的序列,使得具有视差关系的立体图像对可以分别进入人的左右眼当中,从而给观看者带来立体感。对于具有例如N个视点的传统的多视点裸眼立体(3D)显示器,要用显示面板上的多个独立像素来投射空间的多个视点。
然而,在常规的裸眼立体显示器的构造中,通过在2D显示面板一侧或两侧设置光栅来提供3D显示效果,而3D图像或视频的传输和显示均是以2D显示面板为基础的。这带来了分辨率下降和渲染计算量激增的两难问题。
由于2D显示面板的分辨率总数为定值,因此分辨率会急剧下降,例如列分辨率降为原分辨率的1/N。由于多视点显示器的像素排布,这还会导致水平与竖直方向分辨率降低倍数不同。
要想维持高清晰度的显示,在提供高清晰度例如N倍于2D显示器件的N视点3D显示器件的情况下,将会占用的终端到显示器的传输带宽也以N倍倍增,导致信号传输量太大。而且,对于这种N倍的高分辨率图像的像素级渲染会严重占用终端或显示器自身的计算资源,造成性能大幅下降。
而且,由于3D图像或视频的传输和显示以2D显示面板为基础,还可能存在多次格式调整和图像或视频显示适配的问题。这一方面可能会造成渲染计算量的进一步增加,另一方面可能会影响3D图像或视频的显示效果。
本背景技术仅为了便于了解本领域的相关技术,并不视作对现有技术的承认。
发明内容
为了对披露的实施例的一些方面有基本的理解,下面给出了一些实施例的概述,其不是要确定关键/重要组成元素或描绘发明的保护范围,而是作为后面的详细说明的序言。
本公开实施例意图提供一种三维图像显示设备和三维图像显示方法,意图克服或缓解上文提到的至少一些问题。
在一个方案中,提供了一种三维图像显示设备,包括:多视点裸眼立体显示屏,包括m×n个复合像素并因此限定出m×n的显示分辨率;用于接收3D视频信号的视频帧的视频信号接口,其中,3D视频信号的视频帧包含具有m×n分辨率的两幅图像或者包含具有2m×n或m×2n分辨率的复合图像;和至少一个3D视频处理单元;其中,每个复合像素包括多个复合子像素,各复合子像素由对应于i个视点的i个同色子像素构成,其中i≥3;其中,至少一个3D视频处理单元配置为基于两幅图像之一渲染各复合子像素中至少一个子像素并基于两幅图像中另一幅渲染各复合子像素中至少另一个子像素;或者至少一个3D视频处理单元配置为基于复合图像渲染各复合子像素中至少两个子像素。
在本公开实施例中,以复合像素(复合子像素)的方式定义多视点裸眼立体显示屏的分辨率,因此在传输和显示时均以由复合像素(复合子像素)定义的分辨率为考量因素,这能够有效实现传输和渲染计算量的减少,且仍具有优良的显示效果。相比之下,常规的3D显示器在3D图像或视频的传输和显示仍是以2D显示面板为基础进行考量,这在进行多视点裸眼立体显示时面临的分辨率下降和计算量激增的问题,以及存在多次格式调整和图像或视频显示适配的问题。
在一个实施例中,三维图像显示设备还包括处理器、存储器和外部接口,视频信号接口为内部接口且配置成通讯连接处理器和至少一个3D视频处理单元。
在一个实施例中,处理器包括寄存器,寄存器配置成与i个视点无关地接收与m×n的显示分辨率相关的信息。在本公开实施例中,在处理器和3D视频处理单元之间在作为内部接口的视频信号接口中的3D视频传输无需考虑多视点的因素,简化了数据的传输和处理。
在一个实施例中,存储器配置成存储压缩的3D视频信号或者外部接口配置成接收压缩的3D视频信号;其中,三维图像显示设备还包括编解码器,配置为对压缩的3D视频信号解压缩和编解码并将解压缩的3D视频信号经视频信号接口发送至至少一个3D视频处理单元。
在一个实施例中,内部接口选自MIPI、mini-MIPI接口、LVDS接口、mini-LVDS接口或Display Port接口中至少一个。
在一个实施例中,设置至少两个3D视频处理单元,各3D视频处理单元被配置为各自分配有多行或者多列复合像素或复合子像素。
在一个实施例中,至少一个3D视频处理单元为FPGA或ASIC芯片或FPGA或ASIC芯片组。
在一个实施例中,三维图像显示设备还包括用于预处理3D视频信号的视频帧使得两幅图像具有m×n分辨率或者复合图像具有2m×n或m×2n分辨率的格式调整器。
在一个实施例中,两幅图像为并列格式的左眼视差图像和右眼视差图像、并列格式的渲染色彩图像和景深图像;上下格式的左眼视差图像和右眼视差图像或者上下格式的渲染色彩图像和景深图像。
在一个实施例中,复合图像为左右交织的左眼和右眼视差复合图像、左右交织的渲染色彩图像和景深复合图像、上下交织的左眼和右眼视差复合图像、上下交织的渲染色彩图像和景深复合图像、棋盘格式的左眼和右眼视差复合图像、棋盘格式的渲染色彩图像和景深复合图像。
在一个实施例中,各复合子像素包括单行或单列的多个子像素。
在一个实施例中,各复合子像素包括成阵列形式的多个子像素。
在一个实施例中,多个复合子像素包括红色复合子像素、绿色复合子像素和蓝色复合子像素。或者,各复合像素由红色复合子像素、绿色复合子像素和蓝色复合子像素构成。
在一个实施例中,三维图像显示设备还包括用于获取实时人眼追踪数据的人眼追踪装置或人眼追踪数据接口。
在另一方案中,提供一种三维(3D)图像显示方法,其中,多视点裸眼立体显示屏包括m×n个复合像素并因此限定出m×n的显示分辨率,每个复合像素包括多个复合子像素,各复合子像素由对应于i个视点的i个同色子像素构成,其中i≥3。
在一些实施例中,三维图像显示方法包括:
传输3D视频信号的视频帧,包含具有m×n分辨率的两幅图像或者包含具有2m×n或m×2n分辨率的复合图像;和
基于两幅图像之一渲染各复合子像素中至少一个子像素并基于两幅图像中另一幅渲染各复合子像素中至少另一个子像素;或者
基于复合图像渲染各复合子像素中至少两个子像素。
在本公开实施例的技术方案中,由于多视点裸眼立体显示屏的显示分辨率与3D视频信号的视频帧的分辨率一致,所以传输3D视频信号的视频帧不会占用额外的传输带宽资源;并且由于显示屏的显示分辨率与基于视频帧生成的图像的分辨率一致,所以无需对生成的图像进行格式调整。
在一个实施例中,三维图像显示方法还包括:在传输3D视频信号的视频帧之前,传输与i个视点无关地且m×n的显示分辨率相关的信息。
在一个实施例中,3D视频信号是解压缩的3D视频信号。
在一个实施例中,三维图像显示方法还包括:
在传输3D视频信号的视频帧之前,读取存储的压缩3D视频信号或者从三维图像显示设备外接收压缩3D视频信号;和
对压缩3D视频信号解压缩和编解码成解压缩的3D视频信号。
在一个实施例中,三维图像显示方法还包括:预处理3D视频信号的视频帧使得两幅图像具有m×n分辨率或者复合图像具有2m×n或m×2n分辨率。
在另一个技术方案中,提供一种三维图像显示设备,包括处理器和存储有程序指令的存储器,其特征在于,三维图像显示设备还包括多视点裸眼立体显示屏,多视点裸眼立体显示屏包括m×n个复合像素并因此限定出m×n的显示分辨率,每个复合像素包括多个复合子像素,各复合子像素由对应于i个视点的i个同色子像素构成,其中i≥3,处理器被配置为在执行程序指令时,执行上述三维图像显示方法。
在一个实施例中,三维图像显示设备为智能电视、智能蜂窝电话、平板电脑、个人计算机或可穿戴设备。
以上的总体描述和下文中的描述仅是示例性和解释性的,不用于限制本申请。
附图说明
一个或一个以上实施例通过与之对应的附图进行示例性说明,这些示例性说明和附图并不构成对实施例的限定,附图中具有相同参考数字标号的元件示为类似的元件,附图不构成比例限制,并且其中:
图1A至图1C是根据本公开实施例的三维图像显示设备的结构示意图;
图2是根据本公开实施例的三维图像显示设备的硬件结构示意图;
图3是根据本公开实施例的三维图像显示设备的软件结构示意图;
图4A至图4C是根据本公开实施例的复合像素的示意图;
图5A至图5E是根据本公开实施例的3D视频信号的视频帧所包含图像的格式及内容的示意图;
图6是本公开实施例提供的设置至少两个3D视频处理单元的示意图;
图7是根据本公开实施例的三维(3D)图像显示方法的步骤示意图;
图8是根据本公开实施例的三维(3D)图像显示方法的步骤示意图;
图9是根据本公开实施例的三维(3D)图像显示方法的步骤示意图;
图10是根据本公开实施例的三维(3D)图像显示方法的步骤示意图;
图11是根据本公开实施例的三维(3D)图像显示方法的步骤示意图。
图12是根据本公开实施例的三维图像显示设备的结构示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容,下面结合附图对本公开实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本公开实施例。
在本文中,“裸眼立体(3D)显示”涉及观看者无需佩戴立体显示用的眼镜而能在平面显示器上观察到立体的显示图像的技术,包括但不限于“视差屏障”、“柱状透镜”、“指向式背光”技术。
在本文中,“多视点”具有本领域的常规含义,意指在空间中不同位置(视点)处能观看到显示屏的不同像素或子像素显示的不同图像。在本文中,多视点将意味着至少3个视点。
在本文中,“光栅”具有本领域中广义的解释,包括但不限于“视差屏障”光栅和“透镜”光栅、如“柱状透镜”光栅。
在本文中,“透镜”或“透镜光栅”具有本领域的常规含义,例如包括柱状透镜和球面透镜。
在本文中,常规的“像素”意指2D显示器或者作为2D显示器显示时就其分辨率而言的最小显示单位。在本文中,常规的“子像素”例如指在像素中呈现的单个颜色。由此,单个像素将包括一组子像素,如RGB(红-绿-蓝)、RGBW(红-绿-蓝-白)、RYYB(红-黄-黄-蓝)或RGBYC(红-绿-蓝-黄-青)。但在本文的定义的像素中,并不意味着其中的子像素必须临近布置。例如,在同一“像素”的子像素之间可以设置有其他的部件,如其他子像素。
在本文的一些实施例中,当应用于裸眼立体显示领域的多视点技术时所称的“复合像素”、如“超级像素”指裸眼立体显示器提供多视点显示时的最小显示单位,但不排除用于多视点技术的单个复合像素可包括或呈现为多个2D显示的像素。在本文中,除非具体说明为“3D显示”或“多视点”应用的复合像素、3D像素或“超级像素”,像素将指2D显示时的最小显示单位。在本文中,“超级像素”意味着提供至少12个视点的3D显示的复合像素。同样,当描述为多视点的裸眼3D显示“复合子像素”或者“超级子像素”时,将指裸眼立体显示器提供多视点显示时的复合像素中呈现的单个颜色的复合子像素。
在公开的一些实施例中,提供了一种三维图像显示设备100,其包括:多视点裸眼立体显示屏110,包括m×n个复合像素CP并因此限定出m×n的显示分辨率;用于接收3D视频信号的视频帧的视频信号接口140,其中,3D视频信号的视频帧包含具有m×n分辨率的两幅图像或者包含具有2m×n或m×2n分辨率的复合图像;和至少一个3D视频处理单元130。
在一些实施例中,每个复合像素CP包括多个复合子像素CSP,各复合子像素由对应于i个视点的i个同色子像素构成,其中i≥3。
在一些实施例中,至少一个3D视频处理单元130配置为基于两幅图像之一渲染各复合子像素中至少一个子像素并基于两幅图像中另一幅渲染各复合子像素中至少另一个子像素。
在另外的一些实施例中,至少一个3D视频处理单元130配置为基于复合图像渲染各复合子像素中至少两个子像素。
图1A示出了本公开一个实施例提供的三维图像显示设备100的结构示意图。参考图1A,在本公开一个实施例中提供了一种三维图像显示设备100,其可包括多视点裸眼立体显示屏110、至少一个3D视频处理单元130和用于接收3D视频信号的视频帧的视频信号接口140。
多视点裸眼立体显示屏110可包括显示面板和覆盖在显示面板上的光栅(未标识)。在图1A所示的实施例中,多视点裸眼立体显示屏110可包括m×n个复合像素并因此限定出m×n的显示分辨率。如图1A所示,多视点裸眼立体显示屏110包括m列n行个复合像素并因此限定出m×n的显示分辨率。
在一些实施例中,每个复合像素包括多个复合子像素,各复合子像素由对应于i个视点的i个同色子像素构成,i≥3。在图1A所示的实施例中,i=6,但可以想到i为其他数值。在所示的实施例中,多视点裸眼立体显示器可相应地具有i(i=6)个视点(V1-V6),但可以想到可以相应地具有更多或更少个视点。
结合参考图1A和图4A,在所示的实施例中,每个复合像素包括三个复合子像素,并且每个复合子像素由对应于6视点(i=6)的6个同色子像素构成。三个复合子像素分别对应于三种颜色,即红(R)、绿(G)和蓝(B)。也就是说,每个复合像素的三个复合子像素分别具有6个红色、6个绿色或6个蓝色的子像素。
在图1A和图4A所示的实施例中,复合像素400中的复合子像素410、420、430平行布置。各复合子像素410、420、430包括呈单行形式的子像素411、421、431。但可以想到,复合像素中的复合子像素不同排布方式或复合子像素中的子像素的不同排布形式。
如图4B所示,各复合子像素440、450、460包括呈单列形式的子像素441、451、461。
如图4C所示,复合像素400中的三个复合子像素470、480、490例如呈“品”字状布置。在图4C所示的实施例中,各复合子像素470、480、490中的子像素471、481、491可呈阵列形式(3×2)。
在一些实施例中,例如图1A-1C所示,三维图像显示设备100可设置有单个3D视频处理单元130。单个3D视频处理单元130同时处理对裸眼立体显示屏110的各复合像素的各复合子像素的渲染。
在另一些实施例中,例如图6所示,三维图像显示设备100可设置有至少两个3D视频处理单元130,它们并行、串行或串并行结合地处理对裸眼立体显示屏110的各复合像素的各复合子像素的渲染。
本领域技术人员将明白,上述至少两个3D视频处理单元可以有其他的方式分配且并行处理裸眼立体显示屏110的多行多列复合像素或复合子像素,这落入本公开实施例的范围内。
在一些实施例中,至少一个3D视频处理单元130还可以选择性地包括缓存器131,以便缓存所接收到的视频帧。
在一些实施例中,至少一个3D视频处理单元为FPGA或ASIC芯片或FPGA或ASIC芯片组。
继续参考图1A,三维图像显示设备100还可包括通过视频信号接口140通讯连接至至少一个3D视频处理单元130的处理器101。在本文所示的一些实施例中,处理器101被包括在计算机或智能终端、如移动终端中或作为其处理器单元。但是可以想到,在一些实施例中,处理器101可以设置在三维图像显示设备的外部,例如三维图像显示设备可以为带有3D视频处理单元的多视点裸眼立体显示器,例如非智能的裸眼立体电视。
为简单起见,在下文中,三维图像显示设备的示例性实施例内部包括处理器。进而,视频信号接口140构造为连接处理器101和3D视频处理单元130的内部接口,参考图2和图3所示的以移动终端方式实施的三维图像显示设备200可更明确这种结构。在本公开一些实施例中,作为三维图像显示设备200的内部接口的视频信号接口140可以为MIPI、mini-MIPI接口、LVDS接口、min-LVDS接口或Display Port接口。在一些实施例中,如图1A所示,三维图像显示设备100的处理器101还可包括寄存器122。寄存器122可用与暂存指令、数据和地址。
在一些实施例中,三维图像显示设备100还可包括用于获取实时人眼追踪数据的人眼追踪装置或人眼追踪数据接口,从而3D视频处理单元130可以基于人眼追踪数据渲染复合像素(复合子像素)中的相应子像素。例如图1B所示的实施例中,三维图像显示设备100还包括通讯连接至3D视频处理单元130的人眼追踪装置150,由此3D视频处理单元130可以直接接收人眼追踪数据。在图1C所示的实施例中,人眼追踪装置(未示出)例如可以直接连接处理器101,而3D视频处理单元130经由人眼追踪数据接口151从处理器101获得人眼追踪数据。在另一些实施例中,人眼追踪装置可同时连接处理器和3D视频处理单元,这一方面3D视频处理单元130可以直接从人眼追踪装置获取人眼追踪数据,另一方面可以使得人眼追踪装置获取的其他信息可以被处理器处理。
结合参考图1A-C和图5A-E,描述本公开一些实施例的三维图像显示设备内的3D视频信号传输和显示。在所示的实施例中,显示屏110可以限定出6个视点V1-V6,观看者的眼睛在各视点(空间位置)可看到多视点裸眼立体显示屏110的显示面板中各复合像素的复合子像素中相应的子像素的显示。观看者的两只眼睛在不同的视点看到的两个不同画面形成视差,在大脑中合成立体的画面。
在本公开的一些实施例中,3D视频处理单元130通过例如作为内部接口的视频信号接口140从处理器101接收例如为解压缩的3D视频信号的视频帧。各视频帧可包含具有m×n分辨率的两幅图像或者包含具有2m×n或m×2n分辨率的复合图像,或者由其构成。
在一些实施例中,两幅图像或复合图像可以包括不同类型的图像以及可以呈各种排布形式。
如图5A所示,3D视频信号的视频帧包含并列格式的具有m×n分辨率的两幅图像501、502或由其构成。在一些实施例中,两幅图像可以分别为左眼视差图像和右眼视差图像。在一些实施例中,两幅图像可以分别为渲染色彩图像和景深图像。
如图5B所示,3D视频信号的视频帧包含上下格式的具有m×n分辨率的两幅图像503、504或由其构成。在一些实施例中,两幅图像可以分别为左眼视差图像和右眼视差图像。在一些实施例中,两幅图像可以分别为渲染色彩图像和景深图像。
如图5C所示,3D视频信号的视频帧包含左右交织格式的具有2m×n分辨率的复合图像505。在一些实施例中,复合图像可以为左右交织的左眼和右眼视差复合图像、左右交织的渲染色彩和景深复合图像。
如图5D所示,3D视频信号的视频帧包含上下交织格式的具有m×2n分辨率的复合图像506。在一些实施例中,复合图像可以为上下交织的左眼和右眼视差复合图像。在一些实施例中,复合图像可以为上下交织的渲染色彩和景深的复合图像。
如图5E所示,3D视频信号的视频帧包含棋盘格式的具有2m×n分辨率的复合图像507。在一些实施例中,复合图像可以为棋盘格式的左眼和右眼视差复合图像。在一些实施例中,复合图像可以为棋盘格式的渲染色彩图像和景深图像。
本领域技术人员将明白,附图所示的实施例仅是示意性的,3D视频信号的视频帧所包含的两幅图像或复合图像可以包括其他类型的图像以及可以呈其他排布形式,这落入本公开实施例的范围内。
在一些实施例中,m×n的分辨率可以为全高清(FHD)以上的分辨率,包括但不限于,1920×1080、1920×1200、2048×1280、2560×1440、3840×2160等。
在一些实施例中,至少一个3D视频处理单元130在接收到包括两幅图像的视频帧后,基于两幅图像之一渲染各复合子像素中至少一个子像素并基于两幅图像中另一幅渲染各复合子像素中至少另一个子像素。类似地,在一些实施例中,至少一个3D视频处理单元在接收到包括复合图像的视频帧后,基于复合图像渲染各复合子像素中至少两个子像素。例如,根据复合图像中的第一图像(部分)渲染至少一个子像素,根据第二图像(部分)渲染至少另一个子像素。
在一些实施例中,这例如是基于人眼追踪数据来动态渲染。
作为解释而非限制地,由于在本公开实施例中的3D视频处理单元130通过例如构造为内部接口的视频信号接口140接收到的视频帧数据包含的两幅图像,各图像的分辨率(或复合图像分辨率的一半)与按照视点划分的复合像素(其包括按照视点划分的复合子像素)相对应。一方面,由于视点信息与传输过程无关,这能够实现处理计算量小且分辨率不受损失的裸眼3D显示;另一方面,由于复合像素(复合子像素)对应于视点设置,显示屏的渲染能够以“点对点”的方式实现,大大降低了计算量。相比之下,常规的裸眼立体显示器的图像或视频的传输和显示仍以2D显示面板为基础,不仅存在分辨率下降和渲染计算量剧增的问题,还可能存在多次格式调整和图像或视频显示适配的问题。
在一些实施例中,处理器101的寄存器122可用于接收有关多视点裸眼立体显示屏110的显示要求的信息,信息典型地为与i个视点无关地且与多视点裸眼立体显示屏110的m×n分辨率相关的信息,以便处理器101向多视点裸眼立体显示屏110发送符合其显示要求的3D视频信号的视频帧。信息例如可以为用于初始建立视频传输发送的数据包。
因此,在传输3D视频信号的视频帧时,处理器101无需考虑与多视点裸眼立体显示屏110的i个视点相关的信息(i≥3)。而是,处理器101凭借寄存器122接收到的与多视点裸眼立体显示屏110的m×n分辨率相关的信息就能够向多视点裸眼立体显示屏110发送符合其要求的3D视频信号的视频帧。
在一些实施例中,三维图像显示设备100还可以包括编解码器,配置为对压缩的3D视频信号解压缩和编解码并将解压缩的3D视频信号经视频信号接口140发送至至少一个3D视频处理单元130。
在一些实施例中,三维图像显示设备100的处理器101从存储器读取或从三维图像显示设备100以外、例如通过外部接口接收3D视频信号的视频帧,然后经由视频信号接口140将读取到的或接收到的3D视频信号的视频帧传输到至少一个3D视频处理单元130。
在一些实施例中,三维图像显示设备100还包括格式调整器(未示出),其例如集成在处理器101中,构造为编解码器或者作为GPU的一部分,用于预处理3D视频信号的视频帧,以使其包含的两幅图像具有m×n的分辨率或者使其包含的复合图像具有2m×n或m×2n的分辨率。
如前所述,本公开一些实施例提供的三维图像显示设备可以是包含处理器的三维图像显示设备。在一些实施例中,三维图像显示设备可构造为智能蜂窝电话、平板电脑、智能电视、可穿戴设备、车载设备、笔记本电脑、超级移动个人计算机(UMPC)、上网本、个人数字助理(PDA)等。
示例性的,图2示出了实施为移动终端、如智能蜂窝电话或平板电脑的三维图像显示设备200的硬件结构示意图。三维图像显示设备200可以包括处理器201,外部存储接口202,(内部)存储器203,通用串行总线(USB)接口204,充电管理模块205,电源管理模块206,电池207,移动通信模块208,无线通信模块210,天线209、211,音频模块212,扬声器213,受话器214,麦克风215,耳机接口216,按键217,马达218,指示器219,用户标识模块(SIM)卡接口220,多视点裸眼立体显示屏110,3D视频处理单元130,视频信号接口140,摄像单元221,人眼追踪装置150,以及传感器模块230等。其中传感器模块230可以包括接近光传感器2301,环境光传感器2302,压力传感器2303,气压传感器2304,磁传感器2305,重力传感器2306,陀螺仪传感器2307,加速度传感器2308,距离传感器2309,温度传感器2310,指纹传感器2311,触摸传感器2312,骨传导传感器2313等。
可以理解的是,本公开实施例示意的结构并不构成对三维图像显示设备200的具体限定。在本公开另一些实施例中,三维图像显示设备200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器201可以包括一个或一个以上处理单元,例如:处理器201可以包括应用处理器(AP),调制解调处理器,基带处理器,图形处理器(GPU)223,图像信号处理器(ISP),控制器,存储器,视频编解码器224,数字信号处理器(DSP),基带处理器、神经网络处理器(NPU)等或它们的组合。其中,不同的处理单元可以是独立的器件,也可以集成在一个或一个以上处理器中。
处理器201中还可以设置有高速缓存器,用于保存处理器201刚用过或循环使用的指令或数据。在处理器201要再次使用指令或数据时,可从存储器中直接调用。
在一些实施例中,处理器201可以包括一个或一个以上接口。接口可以包括集成电路(I2C)接口、集成电路内置音频(I2S)接口、脉冲编码调制(PCM)接口、通用异步收发传输器(UART)接口、移动产业处理器接口(MIPI)、通用输入输出(GPIO)接口、用户标识模块(SIM)接口、通用串行总线(USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(SDA)和一根串行时钟线(SCL)。在一些实施例中,处理器201可以包含多组I2C总线。处理器201可以通过不同的I2C总线接口分别通讯连接触摸传感器2312,充电器,闪光灯,摄像单元221、人眼追踪装置150等。
I2S接口和PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口被用于连接处理器201与无线通信模块210。
在图2所示的实施例中,MIPI接口可以被用于连接处理器201与多视点裸眼立体显示屏110。此外,MIPI接口还可被用于连接如摄像单元221、人眼追踪装置150等外围器件。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器201与摄像单元221,多视点裸眼立体显示屏110,无线通信模块210,音频模块212,传感器模块230等。
USB接口204是符合USB标准规范的接口,可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口204可以用于连接充电器为三维图像显示设备200充电,也可以用于三维图像显示设备200与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。
可以理解的是,本公开实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对三维图像显示设备200的结构限定。
三维图像显示设备200的无线通信功能可以通过天线209、211,移动通信模块208,无线通信模块210,调制解调处理器或基带处理器等实现。
天线209、211用于发射和接收电磁波信号。三维图像显示设备200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块208可以提供应用在三维图像显示设备200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块208可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(LNA)等。移动通信模块208可以由天线209接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块208还可以对经调制解调处理器调制后的信号放大,经天线209转为电磁波辐射出去。在一些实施例中,移动通信模块208的至少部分功能模块可以被设置于处理器201中。在一些实施例中,移动通信模块208的至少部分功能模块可以与处理器201的至少部分模块被设置在同一个器件中。
无线通信模块210可以提供应用在三维图像显示设备200上的包括无线局域网(WLAN),蓝牙(BT),全球导航卫星系统(GNSS),调频(FM),近距离无线通信技术(NFC),红外技术(IR)等无线通信的解决方案。无线通信模块210可以是集成至少一个通信处理模块的一个或一个以上器件。无线通信模块210经由天线211接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器201。无线通信模块210还可以从处理器201接收待发送的信号,对其进行调频,放大,经天线211转为电磁波辐射出去。
在一些实施例中,三维图像显示设备200的天线209和移动通信模块208耦合,天线211和无线通信模块210耦合,使得三维图像显示设备200可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(GSM),通用分组无线服务(GPRS),码分多址接入(CDMA),宽带码分多址(WCDMA),时分码分多址(TD-SCDMA),长期演进(LTE),BT,GNSS,WLAN,NFC,FM,或IR技术等中至少一项。GNSS可以包括全球卫星定位系统(GPS),全球导航卫星系统(GLONASS),北斗卫星导航系统(BDS),准天顶卫星系统(QZSS)或星基增强系统(SBAS)中至少一项。
在一些实施例中,用于接收3D视频信号的外部接口可以包括USB接口204、移动通信模块208、无线通信模块209或其组合。此外,还可以想到其他可行的用于接收3D视频信号的接口,例如上述的接口。
存储器203可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器201通过运行存储在存储器203的指令,从而执行三维图像显示设备200的各种功能应用以及数据处理。存储器203可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储三维图像显示设备200使用过程中所创建的数据(比如音频数据,电话本等)等。此外,存储器203可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(UFS)等。
外部存储器接口202可以用于连接外部存储卡,例如Micro SD卡,实现扩展三维图像显示设备200的存储能力。外部存储卡通过外部存储器接口202与处理器201通信,实现数据存储功能。
在一些实施例中,三维图像显示设备的存储器可以包括(内部)存储器203、外部存储器接口202连接的外部存储卡或其组合。在本公开另一些实施例中,视频信号接口也可以采用上述实施例中不同的内部接口连接方式或其组合。
在本公开的实施例中,摄像单元221可以采集图像或视频。
在一些实施例中,三维图像显示设备200通过视频信号接口140、3D视频处理单元130、多视点裸眼立体显示屏110,以及应用处理器等实现显示功能。
在一些实施例中,三维图像显示设备200可包括GPU,例如在处理器201内用于对3D视频图像进行处理,也可以对2D视频图像进行处理。
在一些实施例中,三维图像显示设备200还包括视频编解码器224,用于对数字视频压缩或解压缩。
在一些实施例中,视频信号接口140用于将经GPU或编解码器224或两者处理的3D视频信号、例如解压缩的3D视频信号的视频帧输出至3D视频处理单元130。
在一些实施例中,GPU或编解码器224集成有格式调整器。
多视点裸眼立体显示屏110用于显示三维(3D)图像或视频等。多视点裸眼立体显示屏110包括显示面板。显示面板可以采用液晶显示屏(LCD),有机发光二极管(OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(AMOLED),柔性发光二极管(FLED),Mini-LED,Micro-LED,Micro-OLED,量子点发光二极管(QLED)等。
在一些实施例中,人眼追踪装置150通讯连接至3D处理单元130,从而3D处理单元130可以基于人眼追踪数据渲染复合像素(复合子像素)中的相应子像素。在一些实施例中,人眼追踪装置150还可连接处理器201,例如旁路连接处理器201。
三维图像显示设备200可以通过音频模块212,扬声器213,受话器214,麦克风215,耳机接口216,以及应用处理器等实现音频功能。例如音乐播放,录音等。音频模块212用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块212还可以用于对音频信号编码和解码。在一些实施例中,音频模块212可以设置于处理器201中,或将音频模块212的部分功能模块设置于处理器201中。扬声器213用于将音频电信号转换为声音信号。三维图像显示设备200可以通过扬声器213收听音乐,或收听免提通话。受话器214,也称“听筒”,用于将音频电信号转换成声音信号。当三维图像显示设备200接听电话或语音信息时,可以通过将受话器214靠近人耳接听语音。麦克风215用于将声音信号转换为电信号。耳机接口216用于连接有线耳机。耳机接口216可以是USB接口204,也可以是3.5mm的开放移动三维图像显示设备平台(OMTP)标准接口,美国蜂窝电信工业协会(CTIA)标准接口。
按键217包括开机键,音量键等。按键217可以是机械按键。也可以是触摸式按键。三维图像显示设备200可以接收按键输入,产生与三维图像显示设备200的用户设置以及功能控制有关的键信号输入。
马达218可以产生振动提示。马达218可以用于来电振动提示,也可以用于触摸振动反馈。
SIM卡接口220用于连接SIM卡。在一些实施例中,三维图像显示设备200采用eSIM,即:嵌入式SIM卡。
压力传感器2303用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器2303可以设置于多视点裸眼立体显示屏110,这落入本公开实施例的范围内。
气压传感器2304用于测量气压。在一些实施例中,三维图像显示设备200通过气压传感器2304测得的气压值计算海拔高度,辅助定位和导航。
磁传感器2305包括霍尔传感器。
重力传感器2306是将运动或重力转换为电信号的传感器,主要用于倾斜角、惯性力、冲击及震动等参数的测量。
陀螺仪传感器2307可以用于确定三维图像显示设备200的运动姿态。
加速度传感器2308可检测三维图像显示设备200在各个方向上(一般为三轴)加速度的大小。
距离传感器2309可用于测量距离
温度传感器2310可用于检测温度。
指纹传感器2311用于采集指纹。三维图像显示设备200可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
触摸传感器2312可以设置于多视点裸眼立体显示屏110中,由触摸传感器2312与多视点裸眼立体显示屏110组成触摸屏,也称“触控屏”。
骨传导传感器2313可以获取振动信号。
充电管理模块205用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块205可以通过USB接口204接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块205可以通过三维图像显示设备200的无线充电线圈接收无线充电输入。
电源管理模块206用于连接电池207,充电管理模块205与处理器201。电源管理模块206接收电池207或充电管理模块205中至少一项的输入,为处理器201,存储器203,外部存储器,多视点裸眼立体显示屏110,摄像单元221,和无线通信模块210等供电。在另一些实施例中,电源管理模块206和充电管理模块205也可以设置于同一个器件中。
三维图像显示设备200的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本公开所示的实施例以分层架构的安卓系统为例,示例性说明三维图像显示设备200的软件结构。但可以想到,本公开的实施例可以在不同的软件系统、如操作系统中实施。
图3是本公开实施例的三维图像显示设备200的软件结构示意图。分层架构将软件分成若干个层。层与层之间通过软件接口通信。在一些实施例中,将安卓系统分为四层,从上至下分别为应用程序层310,框架层320,核心类库和运行时(Runtime)330,以及内核层340。
应用程序层310可以包括一系列应用程序包。如图3所示,应用程序包可以包括蓝牙,WLAN,导航,音乐,相机,日历,通话,视频,图库,地图,短信息等应用程序。根据本公开实施例的3D视频显示方法,例如可以在视频应用程序中实施。
框架层320为应用程序层的应用程序提供应用编程接口(API)和编程框架。框架层包括一些预先定义的函数。例如,在本公开的一些实施例中,对所采集的3D视频图像进行识别的函数或者算法以及处理图像的算法等可以包括在框架层。
如图3所示,框架层320可以包括资源管理器、电话管理器、内容管理器、通知管理器、窗口管理器,视图系统,安装包管理器等。
安卓Runtime(运行时)包括核心库和虚拟机。安卓Runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言要调用的功能函数,另一部分是安卓的核心库。
应用程序层和框架层运行在虚拟机中。虚拟机将应用程序层和框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
核心类库可以包括多个功能模块。例如:三维图形处理库(例如:OpenGL ES),表面管理器,图像处理库,媒体库,图形引擎(例如:SGL)等。
内核层340是硬件和软件之间的层。内核层至少包含摄像头驱动,音视频接口,通话接口,Wifi接口,传感器驱动,电源管理,GPS接口。
在此,以具有图2和图3所示结构的作为移动终端的三维图像显示设备为例,描述三维图像显示设备中的3D视频传输和显示的实施例;但是,可以想到,在另一些实施例中可以包括更多或更少的特征或对其中的特征进行改变。
在一些实施例中,例如为移动终端、如智能蜂窝电话或平板电脑的三维图像显示设备200例如借助作为外部接口的移动通信模块208及天线209或者无线通信模块210及天线211从网络、如蜂窝网络、WLAN网络、蓝牙接收例如压缩的3D视频信号,压缩的3D视频信号例如经GPU223进行图像处理、编解码器224编解码和解压缩,然后例如经作为内部接口的视频信号接口140、如MIPI接口或mini-MIPI接口将解压缩的3D视频信号发送至至少一个3D视频处理单元130,解压缩的3D视频信号的视频帧包括本公开实施例的两幅图像或复合图像。进而,3D视频处理单元130相应地渲染显示屏的复合子像素中的子像素,由此实现3D视频播放。
在另一些实施例中,三维图像显示设备200读取(内部)存储器203或通过外部存储器接口202读取外部存储卡中存储的压缩的3D视频信号,并经相应的处理、传输和渲染来实现3D视频播放。
在一些实施例中,上述3D视频的播放是在安卓系统应用程序层310中的视频应用程序中实施的。
本公开实施例还可以提供一种用于根据本公开实施例的多视点裸眼立体显示屏110的三维(3D)图像显示方法。
参考图7,在一些实施例中,三维(3D)图像显示方法包括:
S701:传输3D视频信号的视频帧,视频帧包含具有m×n分辨率的两幅图像;
S702:基于这两幅图像之一渲染多视点裸眼立体显示屏110的各复合像素的各复合子像素中的至少一个子像素;
S703:基于这两幅图像另一幅渲染多视点裸眼立体显示屏110的各复合像素的各复合子像素中的至少另一个子像素;
参考图8,在一些实施例中,三维(3D)图像显示方法包括:
S801:传输3D视频信号的视频帧,视频帧包含具有2m×n或m×2n分辨率的复合图像;
S802:基于复合图像渲染多视点裸眼立体显示屏110的各复合像素的各复合子像素中的至少两个子像素。
参考图9,在一些实施例中,三维(3D)图像显示方法包括:
S901:传输与多视点裸眼立体显示屏110的i个视点无关地且与显示屏m×n的显示分辨率相关的信息;
S902:传输3D视频信号的视频帧,视频帧包含具有m×n分辨率的两幅图像;
S903:基于这两幅图像之一渲染多视点裸眼立体显示屏110的各复合像素的各复合子像素中的至少一个子像素;
S904:基于这两幅图像另一幅渲染多视点裸眼立体显示屏110的各复合像素的各复合子像素中的至少另一个子像素。
在一些实施例中,上述3D视频信号的视频帧包含具有2m×n或m×2n分辨率的复合图像,从而传输3D视频信号的视频帧之后,基于复合图像渲染多视点裸眼立体显示屏110的各复合像素的各复合子像素中的至少两个子像素。
参考图10,在一些实施例中,三维(3D)图像显示方法包括:
S1001:传输与多视点裸眼立体显示屏110的i个视点无关地且与其m×n的显示分辨率相关的信息;
S1002:读取存储的压缩3D视频信号或者从三维图像显示设备外接收压缩3D视频信号;
S1003:对压缩3D视频信号解压缩和编解码成解压缩的3D视频信号;
S1004:传输解压缩的3D视频信号的视频帧,视频帧包含具有m×n分辨率的两幅图像;
S1005:基于这两幅图像之一渲染多视点裸眼立体显示屏110的各复合像素的各复合子像素中的至少一个子像素;
S1006:基于这两幅图像另一幅渲染多视点裸眼立体显示屏110的各复合像素的各复合子像素中的至少另一个子像素。
在一些实施例中,上述3D视频信号的视频帧包含具有2m×n或m×2n分辨率的复合图像,从而传输3D视频信号的视频帧之后,基于复合图像渲染多视点裸眼立体显示屏110的各复合像素的各复合子像素中的至少两个子像素。
参考图11,在一些实施例中,三维(3D)图像显示方法包括:
S1101:传输与多视点裸眼立体显示屏110的i个视点无关地且与其m×n的显示分辨率相关的信息;
S1102:预处理3D视频信号的视频帧使得视频帧包含具有m×n分辨率的两幅图像;
S1103:传输3D视频信号的视频帧;
S1104:基于这两幅图像之一渲染多视点裸眼立体显示屏110的各复合像素的各复合子像素中的至少一个子像素;
S1105:基于这两幅图像另一幅渲染多视点裸眼立体显示屏110的各复合像素的各复合子像素中的至少另一个子像素。
在一些实施例中,上述3D视频信号的视频帧包含具有2m×n或m×2n分辨率的复合图像,从而传输3D视频信号的视频帧之后,基于复合图像渲染多视点裸眼立体显示屏110的各复合像素的各复合子像素中的至少两个子像素。
在一些实施例中,三维图像显示设备200可以包括人眼追踪装置或可读取人眼追踪数据,以获得或读取观看者的实时的人眼追踪数据,从而实现对多视点裸眼立体显示屏110的动态渲染。
本公开实施例提供了一种三维图像显示设备1200,参考图12,三维图像显示设备包括:
处理器1210和存储器1211,还可以包括通信接口1212和总线1213。其中,处理器1210、通信接口1212、存储器1211以通过总线1213完成相互间的通信。通信接口1213可以用于信息传输。处理器1210可以调用存储器1211中的逻辑指令,以执行上述实施例的三维图像显示方法。
此外,上述的存储器1211中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器1211作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令/模块。处理器1210通过运行存储在存储器1211中的程序指令/模块,从而执行功能应用以及数据处理,即实现上述方法实施例中的三维图像显示方法。
存储器1211可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器1211可以包括高速随机存取存储器,还可以包括非易失性存储器。
本公开实施例提供了一种产品、例如智能电视、智能蜂窝电话、平板电脑、个人计算机或可穿戴设备,其构造为或包含上述的三维图像显示设备。
本公开实施例提供了一种计算机可读存储介质,存储有计算机可执行指令,该计算机可执行指令设置为执行上述三维图像显示方法。
本公开实施例提供了一种计算机程序产品,包括存储在计算机可读存储介质上的计算机程序,该计算机程序包括程序指令,当该程序指令被计算机执行时,使上述计算机执行上述三维图像显示方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质,也可以是非暂态计算机可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括一个或多个指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开实施例的方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质,包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例,以使本领域技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的部件和功能是可选的,并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围,以及权利要求书的所有可获得的等同物。当用于本申请中时,虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件,但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如,在不改变描述的含义的情况下,第一元件可以叫做第二元件,并且同样第,第二元件可以叫做第一元件,只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件,但可以不是相同的元件。而且,本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的,除非上下文清楚地表明,否则单数形式的“一个”和“所述”旨在同样包括复数形式。另外,当用于本申请中时,术语“包括”等指陈述的特征、整体、步骤、操作、元素或组件中至少一项的存在,但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件或这些的分组的存在或添加。在没有更多限制的情况下,由语句“包括一个…”限定的要素,并不排除在包括该要素的过程、方法或者设备中还存在另外的相同要素。本文中,每个实施例重点说明的可以是与其他实施例的不同之处,各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言,如果其与实施例公开的方法部分相对应,那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,可以取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能,但是这种实现不应认为超出本公开实施例的范围。本领域技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本文所披露的实施例中,所揭露的方法、产品(包括但不限于装置、设备等),可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,可以仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外,在本公开实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中,不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生,有时不同的操作或步骤之间不存在特定的顺序。例如,两个连续的操作或步骤实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
Claims (20)
1.一种三维图像显示设备,其特征在于,包括:
多视点裸眼立体显示屏,包括m×n个复合像素并因此限定出m×n的显示分辨率;
用于接收3D视频信号的视频帧的视频信号接口,其中,所述3D视频信号的视频帧包含具有m×n分辨率的两幅图像或者包含具有2m×n或m×2n分辨率的复合图像;
至少一个3D视频处理单元;
其中,每个复合像素包括多个复合子像素,各复合子像素由对应于i个视点的i个同色子像素构成,其中i≥3;
其中,所述至少一个3D视频处理单元配置为基于所述两幅图像之一渲染各复合子像素中至少一个子像素并基于所述两幅图像中另一幅渲染各复合子像素中至少另一个子像素;或者所述至少一个3D视频处理单元配置为基于所述复合图像渲染各复合子像素中至少两个子像素。
2.根据权利要求1所述的三维图像显示设备,其特征在于,所述三维图像显示设备还包括处理器、存储器和外部接口,所述视频信号接口为内部接口且配置成通讯连接所述处理器和所述至少一个3D视频处理单元。
3.根据权利要求2所述的三维图像显示设备,其特征在于,所述处理器包括寄存器,所述寄存器配置成与所述i个视点无关地接收与所述m×n的显示分辨率相关的信息。
4.根据权利要求2或3所述的三维图像显示设备,其特征在于,所述存储器配置成存储压缩的3D视频信号或者所述外部接口配置成接收压缩的3D视频信号;其中,所述三维图像显示设备还包括编解码器,配置为对所述压缩的3D视频信号解压缩和编解码并将解压缩的3D视频信号经所述视频信号接口发送至所述至少一个3D视频处理单元。
5.根据权利要求2至4之一所述的三维图像显示设备,其特征在于,所述内部接口选自MIPI、mini-MIPI接口、LVDS接口、mini-LVDS接口或Display Port接口中至少一个。
6.根据权利要求2至5之一所述的三维图像显示设备,其特征在于,设置至少两个3D视频处理单元,各3D视频处理单元被配置为各自分配有多行或者多列复合像素或复合子像素。
7.根据权利要求1至6之一所述的三维图像显示设备,其特征在于,所述至少一个3D视频处理单元为FPGA或ASIC芯片或FPGA或ASIC芯片组。
8.根据权利要求1至7之一所述的三维图像显示设备,其特征在于,所述三维图像显示设备还包括用于预处理所述3D视频信号的视频帧使得所述两幅图像具有m×n分辨率或者所述复合图像具有2m×n或m×2n分辨率的格式调整器。
9.根据权利要求1至8之一所述的三维图像显示设备,其特征在于,所述两幅图像为并列格式的左眼视差图像和右眼视差图像、并列格式的渲染色彩图像和景深图像;上下格式的左眼视差图像和右眼视差图像或者上下格式的渲染色彩图像和景深图像。
10.根据权利要求1至9之一所述的三维图像显示设备,其特征在于,所述复合图像为左右交织的左眼和右眼视差复合图像、左右交织的渲染色彩图像和景深复合图像、上下交织的左眼和右眼视差复合图像、上下交织的渲染色彩图像和景深复合图像、棋盘格式的左眼和右眼视差复合图像、棋盘格式的渲染色彩图像和景深复合图像。
11.根据权利要求1至10之一所述的三维图像显示设备,其特征在于,各复合子像素包括单行或单列的多个子像素。
12.根据权利要求1至10之一所述的三维图像显示设备,其特征在于,各复合子像素包括成阵列形式的多个子像素。
13.根据权利要求1至12之一所述的三维图像显示设备,其特征在于,所述多个复合子像素包括红色复合子像素、绿色复合子像素和蓝色复合子像素。
14.根据权利要求1至13之一所述的三维图像显示设备,其特征在于,所述三维图像显示设备还包括用于获取实时人眼追踪数据的人眼追踪装置或人眼追踪数据接口。
15.一种三维图像显示方法,其特征在于,其中,所述多视点裸眼立体显示屏包括m×n个复合像素并因此限定出m×n的显示分辨率,每个复合像素包括多个复合子像素,各复合子像素由对应于i个视点的i个同色子像素构成,其中i≥3,
所述方法包括:
传输3D视频信号的视频帧,包含具有m×n分辨率的两幅图像或者包含具有2m×n或m×2n分辨率的复合图像;和
基于所述两幅图像之一渲染各复合子像素中至少一个子像素并基于所述两幅图像中另一幅渲染各复合子像素中至少另一个子像素;或者
基于所述复合图像渲染各复合子像素中至少两个子像素。
16.根据权利要求15所述的方法,其特征在于,还包括:
在传输3D视频信号的视频帧之前,传输与所述i个视点无关地且所述m×n的显示分辨率相关的信息。
17.根据权利要求15或16所述的方法,其特征在于,所述3D视频信号是解压缩的3D视频信号;
所述方法还包括:
在传输3D视频信号的视频帧之前,读取存储的压缩3D视频信号或者从三维图像显示设备外接收压缩3D视频信号;和
对所述压缩3D视频信号解压缩和编解码成所述解压缩的3D视频信号。
18.根据权利要求15至17之一所述的方法,其特征在于,还包括:预处理所述3D视频信号的视频帧使得所述两幅图像具有m×n分辨率或者所述复合图像具有2m×n或m×2n分辨率。
19.一种三维图像显示设备,包括处理器和存储有程序指令的存储器,其特征在于,所述三维图像显示设备还包括多视点裸眼立体显示屏,所述多视点裸眼立体显示屏包括m×n个复合像素并因此限定出m×n的显示分辨率,每个复合像素包括多个复合子像素,各复合子像素由对应于i个视点的i个同色子像素构成,其中i≥3,所述处理器被配置为在执行所述程序指令时,执行如权利要求15至18任一项所述的方法。
20.根据权利要求19所述的三维图像显示设备,其特征在于,所述三维图像显示设备为智能电视、智能蜂窝电话、平板电脑、个人计算机或可穿戴设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910937968.XA CN112584125B (zh) | 2019-09-30 | 2019-09-30 | 三维图像显示设备及其显示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910937968.XA CN112584125B (zh) | 2019-09-30 | 2019-09-30 | 三维图像显示设备及其显示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112584125A true CN112584125A (zh) | 2021-03-30 |
CN112584125B CN112584125B (zh) | 2024-07-30 |
Family
ID=75116127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910937968.XA Active CN112584125B (zh) | 2019-09-30 | 2019-09-30 | 三维图像显示设备及其显示方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112584125B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113012621A (zh) * | 2021-05-25 | 2021-06-22 | 北京芯海视界三维科技有限公司 | 时序控制器及显示设备 |
CN113012636A (zh) * | 2021-05-25 | 2021-06-22 | 北京芯海视界三维科技有限公司 | 一种时序控制器及显示设备 |
CN113556527A (zh) * | 2021-07-07 | 2021-10-26 | 上海谙赋信息科技有限公司 | 一种广告宣传设计效果图智能化3d展示系统 |
CN115047645A (zh) * | 2022-05-20 | 2022-09-13 | 北京芯海视界三维科技有限公司 | 显示屏及显示装置 |
WO2022247647A1 (zh) * | 2021-05-25 | 2022-12-01 | 北京芯海视界三维科技有限公司 | 时序控制器和显示设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN203025421U (zh) * | 2012-12-26 | 2013-06-26 | 黑龙江省四维影像数码科技有限公司 | 带有垂直柱镜光栅的自由立体显示屏 |
CN104079919A (zh) * | 2009-11-04 | 2014-10-01 | 三星电子株式会社 | 使用主动亚像素渲染的高密度多视点图像显示系统及方法 |
CN105282539A (zh) * | 2014-07-18 | 2016-01-27 | 三星电子株式会社 | 曲面多视点图像显示设备及其控制方法 |
US20180109772A1 (en) * | 2016-01-20 | 2018-04-19 | Shenzhen Skyworth-RGB Electronics., Ltd. | Naked-eye 3d display method and system thereof |
CN110072099A (zh) * | 2019-03-21 | 2019-07-30 | 朱晨乐 | 一种裸眼3d视频像素排列结构及排列方法 |
-
2019
- 2019-09-30 CN CN201910937968.XA patent/CN112584125B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104079919A (zh) * | 2009-11-04 | 2014-10-01 | 三星电子株式会社 | 使用主动亚像素渲染的高密度多视点图像显示系统及方法 |
CN203025421U (zh) * | 2012-12-26 | 2013-06-26 | 黑龙江省四维影像数码科技有限公司 | 带有垂直柱镜光栅的自由立体显示屏 |
CN105282539A (zh) * | 2014-07-18 | 2016-01-27 | 三星电子株式会社 | 曲面多视点图像显示设备及其控制方法 |
US20180109772A1 (en) * | 2016-01-20 | 2018-04-19 | Shenzhen Skyworth-RGB Electronics., Ltd. | Naked-eye 3d display method and system thereof |
CN110072099A (zh) * | 2019-03-21 | 2019-07-30 | 朱晨乐 | 一种裸眼3d视频像素排列结构及排列方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113012621A (zh) * | 2021-05-25 | 2021-06-22 | 北京芯海视界三维科技有限公司 | 时序控制器及显示设备 |
CN113012636A (zh) * | 2021-05-25 | 2021-06-22 | 北京芯海视界三维科技有限公司 | 一种时序控制器及显示设备 |
WO2022247646A1 (zh) * | 2021-05-25 | 2022-12-01 | 北京芯海视界三维科技有限公司 | 时序控制器及显示设备 |
WO2022247645A1 (zh) * | 2021-05-25 | 2022-12-01 | 北京芯海视界三维科技有限公司 | 一种时序控制器及显示设备 |
WO2022247647A1 (zh) * | 2021-05-25 | 2022-12-01 | 北京芯海视界三维科技有限公司 | 时序控制器和显示设备 |
CN113556527A (zh) * | 2021-07-07 | 2021-10-26 | 上海谙赋信息科技有限公司 | 一种广告宣传设计效果图智能化3d展示系统 |
CN113556527B (zh) * | 2021-07-07 | 2023-08-29 | 上海谙赋信息科技有限公司 | 一种广告宣传设计效果图智能化3d展示系统 |
CN115047645A (zh) * | 2022-05-20 | 2022-09-13 | 北京芯海视界三维科技有限公司 | 显示屏及显示装置 |
CN115047645B (zh) * | 2022-05-20 | 2024-04-19 | 北京芯海视界三维科技有限公司 | 显示屏及显示装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112584125B (zh) | 2024-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112584125B (zh) | 三维图像显示设备及其显示方法 | |
TWI818211B (zh) | 眼部定位裝置、方法及3d顯示裝置、方法 | |
CN113473005B (zh) | 拍摄中转场动效插入方法、设备、存储介质 | |
CN112929649A (zh) | 多视点裸眼3d显示屏、多视点裸眼3d显示终端 | |
CN211791829U (zh) | 3d显示设备 | |
CN113806456A (zh) | 网格编码方法和装置 | |
CN211528831U (zh) | 多视点裸眼3d显示屏、裸眼3d显示终端 | |
TWI782361B (zh) | 3d顯示裝置、方法及終端 | |
CN211128026U (zh) | 多视点裸眼3d显示屏、多视点裸眼3d显示终端 | |
CN211791828U (zh) | 3d显示设备 | |
US20150077575A1 (en) | Virtual camera module for hybrid depth vision controls | |
TWI790511B (zh) | 實現3d圖像顯示的方法、3d顯示設備 | |
EP4068780A1 (en) | Method for realizing 3d image display, and 3d display device | |
CN112925109A (zh) | 多视点裸眼3d显示屏、裸眼3d显示终端 | |
CN112929645A (zh) | 3d显示设备、系统和方法及3d视频数据通信方法 | |
CN113923351B (zh) | 多路视频拍摄的退出方法、设备和存储介质 | |
CN211930763U (zh) | 3d显示设备 | |
CN115908221B (zh) | 图像处理方法、电子设备及存储介质 | |
CN112929641A (zh) | 3d图像显示方法、3d显示设备 | |
CN112929648A (zh) | 实现3d图像显示的方法、3d显示设备 | |
CN114827440A (zh) | 基于光场显示的显示模式的转换方法及转换装置 | |
CN115696067A (zh) | 终端的图像处理方法、装置和终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |