CN112929643B - 3d显示设备、方法及终端 - Google Patents

3d显示设备、方法及终端 Download PDF

Info

Publication number
CN112929643B
CN112929643B CN201911231290.XA CN201911231290A CN112929643B CN 112929643 B CN112929643 B CN 112929643B CN 201911231290 A CN201911231290 A CN 201911231290A CN 112929643 B CN112929643 B CN 112929643B
Authority
CN
China
Prior art keywords
sub
pixels
composite
eyes
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911231290.XA
Other languages
English (en)
Other versions
CN112929643A (zh
Inventor
刁鸿浩
黄玲溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ivisual 3D Technology Co Ltd
Original Assignee
Vision Technology Venture Capital Pte Ltd
Beijing Ivisual 3D Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vision Technology Venture Capital Pte Ltd, Beijing Ivisual 3D Technology Co Ltd filed Critical Vision Technology Venture Capital Pte Ltd
Priority to CN201911231290.XA priority Critical patent/CN112929643B/zh
Priority to PCT/CN2020/133327 priority patent/WO2021110033A1/zh
Priority to US17/779,648 priority patent/US20220408077A1/en
Priority to EP20896638.2A priority patent/EP4068772A4/en
Priority to TW109142825A priority patent/TWI782361B/zh
Publication of CN112929643A publication Critical patent/CN112929643A/zh
Application granted granted Critical
Publication of CN112929643B publication Critical patent/CN112929643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/368Image reproducers using viewer tracking for two or more viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/324Colour aspects

Abstract

本申请涉及裸眼式3D显示技术,公开一种3D显示设备,包括:多视点裸眼3D显示屏,包括多个复合像素,多个复合像素中的每个复合像素包括多个复合子像素,多个复合子像素中的每个复合子像素由对应于多个视点的多个子像素构成;人眼追踪装置,被配置为获取用户双眼的空间位置;3D处理装置,被配置为由用户双眼的空间位置确定视点,并基于接收到的3D信号渲染多个复合子像素中与视点对应的子像素。上述3D显示设备能实现高质量的裸眼式3D显示。本申请还公开一种3D显示方法和3D显示终端。

Description

3D显示设备、方法及终端
技术领域
本申请涉及裸眼式3D(立体)显示技术,例如涉及3D显示设备、3D显示方法及3D显示终端。
背景技术
3D(3D)影像是视像行业中的热点技术之一,推动着从平面显示向3D显示的技术变革。3D显示技术是3D影像产业中的关键一环,主要分为两类,即眼镜式3D显示和裸眼式3D显示技术。裸眼式3D显示技术是一种用户无需佩戴眼镜而能够之间观看到3D显示画面的技术。与眼镜式3D显示相比,裸眼式3D显示属于自由3D显示技术,减少了对用户的约束。
裸眼式3D显示是基于视点的,近来还提出了多视点的裸眼3D显示,从而在空间中不同位置处形成视差图像(帧)的序列,使得具有视差关系的3D图像对可以分别进入人的左右眼当中,从而给用户带来3D感。对于具有例如N个视点的传统的多视点裸眼3D显示器,要用显示面板上的多个独立像素来投射空间的多个视点。
在一些研究进展中,这样的多视点显示还基于人脸识别或人眼跟踪来提供更佳的观看体验。传统的人脸识别或人眼跟踪通常不是以实时的方式实现的。因而,根据识别或跟踪结果执行的渲染也不是实时的。这在观看情况发生变化时,很可能给用户造成不良的观看体验,这种情况例如为观看环境亮度增强、用户的视点位置发生偏移或移动等。也就是说,基于常规人脸识别或人眼跟踪执行的裸眼式3D显示存在显示模式单一、不灵活的问题。
此外,常规的裸眼3D显示通过传统2D显示面板实现,导致显示分辨率以视点数量为倍数成倍缩减。而且要想维持高清晰度的显示,需要传输分辨率以视点数量为倍数成倍增加的图像,这造成信号传输量太大以及渲染计算量激增的问题。
本背景技术仅为了便于了解本领域的相关技术,并不视作对现有技术的承认。
发明内容
为了对披露的实施例的一些方面有基本的理解,下面给出了实施例的概括,其不是要确定关键/重要组成元素或描绘发明的保护范围,而是作为后面的详细说明的序言。
本申请的实施例意图提供3D显示设备、3D显示方法和3D显示终端。
在一个方案中,提供一种3D显示设备,包括:多视点裸眼3D显示屏,包括多个复合像素,多个复合像素中的每个复合像素包括多个复合子像素,多个复合子像素中的每个复合子像素由对应于多个视点的多个子像素构成;人眼追踪装置,被配置为获取用户双眼的空间位置;3D处理装置,被配置为由用户双眼的空间位置确定视点,并基于接收到的3D信号渲染多个复合子像素中与视点对应的子像素。
在本公开实施例中,通过利用人眼追踪装置实时获取人眼追踪数据,能够根据观看情况及时调整裸眼3D显示,从而实现灵活度高的裸眼式3D显示,为用户提供良好的观看体验。而且,以复合像素的方式定义多视点裸眼3D显示屏的显示分辨率,因此在传输和显示时均以由复合像素定义的显示分辨率为考量因素,这能够有效实现传输和渲染计算量的减少,且仍具有优良的显示效果。这能实现高质量的裸眼式3D显示。
在一些实施例中,人眼追踪装置被配置为获取至少一个用户的各自的双眼的空间位置。
在一些实施例中,3D处理装置被配置为,响应于至少一个用户中每个用户的双眼之一位于单个视点或双眼分别位于单个视点,渲染多个复合子像素中与单个视点对应的子像素。
在本实施例中,实现针对用户的双眼各自所在的视点位置呈现精确的显示。
在一些实施例中,3D处理装置还被配置为:渲染与单个视点对应的子像素相邻的至少一个子像素。
在本实施例中,通过额外地渲染与人眼所在的单个视点对应的子像素的相邻的一个或两个子像素增强显示亮度,从而使显示效果适应强光环境;也可能的是,根据人眼追踪数据计算出用户的偏移或移动趋势,据此渲染用户有可能移动到的视点位置对应的子像素,从而主动地、或者说动态地适应观看情况,以获得优良的观看体验。
在一些实施例中,3D处理装置被配置为,响应于至少一个用户中每个用户的双眼之一位于两个视点之间或双眼分别位于两个视点之间,渲染多个复合子像素中与两个视点对应的子像素。
在本实施例中,能够实现的是,即使在用户的人眼横跨视点的情况下,也能实现清晰的显示效果;也可能的是,根据人眼追踪数据计算出用户的偏移或移动趋势,据此渲染用户有可能移动到的视点位置对应的子像素,或者据此渲染在用户移动过程中经过的视点位置对应的子像素,从而主动地、或者说动态地适应观看情况,以获得优良的观看体验。
在一些实施例中,3D显示设备还包括人脸检测装置,被配置为检测至少一个用户的人脸信息。
在本公开实施例中,通过检测用户的人脸信息,可以识别出用户的身份。这例如在如下情况中是有利的,即,曾经对这个用户的两个人眼或人脸已进行过检测,已知用户的瞳距或其他生物特征信息,那么两个人眼所在的视点位置能够利用已知信息更快地计算出来,进一步提升人脸识别速度或人眼追踪速度。
在一些实施例中,人眼追踪装置被配置为获取至少两个用户的各自的双眼的空间位置。
在本公开实施例中,通过实时获取至少两个用户各自的双眼视点位置,能够分别向至少两个用户提供精确的、定制化的、必要时有差异的裸眼式3D显示,使每个用户都能获得优良的观看体验。
在一些实施例中,3D处理装置为FPGA或ASIC芯片或FPGA或ASIC芯片组。
在一些实施例中,多个复合子像素中的每个复合子像素包括按行排列或按列排列的多个子像素。
在另一方案中,提供了一种3D显示方法,其特征在于,包括:获取用户双眼的空间位置;由用户双眼的空间位置确定视点;基于3D信号渲染多视点裸眼3D显示屏中的多个复合子像素中与视点对应的子像素;其中,多视点裸眼3D显示屏包括多个复合像素,多个复合像素中的每个复合像素包括多个复合子像素,多个复合子像素中的每个复合子像素由对应于多个视点的多个子像素构成。
在一些实施例中,获取用户双眼的空间位置和由用户双眼的空间位置确定视点包括:获取至少一个用户的双眼的空间位置;由至少一个用户的双眼的空间位置确定至少一个用户中每个用户的双眼所在的视点。
在一些实施例中,基于3D信号渲染多视点裸眼3D显示屏中的多个复合子像素中与视点对应的子像素包括:响应于至少一个用户中每个用户的双眼之一位于单个视点或双眼分别位于单个视点,渲染多个复合子像素中与单个视点对应的子像素。
在一些实施例中,基于3D信号渲染多视点裸眼3D显示屏中的多个复合子像素中与视点对应的子像素包括:响应于至少一个用户中每个用户的双眼之一位于单个视点或双眼分别位于单个视点,渲染多个复合子像素中与单个视点对应的子像素以及与单个视点对应的子像素相邻的至少一个子像素。
在一些实施例中,基于3D信号渲染多视点裸眼3D显示屏中的多个复合子像素中与视点对应的子像素包括:响应于至少一个用户中每个用户的双眼之一位于两个视点之间或双眼分别位于两个视点之间,渲染多个复合子像素中与两个视点对应的子像素。
在一些实施例中,3D显示方法还包括:检测至少一个用户的人脸信息。
在一些实施例中,检测至少一个用户的人脸信息包括:检测至少两个用户的人脸信息。
在另一方案中,提供了3D显示终端,包括处理器和存储有程序指令的存储器,其特征在于,还包括多视点裸眼3D显示屏,多视点裸眼3D显示屏包括多个复合像素,多个复合像素中的每个复合像素包括多个复合子像素,多个复合子像素中的每个复合子像素由对应于多个视点的多个子像素构成,处理器被配置为在执行程序指令时,执行如权利要求10至16任一项的方法。
在一些实施例中,3D显示终端为智能电视、智能蜂窝电话、平板电脑、个人计算机或可穿戴设备。
以上的总体描述和下文中的描述仅是示例性和解释性的,不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明,这些示例性说明和附图并不构成对实施例的限定,附图中具有相同参考数字标号的元件示为类似的元件,附图不构成比例限制,并且其中:
图1A和图1B是根据本公开实施例的3D显示设备的结构示意图;
图2是根据本公开实施例的3D显示设备的硬件结构示意图;
图3是图2所示的3D显示设备的软件结构示意图;
图4A和图4B是根据本公开实施例的复合像素的示意图;
图5A和图5B根据本公开实施例的响应于用户的视点位置执行的渲染的示意图,其中用户的两个人眼分别位于单个视点中;
图5C是根据本公开实施例的响应于用户的视点位置执行的渲染的示意图,其中用户的两个人眼之一横跨视点,另一个位于单个视点中;
图5D是根据本公开实施例的响应于用户的视点位置执行的渲染的示意图,其中用户的视点位置发生移动;
图5E是根据本公开实施例的响应于用户的视点位置执行的渲染的示意图,其中有两个用户;
图6是根据本公开实施例的3D显示方法的步骤示意图;
图7是根据本公开实施例的3D显示方法的步骤示意图;
图8是根据本公开实施例的3D显示方法的步骤示意图;
图9是根据本公开实施例的3D显示方法的步骤示意图;
图10是根据本公开实施例的3D显示方法的步骤示意图;
图11是根据本公开实施例的3D显示方法的步骤示意图;
图12是根据本公开实施例的3D显示方法的步骤示意图;
图13根据本公开实施例的3D显示终端的结构示意图。
附图标记:
100:3D显示设备;101:处理器;122:寄存器;110:多视点裸眼3D显示屏;130:3D处理装置;131:缓存器;140:视频信号接口;150:人眼追踪装置;158:人脸检测装置;CP:复合像素;CSP:复合子像素;200:3D显示设备;201:处理器;202:外部存储器接口;203:存储器;204:USB接口;205:充电管理模块;206:电源管理模块;207:电池;208:移动通信模块;209:天线;210:无线通信模块;211:天线;212:音频模块;213:扬声器;214:受话器;215:麦克风;216:耳机接口;217:按键;218:马达;219:指示器;220:SIM卡接口;221:摄像装置;222:寄存器;223:GPU;224:编解码器;230:传感器模块;2301:接近光传感器;2302:环境光传感器;2303:压力传感器;2304:气压传感器;2305:磁传感器;2306:重力传感器;2307:陀螺仪传感器;2308:加速度传感器;2309:距离传感器;2310:温度传感器;2311:指纹传感器;2312:触摸传感器;2313:骨传导传感器;310:应用程序层;320:框架层;330:核心类库和运行时(Runtime);340:内核层;400:复合像素;410、420、430:成单列布置的复合子像素;411、421、431:成单行布置的子像素;440、450、460:成单行布置的复合子像素;441、451、461:成单列布置的子像素;1300:3D显示终端;1310:处理器;1311:存储器;1312:通信接口;1313:总线。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容,下面结合附图对本公开实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本公开实施例。
定义
在本文中,“裸眼3D(立体)显示”涉及用户(观看者)无需佩戴3D显示用的眼镜而能在平面显示器上观察到3D的显示图像的技术,包括但不限于“视差屏障”、“柱状透镜”、“指向式背光”技术。
在本文中,“多视点”具有本领域的常规含义,意指在空间中不同位置(视点)处能观看到显示屏的不同像素或子像素显示的不同图像。在本文中,多视点将意味着至少3个视点。
在本文中,“光栅”具有本领域中广义的解释,包括但不限于“视差屏障”光栅和“透镜”光栅、如“柱状透镜”光栅。
在本文中,“透镜”或“透镜光栅”具有本领域的常规含义,例如包括柱状透镜和球面透镜。
常规的“像素”意指2D显示器或者作为2D显示器显示时就其分辨率而言的最小显示单位。
然而,在本文的一些实施例中,当应用于裸眼3D显示领域的多视点技术时所称的“复合像素”指裸眼3D显示器提供多视点显示时的最小显示单位,但不排除用于多视点技术的单个复合像素可包括或呈现为多个2D显示的像素。在本文中,除非具体说明为“3D显示”或“多视点”应用的复合像素或3D像素,像素将指2D显示时的最小显示单位。同样,当描述为多视点的裸眼3D显示“复合子像素”时,将指裸眼3D显示器提供多视点显示时的复合像素中呈现的单个颜色的复合子像素。在本文中,“复合子像素”中的子像素将指单个颜色的最小显示单位,其往往是与视点相对应的。
在一个方案中,提供一种3D显示设备,包括:多视点裸眼3D显示屏,包括m×n个复合像素;配置为接收3D信号的图像的视频信号接口;3D处理装置;配置为实时获取人眼追踪数据的人眼追踪装置;其中,每个复合像素包括多个复合子像素,各复合子像素由对应于i个视点的i个同色子像素构成,其中i≥3;其中,3D处理装置配置为,根据人眼追踪数据,基于3D信号的图像渲染各复合子像素中由人眼追踪数据确定的子像素。
在本公开实施例中,通过利用人眼追踪装置实时获取人眼追踪数据,能够根据观看情况及时调整裸眼3D显示,从而实现灵活度高的裸眼式3D显示,为用户提供良好的观看体验。而且,以复合像素的方式定义多视点裸眼3D显示屏的显示分辨率,因此在传输和显示时均以由复合像素定义的显示分辨率为考量因素,这能够有效实现传输和渲染计算量的减少,且仍具有优良的显示效果。这能实现高质量的裸眼式3D显示。
在一些实施例中,人眼追踪装置配置为实时检测至少一个用户的两个人眼所在的视点位置。
在一些实施例中,3D处理装置配置为,响应于每个用户的两个人眼之一位于单个视点中或两个人眼分别位于单个视点中,渲染各复合子像素中与单个视点对应的子像素。
在本实施例中,实现针对用户的双眼各自所在的视点位置呈现精确的显示。
在一些实施例中,3D处理装置配置为还渲染与单个视点对应的子像素的相邻的一个或两个子像素。
在本实施例中,通过额外地渲染与人眼所在的单个视点对应的子像素的相邻的一个或两个子像素增强显示亮度,从而使显示效果适应强光环境;也可能的是,根据人眼追踪数据计算出用户的偏移或移动趋势,据此渲染用户有可能移动到的视点位置对应的子像素,从而主动地、或者说动态地适应观看情况,以获得优良的观看体验。
在一些实施例中,3D处理装置配置为,响应于每个用户的两个人眼之一位于两个视点之间(横跨视点)或两个人眼横跨视点,渲染各复合子像素中与被横跨的视点对应的子像素。
在本实施例中,能够实现的是,即使在用户的人眼横跨视点的情况下,也能实现清晰的显示效果;也可能的是,根据人眼追踪数据计算出用户的偏移或移动趋势,据此渲染用户有可能移动到的视点位置对应的子像素,或者据此渲染在用户移动过程中经过的视点位置对应的子像素,从而主动地、或者说动态地适应观看情况,以获得优良的观看体验。
在一些实施例中,3D显示设备还包括配置为检测至少一个用户的人脸信息的人脸检测装置。
在本公开实施例中,通过检测用户的人脸信息,可以识别出用户的身份。这例如在如下情况中是有利的,即,曾经对这个用户的两个人眼或人脸已进行过检测,已知用户的瞳距或其他生物特征信息,那么两个人眼所在的视点位置能够利用已知信息更快地计算出来,进一步提升人脸识别速度或人眼追踪速度。
在一些实施例中,人眼追踪装置配置为实时获取至少两个用户的各自两个人眼所在的视点位置。
在本公开实施例中,通过实时获取至少两个用户各自的双眼视点位置,能够分别向至少两个用户提供精确的、定制化的、必要时有差异的裸眼式3D显示,使每个用户都能获得优良的观看体验。
在一些实施例中,3D处理装置为FPGA或ASIC芯片或FPGA或ASIC芯片组。
在一些实施例中,各复合子像素包括单行或单列的多个子像素。
在另一方案中,提供了一种用于多视点裸眼3D显示屏的3D显示方法,多视点裸眼3D显示屏包括m×n个复合像素,每个复合像素包括多个复合子像素,各复合子像素由对应于i个视点的i个同色子像素构成,其中i≥3,3D显示方法包括:传输3D信号的图像;实时获取人眼追踪数据;根据人眼追踪数据,基于3D信号的图像渲染各复合子像素中由人眼追踪数据确定的子像素。
在一些实施例中,实时获取人眼追踪数据包括:实时检测至少一个用户的两个人眼所在的视点位置。
在一些实施例中,渲染步骤包括:响应于每个用户的两个人眼之一位于单个视点中或两个人眼分别位于单个视点中,渲染各复合子像素中与单个视点对应的子像素。
在一些实施例中,渲染步骤包括:响应于每个用户的两个人眼之一位于单个视点中或两个人眼分别位于单个视点中,渲染各复合子像素中与单个视点对应的子像素以及与单个视点对应的子像素相邻的一个或两个子像素。
在一些实施例中,渲染步骤包括:响应于每个用户的两个人眼之一横跨视点或两个人眼横跨视点,渲染各复合子像素中与被横跨的视点对应的子像素。
在一些实施例中,3D显示方法还包括:检测至少一个用户的人脸信息。
在一些实施例中,检测至少一个用户的人脸信息包括检测至少两个用户的人脸信息。
图1A示出了根据本公开实施例的3D显示设备的结构示意图。参考图1A,提供了一种3D显示设备100,多视点裸眼3D显示屏110、3D处理装置130、配置为接收3D信号的图像的视频信号接口140和人眼追踪装置150。
多视点裸眼3D显示屏110可包括显示面板和覆盖在显示面板上的光栅(未标识)。在图1A所示的实施例中,多视点裸眼3D显示屏110包括m×n个复合像素并因此限定出m×n的显示分辨率。如图1A所示,多视点裸眼3D显示屏110包括m列n行个复合像素并因此限定出m×n的显示分辨率。
在一些实施例中,m×n的显示分辨率可以为全高清(FHD)以上的分辨率,包括但不限于,1920×1080、1920×1200、2048×1280、2560×1440、3840×2160等。
在一些实施例中,3D处理装置与多视点裸眼3D显示屏通信连接。
在一些实施例中,3D处理装置与多视点裸眼3D显示屏的驱动装置通信连接。
在一些实施例中,每个复合像素包括多个复合子像素,各复合子像素由对应于i个视点的i个同色子像素构成,i≥3。在图1A所示的实施例中,i=6,但可以想到i为其他数值。在所示的实施例中,多视点裸眼3D显示屏可相应地具有i(i=6)个视点(V1-V6),但可以想到可以相应地具有更多或更少个视点。
结合参考图1A和图4A,在所示的实施例中,每个复合像素包括三个复合子像素,并且每个复合子像素由对应于6视点(i=6)的6个同色子像素构成。三个复合子像素分别对应于三种颜色,即红(R)、绿(G)和蓝(B)。
如图4A所示,复合像素400中的三个复合子像素410、420、430成单列布置。各复合子像素410、420、430包括成单行布置的子像素411、421、431。但可以想到,复合像素中的复合子像素不同排布方式或复合子像素中的子像素的不同排布形式。
如图4B所示,复合像素400中的三个复合子像素440、450、460成单行布置。各复合子像素440、450、460包括成单列形式的子像素441、451、461。
在一些实施例中,例如图1A和图1B所示,3D显示设备100设置有单个3D处理装置130。单个3D处理装置130同时处理对裸眼3D显示屏110的各复合像素的各复合子像素的渲染。
在另一些未示出的实施例中,3D显示设备100可设置有例如两个、三个或更多个3D处理装置130,它们并行、串行或串并行结合地处理对裸眼3D显示屏110的各复合像素的各复合子像素的渲染。
本领域技术人员将明白,两个、三个或更多个3D处理装置可以有其他的方式分配且并行处理裸眼3D显示屏110的多行多列复合像素或复合子像素,这落入本公开实施例的范围内。
在一些实施例中,3D处理装置130还可以包括缓存器131,以便缓存所接收到的图像。
在一些实施例中,3D处理装置为FPGA或ASIC芯片或FPGA或ASIC芯片组。
继续参考图1A,3D显示设备100还包括通过视频信号接口140通信连接至3D处理装置130的处理器101。在一些实施例中,处理器101被包括在计算机或智能终端、如移动终端中或作为其处理器单元。但是可以想到,在另一些实施例中,处理器101可以设置在3D显示设备的外部,例如3D显示设备可以为带有3D处理装置的多视点裸眼3D显示器,例如非智能的裸眼3D电视,例如设置在公共交通设施中的移动电视。
为简单起见,在下文中,3D显示设备的示例性实施例内部包括处理器。进而,视频信号接口140构造为连接处理器101和3D处理装置130的内部接口,参考图2和图3所示的以移动终端方式实施的3D显示设备200可更明确这种结构。在一些实施例中,作为3D显示设备200的内部接口的视频信号接口140可以为MIPI、mini-MIPI接口、LVDS接口、min-LVDS接口或Display Port接口。在一些实施例中,如图1A所示,3D显示设备100的处理器101还可包括寄存器122。寄存器122可用与暂存指令、数据和地址。
继续参考图1A,3D显示设备100还包括配置为实时获取人眼追踪数据的人眼追踪装置150,从而3D处理装置130可以根据人眼追踪数据渲染复合像素(复合子像素)中的相应子像素。如图1A所示,人眼追踪装置150通信连接至3D处理装置130,由此3D处理装置130可以直接接收人眼追踪数据。在另一些实施例中,还设置有人眼追踪数据接口(未示出),人眼追踪装置可以直接连接3D显示设备的处理器,3D处理装置经由人眼追踪数据接口从处理器获得人眼追踪数据。在另一些实施例中,人眼追踪装置可同时连接处理器和3D处理装置,在这种情况下,一方面3D处理装置可以直接从人眼追踪装置获取人眼追踪数据,另一方面可以使得人眼追踪装置获取的其他信息可以被处理器处理。
在图1A所示的实施例中,人眼追踪装置150配置为实时获取人眼追踪数据,3D处理装置基于3D信号的图像渲染各复合子像素中由实时获取的人眼追踪数据确定的子像素。
示例性地而非限制性地,人眼追踪装置可以包括两个黑白摄像头、人眼追踪图像处理器和人眼追踪数据接口。在这种情况下,通过两个黑白摄像头能够高速度地(实时地)拍摄用户人脸图像,通过人眼追踪图像处理器能够识别用户的双眼并计算双眼分别所在的实际空间位置,通过人眼追踪数据接口能够传输得到的双眼分别所在的实际空间位置。
在一些实施例中,3D处理装置被配置为由人眼的空间位置确定视点。可选地,由人眼的空间位置确定视点也可由人眼追踪装置的人眼追踪图像处理器实现。
图1B示出了根据本公开实施例的3D显示设备的结构示意图。参考图1B,在如图1A所提供的3D显示设备的基础上,3D显示设备100还包括人脸检测装置158,人脸检测装置158具有视觉识别功能、例如人脸识别功能并且配置为检测至少一个用户的人脸信息。人脸检测装置158可以连接至人眼追踪装置150,也可以连接至3D处理装置130,以传输检测到的人脸信息。示例性地而非限制性地,人脸检测装置158可以作为独立装置设置,也可以集成在人眼追踪装置150内,也可以集成在3D显示设备100的处理器101内,也可以集成在3D显示设备中具有类似功能的其他部分内。
在一些实施例中,在一个以上用户、例如两个用户的情况下,人脸检测装置检测这两个用户的人脸信息,并且人眼追踪装置实时获取这两个用户的各自两个人眼所在的视点位置。3D处理装置根据两个用户的各自两个人眼所在的视点位置,基于3D信号的图像渲染各复合子像素中的子像素。
在一些实施例中,在人脸检测装置和人眼追踪装置检测到一个以上用户、例如两个用户的各自两个人眼所在的视点位置发生冲突时,这种情况例如为一个用户的左眼和另一个用户的右眼位于同一视点位置,通过多视点裸眼3D显示屏向这些用户呈现二维(2D)显示。
在本公开实施例中,多视点裸眼3D显示屏110可以限定出6个视点V1-V6,用户的眼睛在各视点(空间位置)可看到多视点裸眼3D显示屏110的显示面板中各复合像素的复合子像素中相应的子像素的显示。用户的两个人眼在不同的视点看到的两个不同画面形成视差,在大脑中合成3D的画面。
示例性地,3D处理装置130通过作为内部接口的视频信号接口140从处理器101接收解压缩的3D信号的图像。3D信号的图像可以为具有m×n(信号)分辨率的两幅图像或者为具有2m×n或m×2n(信号)分辨率的复合图像。
在一些实施例中,两幅图像或复合图像可以包括不同类型的图像以及可以呈各种排布形式。示例性地,具有m×n(信号)分辨率的两幅图像可以呈并列格式或上下格式。这两幅图像可以分别为左眼视差图像和右眼视差图像,也可以分别为渲染色彩图像和景深图像。示例性地,具有2m×n或m×2n(信号)分辨率的复合图像可以呈左右交织格式、上下交织格式或棋盘格式。复合图像可以为交织的左眼和右眼视差复合图像,也可以为交织的渲染色彩和景深复合图像。
本领域技术人员将明白,上述图像类型以及排布形式仅是示意性的,3D信号的图像可以包括其他类型的图像以及可以呈其他排布形式,这落入本公开实施例的范围内。
示例性地而非限制地,3D处理装置130通过视频信号接口140接收到3D信号的具有m×n(信号)分辨率的两幅图像,亦即各图像的(信号)分辨率m×n与多视点裸眼3D显示屏110的按照视点划分的复合像素所提供的显示分辨率m×n一致。
示例性地而非限制地,3D处理装置130通过视频信号接口140接收到3D信号的具有2m×n或m×2n(信号)分辨率的复合图像,亦即复合图像的(信号)分辨率的一半与多视点裸眼3D显示屏110的按照视点划分的复合像素所提供的显示分辨率m×n一致。
在这种情况下,一方面,由于视点信息与传输过程无关,这能够实现处理计算量小且分辨率不受损失的裸眼3D显示;另一方面,由于复合像素(复合子像素)对应于视点设置,显示屏的渲染能够以“点对点”的方式实现,大大降低了计算量。相比之下,常规的裸眼3D显示器的图像或视频的传输和显示仍以2D显示面板为基础,不仅存在分辨率下降和渲染计算量剧增的问题,还可能存在多次格式调整和图像或视频显示适配的问题。
在一些实施例中,处理器101的寄存器122可用于接收有关多视点裸眼3D显示屏110的显示要求的信息,信息典型地为与i个视点无关且与多视点裸眼3D显示屏110的m×n显示分辨率相关的信息,以便处理器101向多视点裸眼3D显示屏110发送符合其显示要求的3D信号的图像。信息例如可以为用于初始建立视频传输发送的数据包。
因此,在传输3D信号的图像时,处理器101无需考虑与多视点裸眼3D显示屏110的i个视点相关的信息(i≥3)。而是,处理器101凭借寄存器122接收到的与多视点裸眼3D显示屏110的m×n分辨率相关的信息就能够向多视点裸眼3D显示屏110发送符合其要求的3D信号的图像。
在一些实施例中,3D显示设备100还可以包括编解码器,配置为对压缩的3D信号解压缩和编解码并将解压缩的3D信号经视频信号接口140发送至3D处理装置130。
在一些实施例中,3D显示设备100的处理器101从存储器读取或从3D显示设备100以外、例如通过外部接口接收3D信号的图像,然后经由视频信号接口140将读取到的或接收到的3D信号的图像传输到3D处理装置130。
在一些实施例中,3D显示设备100还包括格式调整器(未示出),其例如集成在处理器101中,构造为编解码器或者作为GPU的一部分,用于预处理3D信号的图像,以使其包含的两幅图像具有m×n的(信号)分辨率或者使其包含的复合图像具有2m×n或m×2n的(信号)分辨率。
在一些实施例中,3D处理装置130配置为,响应于每个用户的两个人眼之一位于单个视点中或两个人眼分别位于单个视点中,渲染各复合子像素中与单个视点对应的子像素。
参考图5A,在所示实施例中,用户的右眼处于第2视点V2,左眼处于第5视点V5,基于3D信号的图像渲染复合子像素中与这两个视点V2和V5相对应的子像素。用户的两只眼睛在这两个视点看到两个不同画面形成视差,在大脑中合成3D的画面。
在一些实施例中,3D处理装置130配置为,响应于每个用户的两个人眼之一位于单个视点中或两个人眼分别位于单个视点中,渲染各复合子像素中与单个视点对应的子像素,还渲染与单个视点对应的子像素的相邻的一个或两个子像素。
参考图5B,在所示实施例中,用户的右眼处于第2视点V2,左眼处于第5视点V5,基于3D信号的图像渲染复合子像素中与这两个视点V2和V5相对应的子像素,还渲染与视点V2相邻的视点V1相对应的子像素以及与视点V5相邻的视点V4相对应的子像素。在另一些未示出的实施例中,也可渲染与这两个视点V2和V5之一相邻或与两个视点分别相邻的两个视点对应的子像素。
在一些实施例中,多视点裸眼3D显示屏可包括自发光显示面板,例如为MICRO-LED显示面板。在一些实施例中,自发光显示面板、如MICRO-LED显示面板配置为未被渲染的子像素不发光。对于多视点的超高清显示器而言,这能够极大节省显示屏所耗的功率。
在一些实施例中,3D处理装置130配置为,响应于每个用户的两个人眼之一横跨视点或两个人眼横跨视点,渲染各复合子像素中与被横跨的视点对应的子像素。
参考图5C,在所示实施例中,用户的右眼横跨两个视点V1和V2,左眼处于第5视点V5,基于3D信号的图像渲染复合子像素中与被横跨的两个视点V1和V2对应的子像素,以及渲染与单个视点V5对应的子像素。从而位于视点V1、V2之间和V5的用户的双眼能看到不同角度的渲染画面,产生视差,以形成3D显示的3D效果。
在一些实施例中,3D处理装置130配置为,响应于用户的两个人眼之一或两者所在的视点位置发生移动,渲染各复合子像素中跟随用户的两个人眼经移动的视点位置对应的子像素。
参考图5D,在所示实施例中,用户的右眼从视点V1移动至视点V3,左眼从视点V4移动至视点V6,则复合子像素中被渲染的子像素对应的视点相应地从V1和V4变为V3和V6。从而处于运动状态的用户的眼睛仍能实时看到不同角度的渲染画面,产生视差,以形成3D显示的3D效果。
在一些实施例中,3D处理装置130配置为,响应于至少两个用户的各自两个人眼所在视点位置,渲染各复合子像素中与至少两个用户的各自两个人眼所在视点位置对应的子像素。
参考图5E,在所示实施例中,存在两个用户,用户1的两个人眼分别处于视点V1和V3,用户2的两个人眼分别处于视点V4和V6,则渲染各复合子像素中与这四个视点位置对应的子像素。从而每个用户可以观看对应自己观察角度的渲染图像,产生视差,以形成3D显示的3D效果。
如前所述,本公开实施例提供的3D显示设备可以是包含处理器的3D显示设备。在一些实施例中,3D显示设备可构造为智能蜂窝电话、平板电脑、智能电视、可穿戴设备、车载设备、笔记本电脑、超级移动个人计算机(UMPC)、上网本、个人数字助理(PDA)等。
示例性的,图2示出了实施为移动终端、如智能蜂窝电话或平板电脑的3D显示设备200的硬件结构示意图。3D显示设备200可以包括处理器201,外部存储接口202,(内部)存储器203,通用串行总线(USB)接口204,充电管理模块205,电源管理模块206,电池207,移动通信模块208,无线通信模块210,天线209、211,音频模块212,扬声器213,受话器214,麦克风215,耳机接口216,按键217,马达218,指示器219,用户标识模块(SIM)卡接口220,摄像装置221,多视点裸眼3D显示屏110,3D处理装置130,视频信号接口140,人眼追踪装置150,人脸检测装置158以及传感器模块230等。传感器模块230可以包括接近光传感器2301,环境光传感器2302,压力传感器2303,气压传感器2304,磁传感器2305,重力传感器2306,陀螺仪传感器2307,加速度传感器2308,距离传感器2309,温度传感器2310,指纹传感器2311,触摸传感器2312,骨传导传感器2313等。
可以理解的是,本公开实施例示意的结构并不构成对3D显示设备200的具体限定。在另一些实施例中,3D显示设备200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器201可以包括一个或一个以上处理单元,例如:处理器201可以包括应用处理器(AP),调制解调处理器,基带处理器,寄存器222,图形处理器(GPU)223,图像信号处理器(ISP),控制器,存储器,编解码器224,数字信号处理器(DSP),基带处理器、神经网络处理器(NPU)等或它们的组合。其中,不同的处理单元可以是独立的器件,也可以集成在一个或一个以上处理器中。
处理器201中还可以设置有高速缓存器,配置为保存处理器201刚用过或循环使用的指令或数据。在处理器201要再次使用指令或数据时,可从存储器中直接调用。
在一些实施例中,处理器201可以包括一个或一个以上接口。接口可以包括集成电路(I2C)接口、集成电路内置音频(I2S)接口、脉冲编码调制(PCM)接口、通用异步收发传输器(UART)接口、移动产业处理器接口(MIPI)、通用输入输出(GPIO)接口、用户标识模块(SIM)接口、通用串行总线(USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(SDA)和一根串行时钟线(SCL)。在一些实施例中,处理器201可以包含多组I2C总线。处理器201可以通过不同的I2C总线接口分别通信连接触摸传感器2312,充电器,闪光灯,摄像装置221、人眼追踪装置150、人脸检测装置158等。
在图2所示的实施例中,MIPI接口可以被配置为连接处理器201与多视点裸眼3D显示屏110。此外,MIPI接口还可被配置为连接如摄像装置221、人眼追踪装置150、人脸检测装置158等外围器件。
可以理解的是,本公开实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对3D显示设备200的结构限定。
3D显示设备200的无线通信功能可以通过天线209、211,移动通信模块208,无线通信模块210,调制解调处理器或基带处理器等实现。
天线209、211被配置为发射和接收电磁波信号。3D显示设备200中的每个天线可被配置为覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块208可以提供应用在3D显示设备200上的包括2G/3G/4G/5G等无线通信的解决方案。在一些实施例中,移动通信模块208的至少部分功能模块可以被设置于处理器201中。在一些实施例中,移动通信模块208的至少部分功能模块可以与处理器201的至少部分模块被设置在同一个器件中。
无线通信模块210可以提供应用在3D显示设备200上的包括无线局域网(WLAN),蓝牙(BT),全球导航卫星系统(GNSS),调频(FM),近距离无线通信技术(NFC),红外技术(IR)等无线通信的解决方案。无线通信模块210可以是集成至少一个通信处理模块的一个或一个以上器件。
在一些实施例中,3D显示设备200的天线209和移动通信模块208耦合,天线211和无线通信模块210耦合,使得3D显示设备200可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(GSM),通用分组无线服务(GPRS),码分多址接入(CDMA),宽带码分多址(WCDMA),时分码分多址(TD-SCDMA),长期演进(LTE),BT,GNSS,WLAN,NFC,FM,或IR技术等中至少一项。
在一些实施例中,配置为接收3D信号的外部接口可以包括USB接口204、移动通信模块208、无线通信模块209或其组合。此外,还可以想到其他可行的配置为接收3D信号的接口,例如上问题到的接口。
存储器203可以配置为存储计算机可执行程序代码,可执行程序代码包括指令。处理器201通过运行存储在存储器203的指令,从而执行3D显示设备200的各种功能应用以及数据处理。
外部存储器接口202可以配置为连接外部存储卡,例如Micro SD卡,实现扩展3D显示设备200的存储能力。外部存储卡通过外部存储器接口202与处理器201通信,实现数据存储功能。
在一些实施例中,3D显示设备的存储器可以包括(内部)存储器203、外部存储器接口202连接的外部存储卡或其组合。在本公开另一些实施例中,视频信号接口也可以采用上述实施例中不同的内部接口连接方式或其组合。
在本公开的实施例中,摄像装置221可以采集图像或视频。
在一些实施例中,3D显示设备200通过视频信号接口140、3D处理装置130、多视点裸眼3D显示屏110,以及应用处理器等实现显示功能。
在一些实施例中,3D显示设备200可包括GPU 223,例如配置为在处理器201内对3D视频图像进行处理,也可以对2D视频图像进行处理。
在一些实施例中,3D显示设备200还包括编解码器224,配置为对数字视频、例如对3D信号压缩或解压缩。
在一些实施例中,视频信号接口140被配置为将经GPU或编解码器224或两者处理的3D信号、例如解压缩的3D信号的图像输出至3D处理装置130。
在一些实施例中,GPU或编解码器224集成有格式调整器。
多视点裸眼3D显示屏110被配置为显示3D图像或视频等。多视点裸眼3D显示屏110包括显示面板。显示面板可以采用液晶显示屏(LCD),有机发光二极管(OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(AMOLED),柔性发光二极管(FLED),Mini-LED,Micro-LED,Micro-OLED,量子点发光二极管(QLED)等。
在一些实施例中,3D显示设备200还可包括配置为实时获取人眼追踪数据的人眼追踪装置150或人眼追踪数据接口,从而3D处理装置130可以基于人眼追踪数据渲染复合像素(复合子像素)中的相应子像素。示例性地,人眼追踪装置150通信连接至3D处理装置130,也可以通信连接至处理器201,例如旁路连接至处理器201。示例性地,人眼追踪装置150可同时连接处理器201和3D处理装置130。
在一些实施例中,3D显示设备200还包括人脸检测装置158。人脸检测装置158具有视觉识别功能、例如人脸识别功能并且配置为检测至少一个用户的人脸信息。人脸检测装置158可以连接至人眼追踪装置150,也可以连接至3D处理装置130,以传输检测到的人脸信息。
3D显示设备200可以通过音频模块212,扬声器213,受话器214,麦克风215,耳机接口216,以及应用处理器等实现音频功能。
按键217包括开机键,音量键等。按键217可以是机械按键。也可以是触摸式按键。3D显示设备200可以接收按键输入,产生与3D显示设备200的用户设置以及功能控制有关的键信号输入。
马达218可以产生振动提示。马达218可以被配置为来电振动提示,也可以被配置为触摸振动反馈。
SIM卡接口220被配置为连接SIM卡。在一些实施例中,3D显示设备200采用eSIM,即:嵌入式SIM卡。
环境光传感器2302被配置为感知周围光线情况。例如,显示屏的亮度可据此调节。示例性地,在用户的双眼分别位于单个视点中时,当环境光传感器2302检测到外界环境亮度较高时,3D处理装置130除了渲染各复合子像素中与单个视点对应的子像素,还渲染与单个视点对应的子像素的相邻的一个或两个子像素,以增强显示亮度,适应强光环境。
压力传感器2303被配置为感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器2303可以设置于多视点裸眼3D显示屏110,这落入本公开实施例的范围内。
气压传感器2304被配置为测量气压。
磁传感器2305包括霍尔传感器。
重力传感器2306是将运动或重力转换为电信号的传感器,主要被配置为倾斜角、惯性力、冲击及震动等参数的测量。
陀螺仪传感器2307可以被配置为确定3D显示设备200的运动姿态。
加速度传感器2308可检测3D显示设备200在各个方向上(一般为三轴)加速度的大小。
距离传感器2309可被配置为测量距离
温度传感器2310可被配置为检测温度。
指纹传感器2311被配置为采集指纹。
触摸传感器2312可以设置于多视点裸眼3D显示屏110中,由触摸传感器2312与多视点裸眼3D显示屏110组成触摸屏,也称“触控屏”。
骨传导传感器2313可以获取振动信号。
充电管理模块205被配置为从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。
电源管理模块206被配置为连接电池207,充电管理模块205与处理器201。
3D显示设备200的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本公开所示的实施例以分层架构的安卓系统为例,示例性说明3D显示设备200的软件结构。但可以想到,本公开的实施例可以在不同的软件系统、如操作系统中实施。
图3是本公开实施例的3D显示设备200的软件结构示意图。分层架构将软件分成若干个层。层与层之间通过软件接口通信。在一些实施例中,将安卓系统分为四层,从上至下分别为应用程序层310,框架层320,核心类库和运行时(Runtime)330,以及内核层340。
应用程序层310可以包括一系列应用程序包。如图3所示,应用程序包可以包括蓝牙,WLAN,导航,音乐,相机,日历,通话,视频,图库,地图,短信息等应用程序。例如可以在视频应用程序中实施3D视频显示方法。
框架层320为应用程序层的应用程序提供应用编程接口(API)和编程框架。框架层包括一些预先定义的函数。例如,在本公开的一些实施例中,对所采集的3D视频图像进行识别的函数或者算法以及处理图像的算法等可以包括在框架层。
如图3所示,框架层320可以包括资源管理器、电话管理器、内容管理器、通知管理器、窗口管理器,视图系统,安装包管理器等。
安卓Runtime(运行时)包括核心库和虚拟机。安卓Runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言要调用的功能函数,另一部分是安卓的核心库。
应用程序层和框架层运行在虚拟机中。虚拟机将应用程序层和框架层的java文件执行为二进制文件。虚拟机被配置为执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
核心类库可以包括多个功能模块。例如:3D图形处理库(例如:OpenGL ES),表面管理器,图像处理库,媒体库,图形引擎(例如:SGL)等。
内核层340是硬件和软件之间的层。内核层至少包含摄像头驱动,音视频接口,通话接口,Wifi接口,传感器驱动,电源管理,GPS接口。
在此,以具有图2和图3所示结构的作为移动终端的3D显示设备为例,描述3D显示设备中的3D视频传输和显示的实施例;但是,可以想到,在另一些实施例中可以包括更多或更少的特征或对其中的特征进行改变。
在一些实施例中,例如为移动终端、如智能蜂窝电话或平板电脑的3D显示设备200例如借助作为外部接口的移动通信模块208及天线209或者无线通信模块210及天线211从网络、如蜂窝网络、WLAN网络、蓝牙接收例如压缩的3D信号,压缩的3D信号例如经GPU 223进行图像处理、编解码器224编解码和解压缩,然后例如经作为内部接口的视频信号接口140、如MIPI接口或mini-MIPI接口将解压缩的3D信号发送至3D处理装置130,解压缩的3D信号的图像包括本公开实施例的两幅图像或复合图像。进而,3D处理装置130相应地渲染显示屏的复合子像素中的子像素,由此实现3D视频播放。
在另一些实施例中,3D显示设备200读取(内部)存储器203或通过外部存储器接口202读取外部存储卡中存储的压缩的3D信号,并经相应的处理、传输和渲染来实现3D视频播放。
在一些实施例中,上文提到的3D视频的播放是在安卓系统应用程序层310中的视频应用程序中实施的。
本公开实施例还提供一种用于多视点裸眼3D显示屏的3D显示方法,多视点裸眼3D显示屏包括m×n个复合像素,每个复合像素包括多个复合子像素,各复合子像素由对应于i个视点的i个同色子像素构成,其中i≥3。
参考图6,在一些实施例中,3D显示方法包括:
S601:获取用户双眼的空间位置;
S602:由用户双眼的空间位置确定视点;
S603:基于3D信号渲染多视点裸眼3D显示屏中的多个复合子像素中与视点对应的子像素。
参考图7,在一些实施例中,3D显示方法包括:
S701:获取至少一个用户的双眼的空间位置;
S702:由至少一个用户的双眼的空间位置确定至少一个用户中每个用户的双眼所在的视点;
S703:基于3D信号渲染多视点裸眼3D显示屏中的多个复合子像素中与视点对应的子像素。
参考图8,在一些实施例中,3D显示方法包括:
S801:获取至少一个用户的双眼的空间位置;
S802:由至少一个用户的双眼的空间位置确定至少一个用户中每个用户的双眼所在的视点;
S803:响应于至少一个用户中每个用户的双眼之一位于单个视点或双眼分别位于单个视点,渲染多个复合子像素中与单个视点对应的子像素。
参考图9,在一些实施例中,3D显示方法包括:
S901:获取至少一个用户的双眼的空间位置;
S902:由至少一个用户的双眼的空间位置确定至少一个用户中每个用户的双眼所在的视点;
S903:响应于至少一个用户中每个用户的双眼之一位于单个视点或双眼分别位于单个视点,渲染多个复合子像素中与单个视点对应的子像素以及与单个视点对应的子像素相邻的至少一个子像素。
参考图10,在一些实施例中,3D显示方法包括:
S1001:获取至少一个用户的双眼的空间位置;
S1002:由至少一个用户的双眼的空间位置确定至少一个用户中每个用户的双眼所在的视点;
S1003:响应于至少一个用户中每个用户的双眼之一位于两个视点之间或双眼分别位于两个视点之间,渲染多个复合子像素中与两个视点对应的子像素。
参考图11,在一些实施例中,3D显示方法包括:
S1101:检测至少一个用户的人脸信息;
S1102:获取至少一个用户的双眼的空间位置;
S1103:由至少一个用户的双眼的空间位置确定至少一个用户中每个用户的双眼所在的视点;
S1104:基于3D信号渲染多视点裸眼3D显示屏中的多个复合子像素中与每个用户的双眼所在的视点对应的子像素。
参考图12,在一些实施例中,3D显示方法包括:
S1201:检测至少两个用户的人脸信息;
S1202:获取至少两个用户的双眼的空间位置;
S1203:由至少两个用户的双眼的空间位置确定至少两个用户中每个用户的双眼所在的视点;
S1204:基于3D信号渲染多视点裸眼3D显示屏中的多个复合子像素中与每个用户的双眼所在的视点对应的子像素。
本公开实施例提供一种3D显示终端1300,参考图13,3D显示终端:
处理器1310和存储器1311,还可以包括通信接口1312和总线1313。其中,处理器1310、通信接口1312、存储器1311以通过总线1313完成相互间的通信。通信接口1313可以被配置为传输信息。处理器1310可以调用存储器1311中的逻辑指令,以执行上述实施例的3D显示方法。
此外,上文提到的存储器1311中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器1311作为一种计算机可读存储介质,可被配置为存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令/模块。处理器1310通过运行存储在存储器1311中的程序指令/模块,从而执行功能应用以及数据处理,即实现上述方法实施例中的3D显示方法。
存储器1311可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器1311可以包括高速随机存取存储器,还可以包括非易失性存储器。
上述实施例阐明的系统、设备、装置、模块或单元,可以由各种可能的实体来来实现。一种典型的实现实体为计算机或其处理器或其他部件。计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板电脑、可穿戴设备、智能电视、物联网系统、智能家居、工业计算机、单片机系统或者这些设备中的组合。在一个典型的配置中,计算机可包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。
在本申请的实施例的方法、程序、系统、设备、装置等,可以在单个或多个连网的计算机中执行或实现,也可以在分布式计算环境中实践。在本说明书实施例中,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统、设备或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。
本领域技术人员可想到,上述实施例阐明的功能模块/单元或控制器以及相关方法步骤的实现,可以用软件、硬件和软/硬件结合的方式实现。例如,可以以纯计算机可读程序代码方式实现,也可以部分或全部通过将方法步骤进行逻辑编程来使得控制器以硬件来实现相同功能,包括但不限于逻辑门、开关、专用集成电路、可编程逻辑控制器(如FPGA)和嵌入微控制器。
在本申请的一些实施例中,以功能模块/单元的形式来描述装置的部件。可以想到,多个功能模块/单元一个或多个“组合”功能模块/单元和/或一个或多个软件和/或硬件中实现。也可以想到,单个功能模块/单元由多个子功能模块或子单元的组合和/或多个软件和/或硬件实现。功能模块/单元的划分,可以仅为一种逻辑功能划分,在具体的实现方式中,多个模块/单元可以结合或者可以集成到另一个系统、设备。此外,本文提到的模块、单元、装置、系统、设备及其部件的连接包括直接或间接的连接,涵盖可行的电的、机械的、通信的连接,尤其包括各种接口间的有线或无线连接,包括但不限于HDMI、雷达、USB、WiFi、蜂窝网络。
在本申请的实施例中,方法、程序的技术特征、流程图和/或方框图可以应用到相应的装置、设备、系统及其模块、单元、部件中。反过来,装置、设备、系统及其模块、单元、部件的各实施例和特征可以应用至根据本申请实施例的方法、程序中。例如,计算机程序指令可装载到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,其具有实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中相应的功能或特征。
根据本申请实施例的方法、程序可以以计算机程序指令或程序的方式存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读的存储器或介质中。本申请实施例也涉及存储有可实施本申请实施例的方法、程序、指令的可读存储器或介质。
存储介质包括永久性和非永久性、可移动和非可移动的可以由任何方法或技术来实现信息存储的物品。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可被配置为存储可以被计算设备访问的信息。
除非明确指出,根据本申请实施例记载的方法、程序的动作或步骤并不必须按照特定的顺序来执行并且仍然可以实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在本文中,各实施例的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
已参考上述实施例具体示出并描述了本申请的示例性系统、设备及方法,其仅为实施本系统、设备及方法的示例。本领域的技术人员可以理解的是可以在实施本系统、设备及/或方法时对这里描述的系统、设备及方法的实施例做各种改变而不脱离界定在所附权利要求中的本申请的精神及范围。所附权利要求意在界定本系统、设备及方法的范围,故落入这些权利要求中及与其等同的系统、设备及方法可被涵盖。

Claims (18)

1.一种3D显示设备,其特征在于,包括:
多视点裸眼3D显示屏,包括多个复合像素,所述多个复合像素中的每个复合像素包括多个复合子像素,所述多个复合子像素中的每个复合子像素由对应于多个视点的多个同色子像素构成;
人眼追踪装置,被配置为获取用户双眼的空间位置;
3D处理装置,被配置为由所述用户双眼的空间位置确定视点,并基于接收到的3D信号渲染所述多个复合子像素中与所述视点对应的子像素。
2.根据权利要求1所述的3D显示设备,其特征在于,所述人眼追踪装置被配置为获取至少一个用户的各自的双眼的空间位置。
3.根据权利要求2所述的3D显示设备,其特征在于,所述3D处理装置被配置为,响应于所述至少一个用户中每个用户的双眼之一位于单个视点或双眼分别位于单个视点,渲染所述多个复合子像素中与所述单个视点对应的子像素。
4.根据权利要求3所述的3D显示设备,其特征在于,所述3D处理装置还被配置为:
渲染与所述单个视点对应的子像素相邻的至少一个子像素。
5.根据权利要求2所述的3D显示设备,其特征在于,所述3D处理装置被配置为,响应于所述至少一个用户中每个用户的双眼之一位于两个视点之间或双眼分别位于两个视点之间,渲染所述多个复合子像素中与所述两个视点对应的子像素。
6.根据权利要求2至5任一项所述的3D显示设备,其特征在于,还包括人脸检测装置,被配置为检测所述至少一个用户的人脸信息。
7.根据权利要求6所述的3D显示设备,其特征在于,所述人眼追踪装置被配置为获取至少两个用户的各自的双眼的空间位置。
8.根据权利要求1至5任一项所述的3D显示设备,其特征在于,所述3D处理装置为FPGA或ASIC芯片或FPGA或ASIC芯片组。
9.根据权利要求1至5任一项所述的3D显示设备,其特征在于,所述多个复合子像素中的每个复合子像素包括按行排列或按列排列的多个子像素。
10.一种3D显示方法,其特征在于,包括:
获取用户双眼的空间位置;
由所述用户双眼的空间位置确定视点;
基于3D信号渲染多视点裸眼3D显示屏中的多个复合子像素中与所述视点对应的子像素;
其中,所述多视点裸眼3D显示屏包括多个复合像素,所述多个复合像素中的每个复合像素包括多个复合子像素,所述多个复合子像素中的每个复合子像素由对应于多个视点的多个同色子像素构成。
11.根据权利要求10所述的方法,其特征在于,获取用户双眼的空间位置和由所述用户双眼的空间位置确定视点包括:
获取至少一个用户的双眼的空间位置;
由所述至少一个用户的双眼的空间位置确定所述至少一个用户中每个用户的双眼所在的视点。
12.根据权利要求11所述的方法,其特征在于,基于3D信号渲染多视点裸眼3D显示屏中的多个复合子像素中与所述视点对应的子像素包括:
响应于所述至少一个用户中每个用户的双眼之一位于单个视点或双眼分别位于单个视点,渲染所述多个复合子像素中与所述单个视点对应的子像素。
13.根据权利要求11所述的方法,其特征在于,基于3D信号渲染多视点裸眼3D显示屏中的多个复合子像素中与所述视点对应的子像素包括:
响应于所述至少一个用户中每个用户的双眼之一位于单个视点或双眼分别位于单个视点,渲染所述多个复合子像素中与所述单个视点对应的子像素以及与所述单个视点对应的子像素相邻的至少一个子像素。
14.根据权利要求11所述的方法,其特征在于,基于3D信号渲染多视点裸眼3D显示屏中的多个复合子像素中与所述视点对应的子像素包括:
响应于所述至少一个用户中每个用户的双眼之一位于两个视点之间或双眼分别位于两个视点之间,渲染所述多个复合子像素中与所述两个视点对应的子像素。
15.根据权利要求10至14任一项所述的方法,其特征在于,还包括:
检测所述至少一个用户的人脸信息。
16.根据权利要求15所述的方法,其特征在于,检测所述至少一个用户的人脸信息包括:检测至少两个用户的人脸信息。
17.一种3D显示终端,包括处理器和存储有程序指令的存储器,其特征在于,还包括多视点裸眼3D显示屏,所述多视点裸眼3D显示屏包括多个复合像素,所述多个复合像素中的每个复合像素包括多个复合子像素,所述多个复合子像素中的每个复合子像素由对应于多个视点的多个子像素构成,所述处理器被配置为在执行所述程序指令时,执行如权利要求10至16任一项所述的方法。
18.根据权利要求17所述的3D显示终端,其特征在于,所述3D显示终端为智能电视、智能蜂窝电话、平板电脑、个人计算机或可穿戴设备。
CN201911231290.XA 2019-12-05 2019-12-05 3d显示设备、方法及终端 Active CN112929643B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201911231290.XA CN112929643B (zh) 2019-12-05 2019-12-05 3d显示设备、方法及终端
PCT/CN2020/133327 WO2021110033A1 (zh) 2019-12-05 2020-12-02 3d显示设备、方法及终端
US17/779,648 US20220408077A1 (en) 2019-12-05 2020-12-02 3d display device, method and terminal
EP20896638.2A EP4068772A4 (en) 2019-12-05 2020-12-02 3D DISPLAY DEVICE, METHOD AND TERMINAL
TW109142825A TWI782361B (zh) 2019-12-05 2020-12-04 3d顯示裝置、方法及終端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911231290.XA CN112929643B (zh) 2019-12-05 2019-12-05 3d显示设备、方法及终端

Publications (2)

Publication Number Publication Date
CN112929643A CN112929643A (zh) 2021-06-08
CN112929643B true CN112929643B (zh) 2022-06-28

Family

ID=76160749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911231290.XA Active CN112929643B (zh) 2019-12-05 2019-12-05 3d显示设备、方法及终端

Country Status (5)

Country Link
US (1) US20220408077A1 (zh)
EP (1) EP4068772A4 (zh)
CN (1) CN112929643B (zh)
TW (1) TWI782361B (zh)
WO (1) WO2021110033A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581634A (zh) * 2022-03-01 2022-06-03 江苏蓝创文化科技有限公司 透视点自动追踪可变的裸眼3d立体全息互动体验系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229725A (ja) * 2005-02-18 2006-08-31 Konica Minolta Photo Imaging Inc 画像生成システム及び画像生成方法
CN101621706A (zh) * 2009-07-21 2010-01-06 四川大学 一种减小柱面光栅自由立体显示器图像串扰的方法
CN102469339A (zh) * 2010-11-17 2012-05-23 索尼公司 立体显示设备
CN104079919A (zh) * 2009-11-04 2014-10-01 三星电子株式会社 使用主动亚像素渲染的高密度多视点图像显示系统及方法
CN104536578A (zh) * 2015-01-13 2015-04-22 京东方科技集团股份有限公司 裸眼3d显示装置的控制方法及装置、裸眼3d显示装置
US10078228B2 (en) * 2016-09-29 2018-09-18 Jeremy Paul Willden Three-dimensional imaging system
CN109104603A (zh) * 2018-09-25 2018-12-28 上海玮舟微电子科技有限公司 一种视点补偿方法、装置、电子设备和存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007081562A (ja) * 2005-09-12 2007-03-29 Toshiba Corp 立体画像表示装置、立体画像表示プログラムおよび立体画像表示方法
US20110037830A1 (en) * 2008-04-24 2011-02-17 Nokia Corporation Plug and play multiplexer for any stereoscopic viewing device
US9363504B2 (en) * 2011-06-23 2016-06-07 Lg Electronics Inc. Apparatus and method for displaying 3-dimensional image
KR101953686B1 (ko) * 2011-11-30 2019-05-23 삼성전자주식회사 부화소를 렌더링하는 영상 처리 장치 및 방법
KR20130093369A (ko) * 2012-02-14 2013-08-22 삼성디스플레이 주식회사 표시 장치 및 이를 이용한 입체 영상 표시 방법
CN104769660B (zh) * 2012-10-01 2017-08-11 视瑞尔技术公司 用于相干光的相位调制的可控设备
KR101688400B1 (ko) * 2015-06-04 2016-12-22 한국과학기술연구원 입체 영상 표시 장치 및 입체 영상 표시 장치의 설계 방법
CN105372823B (zh) * 2015-12-08 2017-10-27 上海天马微电子有限公司 立体显示装置
PL3494695T3 (pl) * 2016-08-04 2024-02-19 Dolby Laboratories Licensing Corporation Rozwiązania akomodacji-wergencji ze śledzeniem pojedynczej głębi
CN108307187B (zh) * 2016-09-28 2024-01-12 擎中科技(上海)有限公司 裸眼3d显示设备及其显示方法
KR102564479B1 (ko) * 2016-11-22 2023-08-07 삼성전자주식회사 사용자의 눈을 위한 3d 렌더링 방법 및 장치
US20180357981A1 (en) * 2017-06-13 2018-12-13 Misapplied Sciences, Inc. Coordinated multi-view display experiences
KR102447101B1 (ko) * 2017-09-12 2022-09-26 삼성전자주식회사 무안경 3d 디스플레이를 위한 영상 처리 방법 및 장치
KR102427854B1 (ko) * 2017-09-25 2022-08-01 삼성전자주식회사 영상 렌더링 방법 및 장치
WO2019237306A1 (en) * 2018-06-14 2019-12-19 Boe Technology Group Co., Ltd. Display apparatus and driving method thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006229725A (ja) * 2005-02-18 2006-08-31 Konica Minolta Photo Imaging Inc 画像生成システム及び画像生成方法
CN101621706A (zh) * 2009-07-21 2010-01-06 四川大学 一种减小柱面光栅自由立体显示器图像串扰的方法
CN104079919A (zh) * 2009-11-04 2014-10-01 三星电子株式会社 使用主动亚像素渲染的高密度多视点图像显示系统及方法
CN102469339A (zh) * 2010-11-17 2012-05-23 索尼公司 立体显示设备
CN104536578A (zh) * 2015-01-13 2015-04-22 京东方科技集团股份有限公司 裸眼3d显示装置的控制方法及装置、裸眼3d显示装置
US10078228B2 (en) * 2016-09-29 2018-09-18 Jeremy Paul Willden Three-dimensional imaging system
CN109104603A (zh) * 2018-09-25 2018-12-28 上海玮舟微电子科技有限公司 一种视点补偿方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
US20220408077A1 (en) 2022-12-22
EP4068772A1 (en) 2022-10-05
WO2021110033A1 (zh) 2021-06-10
TW202137758A (zh) 2021-10-01
CN112929643A (zh) 2021-06-08
TWI782361B (zh) 2022-11-01
EP4068772A4 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
TWI818211B (zh) 眼部定位裝置、方法及3d顯示裝置、方法
TWI746302B (zh) 多視點3d顯示屏、多視點3d顯示終端
CN112929647A (zh) 3d显示设备、方法和终端
CN112584125A (zh) 三维图像显示设备及其显示方法
CN211791829U (zh) 3d显示设备
CN211791828U (zh) 3d显示设备
WO2021110027A1 (zh) 实现3d图像显示的方法、3d显示设备
CN211128026U (zh) 多视点裸眼3d显示屏、多视点裸眼3d显示终端
CN112929643B (zh) 3d显示设备、方法及终端
US20150077575A1 (en) Virtual camera module for hybrid depth vision controls
CN211528831U (zh) 多视点裸眼3d显示屏、裸眼3d显示终端
CN211930763U (zh) 3d显示设备
WO2021110026A1 (zh) 实现3d图像显示的方法、3d显示设备
CN112929645A (zh) 3d显示设备、系统和方法及3d视频数据通信方法
WO2021110040A1 (zh) 多视点3d显示屏、3d显示终端
CN112929641B (zh) 3d图像显示方法、3d显示设备
WO2021110037A1 (zh) 实现3d图像显示的方法、3d显示设备
CN116841350A (zh) 一种3d显示方法以及装置
CN112925430A (zh) 实现悬浮触控的方法、3d显示设备和3d终端
CN114827440A (zh) 基于光场显示的显示模式的转换方法及转换装置
CN116560770A (zh) 壁纸显示方法、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220830

Address after: 100055 1-1808c, 15th floor, building 1, 168 Guang'anmenwai street, Xicheng District, Beijing

Patentee after: Beijing Xinhai vision 3D Technology Co.,Ltd.

Address before: 100055 1-1808c, 15th floor, building 1, 168 Guang'anmenwai street, Xicheng District, Beijing

Patentee before: Beijing Xinhai vision 3D Technology Co.,Ltd.

Patentee before: Vision technology venture capital Pte. Ltd.

Patentee before: Diao Honghao

TR01 Transfer of patent right