3D显示设备
技术领域
本实用新型涉及3D显示技术领域,例如涉及3D显示设备。
背景技术
裸眼3D显示技术因为能向用户呈现栩栩如生的视觉体验而成为影像技术中的研究热点。
在实现本实用新型实施例的过程中,发现相关技术中至少存在如下问题:各个位置的用户看到的都是相同的3D图像,只有一定范围内的用户会产生真实感受,范围外的其它用户会感觉到显示失真。
本背景技术仅为了便于了解本领域的相关技术,并不视作对现有技术的承认。
实用新型内容
为了对披露的实施例的一些方面有基本的理解,下面给出了简单的概括。该概括不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围,而是作为后面的详细说明的序言。
本实用新型实施例提供了一种3D显示设备,以解决裸眼3D显示失真的技术问题。
在一些实施例中,提供了一种3D显示设备,包括:多视点裸眼3D显示屏,包括多个复合像素,多个复合像素中的每个复合像素包括多个复合子像素,多个复合子像素中的每个复合子像素包括对应于3D显示设备的多个视点的多个子像素;视角确定装置,被配置为确定用户的用户视角;3D处理装置,被配置为基于用户视角,依据3D模型的景深信息渲染多个复合子像素中的相应子像素。
在一些实施例中,3D处理装置被配置为基于用户视角,由景深信息生成3D图像,并依据3D图像渲染相应子像素。
在一些实施例中,3D显示设备还包括:人眼追踪装置,被配置为确定用户的人眼空间位置;3D处理装置被配置为基于人眼空间位置确定用户的眼部所在视点,并基于3D图像渲染与眼部所在视点相应的子像素。
在一些实施例中,人眼追踪装置包括:人眼追踪器,被配置为拍摄用户的用户图像;人眼追踪图像处理器,被配置为基于用户图像确定人眼空间位置;和人眼追踪数据接口,被配置为传输表明人眼空间位置的人眼空间位置信息。
在一些实施例中,人眼追踪器包括:第一摄像头,被配置为拍摄第一图像;和第二摄像头,被配置为拍摄第二图像;其中,人眼追踪图像处理器被配置为基于第一图像和第二图像中的至少一副图像识别人眼的存在且基于识别到的人眼确定人眼空间位置。
在一些实施例中,人眼追踪器包括:摄像头,被配置为拍摄图像;和深度检测器,被配置为获取用户的眼部深度信息;其中,人眼追踪图像处理器被配置为基于图像识别人眼的存在且基于识别到的人眼位置和眼部深度信息确定人眼空间位置。
在一些实施例中,用户视角为用户与多视点裸眼3D显示屏的显示平面之间的夹角。
在一些实施例中,用户视角为用户视线与多视点裸眼3D显示屏的显示平面之间的夹角,其中用户视线为用户双眼连线的中点与多视点裸眼3D显示屏的中心的连线。
在一些实施例中,用户视角为:用户视线与显示平面的横向、竖向和深度方向中至少之一的夹角;或用户视线与用户视线在显示平面内的投影之间的夹角。
在一些实施例中,3D显示设备还包括:3D信号接口,被配置为接收3D模型。
本实用新型实施例提供的3D显示设备,可以实现以下技术效果:
向用户提供基于视角的随动3D显示效果。不同角度的用户能观看到不同的3D显示画面,显示效果逼真。不同角度的显示效果还能随用户的视角变化而随动调整。以向用户呈现良好的视觉效果。此外,实现随动3D显示效果的3D显示设备可采用多视点裸眼3D显示屏,本实用新型以复合像素的方式定义多视点裸眼3D显示屏的显示分辨率,在传输和显示时均以由复合像素定义的显示分辨率为考量因素,在确保高清晰度显示效果的情况下减少了传输和渲染的计算量,实现高质量的裸眼式3D显示。
以上的总体描述和下文中的描述仅是示例性和解释性的,不用于限制本实用新型。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明,这些示例性说明和附图并不构成对实施例的限定,附图中具有相同参考数字标号的元件示为类似的元件,附图不构成比例限制,并且其中:
图1A至图1C是根据本实用新型实施例的3D显示设备的示意图;
图2是根据本实用新型实施例的人眼追踪装置的示意图;
图3是根据本实用新型实施例的利用两个摄像头确定人眼空间位置的几何关系模型;
图4是根据本实用新型另一实施例的人眼追踪装置的示意图;
图5是根据本实用新型实施例的利用摄像头和深度检测器确定人眼空间位置的几何关系模型;
图6是根据本实用新型实施例的用户视角的示意图;
图7是根据本实用新型另一实施例的用户视角的示意图;
图8是根据本实用新型实施例的生成对应于不同用户视角的3D图像的示意图;
图9A至图9E是根据本实用新型实施例的视点与子像素的对应关系示意图;
图10是根据本实用新型实施例的3D显示设备的显示方法流程图;和
图11是根据本实用新型实施例的3D显示设备的示意图。
附图标记:
100:3D显示设备;110:多视点裸眼3D显示屏;120:处理器;121:寄存器;130:3D处理装置;131:缓存器;140:3D信号接口;150:人眼追踪装置;151:人眼追踪器;151a:第一摄像头;151b:第二摄像头;152:人眼追踪图像处理器;153:人眼追踪数据接口;154:红外发射装置;155:摄像头;156:缓存器;157:比较器;158:深度检测器;160:视角确定装置;300:3D显示设备;310:存储器;320:处理器;330:总线;340:通信接口;400:复合像素;410:红色复合子像素;420:绿色复合子像素;430:蓝色复合子像素;500:复合像素;510:红色复合子像素;520:绿色复合子像素;530:蓝色复合子像素;f:焦距;Za:第一摄像头的光轴;Zb:第二摄像头的光轴;401a:第一摄像头的焦平面;401b:第二摄像头的焦平面;Oa:第一摄像头的镜头中心;Ob:第二摄像头的镜头中心;XRa:用户右眼在第一摄像头的焦平面内成像的X轴坐标;XRb:用户右眼在第二摄像头的焦平面内成像的X轴坐标;XLa:用户左眼在第一摄像头的焦平面内成像的X轴坐标;XLb:用户左眼在第二摄像头的焦平面内成像的X轴坐标;T;第一摄像头和第二摄像头的间距;DR:右眼与第一摄像头和第二摄像头所在平面的间距;DL:左眼与第一摄像头和第二摄像头所在平面的间距;α:用户双眼连线与第一摄像头和第二摄像头所在平面的倾斜角度;P:用户双眼间距或瞳距;Z;光轴;FP:焦平面;XR:用户右眼在摄像头的焦平面内成像的X轴坐标;XL:用户左眼在摄像头的焦平面内成像的X轴坐标;O:镜头中心;MCP:摄像头平面;βR:左眼与镜头中心的连线在XZ平面内的投影相对于X轴的倾斜角;βL:右眼与镜头中心的连线在XZ平面内的投影相对于X轴的倾斜角;α:用户双眼连线在XZ平面内的投影与X轴的夹角;P:用户双眼的瞳距。
具体实施方式
为了能够更加详尽地了解本实用新型实施例的特点与技术内容,下面结合附图对本实用新型实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本实用新型实施例。
在本文中,“裸眼三维(或称3D)显示”涉及用户无需佩戴3D显示用的眼镜而能在显示器上观察到3D图像的技术。
在本文中,“多视点”具有本领域的常规含义,意指在空间中不同位置(视点)处能观看到显示屏的不同像素或子像素显示的不同图像。在本文中,多视点将意味着至少3个视点。
在本文中,“光栅”具有本领域中广义的解释,包括但不限于“视差屏障”光栅和“透镜”光栅、如“柱状透镜”光栅。
在本文中,“透镜”或“透镜光栅”具有本领域的常规含义,例如包括柱状透镜和球面透镜。
常规的“像素”意指2D显示器或者作为2D显示器显示时就其分辨率而言的最小显示单位。
然而,在本文的一些实施例中,当应用于裸眼3D显示领域的多视点技术时所称的“复合像素”指裸眼3D显示设备提供多视点显示时的最小显示单位,但不排除用于多视点技术的单个复合像素可包括或呈现为多个2D显示的像素。在本文中,除非具体说明为“3D显示”或“多视点”应用的复合像素或3D像素,像素将指2D显示时的最小显示单位。同样,当描述为多视点的裸眼3D显示“复合子像素”时,将指裸眼3D显示设备提供多视点显示时的复合像素中呈现的单个颜色的复合子像素。在本文中,“复合子像素”中的子像素将指单个颜色的最小显示单位,其往往是与视点相对应的。
根据本实用新型的实施例提供了一种3D显示设备,包括多视点裸眼3D显示屏、配置为确定用户的用户视角的视角确定装置、配置为基于用户视角并依据3D模型或3D视频的景深信息渲染多视点裸眼3D显示屏所包含的复合像素中的复合子像素中的相应子像素的3D处理装置。
在一些实施例中,3D处理装置基于用户视角并依据3D模型或3D视频的景深信息生成3D图像,例如生成对应于用户视角的3D图像。用户视角与生成的3D图像的对应关系,类似于用户从不同角度看向真实存在的场景会看到对应于该角度的场景表现。对于不同的用户视角,由3D模型或3D视频的景深信息生成的3D图像有可能不同。由此,生成了基于用户视角而随动的3D图像,各个视角下的用户所看到的3D图像是不同的,从而借助多视点裸眼3D显示屏能够使用户感受到犹如观看真实物体般的感觉,改进显示效果并改善用户体验。
图1A示出了根据本实用新型实施例的3D显示设备100的示意图。如图1A所示,3D显示设备100包括多视点裸眼3D显示屏110、3D处理装置130、人眼追踪装置150、视角确定装置160、3D信号接口140和处理器120。
在一些实施例中,多视点裸眼3D显示屏110可包括显示面板和覆盖显示面板的光栅(未示出)。显示面板可以包括m列n行(m×n)个复合像素400并因此限定出m×n的显示分辨率。m×n的显示分辨率例如可以为全高清(FHD)以上的分辨率,包括但不限于:1920×1080、1920×1200、2048×1280、2560×1440、3840×2160等。每个复合像素包括多个复合子像素,每个复合子像素包括对应于i个视点的i个同色子像素,其中i≥3。
图1A示意性地示出了m×n个复合像素中的一个复合像素400,包括由i=6个红色子像素R构成的红色复合子像素410、由i=6个绿色子像素G构成的绿色复合子像素420和由i=6个蓝色子像素B构成的蓝色复合子像素430。3D显示设备100相应具有i=6个视点(V1-V6)。在其他实施例中可以想到i为大于或小于6的其他值,如10、30、50、100等。
在一些实施例中,每个复合像素呈正方形。每个复合像素中的多个复合子像素可以彼此平行布置。每个复合子像素中的i个子像素可以成行布置。
在一些实施例中,3D处理装置为FPGA或ASIC芯片或FPGA或ASIC芯片组。在一些实施例中,3D显示设备100也可设置有一个以上3D处理装置130,它们并行、串行或串并行结合地处理对裸眼3D显示屏110的各复合像素的各复合子像素的子像素的渲染。本领域技术人员将明白,一个以上3D处理装置可以有其他的方式分配且并行处理裸眼3D显示屏110的多行多列复合像素或复合子像素,这落入本实用新型实施例的范围内。如图1A所示的实施例,3D处理装置130还可以选择性地包括缓存器131,以便缓存所接收到的3D视频的图像。
在一些实施例中,处理器被包括在计算机或智能终端中,这样的智能终端例如为移动终端。或者,处理器可以作为计算机或智能终端的处理器单元。但是可以想到,在一些实施例中,处理器120可以设置在3D显示设备100的外部,例如3D显示设备100可以为带有3D处理装置的多视点裸眼3D显示器,例如非智能的裸眼3D电视。
在一些实施例中,3D显示设备内部包括处理器。基于此,3D信号接口140为连接处理器120与3D处理装置130的内部接口。这样的3D显示设备100例如可以是移动终端,3D信号接口140可以为MIPI、mini-MIPI接口、LVDS接口、min-LVDS接口或Display Port接口。
如图1A所示,3D显示设备100的处理器120还可包括寄存器121。寄存器121可配置为暂存指令、数据和地址。在一些实施例中,寄存器121可被配置为接收有关多视点裸眼3D显示屏110的显示要求的信息。在一些实施例中,3D显示设备100还可以包括编解码器,配置为对压缩的3D视频信号解压缩和编解码并将解压缩的3D视频信号经3D信号接口140发送至3D处理装置130。
在一些实施例中,3D显示设备100可以包括配置为获取/确定人眼追踪数据的人眼追踪装置。例如图1B所示的实施例中,3D显示设备100包括通信连接至3D处理装置130的人眼追踪装置150,由此3D处理装置130可以直接接收人眼追踪数据。在一些实施例中,人眼追踪装置150可同时连接处理器120和3D处理装置130,使得一方面3D处理装置130可以直接从人眼追踪装置150获取人眼追踪数据,另一方面人眼追踪装置150从处理器120获取的其他信息可以被3D处理装置130处理。
在一些实施例中,人眼追踪数据包括表明用户的人眼空间位置的人眼空间位置信息,人眼空间位置信息可以三维坐标形式表现,例如包括用户的眼部/脸部与多视点裸眼3D显示屏或人眼追踪装置之间的间距信息(也就是用户的眼部/脸部的深度信息)、观看的眼部/脸部在多视点裸眼3D显示屏或人眼追踪装置的横向上的位置信息、用户的眼部/脸部在多视点裸眼3D显示屏或人眼追踪装置的竖向上的位置信息。人眼空间位置也可以用包含间距信息、横向位置信息和竖向位置信息中的任意两个信息的二维坐标形式表现。人眼追踪数据还可以包括用户的眼部(例如双眼)所在的视点(视点位置)、用户视角等。
在一些实施例中,人眼追踪装置包括配置为拍摄用户图像(例如用户脸部图像)的人眼追踪器、配置为基于所拍摄的用户图像确定人眼空间位置的人眼追踪图像处理器和配置为传输人眼空间位置信息的人眼追踪数据接口,人眼空间位置信息表明人眼空间位置。
在一些实施例中,人眼追踪器包括配置为拍摄第一图像的第一摄像头和配置为拍摄第二图像的第二摄像头,而人眼追踪图像处理器配置为基于第一图像和第二图像中的至少一副图像识别人眼的存在且基于识别到的人眼确定人眼空间位置。
图2示出了人眼追踪装置中的人眼追踪器配置有两个摄像头的示例。如图所示,人眼追踪装置150包括人眼追踪器151、人眼追踪图像处理器152和人眼追踪数据接口153。人眼追踪器151包括例如为黑白摄像头的第一摄像头151a和例如为黑白摄像头的第二摄像头151b。第一摄像头151a配置为拍摄例如为黑白图像的第一图像,第二摄像头151b配置为拍摄例如为黑白图像的第二图像。人眼追踪装置150可以前置于3D显示设备100中,例如前置于多视点裸眼3D显示屏110中。第一摄像头151a和第二摄像头151b的拍摄对象可以是用户脸部。在一些实施例中,第一摄像头和第二摄像头中的至少一个可以是彩色摄像头,并且配置为拍摄彩色图像。
在一些实施例中,人眼追踪装置150的人眼追踪数据接口153通信连接至3D显示设备100的3D处理装置130,由此3D处理装置130可以直接接收人眼追踪数据。在另一些实施例中,人眼追踪装置150的人眼追踪图像处理器152可通信连接至或集成至处理器120,由此人眼追踪数据可以从处理器120通过人眼追踪数据接口153被传输至3D处理装置130。
可选地,人眼追踪器151还设置有红外发射装置154。在第一摄像头或第二摄像头工作时,红外发射装置154配置为选择性地发射红外光,以在环境光线不足时、例如在夜间拍摄时起到补光作用,从而在环境光线弱的条件下也可以拍摄能识别出用户脸部及眼睛的第一图像和第二图像。
在一些实施例中,显示设备可以配置为在第一摄像头或第二摄像头工作时,基于接收到的光线感应信号,例如检测到光线感应信号低于预定阈值时,控制红外发射装置开启或调节其大小。在一些实施例中,光线感应信号是由处理终端或显示设备集成的环境光传感器接收的。上述针对红外发射装置的操作也可以由人眼追踪装置或集成有人眼追踪装置的处理终端来完成。
可选地,红外发射装置154配置为发射波长大于或等于1.5微米的红外光,亦即长波红外光。与短波红外光相比,长波红外光穿透皮肤的能力较弱,因此对人眼的伤害较小。
拍摄到的第一图像和第二图像被传输至人眼追踪图像处理器152。人眼追踪图像处理器152可以配置为具有视觉识别功能(如人脸识别功能),并且可以配置为基于第一图像和第二图像中的至少一幅图像识别出人眼以及基于识别出的人眼确定人眼空间位置。识别人眼可以是先基于第一图像和第二图像中的至少一幅图像识别出人脸,再经由识别的人脸来识别人眼。
在一些实施例中,人眼追踪图像处理器152可以基于人眼空间位置确定用户眼部所处的视点。在另一些实施例中,由3D处理装置130基于获取的人眼空间位置来确定用户眼部所处的视点。
在一些实施例中,第一摄像头和第二摄像头可以是相同的摄像头,例如相同的黑白摄像头,或相同的彩色摄像头。在另一些实施例中,第一摄像头和第二摄像头可以是不同的摄像头,例如不同的黑白摄像头,或不同的彩色摄像头。在第一摄像头和第二摄像头是不同摄像头的情况下,为了确定人眼的空间位置,可以对第一图像和第二图像进行校准或矫正。
在一些实施例中,第一摄像头和第二摄像头中至少一个摄像头是广角的摄像头。
图3示意性地示出了利用两个摄像头确定人眼的空间位置的几何关系模型。在图3所示实施例中,第一摄像头和第二摄像头是相同的摄像头,因此具有相同的焦距f。第一摄像头151a的光轴Za与第二摄像头151b的光轴Zb平行,而第一摄像头151a的焦平面401a和第二摄像头151b的焦平面401b处于同一平面内并且垂直于两个摄像头的光轴。基于上述设置,两个摄像头的镜头中心Oa和Ob的连线平行于两个摄像头的焦平面。在图3所示实施例中,以两个摄像头的镜头中心Oa到Ob的连线方向作为X轴方向并且以两个摄像头的光轴方向为Z轴方向示出XZ平面的几何关系模型。在一些实施例中,X轴方向也是水平方向,Y轴方向也是竖直方向,Z轴方向是垂直于XY平面的方向(也可称为深度方向)。
在图3所示实施例中,以第一摄像头151a的镜头中心Oa为其原点,以第二摄像头151b的镜头中心Ob为其原点。R和L分别表示用户的右眼和左眼,XRa和XRb分别为用户右眼R在两个摄像头的焦平面401a和401b内成像的X轴坐标,XLa和XLb分别为用户左眼L在两个摄像头的焦平面401a和401b内成像的X轴坐标。此外,两个摄像头的间距T以及它们的焦距f也是已知的。根据相似三角形的几何关系可得出右眼R和左眼L与如上设置的两个摄像头所在平面的间距DR和DL分别为:
并且可得出用户双眼连线与如上设置的两个摄像头所在平面的倾斜角度α以及用户双眼间距或瞳距P分别为:
在图3所示实施例中,用户双眼连线(或用户脸部)与如上设置的两个摄像头所在平面相互倾斜并且倾斜角度为α。当用户脸部与如上设置的两个摄像头所在平面相互平行时(亦即当用户平视两个摄像头时),倾斜角度α为零。
在一些实施例中,3D显示设备100可以是计算机或智能终端、如移动终端。但是可以想到,在一些实施例中,3D图像显示设备100也可以是非智能的显示终端、如非智能的裸眼立体电视。在一些实施例中,包括两个摄像头151a、151b的人眼追踪装置150前置于多视点裸眼立体显示屏中,或者说与多视点裸眼立体显示屏的显示平面基本位于在同一平面内。因此,在图3所示实施例中示例性得出的用户的右眼R和左眼L与如上设置的两个摄像头所在平面的间距DR和DL即为用户的右眼R和左眼L相对于多视点裸眼立体显示屏的间距(或者说是用户的右眼和左眼的深度),而用户脸部与如上设置的两个摄像头所在平面的倾斜角度α即为用户脸部相对于多视点裸眼立体显示屏的倾斜角度。
在一些实施例中,人眼追踪数据接口153配置为传输用户双眼相对于人眼追踪装置150或多视点裸眼立体显示屏110的倾斜角度或平行度。这可有利于更精确地呈现3D图像。
在一些实施例中,如上示例性得出的人眼空间位置信息DR、DL、α和P通过人眼追踪数据接口153传输至3D处理装置130。3D处理装置130基于接收到的人眼空间位置信息确定用户眼部所在的视点。在一些实施例中,3D处理装置130可预先存储有人眼空间位置与3D显示设备的视点之间的对应关系表。在获得人眼空间位置信息后,基于对应关系表即可确定用户眼部所处的视点。或者,对应关系表也可以是3D处理装置从其他带有存储功能的元器件(例如处理器)接收/读取的。
在一些实施例中,如上示例性得出的人眼空间位置信息DR、DL、α和P也可被直接传输至3D显示设备100的处理器,而3D处理装置130通过人眼追踪数据接口153从处理器接收/读取人眼空间位置信息。
在一些实施例中,第一摄像头151a配置为拍摄包括按照时间前后排列的多幅第一图像的第一图像序列,而第二摄像头151b配置为拍摄包括按照时间前后排列的多幅第二图像的第二图像序列。人眼追踪图像处理器152可以包括同步器155。同步器155配置为确定第一图像序列和第二图像序列中时间同步的第一图像和第二图像。被确定为时间同步的第一图像和第二图像用于人眼的识别以及人眼空间位置的确定。
在一些实施例中,人眼追踪图像处理器152包括缓存器156和比较器157。缓存器156配置为缓存第一图像序列和第二图像序列。比较器157配置为比较第一图像序列和第二图像序列中的多幅第一图像和第二图像。通过比较可以判断人眼的空间位置是否变化,也可以判断人眼是否还处于观看范围内等。判断人眼是否还处于观看范围内也可以是由3D处理装置来执行的。
在一些实施例中,人眼追踪图像处理器152配置为在第一图像序列和第二图像序列中的当前第一图像和第二图像中未识别到人眼的存在且在之前或之后的第一图像和第二图像中识别到人眼的存在时,基于之前或之后的第一图像和第二图像确定的人眼空间位置信息作为当前的人眼空间位置信息。这种情况可能出现在例如用户短暂转动头部时。在这种情况下,有可能短暂地无法识别到用户的脸部及其眼睛。
在一些实施例中,也可以对基于上述之前和之后的能识别出人脸及人眼的第一图像和第二图像所确定的人眼空间位置信息取平均值、进行数据拟合、进行插值或以其他方法处理,并且将得到的结果作为当前的人眼空间位置信息。
在一些实施例中,第一摄像头和第二摄像头配置为以24帧/秒或以上的频率拍摄第一图像序列和第二图像序列,例如以30帧/秒的频率拍摄,或者例如以60帧/秒的频率拍摄。
在一些实施例中,第一摄像头和第二摄像头配置为以与3D显示设备的多视点裸眼3D显示屏刷新频率相同的频率进行拍摄。
在一些实施例中,人眼追踪器包括配置为拍摄至少一幅图像的至少一个摄像头和配置为获取用户的眼部深度信息的深度检测器,而人眼追踪图像处理器配置为基于所拍摄的至少一幅图像识别人眼的存在,并基于识别到的人眼和眼部深度信息确定人眼空间位置。
图4示出了人眼追踪装置中的人眼追踪器配置有单个摄像头和深度检测器的示例。如图所示,人眼追踪装置150包括人眼追踪器151、人眼追踪图像处理器152和人眼追踪数据接口153。人眼追踪器151包括例如为黑白摄像头的摄像头155和深度检测器158。摄像头155被配置为拍摄例如为黑白图像的至少一幅图像,而深度检测器158配置为获取用户的眼部深度信息。人眼追踪装置150可以前置于3D显示设备100中,例如前置于多视点裸眼3D显示屏110中。摄像头155的拍摄对象是用户脸部,基于拍摄到的图像识别出人脸或人眼。深度检测器获取眼部深度信息,也可以获取脸部深度信息,并基于脸部深度信息获取眼部深度信息。在一些实施例中,摄像头155可以用彩色摄像头,并且配置为拍摄彩色图像。在一些实施例中,也可以采用两个或两个以上摄像头155与深度检测器158配合确定人眼空间位置。
在一些实施例中,人眼追踪装置150的人眼追踪数据接口153通信连接至3D显示设备100的3D处理装置130,由此3D处理装置130可以直接接收人眼追踪数据。在另一些实施例中,人眼追踪图像处理器152可通信连接至或集成至3D显示设备100的处理器120,由此人眼追踪数据可以从处理器120通过人眼追踪数据接口153被传输至3D处理装置130。
可选地,人眼追踪器151还设置有红外发射装置154。在摄像头155工作时,红外发射装置154配置为选择性地发射红外光,以在环境光线不足时、例如在夜间拍摄时起到补光作用,从而在环境光线弱的条件下也可以拍摄能识别出用户脸部及眼睛的图像。
在一些实施例中,显示设备可以配置为在摄像头工作时,基于接收到的光线感应信号,例如检测到光线感应信号低于预定阈值时,控制红外发射装置开启或调节其大小。在一些实施例中,光线感应信号是由处理终端或显示设备集成的环境光传感器接收的。上述针对红外发射装置的操作也可以由人眼追踪装置或集成有人眼追踪装置的处理终端来完成。
可选地,红外发射装置154配置为发射波长大于或等于1.5微米的红外光,亦即长波红外光。与短波红外光相比,长波红外光穿透皮肤的能力较弱,因此对人眼的伤害较小。
拍摄到的图像被传输至人眼追踪图像处理器152。人眼追踪图像处理器可以配置为具有视觉识别功能(例如人脸识别功能),并且可以配置为基于所拍摄的图像识别出人脸以及基于识别出的人眼位置和用户的眼部深度信息确定人眼的空间位置,并基于人眼的空间位置确定用户眼部所处的视点。在另一些实施例中,由3D处理装置基于获取的人眼空间位置确定用户眼部所处的视点。在一些实施例中,摄像头是广角的摄像头。在一些实施例中,深度检测器158构造为结构光摄像头或TOF摄像头。
图5示意性地示出了利用摄像头和深度检测器确定人眼的空间位置的几何关系模型。在图5所示实施例中,摄像头具有焦距f、光轴Z和焦平面FP,R和L分别表示用户的右眼和左眼,XR和XL分别为用户右眼R和左眼L在摄像头155的焦平面FP内成像的X轴坐标。
作为解释而非限制性地,通过摄像头155拍摄的包含了用户左眼和右眼的图像,可得知左眼和右眼在摄像头155的焦平面FP内成像的X轴(水平方向)坐标和Y轴(竖直方向)坐标。如图5所示,以摄像头155的镜头中心O为原点,X轴和与X轴垂直的Y轴(未示出)形成摄像头平面MCP,其与焦平面FP平行。摄像头155的光轴方向Z也是深度方向。也就是说,在图5所示的XZ平面内,左眼和右眼在焦平面FP内成像的X轴坐标XR、XL是已知的。此外,摄像头155的焦距f是已知的。在这种情况下,可算出左眼和右眼与摄像头镜头中心O的连线在XZ平面内的投影相对于X轴的倾斜角βR和βL。同理,在(未示出的)YZ平面内,左眼和右眼在焦平面FP内成像的Y轴坐标是已知的,再结合已知的焦距f,可算出左眼和右眼与摄像头镜头中心O的连线在YZ平面内的投影相对于摄像头平面MCP的Y轴的倾斜角。
作为解释而非限制性地,通过摄像头155拍摄的包含了用户左眼和右眼的图像以及深度检测器158获取的左眼和右眼的深度信息,可得知左眼和右眼在摄像头155的坐标系内的空间坐标(X,Y,Z),其中,Z轴坐标即为深度信息。据此,如图5所示,可算出左眼和右眼的连线在XZ平面内的投影与X轴的夹角α。同理,在(未示出的)YZ平面内,可算出左眼和右眼的连线在YZ平面内的投影与Y轴的夹角。
如图5所示,在已知摄像头155的焦距f、双眼在焦平面FP内的X轴坐标XR、XL的情况下,可以得出用户的右眼R和左眼L与镜头中心O的连线在XZ平面内的投影相对于X轴的倾斜角βR和βL分别为:
在此基础上,通过深度检测器158获得的右眼R和左眼L的深度信息,可得知用户右眼R和左眼L相对于摄像头平面MCP/多视点裸眼3D显示屏的显示平面的距离DR和DL。据此,可以得出用户双眼连线在XZ平面内的投影与X轴的夹角α以及瞳距P分别为:
上述计算方法和数学表示仅是示意性的,本领域技术人员可以想到其他计算方法和数学表示,以得到所需的人眼的空间位置。本领域技术人员也可以想到,必要时将摄像头的坐标系与显示设备或多视点裸眼3D显示屏的坐标系进行变换。
在一些实施例中,当距离DR和DL不等并且夹角α不为零时,可认为用户以一定倾角面对多视点裸眼3D显示屏的显示平面。当距离DR和DL相等并且视角α为零时,可认为用户平视多视点裸眼3D显示屏的显示平面。在另一些实施例中,可以针对夹角α设定阈值,在夹角α不超过阈值的情况下,可以认为用户平视多视点裸眼3D显示屏的显示平面。
在一些实施例中,基于识别出的人眼或者说确定的人眼空间位置,能够得到用户视角,并基于用户视角来从3D模型或包括景深信息的3D视频生成与用户视角相对应的3D图像,从而依据3D图像所显示的3D效果对于用户来说是随动的,使用户获得彷如在对应角度观看真实物体或场景的感受。
在一些实施例中,用户视角是用户相对于摄像头的夹角。
在一些实施例中,用户视角可以是用户的眼睛(单眼)与摄像头的镜头中心O的连线相对于摄像头坐标系的夹角。在一些实施例中,夹角例如为连线与摄像头坐标系中的X轴(横向)的夹角θX、或者连线与摄像头坐标系中的Y轴(竖向)的夹角θY、或者以θ(X,Y)表示。在一些实施例中,夹角例如为连线在摄像头坐标系的XY平面内的投影与连线的夹角。在一些实施例中,夹角例如为连线在摄像头坐标系的XY平面内的投影与X轴的夹角θX、或者连线在摄像头坐标系的XY平面内的投影与Y轴的夹角θY、或者以θ(X,Y)表示。
在一些实施例中,用户视角可以是用户的双眼连线中点与摄像头的镜头中心O的连线(即用户视线)相对于摄像头坐标系的夹角。在一些实施例中,夹角例如为用户视线与摄像头坐标系中的X轴(横向)的夹角θX、或者用户视线与摄像头坐标系中的Y轴(竖向)的夹角θY、或者以θ(X,Y)表示。在一些实施例中,夹角例如为用户视线在摄像头坐标系的XY平面内的投影与连线的夹角。在一些实施例中,夹角例如为用户视线在摄像头坐标系的XY平面内的投影与X轴(横向)的夹角θX、或者用户视线在摄像头坐标系的XY平面内的投影与Y轴(竖向)的夹角θY、或者以θ(X,Y)表示。
在一些实施例中,用户视角可以是用户的双眼连线相对于摄像头坐标系的夹角。在一些实施例中,夹角例如为双眼连线与摄像头坐标系中的X轴的夹角θX、或者双眼连线与摄像头坐标系中的Y轴的夹角θY、或者以θ(X,Y)表示。在一些实施例中,夹角例如为双眼连线在摄像头坐标系的XY平面内的投影与连线的夹角。在一些实施例中,夹角例如为双眼连线在摄像头坐标系的XY平面内的投影与X轴的夹角θX、或者双眼连线在摄像头坐标系的XY平面内的投影与Y轴的夹角θY、或者以θ(X,Y)表示。
在一些实施例中,用户视角可以是用户的人脸所在平面相对于摄像头坐标系的夹角。在一些实施例中,夹角例如为人脸所在平面与摄像头坐标系中的XY平面的夹角。其中,人脸所在平面可通过提取多个人脸特征确定,人脸特征例如可以是额头、眼睛、耳朵、嘴角、下巴等。
在一些实施例中,用户视角可以是用户相对于多视点裸眼3D显示屏或多视点裸眼3D显示屏的显示平面的夹角。在本文中定义多视点裸眼3D显示屏或显示平面的坐标系,其中,以多视点裸眼3D显示屏的中心或显示平面的中心o为原点,以水平方向(横向)直线为x轴,以竖直方向直线为y轴,以垂直于xy平面的直线为z轴(深度方向)。
在一些实施例中,用户视角可以是用户的眼睛(单眼)与多视点裸眼3D显示屏或显示平面的中心o的连线相对于多视点裸眼3D显示屏或显示平面的坐标系的夹角。在一些实施例中,夹角例如为连线与坐标系中的x轴的夹角θx、或者连线与坐标系中的y轴的夹角θy、或者以θ(x,y)表示。在一些实施例中,夹角例如为连线在坐标系的xy平面内的投影与连线的夹角。在一些实施例中,夹角例如为连线在坐标系的xy平面内的投影与x轴的夹角θx、或者连线在坐标系的xy平面内的投影与y轴的夹角θy、或者以θ(x,y)表示。
在一些实施例中,用户视角可以是用户的双眼连线中点与多视点裸眼3D显示屏或显示平面的中心o的连线(即用户视线)相对于多视点裸眼3D显示屏或显示平面的坐标系的夹角。在一些实施例中,如图6所示,夹角例如为用户视线与坐标系中的x轴的夹角θx、或者用户视线与坐标系中的y轴的夹角θy、或者以θ(x,y)表示,图中R表示用户右眼,L表示用户左眼。在一些实施例中,如图7所示,夹角例如为用户视线在坐标系的xy平面内的投影k与用户视线的夹角θk。在一些实施例中,夹角例如为用户视线在坐标系的xy平面内的投影与X轴的夹角θx、或者用户视线在坐标系的xy平面内的投影与y轴的夹角θy、或者以θ(x,y)表示。
在一些实施例中,用户视角可以是用户的双眼连线相对于多视点裸眼3D显示屏或显示平面的坐标系的夹角。在一些实施例中,夹角例如为连线与坐标系中的x轴的夹角θx、或者连线与坐标系中的y轴的夹角θy、或者以θ(x,y)表示。在一些实施例中,夹角例如为连线在坐标系的xy平面内的投影与连线的夹角。在一些实施例中,夹角例如为连线在坐标系的xy平面内的投影与x轴的夹角θx、或者连线在摄像头坐标系的xy平面内的投影与y轴的夹角θy、或者以θ(x,y)表示。
在一些实施例中,用户视角可以是用户的人脸所在平面相对于多视点裸眼3D显示屏或显示平面的坐标系的夹角。在一些实施例中,夹角例如为人脸所在平面与坐标系中的xy平面的夹角。其中,人脸所在平面可通过提取多个人脸特征确定,人脸特征例如可以是额头、眼睛、耳朵、嘴角、下巴等。
在一些实施例中,摄像头前置于多视点裸眼3D显示屏上。在这种情况下,可以将摄像头坐标系视作多视点裸眼3D显示屏或显示平面的坐标系。
为确定用户视角,3D显示设备可设有视角确定装置。视角确定装置可以是软件,例如计算模块、程序指令等,也可以是硬件。视角确定装置可以集成在3D处理装置中,也可以集成在人眼追踪装置中,也可以向3D处理装置发送用户视角数据。
在图1A所示出的实施例中,视角确定装置160与3D处理装置130通信连接。3D处理装置可以接收用户视角数据,并基于用户视角数据生成对应于用户视角的3D图像以及基于人眼追踪数据所确定的用户眼部(例如双眼)所处视点根据生成的3D图像渲染复合子像素中与视点相关的子像素。在一些实施例中,如图1B所示,3D处理装置可接收由人眼追踪装置150确定的人眼空间位置信息和由视角确定装置160确定的用户视角数据。在一些实施例中,如图1C所示,视角确定装置160可以集成在人眼追踪装置150中,例如集成在人眼追踪图像处理器152中,人眼追踪装置150与3D处理装置通信连接,向3D处理装置发送包括了用户视角数据、人眼空间位置信息的人眼追踪数据。在另一些实施例中,视角确定装置可以集成在3D处理装置中,由3D处理装置接收人眼空间位置信息并基于人眼空间位置信息确定用户视角数据。在一些实施例中,人眼追踪装置分别与3D处理装置和视角确定装置通信连接,并向两者发送人眼空间位置信息,由视角确定装置基于人眼空间位置信息确定用户视角数据并发送至3D处理装置。
3D处理装置接收或确定用户视角数据后,可以基于用户视角数据随动地从所接收的3D模型或包括景深信息的3D视频生成与该视角相符合的3D图像,从而能够向处于不同用户视角的用户呈现具有不同景深信息和渲染图像的3D图像,使用户获得与从不同角度观察真实物体相似的视觉感受。
图8示意性地示出了对于不同的用户视角基于同一3D模型生成的不同的3D图像。如图8所示,3D处理装置接收到具有景深信息的3D模型600,还接收到或确认了多个不同的用户视角。针对各个用户视角,3D处理装置由3D模型600生成了不同的3D图像601和602。图中R表示用户右眼,L表示用户左眼。依据由不同用户视角所对应的景深信息生成的不同的3D图像601、602来分别渲染相应视点所对应的子像素,其中相应视点是指由人眼追踪数据确定的用户双眼所处的视点。对于用户来说,获得的3D显示效果是根据不同的用户视角随动的。依据用户视角的改变,这种随动效果例如可以是在水平方向上随动,或者是在竖直方向上随动,或者是在深度方向上随动,或者是在水平、竖直、深度方向的分量随动。
多个不同的用户视角可以是基于多个用户生成的,也可以是基于同一用户的运动或动作所生成的。
在一些实施例中,用户视角是实时检测并确定的。在一些实施例中,实时检测并确定用户视角的变化,在用户视角的变化小于预定阈值时,基于变化前的用户视角生成3D图像。这种情况可能发生在用户暂时小幅度或小范围内晃动头部或作出姿态调整时,例如在固定的座位上进行姿态调整。此时仍旧以发生变化前的用户视角作为当前用户视角并生成与当前用户视角所对应的景深信息相应的3D图像。
在一些实施例中,基于识别出的人眼或者确定的人眼空间位置可以确定用户双眼所在的视点。人眼空间位置信息与视点的对应关系可以对应关系表的形式存储在处理器中,并由3D处理装置接收。或者,人眼空间位置信息与视点的对应关系可以对应关系表的形式存储在3D处理装置中。
下面描述根据本实用新型的实施例的3D显示设备的显示。如上所述,3D显示设备可以具有多个视点。用户的眼睛在各视点位置(空间位置)处可看到多视点裸眼3D显示屏中各复合像素的复合子像素中相应的子像素的显示。用户的两只眼睛在不同的视点位置看到的两个不同画面形成视差,在大脑中合成3D画面。
在一些实施例中,基于生成的3D图像和确定的用户双眼的视点,3D处理装置可以渲染各复合子像素中的相应子像素。视点与子像素的对应关系可以对应表的形式存储在处理器中,并由3D处理装置接收。或者,视点与子像素的对应关系可以对应表的形式存储在3D处理装置中。
在一些实施例中,基于生成的3D图像,由处理器或3D处理装置生成并列的两幅图像,例如左眼视差图像和右眼视差图像。在一些实施例中,将生成的3D图像作为并列的两幅图像中的一幅,例如作为左眼视差图像和右眼视差图像中的一幅,并基于3D图像生成并列的两幅图像中的另一幅,例如生成左眼视差图像和右眼视差图像中的另一幅。3D处理装置基于两幅图像中的一幅,依据确定的用户双眼的视点位置中的一只眼的视点位置,渲染各复合子像素中的至少一个子像素;并基于两幅图像中的另一幅,依据确定的用户双眼的视点位置中的另一眼的视点位置,渲染各复合子像素中的至少另一个子像素。
下面结合图9A至图9E所示实施例详细描述依据视点对子像素的渲染。在所示出的实施例中,3D显示设备具有8个视点V1-V8。3D显示设备的多视点裸眼3D显示屏中的每个复合像素500由三个复合子像素510、520和530构成。每个复合子像素由对应于8个视点的8个同色子像素构成。如图所示,复合子像素510是由8个红色子像素R构成的红色复合子像素,复合子像素520是由8个绿色子像素G构成的绿色复合子像素,复合子像素530是由8个蓝色子像素B构成的蓝色复合子像素。多个复合像素在多视点裸眼3D显示屏中以阵列形式布置。为清楚起见,图中仅示出了多视点裸眼3D显示屏中的一个复合像素500。其他复合像素的构造和子像素的渲染可以参照对所示出的复合像素的描述。
在一些实施例中,当基于人眼空间位置信息确定用户的双眼各对应一个视点时,依据由3D模型或3D视频的景深信息所生成的对应于用户视角的3D图像,3D处理装置可以渲染复合子像素中的相应子像素。
参考图9A,在所示实施例中,用户的左眼处于视点V2,右眼处于视点V5,基于3D图像生成对应于这两个视点V2和V5的左右眼视差图像,并渲染复合子像素510、520、530各自与这两个视点V2和V5相对应的子像素。
在一些实施例中,当基于人眼空间位置信息确定用户的双眼各对应一个视点时,依据由3D模型或3D视频的景深信息所生成的对应于用户视角的3D图像,3D处理装置可以渲染复合子像素中与这两个视点相对应的子像素,并渲染这两个视点各自的相邻视点所对应的子像素。
参考图9B,在所示实施例中,用户的左眼处于视点V2,右眼处于视点V6,基于3D图像生成对应于这两个视点V2和V6的左右眼视差图像,并渲染复合子像素510、520、530各自与这两个视点V2和V6相对应的子像素,同时还渲染视点V2和V6各自两侧相邻的视点所对应的子像素。在一些实施例中,也可以同时渲染视点V2和V6各自单侧相邻的视点所对应的子像素。
在一些实施例中,当基于人眼空间位置信息确定用户的双眼各自位于两个视点之间时,依据由3D模型或3D视频的景深信息所生成的对应于用户视角的3D图像,3D处理装置可以渲染复合子像素中与这四个视点相对应的子像素。
参考图9C,在所示实施例中,用户的左眼处于视点V2和V3之间,右眼处于视点V5和V6之间,基于3D图像生成对应于视点V2、V3和V5、V6的左右眼视差图像,并渲染复合子像素510、520、530各自与视点V2、V3和V5、V6相对应的子像素。
在一些实施例中,当基于人眼空间位置信息确定用户双眼中至少一只眼睛对应的视点位置发生了变化时,依据由3D模型或3D视频的景深信息所生成的对应于用户视角的3D图像,3D处理装置可以从渲染复合子像素中与变化前的视点位置对应的子像素切换为渲染复合子像素中与变化后的视点位置对应的子像素。
参考图9D,用户的左眼从视点V1移动至视点V3,右眼从视点V5移动至视点V7,复合子像素510、520、530各自被渲染的子像素相应进行调整,以适应变化的视点位置。
在一些实施例中,当基于人眼空间位置信息确定有一个以上用户时,依据由3D模型或3D视频的景深信息所生成的对应于每个用户视角的3D图像,3D处理装置可以渲染复合子像素中与每个用户的双眼所在视点对应的子像素。
参考图9E,面向3D显示设备有两个用户,第一个用户的双眼分别处于视点V2和V4,第二个用户的双眼分别处于视点V5和视点V7。依据3D模型或3D视频的景深信息生成分别对应于第一个用户视角的第一3D图像和对应于第二个用户视角的第二3D图像,并基于第一3D图像生成对应于视点V2和V4的左右眼视差图像,基于第二3D图像生成对应于视点V5和V7的左右眼视差图像。3D处理装置渲染复合子像素510、520、530各自对应于视点V2和V4、V5和V7的子像素。
在一些实施例中,3D显示设备的子像素与视点的对应关系存在理论对应关系。这种理论对应关系可以是在3D显示装置从流水线上生产出来时统一设定或调制的,还可以对应关系表的形式存储在3D显示设备中,例如存储在处理器中或3D处理装置中。由于光栅的安装、材质或对位等原因,在实际使用3D显示设备时,可能会出现在空间中的视点位置所观看到的子像素与理论子像素不对应的问题。这对于3D图像的正确显示造成了影响。对3D显示设备实际使用过程中存在的子像素与视点的对应关系进行校准或校正,对于3D显示设备是有利的。在本实用新型所提供的实施例中,这种在3D显示设备的实际使用过程中存在的视点与子像素的对应关系被称为“校正对应关系”。“校正对应关系”相较于“理论对应关系”可能存在偏差,也有可能是一致的。
获得“校正对应关系”的过程也就是找到视点与子像素在实际显示过程中的对应关系的过程。在一些实施例中,为了确定多视点裸眼3D显示屏中各复合像素的复合子像素中的子像素与视点的校正对应关系,可将多视点裸眼3D显示屏或显示面板分为多个校正区域,分别对每个校正区域中的子像素与视点的校正对应关系进行确定,然后将各区域内的校正对应关系数据按区储存起来,例如以对应关系表的形式存储在处理器或3D处理装置中。
在一些实施例中,每个校正区域中的至少一个子像素与视点的校正对应关系是通过检测得出的,每个校正区域中其他子像素与视点的校正对应关系是参考被检测出来的校正对应关系通过数学计算推算或估算出的。数学计算方法包括:线性差值、线性外推、非线性差值、非线性外推、泰勒级数近似、参考坐标系线性变化、参考坐标系非线性变化、指数模型和三角变换等。
在一些实施例中,多视点裸眼3D显示屏定义有多个校正区域,所有校正区域联合起来的面积范围是多视点裸眼3D显示屏的面积的90%至100%。在一些实施例中,多个校正区域在多视点裸眼3D显示屏中呈阵列形式排布。在一些实施例中,每个校正区域可由包含三个复合子像素的一个复合像素来定义。在一些实施例中,每个校正区域可由两个或两个以上的复合像素来定义。在一些实施例中,每个校正区域可由两个或两个以上的复合子像素来定义。在一些实施例中,每个校正区域可由不属于同一个复合像素的两个或两个以上复合子像素来定义。
在一些实施例中,一个校正区域内的子像素与视点的校正对应关系相较于理论对应关系的偏差与另一个校正区域内的子像素与视点的校正对应关系相较于理论对应关系的偏差相比,可以是一致或基本一致的,也可以是不一致的。
根据本实用新型的实施例提供了3D图像显示的方法,用于上述的3D显示设备。如图10所示,3D图像的显示方法包括:
S10,确定用户的用户视角;和
S20,基于用户视角,依据3D模型的景深信息渲染多视点裸眼3D显示屏中的复合像素的复合子像素中的相应子像素。
在一些实施例中,也可以依据3D视频的景深信息渲染多视点裸眼3D显示屏中的复合像素的复合子像素中的相应子像素。
在一些实施例中,3D图像的显示方法包括:
S100,确定用户的用户视角;
S200,确定用户双眼所处的视点;
S300,接收3D模型或包括景深信息的3D视频;
S400,基于确定的用户视角,依据3D模型或包括景深信息的3D视频生成3D图像;和
S500,基于确定的用户双眼所处视点,依据生成的3D图像渲染多视点裸眼3D显示屏中的复合像素的复合子像素中的相应子像素,其中相应子像素是指复合子像素中与所确定的用户所处视点相对应的子像素。
在一些实施例中,确定用户视角包括:实时检测用户视角。
在一些实施例中,基于确定的用户视角,依据3D模型或3D视频的景深信息生成3D图像包括:确定实时检测的用户视角的变化;和在用户视角的变化小于预定阈值时,基于变化前的用户视角生成3D图像。
本实用新型实施例提供了一种3D显示设备300,参考图11,3D显示设备300包括处理器320和存储器310。在一些实施例中,电子设备300还可以包括通信接口340和总线330。其中,处理器320、通信接口340和存储器310通过总线330完成相互间的通信。通信接口340可配置为传输信息。处理器320可以调用存储器310中的逻辑指令,以执行上述实施例的在3D显示设备中基于用户视角随动地显示3D画面的方法。
此外,上述的存储器310中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器310作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序,如本实用新型实施例中的方法对应的程序指令/模块。处理器320通过运行存储在存储器310中的程序指令/模块,从而执行功能应用以及数据处理,即实现上述方法实施例中的在电子设备中切换显示3D图像和2D图像的方法。
存储器310可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器310可以包括高速随机存取存储器,还可以包括非易失性存储器。
以上描述和附图充分地示出了本实用新型的实施例,以使本领域技术人员能够实践它们。实施例仅代表可能的变化。除非明确要求,否则单独的部件和功能是可选的,并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本实用新型实施例的范围包括权利要求书的整个范围,以及权利要求书的所有可获得的等同物。而且,本实用新型中使用的用词仅用于描述实施例并且不用于限制权利要求。另外,当用于本实用新型中时,术语“包括”等指陈述的特征、整体、步骤、操作、元素或组件中至少一项的存在,但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件或这些的分组的存在或添加。本文中,每个实施例重点说明的可以是与其他实施例的不同之处,各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言,如果其与实施例公开的方法部分相对应,那么相关之处可以参见方法部分的描述。