具体实施方式
在下文中,将参照附图描述本发明的实施方式。然而,本发明不限于这些实施方式,这些实施方式中的各种数值和材料仅是示例性的。顺便提及,将按照下面的顺序进行描述。
1.根据本发明的第一形态和第二形态的具有摄像装置的图像显示装置的概述。
2.实施方式1(根据本发明的第一形态的具有摄像装置的图像显示装置)
3.实施方式2(实施方式1的修改例,本发明的第一配置)
4.实施方式3(实施方式2的修改例,本发明的第二配置)
5.实施方式4(根据本发明的第二形态的具有摄像装置的图像显示装置)和其他
[根据本发明的具有摄像装置的图像显示装置的概述]
在根据本发明的具有摄像装置的图像显示装置中,可进行配置从而为多个像素设置光透射区域。顺便提及,为了方便,根据具有上述配置的本发明的具有摄像装置的图像显示装置被称作“根据本发明的第一形态的具有摄像装置的图像显示装置”。可选择地,可进行配置以使光透射区域被设置在至少一个(优选地,至少两个)像素周围。在这种情况下,光透射区域可被设置在像素的整个外围或者可被设置在像素的外围的一部分中(具体地,与像素的边缘对应的边中的两个或更多个连续的边)。在后一种情况下,优选地,光透射区域被设置在像素的整个外围的1/4以上的长度上(在两个连续的边中,各边长度的1/2以上)。顺便提及,为了方便,根据具有上述配置的本发明的具有摄像装置的图像显示装置被称作“根据本发明的第二形态的具有摄像装置的图像显示装置”。在根据本发明的第一形态或第二形态的具有摄像装置的图像显示装置中,穿过对多个像素设置的光透射区域的光被会聚至摄像装置,或者,穿过被设置在至少一个像素周围的光透射区域的光被会聚至摄像装置。因此,不需要高精度的微透镜来精确地将图像聚焦在摄像装置上,不会增加具有摄像装置的图像显示装置的制造成本,并且足量的光可被会聚至摄像装置。
在包括根据本发明的第一形态或第二形态的具有摄像装置的图像显示装置的根据本发明的具有摄像装置的图像显示装置中(在下文中,这些装置有时被简单地统称为“根据本发明的具有摄像装置的图像显示装置”),光透射区域包括多个光透射部。当对像素设置各光透射部时,在构成光透射区域的光透射部中发生衍射现象,因此,存在聚焦在摄像装置上的图像是模糊的或者失去锐化度的情况。在这种情况下,对于通过摄像装置获取的图像信息,或者通过摄像装置获取的且将被显示在图像显示部上的其他图像数据(例如,通过摄像装置拍摄用户等而获得的且将被显示在图像显示部上的图像数据,并且这种其他图像数据有时被简称为“图像数据”),优选采用还包括衍射校正部件的配置,该衍射校正部件被配置为校正构成光透射区域的光透射部中产生的衍射。顺便提及,为了方便,此配置被称作“本发明的第一配置”。
在本发明的第一配置中,一部分或所有构成光透射区域的光透射部被周期性地设置在图像显示部的第一方向和第二方向上。当光透射部在第一方向上的长度是Ltr-1并且第一方向上的像素节距是Ppx-1时,优选第一方向上的线开口率Ltr-1/Ppx-1满足Ltr-1/Ppx-1≥0.5,并且优选满足Ltr-1/Ppx-1≥0.8。
此外,当光透射部在第二方向上的长度是Ltr-2并且第二方向上的像素节距是Ppx-2时,优选第二方向上的线开口率Ltr-2/Ppx-2满足Ltr-2/Ppx-2≥0.5,并且优选地满足Ltr-2/Ppx-2≥0.8。
顺便提及,第一方向和第二方向可彼此垂直,或者可以以除了90度以外的角度彼此交叉。在后一种情况下,还存在以下情况:除了被周期性地设置在第一方向和第二方向外,一部分或所有光透射部还被周期性地设置在第三方向上、第四方向上……。在这种情况下,优选地,光透射部在这些方向中的至少两个方向上的长度和至少两个方向上的像素节距满足上述关系(具体地,0.5倍以上)。线开口率Ltr-1/Ppx-1和Ltr-2/Ppx-2的上限值并无特定限制,只要可以形成光透射部即可。此处,光透射部在第一方向上的长度Ltr-1意味着与光透射部被投射在第一方向上时的形状对应的线段的每一周期的长度,而第一方向上的像素节距Ppx-1意味着在第一方向上像素的每一周期的长度。同样地,光透射部在第二方向上的长度Ltr-2意味着与光透射部被投射在第二方向上时的形状对应的线段的每一周期的长度,而第二方向上的像素节距Ppx-2意味着在第二方向上像素的每一周期的长度。
在本发明的第一配置中,具体地,优选对图像信息或图像数据执行基于光透射部的形状、尺寸和分布(并且进一步地,基于取决于环境的外部光的波长)计算的MTF(调制传递函数)逆变换处理。光透射部的形状、尺寸和分布可被预先存储在衍射校正部件中。可将衍射校正部件制成例如具有输入/输出部并且包括CPU和存储器的电路。根据情况,衍射校正部件也可由设置在具有摄像装置的图像显示装置中的个人计算机构成。当考虑外部光的波长时,可独立于外部光(外部照明环境)得到最佳图像。
在包括以上优选配置的根据本发明的具有摄像装置的图像显示装置中,进行配置以进一步包括波长分布测量部件,其被配置为测量外部光的波长分布。顺便提及,为了方便,此配置被称作“本发明的第二配置”。通过采用上述配置,可实现通过摄像装置获得的图像信息和图像数据的精度的改进(例如,颜色信息的精度的改进),并且可实现MTF逆变换处理的精度的改进。波长分布测量部件例如可由光接收装置(例如光敏元件等)构成。可由具有摄像装置的图像显示装置来执行波长分布测量部件的控制,并且根据情况,该控制可由设置在具有摄像装置的图像显示装置中的个人计算机执行。
在包括各种优选配置的根据本发明的具有摄像装置的图像显示装置中,期望发光器件是自发光型发光器件,更优选是有机电致发光器件(有机EL器件)。顺便提及,构成液晶显示装置的液晶显示器件被用于控制来自外部的光(来自背光的光或外部光)的通过,并且像素不包括发光器件。当发光器件是有机EL器件时,构成有机EL器件的有机层(发光部)包括由有机发光材料制成的发光层,具体地,例如具有包括空穴传输层、发光层和电子传输层的层叠结构,包括空穴传输层和用作电子传输层的发光层的层叠结构,或者包括空穴注入层、空穴传输层、发光层、电子传输层和电子注入层的层叠结构。此外,当电子传输层、发光层、空穴传输层和空穴注入层被制成“串联单元(tandem unit)”时,有机层可具有层叠了第一串联单元、连接层和第二串联单元的两级串联结构,并且进一步地,有机层可具有层叠了三个或更多个串联单元的三级或更多级串联结构。在这些情况下,当在各串联单元中发光颜色被变成红色、绿色和蓝色时,可得到总体上发白光的有机层。
通过最优化有机层的厚度,例如,可进行配置以使得第一电极与第二电极之间的发光层中发出的光共振,并且一部分光通过第二电极出射至外部。
此外,在包括上述各种配置和形态的根据本发明的具有摄像装置的图像显示装置中,图像显示部包括:(a)第一基板,(b)设置在第一基板上的驱动电路,(c)覆盖驱动电路的层间绝缘层,(d)设置在层间绝缘层上的发光部,(e)设置在发光部上的保护层,(f)设置在保护层上的遮光层以及(g)覆盖保护层和遮光层的第二基板。各像素包括驱动电路和发光部。遮光层具有开口。构成光透射区域的光透射部包括开口、位于开口下方的保护层的一部分和层间绝缘层的一部分。聚光部件和摄像装置被设置在第一基板的未面向第二基板的表面一侧。发光部中产生的光通过保护层和第二基板出射至外部。对像素设置光透射部。
此处,作为像素配置,例如可列举条状配置、对角线配置、三角形配置和矩形配置。此外,作为第一基板或第二基板,可列举高变形(high-distortion)玻璃基板、钠玻璃(Na2O·CaO·SiO2)基板、硼硅玻璃(Na2O·B2O3·SiO2)基板、镁橄榄石(2MgO·SiO2)基板、铅玻璃(Na2O·PbO·SiO2)基板、具有形成在表面上的绝缘膜的各种玻璃基板、石英基板、具有形成在表面上的绝缘膜的石英基板、具有形成在表面上的绝缘膜的硅基板、以及诸如聚甲基丙烯酸甲酯(聚甲基丙烯酸甲酯,PMMA)、聚乙烯醇(PVA)、聚苯酚(PVP)、聚醚砜(PES)、聚酰亚胺、聚碳酸酯和聚对苯二甲酸乙二醇酯(PET)的有机聚合物(具有高分子材料的形态,例如由高分子材料制成并且具有柔性的塑料膜、塑料片或塑料基板)。驱动电路可包括例如一个或多个薄膜晶体管(TFT)。作为层间绝缘层的构成材料,可独立地使用或者以合适的组合方式使用SiO2、BPSG、PSG、BSG、AsSG、PbSG、SiON、SOG(旋涂玻璃)、低熔点玻璃、诸如玻璃浆(glass paste)的SiO2材料、SiN材料以及诸如聚酰亚胺的绝缘树脂。在像素包括有机EL装置的情况下,发光部如上所述。作为构成保护膜的材料,优选使用对于发光部发出的光是透明的、致密的且不透水的材料。具体地,例如可列举非晶硅(α-Si)、非晶碳化硅(α-SiC)、非晶硅氮化物(α-Si1-xNx)、非晶硅氧化物(α-Si1-yOy)、非晶碳(α-C)、非晶硅氮氧化物(α-SiON)以及Al2O3。遮光层(黑矩阵)可由已知材料制成。可在需要时设置滤色器。
在包括各种优选的配置和形态的根据本发明的具有摄像装置的图像显示装置(在下文中有时被简单地统称为“本发明”)中,例如观看图像显示部的观察者(用户)的手、手指或眼球、用户的手握着的棒状材料等可被指定为对象。当位置检测部件以时间顺序连续地获得对象(例如,手或手指、眼球、棒状材料(例如,钢笔、铅笔等))的位置信息时,可获得对象的移动,从而可执行各种处理(例如,诸如个人计算机的显示器上的图像的上下或左右移动的处理、关闭画面的处理和打开另一画面的处理)。顺便提及,对象的移动与各种处理之间的关系可被寄存在位置检测部件中。可选择地,当位置检测部件获得对象指向的方向时,可执行与对象指向的方向对应的各种处理。此外,因为可通过手、笔等的方向指定图像显示部上的相应指示点,因此可将指针功能添加到具有摄像装置的图像显示装置。位置检测部件可被制成具有输入/输出部件且包括CPU和存储器的电路。根据情况,位置检测部件也可由设置在具有摄像装置的图像显示装置中的个人计算机构成。由摄像装置获得的信号(数据)被发送到位置检测部件,并且被位置检测部件处理。可通过公知方法(公知的算法或软件)执行这种处理。在各种处理的执行过程中,可在图像显示部上显示执行各种处理的确认,或者可通过声音来请求该确认。顺便提及,与摄像装置被设置在除屏幕后方以外的其他位置的情况相比,当设置在屏幕后方的摄像装置拍摄对象的图像时,对于对象的在相对于屏幕的面内方向(上下或左右方向)上的位置信息和移动信息,可获得更精确的位置信息。
在本发明中,图像显示部包括多个具有发光器件的像素单元。当像素单元的数量由(M,N)表示时,尽管例如VGA(640,480)、S-VGA(800,600)、XGA(1024,768)、APRC(1152,900)、S-XGA(1280,1024)、U-XGA(1600,1200)、HD-TV(1920,1080)和Q-XGA(2048,1536)以及(1920,1035)、(720,480)、(854,480)和(1280,960)等一些图像显示分辨率可作为示例,但不限于这些值。顺便提及,在执行彩色显示的图像显示部中,一个像素单元例如包括三种像素,即,发红光的红色发光像素、发绿光的绿色发光像素以及发蓝光的蓝色发光像素。可选择地,一个像素单元可包括四种或更多种像素,例如,除了这三种像素外,还可以包括发白光以提高亮度的像素、发互补色的光以扩大颜色再现范围的像素、发黄光以扩大颜色再现范围的像素以及发黄光和青色(cyan)光以扩大颜色再现范围的像素等。
在本发明的第一形态的具有摄像装置的图像显示装置中,对多个像素设置光透射区域。此处,具体地,尽管不旨在限制,但是期望为例如三个或更多个像素设置光透射区域。构成光透射区域的光透射部的外形实质上是任意的,可例举例如矩形或正方形等四边形。在本发明的第二形态的具有摄像装置的图像显示装置中,光透射区域被设置在至少一个像素周围。此处,具体地,尽管不旨在限制,但是期望光透射区域被设置在例如三个或更多个像素的周围。光透射区域的外形实质上是任意的,可例举例如“L”形(在该形态中,光透射区域被设置在与像素边缘对应的边中的两个连续边上)、“C”形(在该形态中,光透射区域被设置在与像素边缘对应的边中的三个连续边上)、“口”形(在该形态中,光透射区域被设置在与像素边缘对应的所有边上)以及井栏(curb)形(在该形态中,光透射区域被设置在与像素的边缘对应的所有边上,并且在相邻像素之间被设置为共同的)。可选择地,优选为包含设置在摄像装置中的透镜的投射图像的像素组设置光透射区域,或者在像素组周围设置光透射区域。
在本发明中,在图像显示部的背面侧设置摄像装置就已足够,但是优选在图像显示部的中心处设置摄像装置。通过这种方式,可在更宽的范围内精确地获得面向图像显示部的对象的位置信息。摄像装置的数量可为一个或多个。摄像装置可为市场有售的固体摄像装置,包括CCD器件或CMOS传感器等。顺便提及,还可使用例如公知的市场有售的摄像机或网络摄像机等固体摄像装置,在这些情况下,聚光部件和摄像装置被集成。
作为被配置为将穿过光透射区域的光会聚至摄像装置的聚光部件,可例举公知的透镜。具体地,透镜是双凸透镜、平凸透镜和弯月凸透镜中的一种,或者可为反射镜或菲涅尔透镜,或者可为这些各种凸透镜的组合,或者进一步可为凹透镜和这些各种凸透镜的组合。
在本发明中,优选滤色器未被设置在入射至图像显示部上、穿过光透射区域、从图像显示部出射并且入射在聚光部件上的光的光路中。此外,优选不设置例如微透镜等成像系统。
例如,本发明可被用作构成个人计算机的显示器装置的替代,可被用作装配在笔记本型的个人计算机中的显示器装置的替代,或者可被用作装配在便携式电话、PDA(个人数字助理)或游戏装置中的显示器装置的替代,或者现有的电视接收机的替代。
[实施方式1]
实施方式1涉及根据本发明的具有摄像装置的图像显示装置,具体地,根据本发明的第一形态的具有摄像装置的图像显示装置。图1A和图1B是示出从正面和侧面观察时实施方式1的具有摄像装置的图像显示装置的概念图,图1C示意性地示出构成图像显示部的多个像素的配置。图2是具有摄像装置的图像显示装置的示意性局部截面图。
实施方式1的具有摄像装置的图像显示装置包括(A)图像显示部10,其中设置有多个包括发光器件的像素11(11R、11G、11B),(B)光透射区域30,被设置在图像显示部10中,(C)摄像装置20,被设置在图像显示部10的背面侧上,(D)聚光部件21,被配置为将穿过光透射区域30的光会聚至摄像装置20,以及(E)位置检测部件71,被配置为基于通过摄像装置20获取的图像信息获得对象的位置信息。此处,在实施方式1中,具体地,对多个像素11设置光透射区域30。即,光透射区域30包括对多个像素11设置的光透射部31的集合。
在实施方式1或稍后描述的实施方式2至4中,发光器件是自发光型发光器件,并且具体地是有机EL器件。图像显示部10是彩色显示XGA型有机EL显示装置。即,当像素单元的数量由(M,N)表示时,其为(1024,768)。此外,一个像素单元包括发红光的红色发光像素11R、发绿光的绿色发光像素11G以及发蓝光的蓝色发光像素11B。顺便提及,在图1C、图9A、图9B、图10、图12A和图12B中,像素的外边缘由虚线表示。摄像装置20被设置在图像显示部10的背面侧上,并且更具体地,被设置在图像显示部10的背面侧的中心处。摄像装置20的数量为1。此处,摄像装置20和聚光部件21由公知的市场有售的包括CCD器件的摄像机构成,它们被集成于摄像机中。实施方式1的具有摄像装置的图像显示装置被用作构成个人计算机的显示器装置的替代。此外,实施方式1的具有摄像装置的图像显示装置设置有个人计算机70。个人计算机70通过电缆72和73连接至图像显示部10和摄像装置20。
尽管不旨在限制,但是为6×3=18个像素11设置光透射区域30。对一个像素设置一个光透射部31。聚光部件21将穿过光透射区域30(具体地,6×3=18个像素11的光透射部的集合)的光会聚至摄像装置20。对各像素11设置的光透射部31的形状为矩形。
在实施方式1或稍后所述的实施方式2至4中,图像显示部10设置有驱动各扫描线的扫描信号供应IC和提供视频信号的视频信号供应IC。扫描信号供应IC与扫描线控制电路相连,并且视频信号供应IC与信号线控制电路相连。滤色器未被设置在入射在图像显示部10上、穿过光透射区域30、从图像显示部10出射并且入射在聚光部件21上的光的光路中。也未设置例如微透镜等成像系统。
在实施方式1或稍后所述的实施方式2至4中,具体地,图像显示部10包括(a)第一基板40、(b)设置在第一基板40上的驱动电路、(c)覆盖驱动电路的层间绝缘层41、(d)设置在层间绝缘层41上的发光部(有机层63)、(e)设置在发光部(有机层63)上的保护层64、(f)设置在保护层64上的遮光层65以及(g)覆盖保护层64和遮光层65的第二基板67。
各像素11包括驱动电路和发光部,并且遮光层65具有开口65A。构成光透射区域30的光透射部31包括开口65A、位于开口65A下方的保护层64的一部分、第二电极62的一部分和层间绝缘层41的一部分。聚光部件21和摄像装置20被设置在第一基板40的未面向第二基板67的表面一侧。
更具体地,驱动电路设置在由钠玻璃制成的第一基板40上。驱动电路包括多个TFT。TFT包括形成于第一基板40上的栅电极51、形成于第一基板40和栅电极51上的栅绝缘膜52,设置在形成于栅绝缘膜52上的半导体层中的源/漏区53,以及与半导体层的位于源/漏区53之间且在栅电极51上方的一部分对应的沟道形成区54。在所示的实例中,尽管TFT是底栅型,但也可为顶栅型。TFT的栅电极51连接至扫描线(未示出)。层间绝缘层41(41A、41B)覆盖第一基板40和驱动电路。此外,构成有机EL器件的第一电极61设置在由SiOx、SiNy、聚酰亚胺树脂等制成的层间绝缘层41B上。通过设置在层间绝缘层41A中的接触塞42、配线43和接触塞44,TFT与第一电极61电连接。在附图中,对于一个有机EL器件驱动部示出了一个TFT。
绝缘层45形成在层间绝缘层41上,绝缘层45具有开口46,并且在开口46的底部处暴露第一电极61。绝缘层45是由具有极好的平坦度并且具有低吸水率(以防止由于水引起的有机层63的劣化并且保持发光亮度)的绝缘材料制成,具体地,由聚酰亚胺树脂制成。形成有机层63,将其设置在第一电极61的暴露于开口46的底部处的一部分上以及绝缘层45的围绕开口46的一部分上,并且包括由有机发光材料制成的发光层。尽管有机层63具有例如包括空穴传输层和用作电子传输层的发光层的层叠结构,但是在附图中示为一层。通过等离子体CVD方法,由非晶硅氮化物(α-Si1-xNx)制成的绝缘保护层64被设置在第二电极62上以防止水分到达有机层63。由黑色聚酰亚胺树脂制成的遮光层65形成在保护层64上,并且由钠玻璃制成的第二基板67被设置在保护层64和遮光层65上。通过由丙烯酸基粘接剂制成的粘接层66,保护层64和遮光层65贴合至第二基板67。第一电极61被用作阳极电极,第二电极62被用作阴极电极。具体地,第一电极61由厚度为0.2μm至0.5μm且包括铝(Al)、银(Ag)或它们的合金的反光材料制成。第二电极62由厚度为0.1μm的诸如ITO或IZO的透明导电材料制成,或者由厚度约为5nm的金属薄膜(半透明的金属薄膜)制成,该金属薄膜包括银(Ag)或镁(Mg),且允许光在一定程度上通过。第二电极62未被图案化并且形成为一片。根据情况,可在有机层63与第二电极62之间形成厚度为0.3nm且由LiF制成的电子注入层(未示出)。
综上,在表1中示出实施方式1或稍后所述的实施方式2至实施方式4的发光器件的详细配置。
表1
第二基板67 |
钠玻璃 |
粘接层66 |
丙烯酸基粘接剂 |
遮光层65 |
黑色聚酰亚胺树脂 |
保护层64 |
SiNx层(厚度:5μm) |
第二电极(阴极电极)62 |
ITO层(厚度:0.1μm)或半透明金属薄膜 |
电子注入层 |
LiF层(厚度:0.3nm) |
有机层63 |
如前所述 |
第一电极(阳极电极)61 |
Al-Nd层(厚度:0.2μm) |
层间绝缘层41 |
SiO2层 |
TFT |
构成驱动电路 |
第一基板40 |
钠玻璃 |
图3A和图3B是实施方式1的具有摄像装置的图像显示装置以及摄像装置被固定至图像显示部的外侧的图像显示装置的概念图。如图3B所示,当摄像装置被固定于图像显示部的外侧时,摄像装置倾斜地拍摄图像显示装置的用户。当将这样的图像显示在图像显示部上时,倾斜拍摄的用户的图像被显示在图像显示部上。因此,用户的脸不能被精确地显示,并且也不可能精确地确定用户特别关注图像显示部的哪部分。此外,当用户靠近图像显示部时,用户位于拍摄范围之外的可能性很高。另一方面,在实施方式1的具有摄像装置的图像显示装置中,如图3A所示,因为摄像装置被设置在图像显示部的背面侧的中心处,因此摄像装置可从正面拍摄使用该具有摄像装置的图像显示装置的用户。当将这样的图像显示在图像显示部上时,正面拍摄的用户的图像被显示在图像显示部上。因此,用户的脸可被精确地显示,并且可容易且精确地确定用户特别关注图像显示部的哪部分。此外,即使当用户靠近图像显示部时,用户也可被拍摄。
位置检测部件71包括设置在具有摄像装置的图像显示装置中的个人计算机,由摄像装置20获得的信号(数据)被发送至位置检测部件71并且由位置检测部件71处理。此处,基于公知方法(公知的算法或软件)执行该处理。即,通过摄像装置20获取的对象的位置信息由位置检测部件71获得,并且具体地,对象例如是手、手指、眼球或棒状材料(例如,钢笔、铅笔等)。为了指定对象,用户可将对象的名称等输入个人计算机70。可选择地,在图像显示部10上显示对象的名称等,并且可选择对象。可基于设置在个人计算机中的算法或软件执行对通过摄像装置20获取的对象的位置的分析、移动的分析以及对象指向的方向的分析。在执行各种处理时,可在图像显示部10上显示执行各种处理的确认,或者可通过声音请求该确认。此外,对象的移动与各种处理之间的关系可被预先寄存在位置检测部件71中。
如上所述,在实施方式1的具有摄像装置的图像显示装置中,聚光部件21将穿过光透射区域30的光会聚至摄像装置20,并且位置检测部件71基于通过摄像装置20获取的数据来获得对象的位置信息。因此,当以时间顺序持续获得对象的位置信息时,可获得对象的移动,并且可执行与对象的移动对应的各种处理。可选择地,可获得对象指向的方向,并且可执行与对象的移动对应的各种处理。此外,因为可通过手或笔的方向确定图像显示部上的相应指示点,因此可将指针功能添加至具有摄像装置的图像显示装置。此外,摄像装置20被设置在图像显示部10的背面侧上,摄像装置20可精确地拍摄对象的图像,并且观察者不会意识到摄像装置20。
在实施方式1的具有摄像装置的图像显示装置中,穿过设置在图像显示部10中的光透射区域30(多个光透射部31)的光被会聚至摄像装置20。因此,不需要高精度的微透镜将图像精确地聚焦在摄像装置20上,未增加具有摄像装置的图像显示装置的制造成本,并且足量的光可被会聚至摄像装置20。此外,因为可从拍摄的图像获知用户的脸或眼睛、手的移动、环境亮度等,因此可从具有摄像装置的图像显示装置获得各种信息,这些各种信息可被发送至各种系统,从而可提升具有摄像装置的图像显示装置的附加值。
图4A至图4C示出将本发明应用于三维显示装置的情况下的实施方式。具体地,设置多个(更具体地,2个)光透射区域30、多个摄像装置20和多个聚光部件21,各聚光部件21将穿过各光透射区域30的光会聚至摄像装置20A和20B中的每一个。作为图像显示部10上的三维图像的显示系统,可例举公知的视差屏障(视差)系统、柱状透镜系统以及集成系统(integral system)。在图4A和图4B中,例如视差屏障、柱状透镜等被设置在第二基板67或图像显示面之上(或上方),然而,省略其图示。
在三维图像显示系统中,例如视差屏障系统和柱状透镜系统,使用所谓的双眼视差,观察者可观察到三维图像的范围(空间)根据与图像显示面之间的距离而受到限制。作为解决该问题的技术,例如,JP-A-2-044995公开了一种用于三维图像显示装置的光学方向控制方法。在该专利公开披露的技术中,安装在三维图像显示装置的外侧的照相机检测观察者双眼的位置,并且位于三维图像显示装置的前侧的柱状透镜在水平方向上移动,以增大立体视觉区域。然而,在这种方法中,因为观察者意识到照相机,因此视线通常朝向照相机而不是三维图像显示装置,从而观察者难以看到三维图像。此外,难以与控制图像显示装置中的像素节距同等程度地来精确地控制柱状透镜的移动。
在根据本发明的具有摄像装置的图像显示装置中,聚光部件将穿过光透射区域的光会聚至摄像装置,并且位置检测部件基于通过摄像装置获取的图像数据来获得观察者的位置信息。因此,当它被应用于三维图像显示装置时,可向观察者指示最佳的三维图像观察位置,或者可引导观察者至最佳的三维图像观察位置,或者可根据观察者的位置来提供最佳的三维图像,以使观察者可以容易地观察三维图像而没有不舒适感。此外,因为摄像装置被设置在图像显示部的背面侧上,因此摄像装置可精确地拍摄面向图像显示部的用户的脸、眼、移动等的图像,并且观察者不会意识到摄像装置。
如图5所示,假设观察者位于图像显示装置的正面。此外,假设两个摄像装置20A和20B被设置为它们中的每一个在水平方向上与图像显示装置的中心均相距距离d。并且,假设当一个摄像装置20A拍摄时,图像中的观察者的右眼球(瞳孔)位于角θ1的方向上。此外,假设当另一个摄像装置20B拍摄时,图像中的观察者的右眼球(瞳孔)位于角θ2的方向上。从而,从拍摄装置到观察者的距离(观察距离D)可通过下面的表达式(II)获得。此处,“C”是在水平方向上从一个摄像装置20A到右眼球的距离。
tan(θ1)=C/D (I-1)
tan(θ2)=(C-2d)/D (I-2)
可通过表达式(I-1)和表达式(I-2)推导出以下表达式(II)。
D=2d/{tan(θ1)-tan(θ2)}(II)
顺便提及,当已知从摄像装置到观察者的距离(D)时,可计算观察者的瞳孔之间的距离(R)。如图5所示,假设当一个摄像装置20A拍摄观察者时,图像中的观察者的右眼球(瞳孔)位于角θ1的方向上,而左眼球(瞳孔)位于角θ3的方向上。从而可建立以下表达式(I-3)。此处,“E”表示在水平方向上从一个摄像装置20A到左眼球的距离。顺便提及,可通过公知方法从通过摄像装置20A和20B获得的图像获得角θ1、θ2和θ3。
tan(θ3)=E/D (I-3)
因此,可通过表达式(I-1)、表达式(I-3)和R=C-E推导出以下表达式(III)。并且,通过另一个摄像装置20B,可同样得到观察者的瞳孔之间的距离(R)。
R=D{tan(θ1)-tan(θ3)} (III)
如上所述,在三维图像显示装置中,聚光部件21将穿过光透射区域30的光会聚至多个摄像装置20A和20B,并且位置检测部件71基于通过多个摄像装置20A和20B获取的图像数据来获得观察者的位置信息。即,通过使用两个摄像装置20A和20B可获得从摄像装置到观察者的距离(D)以及瞳孔之间的距离(R)。因此,可引导观察者至最佳的立体视觉区域。具体地,观察者的位置信息被显示在图像显示部件上,并且被显示在图像显示部件上以使观察者前后、左右移动。因此,可向观察者清楚地指示最佳的三维图像观察位置,或者引导观察者至最佳的三维图像观察位置,以使观察者可容易地观察三维图像而没有不舒适感。可选择地,可基于声音,向观察者清楚地指示最佳的三维图像观察位置,或者引导观察者至最佳的三维图像观察位置。可选择地,例如,图像可被移动以防止在柱状透镜系统或视差系统中发生视觉反转(inverse vision),从而可最优化显示图像以提供三维图像而没有不舒适感。此外,因为摄像装置20A和20B被设置在图像显示部件10的背面侧上,因此摄像装置20A和20B可容易地拍摄面向图像显示部10的用户的脸、眼睛、动作等,并且观察者未意识到摄像装置20A和20B。顺便提及,在实施方式1中,描述了基于观察者的瞳孔之间的距离来获得观察者的位置信息的方法,但位置信息也可通过检测观察者的特定部位(例如口、耳、手等)来获得。
[实施方式2]
实施方式2是实施方式1的修改例,并且涉及本发明的第一配置。在实施方式2中,拍摄的图像被处理以获得更高质量的拍摄图像。
通常,当光穿过微小的光透射部31时,在光透射部31中发生所谓的衍射现象。图6是用于说明由狭缝引起的衍射现象的示意图。此处,光透射部31具有作为狭缝的功能,通过衍射现象,与图像“C”相同的图像在相同节距处呈现为图像“A”和图像“B”,因此图像变模糊。图7A示出了在摄像装置20的前侧设置透明玻璃板之后拍摄获得的图像,并且图7B示出了在摄像装置20的前侧设置具有光透射部(该光透射部具有某形状、尺寸和分布)的透明玻璃板之后拍摄获得的图像。在图7B所示的图像中识别出模糊。另一方面,在图7A所示的图像中未识别出模糊。衍射光的强度和分布取决于光透射部31的形状、尺寸和分布以及入射光(外部光)的波长。当由衍射引起的模糊很小时,无需处理拍摄的图像以校正(补偿)衍射。然而,当需要高质量的拍摄图像时,需要校正(补偿)衍射光造成的影响。
实施方式2的具有摄像装置的图像显示装置还包括衍射校正部件100,其被配置为校正(补偿)光透射部31中发生的通过摄像装置20获取的图像信息和图像数据上的衍射。
当光透射部31的图案形状、尺寸和分布以及入射光(外部光)的波长被确定时,可通过表达式(1)计算衍射分布Pdiff。顺便提及,在二重积分中,关于x和y从-∞到+∞进行积分。
Pdiff(kx,ky)=∫∫Pat(x,y)·exp[-j(kx·x+ky·y)]dxdy (1)
其中,
kx=(2π/λ)sin(θx)
ky=(2π/λ)sin(θy)
此处,Pat(x,y)表示光透射部31的xy平面上的二维图案,λ表示入射光(外部光)的波长,而θx和θy表示x方向和y方向上的衍射角。在实施方式2中,为了简化计算,假设入射光(外部光)的波长λ的值为525nm且恒定。
因为表达式(1)是Pat(x,y)的二维傅里叶变换,因此可通过使用快速傅里叶变换(在下文被简称为“FFT”)进行高速计算。顺便提及,尽管Pdiff(kx,ky)包括相位信息,但是摄像装置实际上检测衍射光强度Hdiff(kx,ky)。衍射光强度Hdiff(kx,ky)等于Pdiff(kx,ky)的绝对值的平方。
Hdiff(kx,ky)=|Pdiff(kx,ky)|2 (2)
此处,假设通过衍射的光,调制被添加至摄像装置的空间分辨率,并且通过下面的表达式(3)计算MTF(调制传递函数)。顺便提及,FFT[]意味着执行快速傅里叶变换,并且IFFT[]意味着执行快速逆傅里叶变换。
MTF(fx,fy)=|FFT[Hdiff(kx,ky)]|2 (3)
其中,fx和fy表示在组成摄像装置的各摄像装置中x方向和y方向上的空间频率。在通过光透射部31获得的摄像装置20上的图像Icam(x,y)与未通过光透射部31获得的原始图像Iral(x,y)之间建立了以下关系。
FFT[Icam(x,y)]=FFT[Iral(x,y)]×MTF(fx,fy) (4)
即,在空间频率域内,图像Icam(x,y)是原始图像Iral(x,y)和MTF的乘积。因此,为了由图像Icam(x,y)获得原始图像Iral(x,y),仅需执行基于以下表达式(5)的处理。换句话说,仅需在图像信息和图像数据上执行基于光透射部31的形状、尺寸和分布以及入射光(外部光)的波长计算的MTF逆变换处理。
Iral(x,y)=IFFT[FFT[Icam(x,y)]/MTF(fx,fy)] (5)
其中,当光透射部31的尺寸、形状和分布被确定时,通过入射光(外部光)的波长来调整(scaling)经过了傅里叶变换的光透射部31的二维图案,从而可容易地获得MTF,并且可从表达式(5)表示的关系容易地复原原始图像。
图8是实施方式2的具有摄像装置的图像显示装置的框图。通过摄像装置20获取的图像信息和图像数据被发送至衍射校正部件100的MTF逆变换部。通过使用红色(R)、绿色(G)和蓝色(B)(在实施方式2中,为了简化计算,一种波长)中的每一个的外部光的波长以及通过二维FFT获得的光透射部31的MTF形状数据,MTF逆变换部执行MTF逆变换,从而原始图像被复原并且被发送至控制部件12。控制部件12执行各种检测,例如,用户的视线检测和用户的手运动的对象检测。此外,对象的位置信息、对象的移动以及对象的方向是通过位置检测部件71来获得的,并且被反映在图像显示部上。顺便提及,控制部件12还用作位置检测部件71。光透射部31的例如尺寸、形状和分布等的MTF形状数据被存储在衍射校正部件100的MTF形状存储部中。控制部件12被设置在具有摄像装置的图像显示装置(或图像显示部)中,或者由设置在具有摄像装置的图像显示装置中的个人计算机70构成。衍射校正部件100也被设置在具有摄像装置的图像显示装置(或图像显示部)中,或者由设置在具有摄像装置的图像显示装置中的个人计算机70构成。
通过控制部件12的控制来执行图像显示部10中的图像显示。即,控制部件12将显示数据、定时信号等发送至显示定时控制器13。显示定时控制器13将显示数据和水平定时信号发送至信号线控制电路(未示出),并且将垂直定时信号发送至扫描线控制电路(未示出)。在图像显示部10中,通过公知方法执行图像显示。另一方面,控制部件12将摄像定时信号、快门控制信号、增益控制信号等发送至摄像定时控制器14。摄像定时控制器14将这些信号发送至摄像装置20,从而控制摄像装置20的操作。
图9A、图9B和图10A举例说明了光透射部31的形状。在图像显示部的第一方向(水平方向)和第二方向(垂直方向)上周期性地设置一部分或全部光透射部31。此处,在图9A的实施例中,在第一方向(水平方向)上延伸通过像素下部的光透射部31H被设置为在包括三个像素(11R、11G、11B)的一个像素单元上延伸。在第二方向(垂直方向)上延伸的光透射部31V被设置给像素11R、11G和11B中的每一个并且被设置在像素与像素之间。在图9B所示的实施例中,光透射部31H和光透射部31V彼此连接。在图10所示的实施例中,尽管光透射部31H被设置为在包括三个像素(11R、11G、11B)的一个像素单元上延伸,但是与图9A不同的是,光透射部31H包括两个部分。当光透射部31在第一方向上的长度是Ltr-1并且像素11在第一方向上的节距是Ppx-1时,第一方向上的线开口率Ltr-1/Ppx-1满足Ltr-1/Ppx-1≥0.5。当光透射部31在第二方向上的长度是Ltr-2并且像素11在第二方向上的节距是Ppx-2时,第二方向上的线开口率Ltr-2/Ppx-2满足Ltr-2/Ppx-2≥0.5。这可通过MTF的定义来说明。
如以下从表达式(2)和表达式(3)推导的表达式(6)所示,通过对从光透射部31的xy平面上的二维图案Pat(x,y)获得的衍射分布进行平方、对平方后的结果执行快速傅里叶变换并且进一步对其结果平方,从而获得MTF。
MTF(fx,fy)=|FFT[|Pdiff(kx,ky)|2]|2 (6)
根据所谓的Wiener-Kinchin理论,自相关函数的傅里叶变换等于功率谱。因此,MTF等于在光透射部31中产生的衍射分布的自相关函数的绝对值的平方。在空间频率域中不存在使自相关函数不相关的点(即,在该点处为0)的条件是
Ltr-1/Ppx-1≥0.5
Ltr-2/Ppx-2≥0.5
当MTF不具有0点时,因为表达式(5)不具有奇异点,因此原始图像的再生变得容易。因此,优选满足以下要求:在第一方向上的线开口率Ltr-1/Ppx-1的值和在第二方向上的线开口率Ltr-2/Ppx-2的值是0.5以上。
[实施方式3]
实施方式3是实施方式2的修改例,并且其涉及本发明的第二配置。如实施方式2所述,用以获得光透射部31的xy平面上的衍射分布Pdiff(kx,ky)的表达式(1)包括入射光(外部光)的波长λ。因此,当测定了外部光的波长分布时,可使各波长的MTF适合于外部环境,因此可更精确地执行衍射的校正和补偿,从而可得到更高质量的拾取图像。
图11是实施方式3的具有摄像装置的图像显示装置的框图。在实施方式3中,进一步设置了波长分布测量部件110,其被配置为测量外部光的波长分布。具体地,波长分布测量部件110包括一组附有红色滤色器的光敏元件、附有绿色滤色器的光敏元件和附有蓝色滤色器的光敏元件。可通过设置上述波长分布测量部件110来获得外部光的波长分布(光谱)。可通过将获得的外部光的波长分布乘以摄像装置的光谱来获得拾取图像的原色(红色、绿色和蓝色)中的每一个的波长分布。当通过拾取图像的波长分布来对其各波长经受了MTF逆变换处理的图像赋予权重时,可更精确地执行衍射的校正和补偿。
在实施方式3中,通过采用上述配置,不仅可更精确地对衍射执行校正和补偿,还可改进通过摄像装置20获得的图像信息和图像数据的精度(例如,改进了颜色信息的精度)。顺便提及,当衍射引起的模糊很小时,无需处理拾取图像以校正(补偿)衍射。然而,仍然在这种情况下,当设置了被配置为测量外部光的波长分布的波长分布测量部件110时,可改进通过摄像装置20获得的图像信息和图像数据的精度。
[实施方式4]
实施方式4涉及本发明的第二形态的具有摄像装置的图像显示装置。图12A或图12B示意性示出了构成实施方式4的具有摄像装置的图像显示装置中的图像显示部的多个像素11(11R、11G、11B)的配置。实施方式4的具有摄像装置的图像显示装置包括(A)图像显示部10,其中配置有多个包括发光器件的像素11(11R、11G、11B),(B)多个光透射区域430,被设置在至少一个像素11周围,(C)摄像装置20,被设置在图像显示部10的背面侧上,(D)聚光部件21,被配置为将穿过光透射区域430的光会聚至摄像装置20,以及(E)位置检测部件71,被配置为基于通过摄像装置20获取的图像信息来获得对象的位置信息。
在图12A所示的实施例中,光透射区域430被设置在像素11的整个外围,并且具有井栏形。在图12B所示的实施例中,光透射区域430被设置在像素11的外围的一部分中,并且具有“L”形状。在实施方式4的具有摄像装置的图像显示装置中,光透射区域430被设置在至少一个像素11周围,并且具体地被设置在6×3=18个像素11周围。
除了上述各点,具有摄像装置的图像显示装置可具有与实施方式1至实施方式3的具有摄像装置的图像显示装置相同的配置,因此,省略其详细描述。
如上所述,在实施方式4的具有摄像装置的图像显示装置中,穿过被设置在至少一个像素11周围的光透射区域430的光被会聚至摄像装置20。因此,不需要高精度的微透镜将图像精确地聚焦在摄像装置20上,也未增加具有摄像装置的图像显示装置的制造成本,并且可将足量的光会聚至摄像装置20。此外,因为还可从拾取图像获知用户的脸和眼、手的动作、外围照明等,因此可通过具有摄像装置的图像显示装置获得各种信息,并且这些信息可被发送至各种系统。因此,提升了具有摄像装置的图像显示装置的附加值。
尽管基于优选实施方式描述了本发明,但本发明不限于这些实施方式。实施方式所述的具有摄像装置的图像显示装置的结构和配置是示例性的,并且可被适当地修改。根据本发明的具有摄像装置的图像显示装置可被用作装配在笔记本型个人计算机(如图13A所示)中的显示器装置的替代,并且可被用作装配在便携式电话(如图13B所示)、PDA或游戏机中的显示器装置的替代,或者现有的电视接收机的替代。
此外,当多个(例如,2个)摄像装置被设置在图像显示部的背面侧上时,不仅可精确地捕获对象的位置和移动,而且还可基于来自于摄像装置的图像信息精确地测量从图像显示部到对象的距离。可选择地,一个像素单元可由四种或更多种像素构成,例如,三种像素11R、11G和11B,以及发白光以改善亮度的像素、发互补色的光以扩大颜色再现范围的像素、发黄光以扩大颜色再现范围的像素以及发黄光和青色光以扩大颜色再现范围的像素,等等。根据情况,位置检测部件通过公知的算法或软件从对象的位置信息获得对象的形状(例如,由身体或手的形状表示的形状、由手指、姿势等的组合表示的形状),并且可执行与对象的形状对应的各种处理。
此外,根据本发明的具有摄像装置的图像显示装置可进一步包括:信息传输部件,被配置为传输通过摄像装置20获得的且将被显示在图像显示部10上的图像数据;以及显示部件,被配置为基于从外部输入的且将被显示在图像显示部10上的图像数据在图像显示部10上显示图像。信息传输部件将通过摄像装置20获得的且将被显示在图像显示部10上的图像数据传输至外部,并且显示部件基于从外部输入的且将被显示在图像显示部10上的图像数据在图像显示部10上显示图像。当通过通信线路或网络连接多个(2个以上)上述具有摄像装置的图像显示装置时,可构成所谓的视频电话会议系统(电视电话装置)。
此处,例如,在视频电话会议系统(电视电话装置)中使用的公知的部件可被用作信息传输部件(被配置为传输通过摄像装置20获取的且将被显示在图像显示部件10上的图像数据)以及显示部件(被配置为基于从外部输入的且将被显示在图像显示部10上的图像数据在图像显示部10上显示图像)。优选在具有摄像装置的图像显示装置(图像显示部)上配置操作开关、按钮、键盘等。根据情况,信息传输部件和显示部件可由设置在具有摄像装置的图像显示装置中的个人计算机构成。在这种情况下,个人计算机仅需连接至通信线路或网络。此外,信息传输部件和显示部件可被装配在例如控制部件12中。可通过连接(通过通信线路或网络来连接)多个这样的具有摄像装置的图像显示装置来构成所谓的视频电话会议系统(电视电话装置)。因为摄像装置被设置在图像显示部件的背面侧上,因此可拍摄位于图像显示部的正面的用户的脸,并且被显示在图像显示部上的对方一侧的用户的脸朝向此侧。因此,不会出现如在现有的电视电话系统中那样他们的眼光不能相遇的不舒适感。
当光透射区域包括多个光透射部并且对像素设置各光透射部时,为了抑制构成光透射区域的光透射部中的衍射现象的发生,在各实施方式中,可采用以下三种形式中的至少一个。
(情况-A)多个光透射部的尺寸被制造为随机的。
(情况-B)多个光透射部的形状被制造为随机的。
(情况-C)多个光透射部的配置节距被制造为随机的。
即,可独立地采用(情况-A),可独立地采用(情况-B),可独立地采用(情况-C),可组合采用(情况-A)和(情况-B),可组合采用(情况-A)和(情况-C),可组合采用(情况-B)和(情况-C),或者可组合采用(情况-A)、(情况-B)和(情况-C)。此外,可采用与实施方式2中所述的衍射校正部件100的组合。在用于设置光透射部的光刻技术或蚀刻技术中,光透射部的尺寸最小值或最小形状取决于最小加工尺寸(例如,0.5μm)。
顺便提及,当使多个光透射部的尺寸随机时,具体地,优选与一个光透射部(为了方便,称之为“光透射部A”)相邻的至少两个光透射部(为了方便,称之为“光透射部B、光透射部C”),优选地,设置在水平方向上的两个光透射部,更优选地,与光透射部A相邻的三个光透射部(为了方便,称之为“光透射部B、光透射部C和光透射部D”),更优选地,与光透射部A相邻的四个光透射部(为了方便,称之为“光透射部B、光透射部C、光透射部D和光透射部E”)被制造为彼此不同。即,光透射部A和光透射部B的尺寸被制造为彼此不同,光透射部A和光透射部C的尺寸被制造为彼此不同,光透射部A和光透射部D的尺寸被制造为彼此不同,光透射部A和光透射部E的尺寸被制造为彼此不同。同样地,多个光透射部的形状被制造为随机的。具体地,优选与一个光透射部(光透射部A)相邻的至少两个光透射部(光透射部B和光透射部C)的形状,优选地,设置在水平方向上的两个光透射部,更优选地,与光透射部A相邻的三个光透射部(光透射部B、光透射部C和光透射部D),更优选地,与光透射部A相邻的四个光透射部(光透射部B、光透射部C、光透射部D和光透射部E)被制造为彼此不同。即,光透射部A和光透射部B的形状被制造为彼此不同,光透射部A和光透射部C的形状被制造为彼此不同,光透射部A和光透射部D的形状被制造为彼此不同,并且光透射部A和光透射部E的形状被制造为彼此不同。同样地,多个光透射部的配置节距被制造为随机的。具体地,优选与一个光透射部(光透射部A)相邻的至少两个光透射部(光透射部B和光透射部C)的配置节距,优选地,设置在水平方向上的两个光透射部,更优选地,与光透射部A相邻的三个光透射部(光透射部B、光透射部C和光透射部D),更优选地,与光透射部A相邻的四个光透射部(光透射部B、光透射部C、光透射部D和光透射部E)被制造为彼此不同。即,光透射部A和光透射部B的配置节距被制造为彼此不同,光透射部A和光透射部C的配置节距被制造为彼此不同,光透射部A和光透射部D的配置节距被制造为彼此不同,并且光透射部A和光透射部E的配置节距被制造为彼此不同。
可选择地,当光透射区域包括多个光透射部并且为像素设置各光透射部时,为了抑制构成光透射区域的光透射部中的衍射现象的发生,在各实施方式中,光透射部可被制造为具有双环形(double annular)结构(双轮廓(double outlined)结构)。具体地,可采用光透射部包括第一光透射部和第二光透射部、并且第二光透射部被设置为围绕第一光透射部的这种配置。第一光透射部和第二光透射部的尺寸、形状和配置状态以及第一光透射部与第二光透射部之间的位置关系被最优化,从而可可靠地抑制衍射现象的发生。此外,可采用与实施方式2中所述的衍射校正部件100的组合。
本申请包含与在2010年1月22日向日本专利局提交的日本优先专利申请JP 2010-012051和JP 2010-012052公开的内容相关的主题,其全部内容结合于此以供参考。
本领域技术人员应理解,根据设计需求和其他因素,可在所附权利要求或其等价物的范围内进行各种修改、组合、子组合和改变。