CN103501420A - 具有成像单元的图像显示装置及其电子设备 - Google Patents
具有成像单元的图像显示装置及其电子设备 Download PDFInfo
- Publication number
- CN103501420A CN103501420A CN201310449783.7A CN201310449783A CN103501420A CN 103501420 A CN103501420 A CN 103501420A CN 201310449783 A CN201310449783 A CN 201310449783A CN 103501420 A CN103501420 A CN 103501420A
- Authority
- CN
- China
- Prior art keywords
- image
- light transmission
- transmission department
- display units
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Electroluminescent Light Sources (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Control Of El Displays (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
提供了图像显示单元和电子设备。所述图像显示单元之一包括:显示区,包括多个像素;以及成像单元,布置在所述显示区的背面侧,其中,所述显示区的至少一部分包括经由显示区将光透射到背面侧的光透射区,以使得所述成像单元接收经由显示区透射的光的至少一部分,其中,光透射区沿第一和第二方向中至少之一具有周期性配置,并且其中,该图像显示单元还包括校正单元,其对关于由成像单元使用经由光透射区接收到的光所捕捉到的图像的图像信息执行校正,执行该校正以便补偿由所述周期性配置引起的图像的紊乱。
Description
交叉参考
本申请是申请日为2010年10月26日、发明名称为“具有成像单元的图像显示装置”、申请号为201010521980.1的发明申请的分案申请。
技术领域
本发明涉及具有成像单元的图像显示装置,且更具体地,涉及将成像单元布置在图像显示单元的后侧的图像显示装置。
背景技术
近年来,人们对作为平板显示装置(FP显示装置)的有机场致发光显示装置(以下,简称为“有机EL显示装置”)越来越感兴趣。目前,液晶显示(LCD)是FP显示装置的主流。然而因为LCD不是自发射装置,所以必需有诸如背光和偏振片之类的组件。因此,存在FP显示装置的厚度增加和亮度不够的问题。另一方面,有机EL显示装置是自发射装置。因此,原则上不需要诸如背光之类的组件。由于这个原因,与LCD相比,归因于它的薄、高亮度等,有机EL显示装置具有许多优点。特别地,在将开关元件布置在每个像素中的有源矩阵类型有机EL显示装置中,通过保持(hold)每个像素的发光能够抑制低电流消耗,且能够相对容易地实现大尺寸屏幕与高分辨率。由于这个原因,许多公司正在开发这样的有源矩阵类型有机EL显示装置,预计其将会成为下一代FP显示装置的主流。
此外,近年来,开始普及视频会议系统(TV电话系统),其允许位于遥远地方的人相互交谈、同时通过经由通信线或者网络相互连接至少两组图像显示装置和成像装置来观看他们的脸。通过使用称为万维网照相机(webcamera)的低成本成像装置、个人计算机和软件可以容易地实现TV电话功能。然而,在这样的TV电话系统中,通过用成像装置成像位于一方的用户的脸,然后将所获得的图像显示在另一方的图像显示装置上,用成像装置成像位于另一方的用户的脸,然后将所获得的图像显示在一方的图像显示装置上,使得用户相互交谈。此外,因为每个用户与对方交谈的同时,观看显示在他或者她自己的图像显示装置上的对方的脸,所以他或者她的眼睛或者脸面向他或者她自己的图像显示装置。在已知的TV电话系统中,成像装置被放置在图像显示装置的显示区域以外。因此,用户的眼睛没有面向成像装置。由于这个原因,投影在图像显示装置上的一方的用户的脸没有面向位于另一方的用户,这会产生不舒服的感觉。由于没有面向对方而发生的这种不舒服的感觉是延缓TV电话的普及的原因之一。
人们也在积极地试图增加除了将图像显示到图像显示装置之外的其它功能。例如,JP-A-2005-176151或者JP-A-2005-010407中公开了具有成像单元的FP显示装置。
发明内容
本发明可以以包括图像显示单元、电子设备、图像处理单元、图像处理方法、集成电路等的多种形式实施。
在一个实施例中,图像显示单元包含包括像素的显示区和布置在显示区之后在其后侧的成像单元。光透射部件(light transmissive section)位于显示区内并且与像素相对应。光透射部件被配置为分别接收入射在图像显示单元上的光,并且将所接收的光传递到成像单元。
附图说明
图1A和图1B是分别从正面和侧面观看具有成像单元的图像显示装置时的示意图;
图1C是示出形成图像显示单元的多个像素的排列的示意图;
图2是示意地示出具有成像单元的图像显示装置的一部分的剖视图;
图3A是示出具有成像单元的图像显示装置的概念视图;
图3B是示出将成像单元固定到图像显示单元的外侧的图像显示装置的概念视图;
图4是说明由狭缝所产生的衍射现象的示意图;
图5A示出在成像单元之前布置透明玻璃片的状态下成像所获得的图像;
图5B示出在成像单元之前布置提供了具有预定形状、大小和分布的光透射部件的透明玻璃片的状态下成像所获得的图像;
图6是示出具有成像单元的图像显示装置的示例的框图;
图7A和图7B是示出光透射部件的形状的示意图;
图8是示出光透射部件的另一形状的示意图;
图9是示出具有成像单元的图像显示装置的另一示例的框图;
图10A和图10B是示出形成具有成像单元的图像显示装置中的图像显示单元的多个像素的排列的示意图;
图11是示出形成具有成像单元的图像显示装置中的图像显示单元的多个像素的排列的示意图;
图12A和图12B是示出形成具有成像单元的图像显示装置中的图像显示单元的多个像素的排列的示意图;
图13A和图13B是示出光透射部件的形状的示意图;
图14A是示出笔记本类型个人计算机的示意图;和
图14B是示出移动电话的示意图。
具体实施方式
在JP-A-2005-176151中公开的技术中,在形成图像显示装置的图像显示单元的像素之间提供具有微小透镜(minute lens)的多个开口(opening),且由多个照相机执行使用经由多个开口透射的光束的成像。这里,从多个不同的角度成像正在观看图像显示装置的用户的脸,然后将所获得的多个图像进行处理以生成从正面观看用户时的图像。但是,在JP-A-2005-176151中公开的技术中,必需在开口中提供微小透镜,且为了在成像单元上正确地形成图像,必需有高精度的微小透镜。这增加了图像显示装置的制造成本。此外,因为是从不同角度成像的多个图像创建正面图像,而不是成像用户的正面的脸,所以呈现给对方的是所谓的CG图像而不是拍摄的图像。实际上,这样会产生相当不舒服的感觉。
在JP-A-2005-010407中公开的技术中,例如,如其图15和图16所示,成像单元基于经由多个像素中提供的一个光透射部件透射的光而执行成像。由于这个原因,难以会聚足够量的光到成像单元。
因此,期望提供一种具有成像单元的图像显示装置,其可以以低成本制造、可以使足够量的光会聚到成像装置、且可以容易地获取面向图像显示单元的用户的图像。
图像显示单元的一个示例包含包括像素的显示区、和布置在显示区之后在其背面侧的成像单元。光透射部件位于显示区内并与像素相对应。光透射部件被配置为分开地接收入射在图像显示单元上的光,并且将所接收的光传递到成像单元。
在根据本发明的至少一个实施例的具有成像单元的图像显示装置中,将经由多个像素的每一个所提供的光透射部件(多个光透射部件)透射的光会聚到成像单元,或者将经由至少一个或者多个像素周围提供的光透射部件透射的光会聚到成像单元。因此,不需要为了在成像单元上正确地形成图像的高精度微小透镜。结果,可以将足够量的光会聚到成像单元,而不增加具有成像单元的图像显示装置的制造成本。另外,因为将成像单元布置在图像显示单元的背面侧,所以由成像单元可以正确地成像面向图像显示单元的用户的脸、眼睛、动作等。
以下,将参考附图通过示例描述本发明的实施例。但是,本发明并不限于这些示例,且示例中的多种数值和材料仅仅是说明性的。
在根据本发明的至少一个实施例的具有成像单元的图像显示装置中,当光透射部件很微小时,在光透射部件中发生衍射现象。结果,在成像单元中形成的图像上可能会产生模糊(blur),或者图像可能不清晰。在这样的情况下,优选地还包括关于经由成像单元所获取的图像信息校正光透射部件中发生的衍射的衍射校正单元。此外,为了方便起见,将这样的配置称为“本发明的第一配置”。
此外,在本发明的第一配置中,优选地沿图像显示单元的第一和第二方向周期性地提供一些或者所有光透射部件。另外,假定在第一方向上的光透射部件的长度是Ltr-1且在第一方向上的像素之间的间距是Ppx-1,则优选地第一方向上的线孔径比Ltr-1/Ppx-1满足Ltr-1/Ppx-1≥0.5,更优选地,Ltr-1/Ppx-1≥0.8。另外,假定在第二方向上的光透射部件的长度是Ltr-2且在第二方向上的像素之间的间距是Ppx-2,则优选地第二方向上的线孔径比Ltr-2/Ppx-2满足Ltr-2/Ppx-2≥0.5,更优选地,Ltr-2/Ppx-2≥0.8。根据不同的情况,第一和第二方向可以相互垂直或者可以相互交叉成除90°之外的角度。在后一情况下,不仅在图像显示单元的第一和第二方向上而且在第三、第四、……、方向上周期性地提供一些或者所有光透射部件。在这种情况下,优选地在多个方向之中的至少两个方向上的光透射部件的长度和在它们的至少两个方向上的像素之间的间距满足上述关系(具体为,0.5倍或者以上)。并不特别限制线孔径比Ltr-1/Ppx-1和Ltr-2/Ppx-2的上限,只要可以形成光透射部件即可。这里,第一方向上的光透射部件的长度Ltr-1意指与当在第一方向上投影光透射部件时的形状相对应的线段的每周期的长度,而第一方向上的像素之间的间距Ppx-1意指第一方向上的像素的每周期的长度。同样地,第二方向上的光透射部件的长度Ltr-2意指与当在第二方向上投影光透射部件时的形状相对应的线段的每周期的长度,而第二方向上的像素之间的间距Ppx-2意指第二方向上的像素的每周期的长度。
具体地,在本发明的第一配置中,优选地对图像信息执行反MTF(调制传递函数)变换,其是基于光透射部件的形状、大小和分布(根据不同的情况,也基于外部光的波长)而进行的计算处理。优选地将光透射部件的形状、大小和分布预先存储在衍射校正单元中。例如,衍射校正单元可以形成为包括具有输入与输出部件和存储器的CPU的电路。根据不同的情况,可以使用包括在具有成像单元的图像显示装置内的个人计算机形成衍射校正单元。通过考虑外部光的波长,可以获得最优图像,而不必依靠外部光(外部发光环境)。
包括上述优选配置的本发明的具有成像单元的图像显示装置还可以包括测量外部光的波长分布的波长分布测量单元。此外,为了方便起见,将这样的配置称为“本发明的第二配置”。通过采用这样的配置,有可能改进经由成像单元所获取的图像信息的精度(例如,有可能改进颜色信息的精度)且还改进反MTF变换的精度。例如,可以使用诸如光传感器之类的光接收装置来形成波长分布测量单元。优选地由具有成像单元的图像显示装置控制波长分布测量单元。根据不同的情况,可以由具有成像单元的图像显示装置中提供的个人计算机来控制波长分布测量单元。
此外,包括本发明第一配置、本发明第二配置和上述优选配置的本发明的具有成像单元的图像显示装置还可包括:传输经由成像单元所获取的图像信息的信息传输单元;和在图像显示单元上显示基于从外部输入的图像信息的图像的显示单元。经由成像单元所获取的图像信息可以由信息传输单元传输到外部,且基于从外部输入的图像信息的图像可以由显示单元显示在图像显示单元上。此外,为了方便起见,将这样的配置称为“本发明的第三配置”。通过经由通信线、网络等连接多个(两个或者以上)这样的图像显示装置与成像单元,可以建立所谓的视频会议系统(TV电话系统)。
例如,视频会议系统(TV电话系统)中使用的现有装置优选地用作传输经由成像单元所获取的图像信息的信息传输单元和在图像显示单元上显示基于从外部输入的图像信息的图像的显示单元。优选地,在具有成像单元的图像显示装置(或者图像显示单元)中提供用于操作的开关、按钮或者键盘。根据该情况,可以使用具有成像单元的图像显示装置中提供的个人计算机形成信息传输单元和显示单元。在这种情况下,优选地连接个人计算机到通信线、网络等。
替代地,包括本发明第一配置、本发明第二配置和上述优选配置的本发明的具有成像单元的图像显示装置还可以包括:存储经由成像单元所获取的图像信息的存储单元;和将基于经由成像单元所获取的图像信息和存储在存储单元中的图像信息的图像显示在图像显示单元上的显示单元。显示单元可以将基于经由成像单元所获取的图像信息的图像显示在图像显示单元上,也可以将基于存储在存储单元中的图像信息的图像显示在图像显示单元上。此外,为了方便起见,将这样的配置称为“本发明的第四配置”。这样的具有成像单元的图像显示装置用起所谓的数字镜像。例如,可以将过去成像的视频图像或者用户图像与当前视频图像或者当前用户图像进行比较(在成像时具有时间差的两个或者多个的视频图像或者两个或者多个的图像可以相互进行比较)。
这里,例如,存储经由成像单元所获取的图像信息的存储单元可以由已知的非易失性存储器或者硬盘驱动和已知的图像信息处理电路形成。另外,例如,在图像显示单元上显示图像的显示单元可以由已知的图像信息显示电路形成。优选地在具有成像单元的图像显示装置(或者图像显示单元)中提供用于操作的开关、按钮或者键盘。根据该情况,也可以使用具有成像单元的图像显示装置中提供的个人计算机形成存储单元和显示单元。
在包括本发明第一配置、本发明第二配置和上述优选配置的根据本发明第一实施例的具有成像单元的图像显示装置中,可以随机地设置多个光透射部件的尺寸(具体地,邻近于一个光透射部件的至少两个光透射部件的尺寸不同于该一个光透射部件的尺寸)[情况A]。替代地,可以随机地设置多个光透射部件的形状(具体地,邻近于一个光透射部件的至少两个光透射部件的形状不同于该一个光透射部件的性质)[情况B]。替代地,可以随机地设置多个光透射部件的排列间距(具体地,设置一个光透射部件与邻近于该一个光透射部件的至少两个光透射部件之间的排列间距不同)[情况C]。
这里,可以单独采用[情况A]、[情况B]或者[情况C]。另外,可以采用[情况A]与[情况B]的组合、[情况A]与[情况C]的组合或者[情况B]与[情况C]的组合,或者可以采用[情况A]、[情况B]、和[情况C]的组合。光透射部件的尺寸的最小值或者最小形状取决于用于提供光透射部件的光刻技术或者蚀刻技术中的最小处理规格(例如,0.5μm)。
另外,随机地设置多个光透射部件的尺寸。具体地,期望设置邻近于一个光透射部件(为了方便起见,称为“光透射部件A”)的至少两个光透射部件(为了方便起见,称为“光透射部件B和C”)的尺寸不同,优选地,设置布置在水平方向上的两个光透射部件的尺寸不同,更优选地,设置邻近于光透射部件A的三个光透射部件(为了方便起见,称为“光透射部件B、C和D”)的尺寸不同,更加优选地,设置邻近于光透射部件A的四个光透射部件(为了方便起见,称为“光透射部件B、C、D和E”)的尺寸不同。也就是说,期望设置光透射部件A和B的尺寸不同,设置光透射部件A和C的尺寸不同,设置光透射部件A和D的尺寸不同,并设置光透射部件A和E的尺寸不同。类似地,随机地设置多个光透射部件的形状。具体地,期望设置邻近于一个光透射部件(光透射部件A)的至少两个光透射部件(光透射部件B和C)的形状不同,优选地,设置布置在水平方向上的两个光透射部件的形状不同,更优选地,设置邻近于光透射部件A的三个光透射部件(光透射部件B、C和D)的形状不同,更加优选地,设置邻近于光透射部件A的四个光透射部件(光透射部件B、C、D和E)的形状不同。也就是说,期望设置光透射部件A和B的形状不同,设置光透射部件A和C的形状不同,设置光透射部件A和D的形状不同,并设置光透射部件A和E的形状不同。类似地,随机地设置多个光透射部件的排列间距。具体地,期望设置一个光透射部件(光透射部件A)与邻近于该一个光透射部件的至少两个光透射部件(光透射部件B和C)之间的排列间距不同,优选地,设置光透射部件A与布置在水平方向上的两个光透射部件之间的排列间距不同,更优选地,设置光透射部件A与邻近于该光透射部件A的三个光透射部件(光透射部件B、C和D)之间的排列间距不同,更加优选地,设置光透射部件A与邻近于该光透射部件A的四个光透射部件(光透射部件B、C、D和E)之间的排列间距不同。也就是说,期望设置光透射部件A和B之间的排列间距、光透射部件A和C之间的排列间距、光透射部件A和D之间的排列间距和光透射部件A和E之间的排列间距不同。
此外,在包括本发明第一配置、本发明第二配置和上述优选配置的根据本发明第一实施例的具有成像单元的图像显示装置中,可以使光透射部件具有空心(hollow)结构或者双环(double ring)结构(双空心结构)。具体地,光透射部件可以由单个光透射部件形成,或者光透射部件可以由第一和第二光透射部件形成,并且可以布置第二光透射部件以使其包围第一光透射部件。通过最优化光透射部件以及第一和第二光透射部件的尺寸、形状和排列状态、光透射部件的位置关系以及第一和第二光透射部件的位置关系,有可能可靠地抑制衍射现象的发生。另外,可以与[情况A]、[情况B]或者[情况C]组合,可以与[情况A]和[情况B]、[情况A]和[情况C]或者[情况B]和[情况C]组合,或者可以与[情况A]、[情况B]和[情况C]组合。
在包括上述多种优选形式和配置的本发明的具有成像单元的图像显示装置中,优选地,光发射器件是自发射类型光发射器件。更优选地,光发射器件是有机场致发光装置(有机EL装置)。另外,形成液晶显示装置的液晶显示装置控制来自外部的光(来自背光的光或者外部光)的传递,且像素不包括光发射器件。当光发射器件由有机EL装置形成时,形成有机EL装置的有机层(光发射部件)具有由有机光发射材料制成的光发射层。具体地,例如,可以具有空穴传送层(hole transport layer)、光发射层和电子传送层的层叠结构、空穴传送层和也用作电子传送层的光发射层的层叠结构、或者空穴注入层(hole injection layer)、空穴传送层、光发射层、电子传送层和电子注入层的层叠结构。此外,当电子传送层、光发射层、空穴传送层和空穴注入层形成为“串联单元(tandem unit)”时,有机层可以具有将第一串联单元、连接层和第二串联单元层叠的双串联结构,或者可以具有将三个或者以上的串联单元层叠的三串联结构。在这些情况下,通过使用红、绿、蓝和每个串联单元改变发射颜色,可以获得总体上发射白光的有机层。
通过最优化有机层的厚度,例如,通过使从光发射层发射的光束在第一和第二电极之间谐振,可以将一些光束通过第二电极发射到外部。
此外,在包括上述多种优选形式和配置的本发明的具有成像单元的图像显示装置中,图像显示单元可以包括:第一衬底;在第一衬底上提供的驱动电路;覆盖驱动电路的层间绝缘层;在层间绝缘层上提供的光发射部件;在光发射部件上提供的保护层;在保护层上提供的光屏蔽层;和覆盖保护层和光屏蔽层的第二衬底。每个像素可以包括驱动电路和光发射部件,且可以在光屏蔽层中提供开口。由开口和位于开口下的保护层的一部分和层间绝缘层的一部分形成光透射部件。会聚单元和成像单元可以被布置在第一衬底不面向第二衬底的表面侧。
这里,像素排列的示例包括条形排列、对角线排列、三角形排列和矩形排列。此外,第一或者第二衬底的示例包括高变形点(high-distortion-point)玻璃衬底、钠玻璃(Na2O·CaO·SiO2)衬底、硼硅玻璃(Na2O·B2O3·SiO2)衬底、镁橄榄石(2MgO·SiO2)衬底、铅玻璃(Na2O·PbO·SiO2)衬底(多种玻璃衬底的每一个都具有在其表面上形成的绝缘膜)、石英衬底(石英衬底具有在其表面上形成的绝缘膜)、具有在其表面上形成的绝缘膜的硅衬底、和以聚甲基丙烯酸甲酯(聚甲基丙烯酸甲酯,PMMA)、聚乙烯醇(PVA)、聚乙烯苯酚(PVP)、聚醚砜(PES)、聚酰亚胺、聚碳酸酯和聚对苯二甲酸乙二醇酯(PET)所示的有机聚合物(具有称为塑料膜、塑料片或者塑料衬底的聚合材料的形式,其由聚合材料制成且是柔性的)。例如,优选地,驱动电路由一个或者多个薄膜晶体管(TFT)形成。作为层件绝缘层的材料,可以分别使用或者可以适当地组合使用诸如SiO2、BPSG、PSG、BSG、AsSG、PbSG、SiON、SOG(旋涂玻璃)、低熔点玻璃和玻璃膏之类的SiO2基材料;SiN基材料;和诸如聚酰亚胺之类的绝缘树脂。当使用有机EL装置形成像素时,光发射部件如上所述。作为保护膜的构成材料,优选地使用对于从光发射部件发射的光来说透明的和密集的以便水分不会渗透到其中的材料。具体地,例如,可以提出非晶硅(α-Si)、非晶硅碳化物(α-SiC)、非晶硅氮化物(α-Si1-xNx)、非晶硅氧化物(α-Si1-yOy)、非晶碳(α-C)、非晶硅氮氧化合物(α-SiON)和Al2O3。可以由已知的材料形成光屏蔽层(黑色矩阵)。必要时可以提供滤色器。
在包括上述多种优选配置和形式的本发明的具有成像单元的图像显示装置(以下,统一称为“本发明”)中,通过阵列排列包括光发射器件的多个像素单元来形成图像显示单元。在这种情况下,如果像素单元的数目用(M,N)表示,则有可能例示用于图像显示的一些分辨率,不仅包括VGA(640,480)、S-VGA(800,600)、XGA(1024,768)、APRC(1152,900)、S-XGA(1280,1024)、U-XGA(1600,1200)、HD-TV(1920,1080)和Q-XGA(2048,1536),而且包括(1920,1035)、(720,480)、(854,480)和(1280,960)。但是,分辨率并不限于这些值。在执行彩色显示的图像显示单元中,例如,一个像素单元可以被配置为包括三种像素,即,发射红光的红光发射像素、发射绿光的绿光发射像素和发射蓝光的蓝光发射像素。替代地,一个像素单元可以被配置为包括四种或者更多种的像素。具体地,一个像素单元可以不仅包括三种像素,而且包括发射白光以便提高亮度的像素、发射具有互补色的光以便扩大颜色再现范围的像素、发射黄光以便扩大颜色再现范围的像素、发射黄色和青色光以便扩大颜色再现范围的像素等。
在根据本发明第一实施例的具有成像单元的图像显示装置中,在多个像素的每一个中提供光透射部件。具体地,优选地,例如在三个或者更多的像素中提供光透射部件,但是并不限于此。光透射部件的外部形状基本上是任意的,可以提出诸如矩形或者正方形之类的四边形。此外,在根据本发明第二实施例的具有成像单元的图像显示装置中,在至少一个或者多个像素周围提供光透射部件。具体地,优选地,例如在三个或者更多的像素周围提供光透射部件,但是并不限于此。光透射部件的外部形状基本上是任意的。可以例示“L”形状(在相当于像素边界的边当中的两个连续边处提供光透射部件的形式)、方括弧形状(在相当于像素边界的边当中的三个连续边处提供光透射部件的形式)、矩形形状(在相当于像素边界的所有边处提供光透射部件的形式)、和挂架形状(在相当于像素边界的所有边处提供和在相邻像素之间共同提供光透射部件的形式)。此外,优选地,在包括成像单元中提供的透镜的透射图像的像素组中提供光透射部件,和在像素组周围提供光透射部件。
在本发明中,优选地将成像单元布置在图像显示单元的后侧,且还优选地将其布置在图像显示单元的中间。可以提供一个或者一多个成像单元。例如,包括市场上可买到的CCD装置或者CMOS传感器的已知的固态成像装置可以用作成像单元。另外,还可以使用诸如市场上可买到的诸如摄像机或者万维网照相机之类的固态成像装置。在这样的情况下,集成地形象会聚单元和成像单元。
作为会聚经由多个光透射部件透射的光束到成像单元的会聚单元,可以提出已知的透镜。具体地,可以将双凸面透镜、平凸透镜或者弯月凸透镜用作透镜。替代地,会聚单元可以由反光镜或者菲涅耳透镜形成、可以由这些多种凸透镜的组合形成、或者可以由凹透镜与这些多种凸透镜的组合形成。
在本发明中,优选地既不将滤色器也不将诸如微透镜之类的图像形成系统布置在入射到图像显示单元上、经由光透射部件透射、从图像显示单元发射和入射到会聚单元上的光的光学路径上。
本发明可以用作形成个人计算机的的监视装置的替代、嵌入笔记本类型个人计算机的监视装置的替代、嵌入移动电话、PDA(个人数字助理)、或者游戏机的的监视装置的替代、或者作为已知的电视接收器的替代。
第一示例涉及具有根据本发明第一实施例的成像单元的图像显示装置。图1A和图1B是分别从正面和侧面观看的第一示例中具有成像单元的图像显示装置时的概念视图。图1C是示出形成图像显示单元的多个像素的排列的示意图。图2是示意地示出具有成像单元的图像显示装置的一部分的剖视图。
第一示例中具有成像单元的图像显示装置包括:阵列排列包括光发射器件的多个像素11(11R、11G、11B)的图像显示单元10;在多个像素11的每一个中提供的光透射部件30;布置在图像显示单元10的背面侧的成像单元20;和会聚经由多个光透射部件30透射的光束到成像单元20的会聚单元21。
在第一示例或者稍后描述的第二至第八示例中,光发射器件是自发射型光发射器件。具体地,光发射器件是有机EL装置,且图像显示单元10是彩色显示XGA型有机EL显示装置。也就是说,如果像素单元的数目表示为(M,N),则(M,N)是(1024,768)。另外,将一个像素单元配置为包括三种像素,即,发射红光的红光发射像素11R、发射绿光的绿光发射像素11G和发射蓝光的蓝光发射像素11B。在图1C、图7A和图7B、图8、图10A和图10B、图11、图12A和图12B以及图13A和图13B中,像素的外边缘用虚线示出。成像单元20布置在图像显示单元10的背面侧。更具体地说,将一个成像单元20布置在图像显示单元10的背面侧的中间部分。这里,成像单元20和会聚单元21由具有集成地组成的CCD装置的已知的和市场上可买到的摄像机组成。第一示例中的具有成像单元的图像显示装置用作包括在个人计算机内的监视装置的替代。此外,第一示例中的具有成像单元的图像显示装置包括个人计算机。
在18个(6×3=18)像素11中提供光透射部件30,但是光透射部件的数目并不限于此。在一个像素中提供一个光透射部件30。会聚单元21会聚经由18个(6×3=18)像素11中的光透射部件30透射的光束到成像单元20。每个光透射部件30的形状是矩形。
在第一示例或者稍后描述的第二至第八示例中,用于驱动每个扫描线的扫描信号源IC和用于供给图像信号的图像信号源IC布置在图像显示单元10中。此外,扫描线控制电路连接到扫描信号源IC,且信号线控制电路连接到图像信号源IC。在入射到图像显示单元10上、经由光透射部件30透射、从图像显示单元10发射和入射到会聚单元21上的光的光学路径上,既不布置滤色器,也不布置诸如微透镜之类的图像形成系统。
在第一示例或者稍后描述的第二至第八示例中,具体地,图像显示单元10包括:第一衬底40;在第一衬底40上提供的驱动电路;覆盖驱动电路的层间绝缘层41;在层间绝缘层41上提供的光发射部件(有机层63);在光发射部件(有机层63)上提供的保护层64;在保护层64上提供的光屏蔽层65;和覆盖保护层64和光屏蔽层65的第二衬底。
每个像素11包括驱动电路和光发射部件,且在光屏蔽层65中提供开口65A。光透射部件30由开口65A和位于开口65A下的保护层64的一部分、第二电极62的一部分、层间绝缘层41的一部分等形成。会聚单元21和成像单元20布置在第一衬底40不面向第二衬底67的表面侧。
更具体地,在由钠玻璃形成的第一衬底40上提供驱动电路。驱动电路由多个TFT形成。TFT具有:第一衬底40上形成的栅极电极51;第一衬底40和栅极电极51上形成的栅极绝缘层52;栅极绝缘层52上形成的半导体层中提供的源极/漏极区域53;和位于源极/漏极区域53之间和与位于栅极电极51上的半导体层的一部分相对应的沟道形成区域54。在附图所示的示例中,TFT是底部栅极方式。但是,TFT也可以是顶部栅极类型。TFT的栅极电极51连接到扫描线(未示出)。此外,层间绝缘层41(41A、41B)覆盖第一衬底40和驱动电路。此外,在由SiOX、SiNY、聚酰亚胺树脂等形成的层间绝缘层41B上提供形成有机EL装置的第一电极61。TFT和第一电极61通过在层间绝缘层41A中提供的接触插头42、电线43和接触插头44相互电连接。在附图中,一个有机EL装置驱动单元中示出一个TFT。
在层间绝缘层41上提供开口46,且在开口46的底部形成从其暴露第一电极61的绝缘层45。绝缘层45由平面度极好和吸水率低的绝缘材料形成,以便通过防止由水分产生的有机层63的老化而保持发射光的亮度。具体地,绝缘层45由聚酰亚胺树脂形成。提供具有由有机光发射材料制成的光发射层的有机层63,以便从暴露给开口46的底部的上述第一电极61的一部分之上延伸(extend)到包围开口46的绝缘层45的一部分。例如,虽然有机层63具有空穴传送层与也用作电子传送层的光发射层的层叠结构,但是在附图中有机层63只具有一层。在第二电极62上,使用等离子体CVD方法提供具有绝缘性能的保护层64,其由非晶硅氮化物(α-Si1-xNx)形成,以防止水气到达有机层63。在保护层64上形成由黑色聚酰亚胺树脂形成的光屏蔽层65,且由钠玻璃形成的第二衬底67布置在保护层64和光屏蔽层65上。保护层64和光屏蔽层65用由丙烯酸基粘合剂制成的粘合层66粘接到第二衬底67。第一电极61用作阳极,且第二电极62用作阴极。具体地,第一电极61由厚度为0.2μm至0.5μm的诸如铝(Al)、银(Ag)或者其合金的光反射材料形成。第二电极62由厚度为0.1μm的诸如ITO或者IZO之类的透明导电材料或者厚度为5nm的诸如银(Ag)或者镁(Mg)之类的在某种程度上允许光从其透射的金属薄膜(半透明金属薄膜)形成。第二电极62不形成图案(patterned)而是以一张薄片(sheet)形成。根据情况,可以在有机层63和第二电极62之间形成由LiF制成的厚度为0.3nm的电子注入层(未示出)。
总之,第一示例或者稍后描述的第二至第八示例中的光发射器件的详细配置用以下表1表示。
表1
第二衬底67 | 钠玻璃 |
粘合层66 | 丙烯酸基粘合剂 |
光屏蔽层65 | 黑色聚酰亚胺树脂 |
保护层64 | SiNx层(厚度:5μm) |
第二电极(阴极)62 | ITO层(厚度:0.1μm)或者半透明金属薄膜 |
电子注入层 | LiF层(厚度:0.3nm) |
有机层63 | 与上述相同 |
第一电极(阳极)61 | Al-Nd层(厚度:0.2μm) |
层间绝缘层41 | SiO2层 |
TFT | 形成驱动电路 |
第一衬底40 | 钠玻璃 |
图3A是示出第一示例中具有成像单元的图像显示装置的概念视图,且图3B是示出将成像单元固定到图像显示单元的外侧的图像显示装置的概念视图。当将成像单元固定到图3B所示的图像显示单元的外侧时,成像单元在倾斜状态下成像图像显示装置的用户。因此,当结果图像显示在图像显示单元上时,倾斜状态下成像的用户的图像被显示在图像显示单元上。因此,难以正确地显示用户的脸,且也难以正确地确定用户正在观看图像显示单元的哪个部分。此外,当用户靠近图像显示单元时,用户可能在成像范围以外。另一方面,在第一示例中具有成像单元的图像显示装置中,成像单元布置在图像显示单元的后侧的中间部分,如图3A所示。在这种情况下,因为成像单元可以从正面成像具有成像单元的图像显示装置的用户,所以当结果图像显示在图像显示单元上时,从正面成像的用户的图像被显示在图像显示单元上。因此,有可能正确地显示用户的脸。结果,有可能容易地和正确地确定用户正在观看图像显示单元的哪个部分。另外,即使当用户靠近图像显示单元时也有可能成像用户。
因此,在第一示例中具有成像单元的图像显示装置中,将经由在多个像素11的每一个中提供的光透射部件30(多个光透射部件30)透射的光会聚到成像单元20。因此,不需要为了在成像单元20上正确地形成图像的高精度微小透镜。结果,可以将足够量的光会聚到成像单元20,而不增加具有成像单元20的图像显示装置的制造成本。此外,因为有可能从手、笔等的方向指定图像显示单元的相应指示点,所以可以容易地将所谓的指针功能添加到具有成像单元的图像显示装置。除指针功能之外,用户的脸、眼睛、或者手的动作、环境亮度等也可以从通过成像所获得的图像中看到。因此,有可能从具有成像单元的图像显示装置获取各种信息并且将信息传输到各种系统。结果,可以增加具有成像单元的图像显示装置的值。
第二示例是第一示例的修改,且涉及本发明的第一配置。在第二示例中,为了获得具有更高图像质量的图像,对图像执行预定处理。
通常,当光通过微小光透射部件30传递时,在光透射部件30中发生所谓的衍射现象。图4是说明由狭缝所产生的衍射现象的示意图。这里,光透射部件30充当狭缝,通过衍射现象,与图像“C”相同的图像作为在等间距的图像“A”和“B”出现。结果,在图像上生成模糊。图5A示出在将透明玻璃片布置在成像单元20之前的状态下成像所获得的图像。图5B示出在将提供具有预定形状、大小和分布的光透射部件的透明玻璃片布置在成像单元20之前的状态下成像所获得的图像。在图5B所示的图像上,看到模糊。另一方面,在图5A所示的图像上没有看到模糊。衍射光的强度和分布取决于光透射部件30的形状、尺寸和分布以及入射光(外部光)的波长。当衍射所产生的模糊小时,不需要对成像所获得的图像执行用于校正(补偿)衍射的处理。但是,为了获取高质量图像,需要校正(补偿)由衍射光所产生的影响。
第二示例中的具有成像单元的图像显示装置还包括关于经由成像单元20获取的图像信息而校正(补偿)光透射部件30中发生的衍射的衍射校正单元100。
如果确定了光透射部件30的图案(pattern)形状、尺寸和分布以及入射光(外部光)的波长,则可以由表达式(1)计算衍射分布Pdiff。此外,在重积分中,从-∞到+∞对x和y执行积分。
Pdiff(kx,ky)=∫∫Pat(x,y)·exp[-j(kx·x+ky·y)]dxdy...(1)
这里,kx=(2π/λ)sin(θx),ky=(2π/λ)sin(θy)
Pat(x,y)是光透射部件30的xy平面上的二维图案,λ是入射光(外部光)的波长,且θx和θy分别是x和y方向的衍射角。在第二示例中,为了使计算简单,入射光(外部光)的波长λ的值固定为525nm。
因为表达式(1)是Pat(x,y)的二维傅里叶变换,所以通过使用快速傅里叶变换(以下,缩写成“FFT”)能够快速地进行计算。另外,Pdiff(kx,ky)包括相位信息。然而,实际上,检测到衍射光强度Hdiff(kx,ky)。衍射光强度Hdiff(kx,ky)等于Pdiff(kx,ky)的绝对值的平方。
Hdiff(kx,ky)=|Pdiff(kx,ky)|2...(2)
这里,因为成像单元的空间分辨率由衍射光调制,所以由以下表达式(3)计算MTF(调制传递函数)。另外,“FFT[]”意指实行快速傅里叶变换,而“IFFT[]”意指实行快速反傅里叶变换。
MTF(fx,fy)=|FFT[Hdiff(kx,ky)]|2...(3)
这里,fx和fy指示形成成像单元的每个成像装置中的x和y方向的空间频率。另外,在经由成像单元20上的光透射部件30透射的图像Icam(x,y)与假定图像没有经由光透射部件30透射的原始图像Iral(x,y)之间满足以下关系。
FFT[Icam(x,y)]=FFT[Iral(x,y)]×MTF(fx,fy)...(4)
也就是说,在空间频率区域中,图像Icam(x,y)是原始图像Iral(x,y)与MTF的乘积。因此,为了从图像Icam(x,y)中获得原始图像Iral(x,y),优选地基于以下表达式(5)而执行处理。换句话说,优选地执行反MTF变换,其是基于光透射部件30的形状、尺寸和分布以及入射光(外部光)的波长对图像信息进行的计算处理。
Iral(x,y)=IFFT[FFT[Icam(x,y)]/MTF(fx,fy)]...(5)
这里,因为如果确定光透射部件30的尺寸、形状和分布,则傅里叶变换后的光透射部件30的二维图案可以与入射光(外部光)的波长成比例,所以可以容易地计算MTF。结果,从表达式(5)所示的关系中可以容易地恢复原始图像。
图6是示出第二示例中的具有成像单元的图像显示装置的框图。通过成像单元20获取的图像信息被传输到形成衍射校正单元100的反MTF变换部件。反MTF变换部件通过使用用于每个红(R)、绿(G)、和蓝(B)的外部光的波长(第二示例中,为了使计算简单的上述一种波长)和由二维FFT获得的光透射部件30的MTF形状数据来执行反MTF变换,而将图像信息恢复为原始图像,并且将其传输到控制单元12。控制单元12从所恢复的图像执行各种检测,诸如用户的脸的检测或者用户的手的操作的检测,并且将其反应在图像显示单元上。诸如光透射部件30的尺寸、形状和分布之类的MTF形状数据被存储在形成衍射校正单元100的MTF形状存储部件中。在具有成像单元的图像显示装置(或者图像显示单元)中提供控制单元12,或者由具有成像单元的图像显示装置中提供的个人计算机形成控制单元12。也在具有成像单元的图像显示装置(或者图像显示单元)中提供衍射校正单元100,或者由具有成像单元的图像显示装置中提供的个人计算机形成衍射校正单元100。
通过控制单元12的控制执行图像显示单元10中的图像显示。也就是说,将显示数据、定时信号等从控制单元12传输到用于显示的定时控制器13。显示数据和水平定时信号被从用于显示的定时控制器13传输到信号线控制电路(未示出),且垂直定时信号被从用于显示的定时控制器13传输到扫描线控制电路(未示出)。在图像显示单元10中,基于已知的方法而执行图像显示。另一方面,将成像定时信号、快门控制信号、增益控制信号等从控制单元12传输到用于成像的定时控制器14。将这些信号从用于成像的定时控制器14传输到成像单元20,以便控制成像单元20的操作。
因此,图像处理单元包含:控制器12,其驱动显示单元的显示区,该显示区包括多个像素和在与多个像素相对应的显示区内的位置的多个光透射部件,该多个光透射部件配置为分别接收入射到图像显示单元上的光,并且将所接收的光传递到成像单元;和校正单元100,其对由成像单元使用经由多个光透射元件接收的光所捕捉到的图像的图像信息执行校正。
图6和相关描述类似地描述一图像处理方法的示例,该方法包括:显示区、其驱动显示单元,该显示区包括多个像素和在与多个像素相对应的显示区内的位置的多个光透射部件,该多个光透射部件配置为分别接收入射到图像显示单元上的光,并且将所接收的光传递到成像单元;和校正由成像单元使用经由多个光透射元件接收的光所捕捉到的图像的图像信息。
图7A、图7B和图8是示出光透射部件30的形状的示例的视图。将光透射部件30的一些或者所有沿图像显示单元的第一方向(水平方向)和第二方向(垂直方向)周期性地提供。在图7A所示的示例中,在配置为包括三个像素11R、11G、和11B的一个像素单元之上提供沿以下像素的第一方向(水平方向)延伸的光透射部件30H,并在像素11R、11G和11B中提供沿第二方向(垂直方向)延伸的光透射部件30V,且还在像素之间提供。在图7B所示的示例中,光透射部件30H和光透射部件30相互连接。在图8所示的示例中,在配置为包括三个像素11R、11G和11B的一个像素单元之上提供光透射部件30H,但是由两个部分形成,这与图7A所示的不同。假定在第一方向上的光透射部件30的长度是Ltr-1,且在第一方向上的像素11之间的间距是Ppx-1,则第一方向上的线孔径比Ltr-1/Ppx-1满足Ltr-1/Ppx-1≥0.5。假定第二方向上的光透射部件30的长度是Ltr-2,且第二方向上的像素11之间的间距是Ppx-2,则第二方向上的线孔径比Ltr-2/Ppx-2满足Ltr-2/Ppx-2≥0.5。这可以从MTF的定义中解释。
如从表达式(2)和(3)导出的以下表达式(6)所示,通过对从xy平面上的光透射部件30的二维图案Pat(x,y)中获取的衍射分布的平方执行快速傅里叶变换,然后再计算结果的平方,来获得MTF。
MTF(fx,fy)=|FFT[|Pdiff(kx,ky)|2]|2...(6)
此外,从所谓的Wiener-Khintchin定理中,自相关函数的傅里叶变换等于功率谱(power spectrum)。因此,MTF等于光透射部件30中发生的衍射的分布的自相关函数的绝对值的平方。存在没有点(即,MTF变成0的点)的自相关函数的条件(其是所谓的空间频率区域中的不相关)是Ltr-1/Ppx-1≥0.5且Ltr-2/Ppx-2≥0.5。当不存在MTF变成0的点时,表达式(5)不具有奇异点。因此,恢复原始图像变得很容易。因此,优选地第一方向上的线孔径比Ltr-1/Ppx-1的值和第二方向上的线孔径比Ltr-2/Ppx-2的值等于或者大于0.5。
第三示例是第二示例的修改,且涉及本发明的第二配置。如第二示例所述,入射光(外部光)的波长λ被包括在用于计算光透射部件30的xy平面上的衍射分布Pdiff(kx,ky)的表达式(1)中。因此,有可能通过测量外部光的波长分布来采用根据外部环境的每个波长的MTF,所以可以更正确地校正和补偿衍射。结果,有可能获得具有更高图像质量的图像。
图9是示出第三示例中的具有成像单元的图像显示装置的框图。在第三示例3中,还提供测量外部光的波长分布的波长分布测量单元110。具体地,波长分布测量单元110配置为包括附有红色滤光镜的光传感器、附有绿色滤光镜的光传感器、附有蓝色滤光镜的一组光传感器。通过提供这样的波长分布测量单元110,可以获取外部光的波长分布(光的频谱)。此外,通过将外部光的波长分布与成像单元的频谱相乘,可以获取成像所获得的图像的每个原色(红、绿、蓝)的波长分布。此外,通过用成像所获得的图像的波长分布加权对于每个波长执行反MTF变换所获得的图像,可以更正确地校正和补偿衍射。
在第三示例中,通过采用这样的配置,不仅可以更正确地校正和补偿衍射,而且可以提高经由成像单元20获取的图像信息的精度(例如,能够提高颜色信息的精度)。当衍射所产生的模糊小时,不需要对成像所获得的图像执行校正(补偿)衍射的处理。同样在这种情况下,然而,通过还提供测量外部光的波长分布的波长分布测量单元110,可以提高经由成像单元20获取的图像信息的精度。
第四示例是第一至第三示例的修改,且涉及本发明的第三配置。第四示例中的具有成像单元的图像显示装置还包括传输经由成像单元20获取的图像信息的信息传输单元(未示出)、和在图像显示单元10上显示基于从外部输入的图像信息的图像的显示单元(未示出)。另外,由信息传输单元将经由成像单元20获取的图像信息传输到外部,且由显示单元将基于从外部输入的图像信息的图像显示在图像显示单元10上。
在这种情况下,用于视频会议系统(TV电话系统)的现有装置优选地用作传输经由成像单元20获取的图像信息的信息传输单元和在图像显示单元10上显示基于从外部输入的图像信息的图像的显示单元。另外,例如,信息传输单元和显示单元被包括在控制单元12中。
可以通过经由通信线、网络等连接多个这样的具有成像单元的图像显示装置来建立所谓的视频会议系统(TV电话系统)。另外,因为成像单元布置在图像显示单元的后侧,所以可以成像位于图像显示单元正面的用户的脸。因此,因为在图像显示单元上投影的另一侧的用户的脸面向在一侧的用户,所以没有已知TV电话系统中的他们的眼睛不相遇时所引起的不舒服的感觉。
第五示例是第一至第三示例的修改,且涉及本发明的第四配置。第五示例中的具有成像单元的图像显示装置还包括存储经由成像单元20获取的图像信息的存储单元(未示出),和在图像显示单元10上显示基于经由成像单元20获取的图像信息(也可以包括已经获取的图像信息)和存储在存储单元中的图像信息的图像的显示单元(未示出)。另外,显示单元在图像显示单元10上显示基于经由成像单元20获取的图像信息(也可以包括已经获取的图像信息)的图像,且还在图像显示单元10上显示基于存储在存储单元中的图像信息的图像。另外,例如,存储单元和显示单元被包括在控制单元12中。
例如,存储经由成像单元20获取的图像信息的存储单元可以由成像单元20、图像显示单元10或者控制单元12中提供的已知的非易失性存储器或者硬盘驱动、以及成像单元20、图像显示单元10或者控制单元12中提供的已知的图像信息处理电路形成。另外,在图像显示单元10上显示图像的显示单元可以由在成像单元20、图像显示单元10或者控制单元12中提供的已知的图像信息显示电路形成。
这样的具有成像单元的图像显示装置用作所谓的数字镜。例如,过去成像的视频图像或者用户图像可以与当前视频图像或者当前用户图像进行比较。也就是说,例如,通过调用过去的用户成像,使用用于操作的开关、按钮或者键盘来在图像显示单元的左边显示过去用户图像并在右边显示当前用户图像,可以在图像显示单元10上的不同窗口中显示过去用户和当前用户的比较结果。因此,因为过去用户和当前用户可以相互进行比较且用户可以看到该差别,所以第五示例中的具有成像单元的图像显示装置可以用于标记(makeup),例如,标记核对或者脸核对。
第六示例是第一至第五示例的修改。如上所述,当光透射部件30微小时,在光透射部件30中发生衍射现象。结果,在成像单元20中成像的图像上可能会生成模糊,或者图像可能不清晰。由于这个原因,在第六示例中,使得多个光透射部件具有随机尺寸。具体地,如图10A所示,将邻近于一个光透射部件的至少两个光透射部件的尺寸设置为与该一个光透射部件的尺寸不同。更具体地,在四十个地方提供光透射部件30,且对于所有光透射部件,将邻近于一个光透射部件的四个光透射部件的尺寸设置为与该一个光透射部件的尺寸不同。在图10A中,注意光透射部件30A,邻近于光透射部件30A并布置在水平方向的两个光透射部件30B和30C、和邻近于光透射部件30A并布置在垂直方向上的两个光透射部件30D和30E的尺寸与光透射部件30A的尺寸不同。另外,注意光透射部件30B,邻近于光透射部件30B并布置在水平方向上的两个光透射部件30A和30f、以及邻近于光透射部件30B并布置在垂直方向上的两个光透射部件30g和30h的尺寸与光透射部件30B的尺寸不同。这样,有可能避免在光透射部件30中发生衍射现象。此外,在图10A、图10B、和图11中,为了使附图简单,没有示出邻近于某一个光透射部件30的四个光透射部件30中的每一个从而对于所有光透射部件30,尺寸不同于该一个光透射部件30。
替代地,在第六示例中,使得多个光透射部件具有随机的形状。具体地,如图10B所示,使邻近于一个光透射部件的至少两个光透射部件的形状与该一个光透射部件的形状不同。更具体地,在四十个地方提供光透射部件30,且对于所有光透射部件,使邻近于一个光透射部件的四个光透射部件的形状与该一个光透射部件的形状不同。在图10B中,注意光透射部件30A,邻近于光透射部件30A并布置在水平方向上的两个光透射部件30B和30C、以及邻近于光透射部件30A并布置在垂直方向上的两个光透射部件30D和30E的形状与光透射部件30A的形状不同。另外,注意光透射部件30B,邻近于光透射部件30B并且布置在水平方向上的两个光透射部件30A和30f、以及邻近于光透射部件30B并布置在垂直方向上的两个光透射部件30g和30h的形状与光透射部件30B的形状不同。同样在这种情况下,有可能避免在光透射部件30中发生衍射现象。
替代地,在第六示例中,随机地设置多个光透射部件之间的排列间距。具体地,如图11所示,将一个光透射部件与邻近于该一个光透射部件的至少两个光透射部件之间的排列间距设置为不同。更具体地,在四十个地方提供光透射部件30,且对于所有的光透射部件,在邻近于一个光透射部件的四个光透射部件与该一个光透射部件之间的排列间距被设置为不同。在图11中,注意光透射部件30A,光透射部件30A与邻近于光透射部件30A并布置在水平方向上的两个光透射部件30B和30C的每一个之间的排列间距、以及光透射部件30A与邻近于光透射部件30A并布置在垂直方向上的两个光透射部件30D和30E的每一个之间的排列间距不同。同样在这种情况下,有可能避免在光透射部件30中发生衍射现象。
另外,优选地处理形成光透射部件30的开口65A,以使得可以获取上述配置与结构。这里,光透射部件30的尺寸的最小值或者最小形状取决于用于提供光透射部件30的光刻技术或者蚀刻技术中的最小处理规格(例如,F:0.5μm)。因此,当区域F2的矩形形状(或者通过光刻技术从区域F2的矩形形状导出的形状)被设置为一个单元时,由一组单元定义光透射部件30的尺寸,且同样由一组单元定义光透射部件30的形状。
另外,第六示例中描述的光透射部件的配置和结构也可应用于第一至第五示例。
第七示例也是第一至第五示例的修改。如上所述,当光透射部件30微小时,在光透射部件30中发生衍射现象。结果,在成像单元中形成的图像上可能会生成模糊,或者图像可能不清晰。由于这个原因,在第七示例中,使光透射部件具有空心结构或者双环结构(双空心结构)。具体地,图12A和图12B示意地示出形成第五示例中的具有成像单元的图像显示装置中的图像显示单元的多个像素的排列。光透射部件30由光透射部件30B形成(见图12A),或者光透射部件30由第一和第二光透射部件30A和30B形成,并且布置第二光透射部件30B以使得其包围第一光透射部件30A(见图12B)。此外,在图12A和图12B中,用斜线示出光透射部件30B以及第一和第二光透射部件30A和30B,以便清楚地示出光透射部件30B以及第一和第二光透射部件30A和30B。通过最优化光透射部件30B以及第一和第二光透射部件30A和30B的尺寸、形状和排列状态、光透射部件30B的位置关系、以及第一和第二光透射部件30A和30B的位置关系,有可能可靠地抑制衍射现象的发生。另外,第七示例中的光透射部件的配置和结构还可应用于第一至第五示例。此外,如第二示例所述,从能够避免发生MTF变为0的点的观点来看,更优选地使开口具有空心结构或者双环结构。理由如下。即,假定与空心结构或者双环结构中外侧的矩形开口形状相对应的MTF是MTFout(fx,fy),而与在内侧的矩形开口形状相对应的MTF是MTFin(fx,fy),则具有空心结构或者双环结构的整个开口的MTF(fx,fy)表示为MTF(fx,fy)=MTFout(fx,fy)+MTFin(fx,fy)。因此,通过与MTFin(fx,fy)求和可以使MTFout(fx,fy)的零点无效。通过形成如上所述的空心形状的开口形状,不仅能够减少衍射现象的发生,而且使得基于衍射现象的校正和补偿的图像的再现变得更容易。另外,可以组合第六与第七示例。
第八示例涉及根据本发明第二实施例的具有成像单元的图像显示装置。图13A和图13B示意地示出形成第八示例中的具有成像单元的图像显示装置中的图像显示单元的多个像素11(11R、11G、11B)的排列。第八示例中的具有成像单元的图像显示装置包括:排列包括光发射器件的多个像素11的图像显示单元10;至少一个或者多个像素11周围提供的光透射部件630;布置在图像显示单元10的后侧的成像单元20;和会聚经由光透射部件630透射的光束到成像单元20的会聚单元21。
在图13A所示的示例中,光透射部件形成包围多个像素的各个像素的光透射部件的连续图案。光透射部件类似地配置为接收入射到图像显示单元上的光,并且将所接收的光传递到成像单元。具体地,在全部像素11的周围提供光透射部件630且具有挂架形状。另外,在图13B所示的示例中,在一部分像素11的周围提供光透射部件630且具有“L”形状。在第八示例中的具有成像单元的图像显示装置中,在至少一个或者多个像素11的周围提供光透射部件630。具体地,在18个(6×3=18)像素11的周围提供光透射部件630。
除上述点之外,可以使具有成像单元的图像显示装置具有与第一至第五示例中的具有成像单元的图像显示装置相同的配置和结构。因此,将省略其详细说明。
因此,在第八示例的具有成像单元的图像显示装置中,将经由至少一个或者多个像素11周围提供的光透射部件630透射的光会聚到成像单元20。因此,不需要为了在成像单元20上正确地形成图像的高精度微小透镜。结果,可以将足够量的光会聚到成像单元20,而不增加具有成像单元20的图像显示装置的制造成本。此外,因为变得有可能从手、笔等的方向指定图像显示单元的相应指示点,所以可以容易地将所谓的指针功能添加到具有成像单元的图像显示装置。除指针功能之外,可以看到用户的脸、眼睛或者手的动作、环境亮度等。因此,有可能从具有成像单元的图像显示装置中获取各种信息并且将信息传输到各种系统。结果,可以增加具有成像单元的图像显示装置的价值。
虽然已经通过优选示例描述了本发明,但是本发明并不局限于这些示例。以上示例所述的具有成像单元的图像显示装置的配置和结构仅仅用于说明,且可以对其进行适当地改变。具有成像单元的图像显示装置可以用作嵌入包括但不限于笔记本类型个人计算机(见图14A)、移动电话(参考图14B)、PDA、或者游戏控制台的监视装置的替代,或者用作已知的电视接收器的替代。
此外,如果两个成像单元布置在图像显示单元的后侧,则不仅能够正确地识别位于图像显示单元的正面的用户的脸、眼睛、动作等,而且可以基于来自每个成像单元的图像信息而正确地测量从图像显示单元到用户之间的距离。此外,可以使得一个像素单元包括四种或者以上的像素。例如,一个像素单元不仅可以包括三种像素11R、11G和11B,而且可以包括发射白光以提高亮度的像素、发射具有互补色的光以扩大颜色再现范围的像素、发射黄光以扩大颜色再现范围的像素、发射黄色和青色光以扩大颜色再现范围的像素等。
本申请包含与分别于2009年11月2日、2010年3月3日和2010年3月3日在日本专利局提交的日本优先权专利申请JP2009-251729、JP2010-047157和JP2010-047158中公开的主题有关的主题,在此通过引用并入其全部内容。
本领域技术人员应该理解,只要在附加的权利要求或者其等价物范围内,取决于设计要求和其它因素,可以进行多种修改、组合、部分组合和变更。
Claims (20)
1.一种图像显示单元,包括:
显示区,包括多个像素;以及
成像单元,布置在所述显示区的背面侧,
其中,所述显示区的至少一部分包括经由显示区将光透射到背面侧的光透射区,以使得所述成像单元接收经由显示区透射的光的至少一部分,
其中,光透射区沿第一和第二方向中至少之一具有周期性配置,并且
其中,该图像显示单元还包括校正单元,其对关于由成像单元使用经由光透射区接收到的光所捕捉到的图像的图像信息执行校正,执行该校正以便补偿由所述周期性配置引起的图像的紊乱。
2.根据权利要求1所述的图像显示单元,其中,该光透射区包括多个光透射部件,所述多个光透射部件以在所述第一方向上所述多个光透射部件中的邻近光透射部件之间具有间隙方式沿第一方向周期性地排列,并且
其中,所述多个光透射部件中的每一个光透射部件在所述第一方向上具有相同长度L1。
3.根据权利要求2所述的图像显示单元,其中,所述多个像素以间距P1布置在第一方向上,并且
其中,第一方向上的线孔径比包括被除以间距P1的长度L1,且在所述第一方向上的线孔径比大于或者等于0.5。
4.根据权利要求3所述的图像显示单元,其中,所述第一方向上的线孔径比大于或者等于0.8。
5.根据权利要求2所述的图像显示单元,其中,所述多个光透射部件以在所述第二方向上所述多个光透射部件中的邻近光透射部件之间具有间隙的方式沿第二方向周期性地排列,并且
其中,所述多个光透射部件中的每一个光透射部件在所述第二方向上具有相同长度L2。
6.根据权利要求5所述的图像显示单元,其中,所述多个像素以间距P2布置在第二方向上,并且
其中,第二方向上的线孔径比包括被除以间距P2的长度L2,且在所述第二方向上的线孔径比大于或者等于0.5。
7.根据权利要求6所述的图像显示单元,其中,所述第二方向上的线孔径比大于或者等于0.8。
8.根据权利要求1所述的图像显示单元,其中,所述光透射区包括根据在所述显示区内的分布排列的多个光透射部件,且所述多个光透射部件的每一个具有形状和尺寸,
其中,所述图像显示单元还包括存储区,其存储关于所述多个光透射部件的形状、尺寸和分布的信息,并且
其中,该校正单元基于所述多个光透射部件的形状、尺寸和分布中至少之一的函数执行校正。
9.根据权利要求8所述的图像显示单元,其中,所述校正是衍射校正,且所述函数是反调制传递函数。
10.根据权利要求9所述的图像显示单元,还包括:
波长分布测量单元,测量所述图像显示单元的环境光的波长分布,基于所述图像信息的校正,对于环境光波长分布提供所述波长分布给所述校正单元。
11.根据权利要求1所述的图像显示单元,还包括:
波长分布测量单元,测量所述图像显示单元的环境光的波长分布,基于所述图像信息的校正,对于环境光波长分布提供所述波长分布给所述校正单元。
12.根据权利要求1所述的图像显示单元,其中,由所述成像单元使用经由所述光透射区接收到的光所捕捉到的图像显示在所述显示区上。
13.根据权利要求1所述的图像显示单元,还包括:
存储器,存储由所述成像单元使用经由所述光透射区接收到的光所捕捉到的图像,其中所述存储器中存储的图像与由所述成像单元使用经由所述光透射区接收到的光所捕捉到的另一图像同时显示在所述显示区上。
14.根据权利要求1所述的图像显示单元,还包括:
会聚单元,位于所述显示区和所述成像单元之间,其经由所述光透射区接收通过显示区透射到其背面侧的光的至少一部分,并且会聚所接收到的光以传递到所述成像单元。
15.根据权利要求1所述的图像显示单元,其中,所述光透射区包括多个光透射部件,其排列成使得该多个光透射部件的各个位置每一个分别对应于所述多个像素的几个像素。
16.一种电子设备,包括如权利要求1所述的图像显示单元。
17.一种图像显示单元,包括:
显示区,包括多个像素;以及
成像单元,布置在所述显示区的背面侧,
其中,所述显示区包括位于所述显示区内的位置上的多个光透射部件,每一个位置对应于所述多个像素中的至少一个,
其中,所述图像显示单元配置为使得入射在所述图像显示单元的前面侧上的光中的至少一部分进入多个光透射部件,并且通过显示区透射到其背面侧,并且
其中,所述成像单元配置为经由所述多个光透射部件接收通过显示区透射的光中的至少一部分。
18.根据权利要求17所述的图像显示单元,
其中,所述多个光透射部件沿第一和第二方向中至少之一周期性地排列,并且
其中,该图像显示单元还包括校正单元,其对关于由成像单元使用经由所述多个光透射部分接收到的光所捕捉到的图像的图像信息执行校正,执行该校正以便补偿由所述多个光透射部分的周期性排列引起的图像的紊乱。
19.根据权利要求18所述的图像显示单元,还包括:
波长分布测量单元,测量所述图像显示单元的环境光的波长分布,基于所述图像信息的校正,对于环境光波长分布提供所述波长分布给所述校正单元。
20.根据权利要求18所述的图像显示单元,
其中,所述多个光透射部分根据在所述显示区内的分布排列,且所述多个光透射部件的每一个具有形状和尺寸,
其中,所述图像显示单元还包括存储区,其存储关于所述多个光透射部件的形状、尺寸和分布的信息,并且
其中,该校正单元基于所述多个光透射部件的形状、尺寸和分布中至少之一的函数执行校正。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009251729 | 2009-11-02 | ||
JP251729/09 | 2009-11-02 | ||
JP047158/10 | 2010-03-03 | ||
JP2010047158A JP5533039B2 (ja) | 2009-11-02 | 2010-03-03 | 撮像装置付き画像表示装置 |
JP047157/10 | 2010-03-03 | ||
JP2010047157A JP5471608B2 (ja) | 2009-11-02 | 2010-03-03 | 撮像装置付き画像表示装置 |
CN2010105219801A CN102054400B (zh) | 2009-11-02 | 2010-10-26 | 具有成像单元的图像显示装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010105219801A Division CN102054400B (zh) | 2009-11-02 | 2010-10-26 | 具有成像单元的图像显示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103501420A true CN103501420A (zh) | 2014-01-08 |
CN103501420B CN103501420B (zh) | 2017-01-04 |
Family
ID=44283702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310449783.7A Active CN103501420B (zh) | 2009-11-02 | 2010-10-26 | 具有成像单元的图像显示装置及其电子设备 |
Country Status (3)
Country | Link |
---|---|
JP (3) | JP5471608B2 (zh) |
CN (1) | CN103501420B (zh) |
BR (1) | BRPI1004064B1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110536049A (zh) * | 2018-05-25 | 2019-12-03 | 印象认知(北京)科技有限公司 | 图像采集设备、图像采集方法、电子设备及成像装置 |
CN110809907A (zh) * | 2017-07-10 | 2020-02-18 | 夏普株式会社 | El设备、el设备的制造方法及el设备的制造装置 |
CN111107193A (zh) * | 2018-10-29 | 2020-05-05 | 印象认知(北京)科技有限公司 | 终端设备的显示屏以及终端设备 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5971903B2 (ja) * | 2011-06-30 | 2016-08-17 | キヤノン株式会社 | 表示装置およびそれを用いた映像情報処理装置 |
WO2015053113A1 (ja) | 2013-10-08 | 2015-04-16 | オリンパス株式会社 | 撮像装置及び電子機器 |
KR102211965B1 (ko) | 2013-10-18 | 2021-02-05 | 삼성디스플레이 주식회사 | 유기 발광 표시 장치 |
JP6436430B2 (ja) | 2014-05-16 | 2018-12-12 | パナソニックIpマネジメント株式会社 | 画像撮影表示装置および画像撮影表示装置の動作方法 |
KR102265753B1 (ko) * | 2014-06-13 | 2021-06-17 | 삼성디스플레이 주식회사 | 유기 발광 표시 장치 |
KR102515963B1 (ko) * | 2016-03-04 | 2023-03-30 | 삼성디스플레이 주식회사 | 유기 발광 표시 장치 |
JP6938119B2 (ja) * | 2016-06-28 | 2021-09-22 | 株式会社ジャパンディスプレイ | 入力機能付き透明ディスプレイ |
JP7486980B2 (ja) | 2020-02-28 | 2024-05-20 | キヤノン株式会社 | 発光装置、表示装置、露光システム、及び表示撮像装置 |
US20220246893A1 (en) * | 2019-07-17 | 2022-08-04 | Semiconductor Energy Laboratory Co., Ltd. | Display Device |
KR20210069289A (ko) | 2019-12-03 | 2021-06-11 | 엘지디스플레이 주식회사 | 디스플레이 장치 |
WO2021124449A1 (ja) * | 2019-12-17 | 2021-06-24 | シャープ株式会社 | 表示装置 |
JP2023159473A (ja) * | 2020-09-03 | 2023-11-01 | ソニーセミコンダクタソリューションズ株式会社 | 画像表示装置及び電子機器 |
JP2023156540A (ja) * | 2020-09-03 | 2023-10-25 | ソニーセミコンダクタソリューションズ株式会社 | 画像表示装置及び電子機器 |
US20220208862A1 (en) * | 2020-12-31 | 2022-06-30 | Lg Display Co., Ltd. | Transparent touch display apparatus |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1070713A (ja) * | 1996-08-29 | 1998-03-10 | Hitachi Ltd | 透過型撮像装置および透過型撮像装置一体型表示装置 |
JP3805116B2 (ja) * | 1998-11-27 | 2006-08-02 | 富士写真フイルム株式会社 | 画像表示装置及びデジタルカメラ |
JP2002314899A (ja) * | 2001-04-13 | 2002-10-25 | Sharp Corp | 撮像機能一体型表示装置 |
CN100407276C (zh) * | 2001-06-11 | 2008-07-30 | 格诺色彩技术有限公司 | 用于彩色显示的设备、系统和方法 |
US7196728B2 (en) * | 2002-03-27 | 2007-03-27 | Ericsson, Inc. | Method and apparatus for displaying images in combination with taking images |
JP4257097B2 (ja) * | 2002-10-24 | 2009-04-22 | 富士通株式会社 | 撮像機能付きプラズマ表示装置 |
JP4515161B2 (ja) * | 2003-06-17 | 2010-07-28 | 株式会社半導体エネルギー研究所 | 撮像機能付き表示装置及び双方向コミュニケーションシステム |
JP4886162B2 (ja) * | 2003-06-18 | 2012-02-29 | キヤノン株式会社 | 撮像装置付き表示装置 |
JP4845336B2 (ja) * | 2003-07-16 | 2011-12-28 | 株式会社半導体エネルギー研究所 | 撮像機能付き表示装置、及び双方向コミュニケーションシステム |
JP2005130001A (ja) * | 2003-10-21 | 2005-05-19 | Canon Inc | 撮像装置付き表示システム |
JP4411059B2 (ja) * | 2003-12-12 | 2010-02-10 | キヤノン株式会社 | カメラ付きディスプレイ装置、通信装置および通信システム |
JP2006330578A (ja) * | 2005-05-30 | 2006-12-07 | Sony Corp | 液晶表示装置 |
JP2007147931A (ja) * | 2005-11-28 | 2007-06-14 | Sony Corp | 位相差板、液晶表示素子、および液晶プロジェクタ装置 |
US7697053B2 (en) * | 2006-11-02 | 2010-04-13 | Eastman Kodak Company | Integrated display having multiple capture devices |
JP2008129380A (ja) * | 2006-11-22 | 2008-06-05 | Sony Corp | 表示装置 |
JP2009048835A (ja) * | 2007-08-17 | 2009-03-05 | Seiko Epson Corp | 有機エレクトロルミネッセンス装置及びその製造方法、電子機器 |
JP2009065498A (ja) * | 2007-09-07 | 2009-03-26 | Tohoku Pioneer Corp | 表示撮像装置 |
JP5429584B2 (ja) * | 2007-09-26 | 2014-02-26 | Nltテクノロジー株式会社 | 表示装置及びそれらを用いた携帯機器、端末装置 |
JP2010230797A (ja) * | 2009-03-26 | 2010-10-14 | Seiko Epson Corp | 表示装置、および電子機器 |
JP2010250250A (ja) * | 2009-03-26 | 2010-11-04 | Akira Tomono | 表示装置 |
-
2010
- 2010-03-03 JP JP2010047157A patent/JP5471608B2/ja active Active
- 2010-03-03 JP JP2010047158A patent/JP5533039B2/ja active Active
- 2010-10-26 CN CN201310449783.7A patent/CN103501420B/zh active Active
- 2010-10-26 BR BRPI1004064-1A patent/BRPI1004064B1/pt active IP Right Grant
-
2013
- 2013-10-18 JP JP2013217201A patent/JP5644928B2/ja active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110809907A (zh) * | 2017-07-10 | 2020-02-18 | 夏普株式会社 | El设备、el设备的制造方法及el设备的制造装置 |
CN110536049A (zh) * | 2018-05-25 | 2019-12-03 | 印象认知(北京)科技有限公司 | 图像采集设备、图像采集方法、电子设备及成像装置 |
CN111107193A (zh) * | 2018-10-29 | 2020-05-05 | 印象认知(北京)科技有限公司 | 终端设备的显示屏以及终端设备 |
CN111107192A (zh) * | 2018-10-29 | 2020-05-05 | 印象认知(北京)科技有限公司 | 终端设备的显示屏以及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
JP5644928B2 (ja) | 2014-12-24 |
JP5471608B2 (ja) | 2014-04-16 |
JP2014056252A (ja) | 2014-03-27 |
BRPI1004064B1 (pt) | 2019-10-01 |
JP2011118330A (ja) | 2011-06-16 |
JP5533039B2 (ja) | 2014-06-25 |
CN103501420B (zh) | 2017-01-04 |
JP2011120200A (ja) | 2011-06-16 |
BRPI1004064A2 (pt) | 2013-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102054400B (zh) | 具有成像单元的图像显示装置 | |
CN103501420A (zh) | 具有成像单元的图像显示装置及其电子设备 | |
CN102271219B (zh) | 图像显示装置、电子装置、图像显示系统、图像获取方法 | |
WO2020199541A1 (zh) | 显示基板、显示面板及显示装置 | |
CN102136225B (zh) | 具有摄像装置的图像显示装置 | |
EP2715791B1 (en) | Apparatus for displaying and sensing images | |
US20110285680A1 (en) | Image display device, electronic apparatus, image display system, method of acquiring method, and program | |
JP5364227B2 (ja) | 読み取り機能付き表示装置及びそれを用いた電子機器 | |
CN113410257B (zh) | 阵列基板、显示面板及显示装置 | |
CN111951727B (zh) | 显示面板及显示装置 | |
WO2019227808A1 (zh) | 全面屏模组及智能手机 | |
JP5434624B2 (ja) | 撮像装置付き画像表示装置 | |
US11514710B2 (en) | Display panel and terminal device | |
JP2011150583A (ja) | 撮像装置付き画像表示装置 | |
US20230061540A1 (en) | Display apparatus, photoelectric conversion apparatus, electric equipment, illumination apparatus, moving body, and wearable device | |
JP2011257496A (ja) | 画像表示装置、電子機器、画像表示システム、画像表示方法、照明光分布補正装置、照明光分布補正方法、プログラム | |
KR102679171B1 (ko) | 표시 패널 및 표시 장치 | |
CN114374750A (zh) | 电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |