CN100366067C - 具有照相机的显示器装置和通信装置 - Google Patents

Abstract

本发明揭示了一种能够大致从正面摄像正在观察显示器的人物的薄型的具有照相机的显示器装置。具有照相机的显示器装置具有：配置了显示像素的显示元件；通过形成在上述显示元件的上述显示像素之间的多个开口区域形成多个物体像，并对该多个物体像进行光电转换的摄像模块。进而，该显示器装置具有：对使用上述摄像模块得到的上述多个物体像的图像数据进行合成的图像合成部件。

Description

具有照相机的显示器装置和通信装置

技术领域

本发明涉及用于电视电话、电视会议等的显示器装置，更详细地说，涉及具有摄像功能的显示器装置和使用它的通信装置。

背景技术

用于电视电话和电视会议等的显示器装置由为了在对方侧的显示器上进行显示而摄像自己的图像的照相机、显示在对方侧摄像的对方的图像的显示器构成，能够通过显示器一边与对方会面一边进行通话。

在这样的显示器装置中，在通过显示器与对方会面时，通过构成为视线与显示在显示器上的对方的图像配合，而能够实际地与对方进行会面而进行通话(例如参照特开平08-195945号公报、特开平01-286592号公报)。

图12是说明使用现有的电视会议用显示器装置的状况的图，图13是说明其光学结构的图。

在图12中，1是平面型显示器，与未图示的个人计算机(以下称为PC)。1a是画面，在通信状态下根据需要在画面内分割显示对方侧的脸部和用于会话的文件类。通过与因特网等通信线路连接的通常的PC环境实现这样的结构。

另外，2是桌台，3是用来将自己的图像发送到对方的摄像机，内置了图13所示那样的光学系统。该摄像机3并不位于脸部4和画面1a之间，而位于在画面1a的下侧人观察画面1a时的视野以外。

另外，在图13中，3a是内置在摄像机3中的摄像用透镜(实际上由多个透镜构成，但为了简化说明而在图中展示了一个透镜)，3b是内置在摄像机3中的摄像元件。5是摄像元件3b上的人4的像。

在这样的结构中，表示人4的假设平面的线A通过透镜3a而投影为平面C那样。这就是如果确定了与透镜3a的光轴垂直的面B，则该轴A、B、C的延长线相交于一点的所谓“光测试验法则”。

通过这样的结构得到的摄像元件3b上的图像成为下巴侧的摄像倍率高(由于距离近)而头顶侧的摄像倍率低(远距离)的物体，是并不理想的图像。

但是，在上述现有例子中，提出了以下方案：在以电视信号接收机等为主流的平面型显示器、便携电话和移动通信机、适用于个人计算机等的薄型显示器中，不有损设计，并且提高分辨率而使得能够判别人物的表情。

另外，作为第一个课题，要求观看显示在显示器上的图像的人的视线位于显示器的大致中央部分，而为了摄像该人的视线，而必须设置在与同一显示器的中央部分相同的位置上具有光轴的照相机，这样则不会损失作为显示器装置的性能和品位。为了弥补该缺点，可以考虑在画面的极近的位置安装照相机的例子，但相反也就成为无法捕捉到视线，或斜着看到脸部的图像。

作为第二个课题，在照相机中，要求以下这样的焦距：以人的脸部为中心而摄像一些周围风景的构图，并且具有能够判别人物的表情的高分辨率，但如果将这样的摄像倍率的光学系统组装到平面显示器的装置中，则厚度变大，而有损专门的平面显示器的设计。

作为第三个课题，要求在看着对方的表情的过程中也摄像本方的图像(实时性)，在这样的情况下，显示用的光容易成为摄像系统的重影和光斑，有可能引起画质的恶化。

发明内容

本发明的目的是提供一种能够从几乎正面摄像正在看着显示器的人物的薄型的具有照相机的显示器装置。

作为第一观点的本发明的具有照相机的显示器装置具有：配置了显示像素的显示元件；通过形成在上述显示元件的上述显示像素之间的多个开口区域，形成多个物体像，并对该多个物体像进行光电转换的摄像模块；对使用上述摄像模块得到的上述多个物体像的图像数据进行合成的图像合成部件。

另外，作为另一个观点的本发明的通信装置具有：上述具有照相机的显示器装置；使用该显示器装置进行伴随着图像数据的通信的通信部件。

进而，作为另一个观点的本发明的通信系统具有：上述具有照相机的显示器装置；分别使用该显示器装置，进行伴随着图像数据的通信的多个通信装置。

通过参照附图的以下的具体实施例的说明，能够明确本发明的具有照相机的显示器装置、通信装置和通信系统的特征。

附图说明

图1是作为本发明的实施例1的具有照相机的显示器装置的截面图。

图2是作为本发明的实施例2的具有照相机的显示器装置的截面图。

图3是上述实施例相关的便携电话的使用状况的说明图。

图4是上述实施例相关的便携电话的摄像图像的处理方法的说明图，图4(a)是展示通过4个透镜摄像的4个像的图，图4(b)是展示电气地使图4(a)的4个像重合的像的图，图4(c)是详细图。

图5是展示上述实施例的摄像模块的结构的斜视图。

图6是模式地展示摄像模块的截面图，图6(a)是上述实施例的复眼光学系统的结构，图6(b)是现有的光学系统的结构。

图7是展示本实施例的便携电话的显示器部件的传感器单元的配置的一个例子的图。

图8是展示使用了上述实施例的具有照相机的显示器装置的电视会议或电视电话系统的结构的图，图8(a)是显示器部件的正面图，图8(b)展示显示器部件的使用状况的侧面图。

图9是展示上述实施例的便携电话的通信系统的流程图。

图10是通过时间序列说明使用了上述实施例的便携电话的通信系统的图。

图11是上述实施例的便携电话的控制电路图。

图12是说明现有例子的电视会议用显示器装置的使用状况的图。

图13是说明现有例子的电视会议用显示器装置的光学结构的图。

具体实施方式

以下，参照附图说明本发明的实施例。在以下的说明中，向具有与图12和图13所示的现有例子同样结构的部件附加相同的符号。在本实施例中，作为本发明的显示器装置的一个例子，说明便携电话的例子。

图3是本实施例的便携电话(通信装置)的使用状况的说明图。如图3所示，本实施例的便携电话在显示器部件1中内置了照相机3。该照相机3设置为朝向人物4的视线和脸部的方向。

图1和图2是本实施例的便携电话的显示器部件1的截面图。另外，图1是本发明的实施例1的显示器部件的截面图，图2是本发明的实施例2的显示器部件的截面图。

如图1和图2所示，显示器部件1具有：在表面侧形成画面的玻璃基板11；在该玻璃基板11的背面侧针对每个像素形成的，每个像素能够发出不同颜色的光的有机EL(场致发光)元件14；密封玻璃基板的背面侧的密封容器16。

在玻璃基板11上，进行形成反射防止膜或低温多晶硅的TFT(薄膜晶体管)的电路等的下处理。另外，在该玻璃基板11上，一体地形成用丙烯等的树脂构成的复制(replica)透镜12、13。

在此，图1展示了在玻璃基板11中的形成了后述的有机EL元件14(显示像素)的面上形成复制透镜12的例子，图2是在玻璃基板11中的与形成了有机EL元件14的面相反侧(外侧)的面上形成复制透镜12、13的例子。

复制透镜12是摄像透镜，构成为在形成在后述的传感器基板15上的传感器部件上使被摄界面(图中下侧)的像成像。另外，复制透镜13是使后述的有机EL元件14的发光光束聚光的聚光透镜。

另外，有机EL元件14由形成在玻璃基板11上的低温多晶硅的透明电路针对每个像素被驱动，每个像素点亮或熄灭不同的颜色。通过控制各有机EL元件14的驱动，作为显示器整体显示一个图像。进而，对于有机EL元件，点亮、熄灭的速度比现有的液晶等快3个数量级以上，特别适合于本实施例。

该有机EL元件14具有：作为反射板和普通(common)电极使用的氧化铝反射板14a；由发出蓝色、绿色、红色各色的光的有机材料构成的EL层14B、14G、14R；作为黑色矩阵用来提高各像素的对比度或防止漏光的由氧化铬等构成的黑色矩阵部件14c。

另外，黑色矩阵部件14c也作为摄像透镜12的光圈发挥功能(一体地形成)，如图14d所示那样，它构成为防止产生重影的刀口(knifeedge)形状。

所以，在本实施例中，在形成在有机EL元件14(即显示像素)之间的多个开口区域AP的每个处配置摄像透镜12。

另外，在大致形成摄像用透镜12的焦点的位置设置传感器基板15。该传感器基板(以下称为摄像传感器：image-pickup sensor)15通过未图示的固定结构与未图示的电路部件和密封容器16接合，传感器面15a和驱动电路形成为一体。构成为在该摄像传感器15的传感器面15a上大致形成摄像透镜12的焦点。这样形成摄像模块。

另外，构成为使将形成在传感器面15a上的多个传感器区域的图像处理上的图像中心和复制透镜12的中心连接的所谓光轴L在被认为是观察该画面的人4(参照图3)所在的位置(图中从传感器面15a离开距离15a的位置)大致交叉。另外，在图中，记载了光轴L弯曲，但实际上是沿着直线的。

另外，密封容器16由金属构成，通过耐湿性高的粘结剂18被固定在玻璃基板11上。另外，在密封容器16的一部分上固着了干燥剂17。这是为了除去空气中的水分，使得有机EL元件14不会与空气中的水分反应而产生被称为黑点的不发光部分。另外，根据这样的结构，能够提供比现有的液晶显示器装置更薄的平板显示器装置。

图4到图6是说明用于本实施例的显示器装置的摄像模块的图。

在该摄像模块的光学系统中使用所谓的复眼光学系统，如图5所示，在相互独立的4个摄像传感器15上成像由4个摄像透镜12形成的物体像，并从得到的4个图像数据合成为一个图像，由此作成高画质的图像数据。

图6是光学系统和摄像传感器的截面图，图6(a)是本实施例的复眼光学系统的结构，图6(b)是现有的光学系统的结构。

在图6(a)中，12是作为摄像透镜的复制透镜，15是摄像传感器。是与上述图1和图2相同的结构。

在图6(b)中，展示了具有与本实施例的光学系统相同的性能的现有的光学系统，21是透镜单元，22是摄像传感器。该摄像传感器22配置了彩色滤波器(配置为方格纹状)。

在图6(b)所示的现有光学系统中，如透镜单元21所示，为了在同一传感器面上成像作为可视光的3原色的青、绿、红(以下称为B、G、R)的各波长的光，而使用被称为消色的方法。即，由于在单一透镜上无法在同一平面上成像波长不同的光，所以使用3种折射和散射(因波长而产生的折射不同)不同的透镜，并将这些3原色成像为同一平面状。因此，必须成为如图所示那样的透镜单元的厚度。通常将该透镜单元的消色结构称为复消色差透镜。

另外，例如在用于通常的摄像系统(image-taking system)中的摄像传感器22的大小为VGA(640×480＝约30万像素)的情况下，如果假设1个像素的大小为4μ四角形，则成为2.56×1.92mm。

另一方面，如本实施例那样，如果使用每个颜色光学系统不同的复眼光学系统，则要使用4个1.28×0.96mm的摄像传感器15。但是，也可以将一个摄像传感器15的受光范围分割为多个，分配给由各摄像用透镜12形成的物体像。

这样，在画面大小不同的情况下所使用的光学系统成为：例如作为银盐(silver-haloid)照相机的标准视角θ的相当于f＝38mm透镜的透镜在通常的光学系统的2.56×1.92mm(＝a)的传感器下成为f＝2.6mm的透镜单元21。另一方面，如果是本实施例的光学系统的1.28×0.96mm(＝a/2)的传感器，则可以使用其一半的f＝1.3mm的摄像透镜12。即，在本实施例中，与通常的光学系统相比，能够使包含透镜和摄像传感器的摄像光学系统的厚度成为约一半。

另外，如果焦距成为一半，则根据f/Fno.的原理公式，相同亮度的透镜的直径也成为大致一半，即使在显示器的各显示像素之间嵌入该摄像透镜也不会很显眼(即，如果4个透镜的面积相加，则大致与现有类型的透镜的孔径大小相等)。另外，不会由于使透镜从观察者的注视点的画面中心移开而观察图像的恶化变得显著，能够适合地实现本发明的发明目的的使通话者之间的视线一致(从大致正面摄像观察显示器的观察者)。

图5是展示本实施例的摄像(image-taking)模块的结构的斜视图。在图5中，12是前述的摄像透镜，复制(replica)形成在上述玻璃基板11上。该摄像透镜12配置在画面的中央部分的4个位置。23是彩色滤波器，只使进入各透镜的白色光中的各摄像传感器15所需要的波长(颜色)入射到各个摄像传感器15中。24是印刷在玻璃基板11上的光圈。

图4是摄像图像的处理方法的说明图，图4(a)是展示通过4个透镜摄像的4个像的图，图4(b)是展示电气地使图4(a)的4个像重合的像的图，图4(c)是详细图。

在本实施例中，在将从4个摄像透镜12入射的光所形成的物体像转换为电信号并读入时，例如在位于图4(a)的第二象限部分的传感器的最右上的图像的下一个，交替地读出第一象限部分的最右上的图像、第一象限相邻的图像、第一象限相邻的图像，而成为第一奇数行的信号。接着，交替地读出第三象限部分的最右上的图像、第四象限部分的最右上的图像、第三象限相邻的图像、第四象限相邻的图像，而成为第一偶数行的信号。接着，交替地读出并合成第二象限部分的第二列的信号......，通过这样的电路，作出与图4(b)那样的通常的排列等同的图像信号。

图7是展示本实施例的显示器中的摄像用透镜12的配置的一个例子的正面图。

在图7中，12是摄像透镜，13是聚光显示器的光的聚光(显示)透镜。另外，在本图中，只在画面中心部分记载了聚光透镜13，但实际上是配置在画面全体上。

摄像透镜12相对于聚光透镜13，大致均等分散地配置在图中四角形所示的画面的中央部分，由于尺寸小，所以观察画面的人不会注意到。

图8是展示本实施例的显示器的摄像透镜12的配置的其他例子的图，图8(a)是显示器的正面图，图8(b)是展示显示器(便携电话)的使用状况的侧面图。

在图8(a)中，4个一组的摄像透镜12(即4个摄像模块)被配置在图中四角形所示的显示器画面的中央部分、将画面4分割了的区域的各中央部分(四角部分)，共计5个位置。另外，聚光透镜13全面地铺在画面全体上，但在图8(a)中只省略记载了中心部分。

所以，如图8(b)所示，四角的摄像模块的摄像光轴(如图中的点划线所示)L被设置为朝向从画面离开距离D(即画面与人物的距离例如为30～50cm)的人物的方向。

对于这样的结构，设想在与多个地点或多个人物(便携电话P1、P2或个人计算机P3)进行通话时，在分割为4个的画面(分割的画面的区域并不只限于4个)各自中显示不同的地点和人物的情况。

例如，适用于以下这样的电视会议系统、个人计算机等固定型的电视电话系统那样的通信系统：在画面中央部分中配置共通的文件资料等，将对方的图像显示在画面全体的1/4的区域内。

另外，只要将自己的脸部朝向四角的画面的正在通信的人物，个人计算机就能够自动地判别现在正在与哪个场所、人物进行会话，并有选择地向对方等发送来自该照相机的摄像图像。

图11是本实施例的便携电话的控制电路图。在图11中，31是高速地转换发送接收的数字信号的DSPI，对接收信号进行转换并传递到作为控制器的微型计算机32，同时相反将来自微型计算机32的发送信号转换为数字的发送信号。在DSPI中内置了图像和声音的压缩功能和解压功能。

33是DSPII，只将由微型计算机32分离了的发送接收的图像信号高速地转换为适于驱动显示器装置的信号，或者将来自后述的显示器40中的摄像模块的区域传感器(摄像传感器15)的模拟信号转换为数字信号，并传递到微型计算机32。在此，也作为图像合成部件发挥功能的微型计算机32如上述那样，从由4个摄像透镜12形成的相互独立的4个像所对应的4个图像数据合成为一个图像。

34、35分别是作为通信部件的发送单元和接收单元(如图8(a)所示)，36、37分别是麦克风单元、扬声器单元。

38是作为照相机控制器控制照相机部件的部件，39是作为显示控制器控制有机EL显示部件的部件。

该显示器40的照相机部件和显示部件如图10所示，由微型计算机32以时间序列进行控制。

在图10中，从接收单元35得到的接收信号由DSPI31和微型计算机32高速地进行转换，并经由DSPII33和显示器控制器39，驱动显示器40的有机EL元件。图10的A展示了这时转换信号的定时(接收信号转换定时)，图10的B展示了驱动有机EL元件的定时(接收图像显示定时)。

另外，图10所示的C展示了在照相机部件中进行摄像的定时(发送图像摄像定时)。发送图像摄像定时C具有与有机EL的发光定时(显示驱动定时)B交互的定时关系。

图10所示的D展示了通过DSPII33将由照相机部件摄像了的图像(合成图像)转换为图像信号，并通过微型计算机32和DSPI31实时地将该图像信号转换为发送信号，通过发送单元34发送的定时(发送信号转换定时)。

通过这样的结构，有机EL的发光定时(显示驱动定时)B与发送图像摄像定时(摄像模块的摄像驱动定时)C完全错开，因此从有机EL元件的发光并不对内置的摄像模块的摄像产生恶劣影响。

有机EL元件是非常适用于必需这样的发光、熄灭的响应性的使用方法的。

另外，如我们所知的图像的分散那样，图10中“S”所示的间隔理想的是30分之1秒。另外，考虑发送接收的数据量和数据转换的速度，也可以是10到15分之1秒左右。

图9是展示本实施例的通信系统的流程图。向各步骤附加符号进行说明。

在图9中，在S101，便携电话开始接收到信号。在S102，由用户按下连接(hook-up)按键。

在S103，确认是否接收到信号。如果接收到信号，则前进到S104，如果没有接收到信号，则前进到S109。

在S104，由微型计算机32根据接收信号确认是否是显示图像的定时。即，在计数器的计数为0的情况下，判断为是显示图像的定时，前进到S105。

在从S105到S107，接收信号经由DSPI31、DSPII33和微型计算机32被转换，并图像显示在显示器40上，声音输出到扬声器37。

然后，在S108，在上述计数器变更为1后，再次返回S104。

另一方面，在S104中计数为1的情况下，判断为是进行摄像的定时，前进到步骤S109。

在S109，确认是否接收到信号。如果接收到信号，则前进到S110，如果没有接收到信号，则前进到S116(判断为异常模式)。

在S110，确认计数是否为1，即是否可以执行摄像和收集声音的动作。如果计数为1，则前进到S111，如果计数为0，则前进到S116。

在从S111到S114，在通过摄像、收集声音、DSPII33和微型计算机32进行信号转换后，使用DSPI31和发送单元34发送数字信号。

然后，在S115，使上述计数器复位为0，再次返回S104。

这时的间隔是上述图10所示的S。

通过这样的微型计算机32等的动作，能够使用户感觉就象是同时进行显示器画面的显示和摄像模块的摄像。

如以上说明所示，根据本实施例，通过形成在显示像素之间的多个开口(aperture)区域形成多个物体像，对对其进行光电转换而得到的图像数据进行合成而得到图像，因此在观察显示器的人物(观察者)不注意的基础上，能够从几乎正面摄像该观察者。由此，能够以舒适的状态实现便携电话和电视电话(会议)系统。

进而，根据本实施例，通过构成所谓的复眼摄像模块，能够使一个一个的开口区域变小，并且作为整体得到宽的摄像视角。所以，能够在短焦距(focus length)下，即能够充分安装在薄空间中的结构下构成摄像模块，通过内置摄像模块，能够防止显示器装置变厚。

进而，通过使多个摄像透镜的光轴在物体侧的规定距离的位置(例如观察者的脸部的位置)上交叉(并且，通过使摄像各物体像的摄像传感器区域的像素在空间上在物体的位置上错开)，能够以高分辨率摄像该位置的被摄体。

另外，通过在从显示器的画面中央部分错开的位置上配置上述开口区域，能够使摄像位置从观察者的注视点错开，通过作成多个摄像(图像)数据的合成图像，能够成为就像是看到了从显示器画面的中心摄像了的图像。

另外，根据本实施例，通过使显示器的显示定时和摄像定时相互错开地连续地驱动，能够防止因从显示器侧的光造成的摄像图像的恶化。

另外，本实施例的结构只不过是实施本发明的例子，本发明并不只限于本实施例的结构。

Claims (14)

1.一种具有照相机的显示器装置，其特征在于包括：

配置了显示像素的显示元件；

通过形成在上述显示元件的上述显示像素之间的多个开口区域形成多个物体像，并对该多个物体像进行光电转换的摄像模块；以及

对使用上述摄像模块得到的上述多个物体像的图像数据进行合成的图像合成部件。

2.根据权利要求1所述的具有照相机的显示器装置，其特征在于：

上述摄像模块由以下部分构成：设置在上述每个开口区域的多个摄像透镜；对通过该多个摄像透镜形成的上述多个物体像进行光电转换的光电转换元件。

3.根据权利要求2所述的具有照相机的显示器装置，其特征在于：

上述摄像透镜形成在上述显示元件中设置了上述显示像素的透明基板上。

4.根据权利要求3所述的具有照相机的显示器装置，其特征在于：

在上述透明基板上以上述显示像素为单位形成将来自上述显示像素的光射出到物体侧的显示透镜，

将面对上述开口区域的上述显示透镜用作上述摄像透镜。

5.根据权利要求2所述的具有照相机的显示器装置，其特征在于：

上述多个摄像透镜的光轴在物体侧的规定距离的位置交叉。

6.根据权利要求1所述的具有照相机的显示器装置，其特征在于：

上述开口区域设置在从上述显示元件的显示面的中心错开的位置。

7.根据权利要求1所述的具有照相机的显示器装置，其特征在于：

上述显示像素具有黑色矩阵部分，

与上述开口区域相邻的上述显示像素的上述黑色矩阵部分构成与上述摄像模块对应的开口光圈。

8.根据权利要求1所述的具有照相机的显示器装置，其特征在于：

上述摄像模块设置在上述显示元件的多个位置。

9.根据权利要求8所述的具有照相机的显示器装置，其特征在于：

设置在上述多个位置上的上述摄像模块的摄像光轴在物体侧的规定距离的位置交叉。

10.根据权利要求1所述的具有照相机的显示器装置，其特征在于：

上述显示元件是有机场致发光元件。

11.根据权利要求1所述的具有照相机的显示器装置，其特征在于：

具有在不同的定时下进行上述显示元件的驱动和上述摄像模块的驱动的控制器。

12.一种通信装置，其特征在于包括：

根据权利要求1～11中的任意一个所述的具有照相机的显示器装置；

使用该显示器装置进行伴随着图像数据的通信的通信部件。

13.一种通信系统，其特征在于包括：

具有根据权利要求1～11中的任意一个所述的具有照相机的显示器装置和使用该显示器装置进行伴随着图像数据的通信的通信部件的通信装置；

与该通信装置进行通信的对方通信装置。

14.一种通信系统，其特征在于包括：

根据权利要求9所述的具有照相机的显示器装置；

使用该显示器装置进行伴随着图像数据的通信的通信装置，其中

上述通信装置向每个上述摄像模块都不同的对方通信装置发送由上述多个摄像模块各自得到的图像数据。

Images