CN102271219B - 图像显示装置、电子装置、图像显示系统、图像获取方法 - Google Patents

Abstract

在此公开图像显示装置、电子装置、图像显示系统、图像获取方法和程序，所述图像显示装置包括：图像显示部分，其包括在其之中阵列化并且均包括显示元件的多个像素，所述图像显示部分允许用于图像拾取的图像拾取部分被布置在其后面侧，所述图像显示部分还包括与所述图像拾取部分对应的其区域中提供的光透射部分；以及噪声抑制处理单元，适用于对于所述图像拾取部分通过所述光透射部分获取的图像信息执行用于抑制图像显示部分上的显示图像对拾取图像的反射分量的反射噪声抑制处理。

Description

图像显示装置、电子装置、图像显示系统、图像获取方法

技术领域

本公开涉及图像显示装置、电子装置、图像显示系统、图像获取方法和程序。更具体地，本公开涉及用于通过部署在后面侧的图像拾取装置拾取图像显示部分的显示面侧的图像拾取对象的图像的机制。

背景技术

已经并正在积极地进行对于组合图像显示装置和图像拾取装置以另外向图像显示装置提供除了图像显示功能之外的功能的尝试。例如日本专利特开No.2005-176151(下文称为专利文献1)或日本专利特开No.2005-010407(下文称为专利文献2)中公开了所述类型的装置。

根据专利文献1中公开的技术，在配置图像显示装置的图像显示部分的像素之间提供均处于开孔的形式并且均具有十分小的透镜的多个光透射部位。然后，通过光透射部位透射的光由多个相机拾取为图像。在此情况下，从多个不同角度拾取观看图像显示装置的用户的脸的图像，并且处理所得到的多个图像，以生成从前面捕获用户的图像。

根据专利文献2中公开的技术，例如如文档的图15和16中所示，图像拾取装置基于已经通过针对多个像素提供的一个光透射部分所透射的光来拾取图像。

发明内容

然而，已经发现，如果通过图像显示部分在图像显示部分的后面侧拾取图像，则在光没有透射通过图像显示部分的情况下拾取图像时不出现的独特噪声出现。

此外，在专利文献1公开的技术中，在光透射部位十分小的情况下，在光透射部位出现衍射现象。衍射现象引起图像拾取装置形成的图像上的模糊的出现，并且拾取的图像有时由于模糊的影响而缺少锐度。

此外，在专利文献1公开的技术中，对于每一开孔提供十分小的透镜， 并且此外使用高度精确的十分小的透镜，以在图像拾取装置上精确地形成图像。因此，以高生产成本制造图像显示装置。此外，不是来自前方的用户的脸的图像被拾取，而是从不同角度拾取的多个图像产生来自前方的图像。因此，该图像拾取不是实际的图像拾取，而是将CG(计算机图形)图像提供给另一端，因此，图像提供不舒服的感觉。

此外，在专利文献2公开的技术中，在光透射部分十分小的情况下，如专利文献1公开的技术中那样类似地在光透射部分出现衍射现象。因此，在图像拾取装置形成的图像上出现模糊，并且拾取的图像有时由于模糊的影响而缺少锐度。此外，由于基于通过针对多个像素提供的一个光透射部分透射的光在图像拾取装置上拾取图像，因此难以在图像拾取装置上会聚足够量的光。

因此，期望提供图像显示装置、电子装置、图像显示系统、图像获取方法和程序，其可以在通过图像显示部分的后面侧的图像显示部分拾取图像的情况下抑制出现在拾取的图像上的独特噪声。

此外，期望提供图像显示装置、电子装置、图像显示系统、图像获取方法和程序，其在后面部署的图像拾取装置通过光透射部位拾取显示面侧的图像拾取对象的图像时，可以抑制出现在显示部分的十分小的光透射部位的衍射现象对图像的影响。

此外，期望提供图像显示装置、电子装置、图像显示系统、图像获取方法和程序，其可以低成本地生产，并且可以容易地捕获面对图像显示部分的前面的用户的图像。

此外，期望提供图像显示装置、电子装置、图像显示系统、图像获取方法和程序，其中，在图像拾取装置上可以会聚足够量的光。

根据本公开的第一实施例，提供一图像显示装置，包括：图像显示部分，其包括在其之中阵列化并且均包括显示元件的多个像素，所述图像显示部分允许用于图像拾取的图像拾取部分或图像拾取装置被布置在其后面侧，所述图像显示部分还包括与图像拾取部分或图像拾取装置对应的其区域中提供的光透射部分；以及噪声抑制处理单元，适用于对于图像拾取部分或图像拾取装置通过所述光透射部分获取的图像信息执行用于抑制所述图像显示部分上的显示图像对拾取图像的反射分量的反射噪声抑制处理。简而言之，从信号处理的方面抑制与所述显示图像对应的并且包括在拾取的图像中的反射分 量。

优选地，彼此同步显示和图像拾取的时序。具体地，所述图像显示装置还包括时序控制部分，适用于在所述图像显示部分的显示时序与图像拾取部分或图像拾取装置的图像拾取时序之间建立同步。注意，当建立所述同步时，优选地，可以从信号处理的方面与对策协作地抑制与所述显示图像对应并且所述拾取的图像中包括的反射分量。

优选地，所述噪声抑制处理单元仅使用将图像配置为处理目标的信号分量中的一些，以便与所有信号分量用作处理目标的替换情况相比，实现了信号处理的加速。

例如，虽然各种方法可应用于这样的“信号分量中的一些”的确定，但可以推荐的是，采用例如仅将从图像拾取部分或图像拾取装置获取的图像信息提取的特定区域中的图像信息用作目标的方法。这减少了处理目标面积，并且由此可以实现处理的加速。在此情况下，优选地，预先确定的特定对象(例如人、人脸、人脸的特定区域等)用作特定区域，从而可以实现处理的加速，而不恶化感觉噪声抑制效果。

具体地，优选地，所述噪声抑制处理单元对于从图像拾取部分或图像拾取装置通过所述光透射部分获取的图像信息提取的特定区域中的图像信息执行反射噪声抑制处理，并且合成对于其尚未执行除了所述特定区域之外的背景区域的反射噪声抑制处理的图像信息和对于其针对所述特定区域已经执行反射噪声抑制处理的图像信息。

所述噪声抑制处理单元可以对于表示图像拾取部分或图像拾取装置获取的图像信息的多个信号中的至少一个执行反射噪声抑制处理，并不对于所有的所述多个信号执行所述反射噪声抑制处理。在此情况下，优选地，仅处理与亮度信息具有高相关性的信号分量(典型地，绿色分量)或仅亮度信息，从而在防止噪声抑制效果的减少的同时实现处理的加速。

可以组合使用其中仅特定区域中的图像信息用作所述处理目标的方法和其中表示图像拾取部分或图像拾取装置获取的图像信息的多个信号中的至少一个但不是所有用作所述处理目标的方法。

根据本公开的第二实施例，提供了图像显示装置，包括：图像显示部分，其包括在其之中阵列化并且均包括显示元件的多个像素，所述图像显示部分允许用于图像拾取的图像拾取部分或图像拾取装置被布置在其后面侧，所述 图像显示部分还包括与图像拾取部分或图像拾取装置对应的其区域中提供的光透射部分；以及时序控制部分，适用于控制所述图像显示部分的显示时序和图像拾取部分或图像拾取装置的图像拾取时序，以便可以抑制图像拾取部分或图像拾取装置通过光透射部分获取的图像信息中可能包括的图像显示部分的显示图像对拾取图像的反射分量。

优选地，彼此同步显示和图像拾取的时序。具体地，所述时序控制部分在所述图像显示部分的显示时序与图像拾取部分或图像拾取装置的图像拾取时序之间建立同步。注意，当建立所述同步时，优选地从信号处理的方面与对策协作地抑制拾取图像中包括的显示图像所对应的反射分量。

优选地，所述光透射部分包括与图像拾取部分或图像拾取装置对应的图像显示部分的区域中提供的多个这些光透射部位，所述图像显示装置还包括衍射校正单元，适用于执行衍射校正处理，该衍射校正处理用于抑制所述光透射部分的衍射效应要施加于所述图像拾取部分或图像拾取装置通过所述多个光透射部位获取的图像信息的干扰。

优选地，所述图像显示装置还包括波长分布测量部分，适用于测量外部光的波长分布，所述衍射校正单元参照所述波长分布测量部分测量的外部光的波长分布，以执行所述衍射校正处理。

优选地，所述图像显示装置还包括会聚部分，适用于在图像拾取部分或图像拾取装置上会聚通过所述光透射部分透射的光，由此确定地在图像拾取部分或图像拾取装置上会聚通过所述光透射部分透射的光。

对于根据第一和第二实施例的所述图像显示装置，图像拾取部分或图像拾取装置被布置在所述图像显示部分的后面侧，从而通过所述光透射部分拾取所述显示面侧的图像拾取对象的图像。因此，可以容易地获取面对所述图像显示装置的用户的图像。

因而，通过其中从信号处理的方面抑制反射噪声的第一方法或其中控制显示和图像拾取的时序的第二方法，可以抑制当图像拾取部分或图像拾取装置通过所述光透射部分获取图像信息时可能在拾取图像上出现的反射分量。

此外，从信号处理的方面，通过对策可以抑制伴随着光透射部分出现的衍射现象对图像的影响。此时，如果将不是在图像的整个区域中而是仅在特定区域中的信息确定为处理目标，则与其中所有信号分量用作所述处理目标的替换情况相比，可以减少所述处理时间。

此外，如果配置图像的多个信号分量中的仅一些用作所述衍射校正处理的目标，则与其中所有信号分量用作所述处理目标的替换情况相比，可以减少所述处理时间。在此情况下，如果亮度信号分量或仅与亮度具有高相关性的信号分量(例如绿色光分量)用作衍射校正处理的目标，则可以减少处理时间。此外，可以以不劣于而是类似于于其中所有信号分量用作处理目标的情况下的精度执行所述校正处理。

此外，如果还采取根据所述光透射区域中布置光透射部分自身的方面的对策，则可以预先抑制衍射现象在所述光透射部分的出现。结果，可以更高确定度地抑制衍射现象对图像的影响。

此外，如果在所述图像显示部分与图像拾取部分或图像拾取装置之间布置所述光会聚部分，则由于在图像拾取部分或图像拾取装置上确定地会聚通过所述光透射部分透射的光，因此在图像拾取部分或图像拾取装置上可以会聚足够量的光。所述图像显示装置可以低成本地制造，而不需要高精度的十分小的透镜以在图像拾取部分或图像拾取装置的图像拾取平面上精确地形成图像，并且不引起图像拾取部分或图像拾取装置的制造成本的增加。

结合附图，根据以下描述和所附权利要求书，本公开的以上和其它特征和优点将变得清楚，在附图中，相同的参考符号表示相同的部分或要素。

附图说明

图1A至图1D是分别示出根据第一实施例的图像显示装置和图像显示系统的示意图；

图2是示出配置图像显示部分的多个像素的最典型布置的示意图；

图3A和图3B是示出图像拾取装置的布置位置与显示的图像之间的关系的示意图；

图4A和图4B是示出图像显示装置的图像拾取的示意图；

图5A和图5B是图示图像显示部分的细节的视图；

图6是示出反射现象的示意性剖面图；

图7是根据第一实施例的图像显示装置的框图；

图8是根据第一实施例的图像显示系统的框图；

图9是示出适合于在其中从信号处理的方面应对反射现象的影响的技术的情况下使用的同步控制的图解视图；

图10、11、12和13分别是示出反射噪声抑制处理的第一、第二、第三和第四示例的流程图；

图14是示出衍射现象对拾取的图像的影响的示意图；

图15A和图15B是示出通过在图像拾取装置前面布置的玻璃板拾取的图像的示例的视图；

图16是根据第二实施例的图像显示装置的框图；

图17是根据第二实施例的图像显示系统的框图；

图18A、图18B和图19是示意性示出光透射部位的不同示例的视图；

图20A至图20D是根据第三实施例的图像显示装置和图像显示系统的示意图；

图21是根据第三实施例的图像显示装置的框图；

图22是根据第三实施例的图像显示系统的框图；

图23A和图23B是示出第一至第三实施例中任何一个的图像显示装置应用到的电子装置的示例的示意图；

图24A至图24C是示出对图像显示装置的第二修改的视图；以及

图25A至图25C是示出对图像显示系统的第二修改的视图。

具体实施方式

以下参照附图详细描述本公开的实施例。在本说明书中，为了在不同实施例当中区分每一功能要素，将诸如A、B、......之类的字母表的大写字母的参考符号添加给用于功能要素的附图标记，并且在对于这种区分不存在必要性的情况下，参考符号予以省略。这也类似地适用于附图。实施例中描述的各种数值和材料仅是说明性的，而不旨在对它们施加限制。

按以下顺序给出描述：

1.基本构思(概述、反射噪声抑制处理、衍射校正处理、波长分布测量、光透射区域、图像拾取装置、图像显示部分)

2.第一实施例(一般配置、图像拾取装置的布置位置、图像显示部分的剖面结构、准备用于反射噪声抑制的配置、针对反射现象的对策的同步控制)

3.反射噪声抑制处理(第一示例：处理面积减少方法)

4.反射噪声抑制处理(第二示例：第一示例+所有信号)

5.反射噪声抑制处理(第三示例：第一示例+特定信号->与亮度信息具有 相关性的信号)

6.反射噪声抑制处理(第四示例：第一示例+亮度信息，第一示例至第四示例的小结)

7.第二实施例(第一实施例+准备用于衍射校正的配置，针对衍射现象的对策原理)

8.第三实施例(第二实施例+波长分布测量处理)

9.电子设备的监控装置的替换方案

10.小结(第一修改：位置检测，第二修改：三维图像显示+位置检测，第三修改：TV会议系统，第四修改：数字镜)

<基本构思>

概述

在根据下文描述的任何一个实施例的具有图像拾取装置的图像显示装置(下文简称为“图像显示装置”)中，在图像显示部分的后面部署图像拾取装置(或图像拾取部分：这也类似地适用于以下描述)。此外，在与图像拾取装置对应的图像显示部分的光透射区域中提供光透射部分。因此，通过光透射部分(即通过图像显示部分)拾取显示面侧的图像拾取对象的图像。

在图像拾取装置上会聚通过光透射部分透射的光。由于在图像显示部分的后面侧布置图像拾取装置，因此图像拾取装置可以精确地拾取面对图像显示装置的用户的脸、眼睛、运动等的图像。在图像显示部分(即显示装置的显示面板)上提供通过其光到达后面的这种光透射部分，并且在光透射部分的对应位置布置图像拾取装置。因此，通过拾取由图像拾取装置可以拾取的面对图像显示装置的用户的脸、眼睛、运动等的图像，可以精确地捕获它们。因此，显示装置具有以简单、容易且低成本的方式带来的增加值。

虽然不必要，但如果在图像显示部分与图像拾取装置之间布置光会聚部分，则确定地在图像拾取装置上会聚通过光透射部分透射的光。通过光会聚部分的布置，不需要高精确度的十分小的透镜以在图像拾取装置上精确地形成图像。因此，不引起图像显示装置的制造成本的增加，并且在图像拾取装置上可以会聚足够量的光。

反射噪声抑制处理

在任何实施例的图像显示装置中，已经发现，如果通过图像显示部分在图像显示部分的后面侧执行图像拾取，则当不通过图像显示部分执行图像拾 取时不出现的独特噪声出现在拾取的图像上。进行对于这种噪声的出现的原因的调查，并且发现，生成噪声而使得来自图像显示部分的显示元件的光(即显示光)由图像显示部分的内部的各个位置反射，并且作为杂散光进入图像拾取装置。

在以下描述中，当不通过图像显示部分执行图像拾取时不能存在而是出现在通过图像显示部分在图像显示部分的后面侧拾取的图像上的独特噪声被称为“反射噪声(reflection noise)”。

作为针对该反射噪声的对策，在实施例中，提供被配置为控制图像显示部分的显示时序和图像拾取装置的图像拾取时序的时序控制部分。时序控制部分控制时序，从而可以抑制图像拾取装置通过光透射部位获取的图像信息中可包括的图像显示部分的显示图像的反射分量。

时序控制部分将显示时序和图像拾取时序以很大的量彼此偏离，或者换言之，以彼此相差很大的量的帧速率异步地执行图像拾取和显示以使得反射噪声在外观上更少识别。刚描述的方法在下文中被称为通过视觉效应的反射噪声抑制方法。在图像拾取和显示异步的情况下，如果帧速率彼此近似，则拾取的图像的显示图像的反射被识别为闪烁现象。例如，以低于30帧的帧速率差识别这种现象。相比之下，如果设置帧速率之间的差大于30帧，则即使显示图像对于拾取图像的反射出现，这也较不可能被视觉地识别。

然而，如果在帧速率的设置中不存在自由度，则不能采用通过视觉效应的反射噪声抑制方法。因此，在实施例中，作为另一模式，从信号处理的方面校正反射噪声对拾取图像的影响，以实现图像的高质量。该方法下文中被称为信号处理的反射噪声减少方法。

在信号处理的反射噪声抑制方法中，反射噪声抑制处理单元首先参照图像显示部分的视频数据以抑制(优选地，完全移除)图像拾取装置拾取的图像中的反射噪声，由此获取高质量的图像。换言之，即使在图像拾取时段期间反射显示图像的情况下，作为反射噪声的这些反射分量也从视频数据被决定，并且从拾取的图像被抑制或移除。来自显示元件的作为杂散光的光入射到图像拾取装置所引起的反射分量的图像拾取使得产生反射噪声。因此，反射噪声的量具有对于用作反射噪声或杂散光的源的视频数据的相关性。因此，通过从拾取的图像数据减去基于视频数据计算出的校正量可以移除反射分量。

当反射噪声抑制处理应用于图像信息时，例如，可以使用处理配置图像信息(例如R、G和B的色彩图像信息)的单独分量的方法。或者，可以使用通过处理这些信号分量中的一些来实现噪声抑制处理时间的减少以降低噪声抑制处理时间的方法。

在前一方法中，由于噪声抑制处理应用于配置图像信息的所有信号分量，因此虽然处理负荷高，但噪声抑制效果也高于后一方法。另一方面，由于后一方法将噪声抑制处理应用于配置图像信息的信号分量中的一些，因此虽然噪声减少效应低于前一方法，但是减少了处理负荷。

在后一方法的情况下，看上去可用的是，作为第一方法，采用不是处理图像拾取装置获取的拾取图像的整个区域中的信号分量而是部分区域中的信号分量的方法(该方法下文中被称为“处理面积减少方法”)，以实现噪声抑制处理时间的减少。简而言之，该方法从处理面积的方面将噪声抑制处理应用于信号分量的一部分。

此外，看上去可用的是，采用并非处理所有信号分量而是表示信号分量的至少一个信号分量的方法(该方法下文中被称为“面向特定信号的方法”)，以实现噪声抑制处理时间的减少。简而言之，该方法从处理目标信号的数量的方面将噪声减少处理应用于一些信号分量。

在处理面积减少方法中，成为噪声抑制处理的目标的图像的区域的部分被称为“特定区域”，在移除“特定区域”的情况下的其余区域被称为“背景区域”。拾取图像被分离至“特定区域”和“背景区域”，噪声抑制处理仅应用于“特定区域”。因此，噪声抑制后的“特定区域”中的图像的信号分量和对于其未应用噪声抑制处理的“背景区域”中的图像的信号分量彼此组合以完成处理。

与全部拾取的图像的面积相比，从拾取的图像的全部区域分离或提取的“特定区域”具有小面积。因此，与在其中对于拾取的图像的全部区域执行处理的替换情况相比，减少计算量，并且减少噪声抑制处理时间。因此，可以以增加的速度执行处理。

通过各种方法或从各种观点可以设置“特定区域”。大致地说，两种方法可用。根据方法中的一种，从例如拾取的图像的中心部分或角部分的地方的方面定义特定区域。该方法下文中被称为“面向地方的方法”。根据方法中的另一种，从如用户预先确定的特定或显著的目标的方面定义特定区域。该方 法下文中被称为“面向图像拾取对象的方法”。对于后一方法，例如，由于仅对于人的图像执行噪声抑制处理，因此与其中对于全部屏幕图像执行噪声抑制处理的替换情况相比，可以实现高速处理。

在面向地方的方法中，预先确定要从图像拾取装置获取的图像信息提取的地方。或者，可以提出若干候选地方，以便用户可以选择它们中的一个。当要从拾取的图像提取“特定区域”时，面向地方的方法可以进一步定义例如矩形或圆形的形状。此外，可以预先确定提取时的形状，或者可以提出若干候选形状，以便用户可以选择它们中的一个。

面向图像拾取对象的方法可以进一步采用从图像拾取对象的部分的区域的方面定义特定区域的方法。该方法下文中被称为“面向特定区域的方法”。当尝试从包括反射噪声的图像移除噪声分量以使得人的图像更尖锐时，如果处理图像而使得即使图像关于整个人不尖锐，只要整个脸或表示脸的特征(例如眼睛、鼻子或嘴)的特定区域被表示为不受反射噪声的尖锐图像，则图像不提供不舒服的感觉。通过处理，成为处理目标的图像的面积比例进一步减少，因此，可以以更高速度执行处理。此外，虽然噪声抑制效果基本上较差，但感官噪声抑制效果不恶化。

在包括面向特定区域的方法的面向图像拾取对象的方法中，当要从整个图像提取指定的图像拾取对象区域时，可以采用沿着其轮廓以保真度提取图像拾取对象区域的方法。然而，如果考虑保真度，则当要提取图像拾取对象的区域或图像拾取对象的部分时，优选的是使用预先确定的形状(例如，比如矩形)作为区域的形状。

包括面向特定区域的方法的面向图像拾取对象的方法被迫包括从整个图像提取或指定图像拾取对象或特定区域的处理，并且通常处理负荷重。相比之下，由于要从整个图像提取的“特定区域”可以设置为预先确定的形状，因此在提取处理中，面向地方的方法是简单的。

在采用包括面向特定区域的技术的面向图像拾取对象的方法中，可以使得“特定区域”跟随包括特定区域的图像拾取对象的运动。

此外，看上去可以组合面向地方的方法和包括面向特定区域的方法的面向图像拾取对象的方法。例如，看上去可以首先采用面向地方的方法以例如确定拾取的图像的中心部分，但中间地改变使用的方法为面向图像拾取对象的方法或面向特定区域的方法，以使得“特定区域”跟随包括特定区域的图 像拾取对象的运动。此外，在图像拾取对象伸出屏幕的中心部分的情况下，可以确定地执行将重要性附加到包括特定区域的要注意的图像拾取对象的噪声抑制处理。

在“面向特定信号的方法”中，噪声抑制后的“信号分量”和对于其尚未执行噪声抑制处理的其余信号分量彼此组合，由此完成处理。由于确定为噪声抑制处理的目标的信号分量的数量小于表示图像的所有信号分量的数量，因此与其中所有信号分量确定为噪声抑制处理的目标的替换情况相比，减少计算量。因此，减少噪声抑制处理时间，相应地，可以以更高速度执行处理。

在面向特定信号的方法的情况下，看上去可以使用其中例如关注不同色彩(例如R(红色)、G(绿色)和B(蓝色))的处理。此外，在此情况下，优选的是，关注与亮度信号分量具有相对高的相关性的亮度信号分量或色彩图像信息。在将基本或明显的噪声抑制效果保持在与所有信号被确定为目标的级别基本上相等级别的同时，可以期望噪声抑制处理的加速。

例如，通常已知的是，作为人的视觉感官特性，视觉感官尤其对于亮度或对比度具有高灵敏度，亮度分量与图像的绿色分量具有高的相关性。因此，看上去可以使用利用人对亮度的这种灵敏度的噪声抑制处理。具体地，仅对于拾取的图像的亮度分量执行噪声抑制处理。

确认的是，根据如上所述那样关注人的视觉感官的这种特性的方法，当相比于关于其针对配置图像信息的所有信号分量执行噪声抑制处理的图像时，已经执行了噪声抑制处理的图像从反射噪声的视角展现了并不更差的抑制效果。此外，与其中对于所有信号分量执行噪声抑制处理的替换情况相比，可以减少处理时间。简而言之，可以实现噪声抑制处理的加速。

在实施例中，从处理速度、噪声抑制精度等的观点，使得用户可以选择噪声抑制处理的各种方法中的期望的一种。

当通过参照视频数据从拾取的图像抑制反射噪声时，从拾取的图像数据减去例如基于视频数据计算出的校正量。然而，在显示和图像拾取时序彼此不同步的情况下，虽然这不是不可能，但用于减法的处理或控制是复杂的。例如，考虑强迫使用用于不仅执行视频数据或拾取的图像数据的传递而且还执行用于显示或图像拾取的时序信息的传递的功能，或使用用于控制这种显示或图像拾取的功能。

因此，在实施例中，图像显示装置和图像拾取装置协作地处理，从而从信号处理的方面可以校正反射噪声对拾取的图像的干扰。“协作地处理”意味着控制图像显示装置的显示时序和图像拾取装置的图像拾取时序，从而可以抑制图像显示部分的显示图像的反射分量(其可包括在图像拾取装置通过光透射部分获取的图像信息中)。优选地，图像显示装置的显示时序和图像拾取装置的图像拾取时序彼此同步。当要建立同步时，可以任意地确定图像显示装置和图像拾取装置中的哪一个用作主件(master)而另一个用作从件(slave)。基本上，较好的是，与图像显示装置的显示时序一致地开始图像拾取装置的图像拾取。

通过在时序之间建立同步，可以容易地执行拾取的图像数据上显示图像分量的移除，并且可以获取高质量的拾取的图像。例如，在图像显示装置的显示时段内的特定时刻(即，对于每帧在相同时刻)正常地(即，对于每帧)开始图像拾取装置的图像拾取。通过以此方式开始图像拾取装置的图像拾取，即使在与显示图像或视频数据具有相关性的反射分量存在于图像拾取装置获取的图像中的情况下，也可以容易地抑制或移除分量。例如，通过在显示装置的显示时段内的特定时刻开始图像拾取，可以有效地移除显示图像对拾取的屏幕图像的反射，并且可以获取高质量的拾取图像。

在图像显示装置中或在图像拾取装置或利用图像拾取装置获取的图像的后级的装置中可以提供反射噪声抑制处理单元。在图像显示装置中提供反射噪声抑制处理单元的情况下，图像拾取装置获取的拾取的图像可以传送到图像显示装置。图像显示装置可以根据显示时序估计可能包括在拾取的图像数据中的并且与视频数据具有相关性的反射噪声的量，并且移除反射分量。在图像拾取装置中或在图像拾取装置后级的装置中提供反射噪声抑制处理单元的情况下，显示图像(即视频数据)的信息可以传送到图像拾取装置或后级装置。图像拾取装置或后级装置可以根据图像拾取时序估计可能包括在拾取的图像数据中的并且与视频数据具有相关性的反射噪声的量，并且移除反射分量。

例如，反射噪声抑制处理单元可以作为具有输入和输出部分并从CPU(中央处理单元)和存储器配置的电路而被提供在图像显示装置或并入了图像显示装置的电子装置中。或者，在图像显示装置和图像拾取装置彼此分离地或可移除地配置的情况下，在图像显示装置的后面部署的作为电子装置的 示例的图像拾取装置中可以提供反射噪声抑制处理单元。另一方面，在其中外围装置(例如个人计算机或电子计算机)连接到图像显示装置的图像显示系统中，在外围装置中可以提供反射噪声抑制处理单元的功能。

衍射校正处理

在实施例的图像显示装置中，在图像显示部分的后面部署图像拾取装置，并且通过光透射部分(即图像显示部分)拾取显示面侧的图像拾取对象的图像。在配置光透射区域的光透射部分的开孔较小的情况下，如果通过开孔拾取图像，则衍射现象产生。结果，图像拾取装置上形成的图像有时经受模糊或缺少锐度。

作为针对该情况的对策，在实施例中，图像显示装置和图像显示系统可以包括衍射校正单元，以从信号处理的方面消除在光透射部分出现的衍射现象的干扰。优选地，光透射部分自身的方面(例如形状、大小、分布等)可以用于抑制衍射现象的出现。

衍射校正单元对于拾取的图像信息和通过图像拾取装置获取的其它图像数据执行针对在配置光透射区域的光透射部分产生的衍射的校正。顺便提及，“其它图像数据”例如是用户等使用图像拾取装置的图像拾取所获得的并用于在图像显示部分上显示的图像数据。在以下描述中，拾取的图像信息和“其它图像数据”可以仅统称为“图像数据”。

例如，沿着图像显示部分的第一方向和第二方向循环地提供光透射部分的一些或所有开孔。此时，在用L_tr-1表示沿着第一方向的光透射部分的每一光透射部位的长度并且用P_px-1表示沿着第一方向的各像素的间距的情况下，优选地将第一方向上的线路孔径比例L_tr-1/P_px-1设置为满足L_tr-1/P_px-1≥0.5，并且更优选地，设置为满足L_tr-1/P_px-1≥0.8。线路孔径比例L_tr-1/P_px-1不具体受限，只要可以形成光透射部分。在此，当在第一方向上投射光透射部位时，沿着第一方向的光透射部位的长度L_tr-1表示与光透射部位的形状对应的线段的每一周的长度。同时，沿着第一方向的像素的间距P_px-1表示沿着第一方向的像素的每一周的长度。

同时，在用L_tr-2表示沿着第二方向的光透射部位的长度并且用P_px-2表示沿着第二方向的像素的间距的情况下，优选地将第二方向上的线路孔径比例L_tr-2/P_px-2设置为满足L_tr-2/P_px-2≥0.5，并且更优选地，设置为满足L_tr-2/P_px-2≥0.8。线路孔径比例L_tr-2/P_px-2不具体受限，只要可以形成光透射部位。在此，当在 第二方向上投射光透射部位时，沿着第二方向的光透射部位的长度L_tr-2表示与光透射部位的形状对应的线段的每一周的长度。同时，沿着第二方向的像素的间距P_px-2表示沿着第二方向的像素的每一周的长度。

第一方向和第二方向可以彼此垂直，或可以根据场合需要以90度以外的角度彼此相交。在后一情况下，不仅在图像显示部分的第一方向和第二方向上而且还在第三方向、第四方向、......上有时周期性地提供一些或所有的光透射部位。在上述这种情况下，至少沿着来自各方向当中的两个方向的光透射部位的长度和沿着至少两个方向的像素的间距优选地满足上述关系，具体地，比例等于或高于0.5倍(更优选地等于或高于0.8倍)的关系。

衍射校正单元的衍射校正处理可以是使用用于估计图像拾取装置拾取的图像的锐度和分辨率的表示空间频率特性的响应函数和使用以响应函数的绝对值作为指数值表示幅度的调制传递函数(MTF)的处理。如公众所知，通过对点图像或线图像强度分布进行傅立叶变换以确定响应函数。图像拾取装置通过光透射部分拾取图像时伴随着图像出现的分辨率下降(即图像的模糊程度)的影响对应于光透射部位(即，十分小的开孔)的布置图案(pattern)。例如，从MTF的高频分量的量级可以估计分辨率下降(即，图像的模糊程度)的影响。

相应地，如果参照光透射部位的布置图案以将逆傅立叶变换应用于拾取的图像，则可以恢复从其消除了由于图像拾取装置通过光透射部位的图像拾取而伴随着图像出现的分辨率下降的影响的图像。换言之，通过使用对应于光透射部位的布置状态的响应函数(在此，MTF)对图像拾取装置获取的图像信息进行傅立叶变换，然后对傅立叶变换获得的信息进行逆傅立叶变换，可以执行衍射校正处理。

优选地，例如，基于布置图案(例如光透射部位的形状、大小、分布等)计算的MTF逆变换处理(即图像恢复处理)被应用于图像信息。在MTF逆变换处理中，MTF形状数据用于对于拾取的图像的信号分量执行MTF逆变换处理。在此情况下，在衍射校正单元中可以提供存储部分，从而在存储部分中预先存储表示光透射部位的形状、大小、分布等的MTF形状数据。应用用于傅立叶分析表示图像的信号的傅立叶变换方法可以指定响应函数。

上述衍射校正处理的方法仅是校正图像拾取装置通过光透射部分拾取图像时伴随着图像出现的分辨率下降(即图像的模糊程度)的影响的方法的示 例。因此，可以应用任何其它的已知方法。

衍射校正单元可以作为具有输入和输出部分并且例如从CPU和存储器配置的电路而被提供在图像显示装置或并入了图像显示装置的电子装置中。或者，在图像显示装置和图像拾取装置彼此分离地或可移除地配置的情况下，在图像显示装置的后面部署的作为电子装置的示例的图像拾取装置中可以提供衍射校正单元。另一方面，在其中外围装置(例如个人计算机或电子计算机)连接到图像显示装置的图像显示系统中，在外围装置中可以提供衍射校正单元的功能。

当MTF逆变换处理应用于图像信息时，对于例如比如配置图像信息的R、G和B的色彩图像信息的信号分量中的每一个执行处理的方法或对于这些信号分量中的一些执行处理以实现校正处理时间的减少的另一方法可以是可应用的。这是基于与上述反射噪声抑制处理中应用的构思相似的构思。可以准备各种噪声抑制处理方法，以使得用户可以从处理速度、噪声抑制精度等的观点选择期望的方法中的一个。

注意，可以基本上任意地确定首先要执行反射噪声抑制处理和衍射校正处理中的哪一个。例如，在首先执行反射噪声抑制处理然后执行衍射校正处理的情况下，不存在特殊缺点。另一方面，在首先执行衍射校正处理然后执行反射噪声抑制处理的情况下，反射图像不包括衍射分量。因此，如果首先对于经受衍射+反射的原始图像执行衍射校正，则由于对于无衍射+反射分量执行衍射处理，因此缺陷出现。相应地，根据综合判断，更好的是首先执行反射噪声抑制处理然后执行衍射校正处理。

波长分布测量

实施例的图像显示装置和图像显示系统可以被配置为它们还包括被配置为测量外部光的波长分布的波长分布测量部分。通过采用刚描述的这种配置，在衍射校正处理中，可以不仅考虑光透射部位的形状、大小和分布而且还可以考虑外部光的波长分布。因此，可以期望MTF逆变换处理的精度的增强，并且无论外部光如何，即无论外部照明环境如何，都可以获得最佳图像。此外，也可以实现通过图像拾取装置获取的图像信息的精度的增强，例如比如色彩信息的增强。

可以从光接收设备(例如比如光电传感器)配置波长分布测量部分。对于波长分布测量部分的控制，例如，在图像显示装置或合并图像显示装置的 电子装置中可以提供具有输入和输出部分并且从CPU和存储器配置的控制电路。另一方面，在其中外围装置(例如个人计算机或电子计算机)连接到图像显示装置的图像显示系统中，在外围装置中可以提供波长分布测量部分的控制功能。

注意，在衍射的模糊很少的情况下，不必执行用于校正或补偿拾取的图像的衍射的处理。然而，即使在此情况下，如果进一步提供被配置为测量外部光的波长分布的波长分布测量部分，则，例如，衍射校正单元可以通过拾取的图像的波长分布加权图像拾取装置获取的图像。结果，可以期望通过图像拾取装置获取的图像信息的精度的增强。

光透射区域

在实施例的图像显示装置的图像显示部分上提供的光透射区域可以形成在对应于图像拾取装置被布置的位置的位置，至少在位于图像拾取装置的图像拾取面前方的位置。然后，光透射区域包括至少一个在其形成了十分小的开孔(表示显示面侧的图像拾取对象的图像的光要穿过该开孔)的光透射部位，优选地包括多个光透射区域。

在此，在其中在多个像素中提供光透射部位的第一配置示例中可以配置光透射区域。或者，在其中在至少多于一个像素的周围，优选地在至少两个或更多个像素的周围提供光透射部位的第二配置示例中可以配置光透射区域。在此情况下，光透射部位可以被完全提供在一个像素或多个像素周围或可以被部分地提供在一个像素或多个像素周围，尤其是沿着来自对应于像素边界的各侧当中的两个或更多个邻近侧。在后一种情况下，优选地在像素的整个外围的多于四分之一的长度上提供光透射区域，即，沿着两个邻近侧，优选地在每一侧的多于一半的长度上提供光透射区域。

在刚描述的这种配置中，在图像拾取装置上会聚穿过在多个像素中提供的光透射部位的光，或在图像拾取装置上会聚穿过在至少多于一个像素的周围提供的光透射部位的光。相应地，对于在图像拾取装置上精确地形成图像不需要高精度的十分小的透镜，并且不引起具有图像拾取装置的图像显示装置的制造成本的增加。此外，在图像拾取装置上可以会聚足够量的光。

尽管在第一配置示例的情况下，对于多个像素提供光透射部位，优选地，例如对于多于三个的像素提供光透射部位，但不限于此。此外，配置光透射区域的光透射部位的外部形状可以基本上任意地确定，并且可以具有例如矩 形或正方形的四边形状。

在第二配置示例的情况下，光透射区域包括在至少多于一个像素的周围(优选地，例如，在多于三个像素的周围，但不限于此)提供的光透射部位。此外，可以基本上任意地确定光透射部位的外部形状。例如，可以以“L”形状提供光透射部位，以使得沿着来自对应于像素边界的各侧当中的两个邻近侧提供它。或者，可以以U形状提供光透射部位，以使得沿着来自对应于像素边界的各侧当中的三个邻近侧提供它。或者，可以以正方形框架形状提供光透射部位，以使得沿着对应于像素边界的所有侧提供它。或者，可以以曲线状的形状提供光透射部位，以使得沿着对应于像素边界的所有侧提供它，并且除此之外在像素中的相邻像素之间公共地提供它。或者，可以在包括图像拾取装置中提供的透镜的投射图像的像素组的周围提供光透射部位。

图像拾取装置

在实施例中的图像显示装置中，虽然在图像显示部分的后面侧可以布置图像拾取装置，但优选地在图像显示部分的中心部分布置图像拾取装置。图像拾取装置的数量可以是一个或多个。可以使用包括例如CCD(电荷耦合器件)器件或CMOS(互补金属氧化物半导体)传感器的已知的投放至市场的固态图像拾取装置配置图像拾取装置。

实施例中的图像显示装置优选地包括在图像显示部分与图像拾取装置之间提供的、用于在图像拾取装置上的光透射区域中会聚已经穿过光透射部位的光的光会聚部分。可以使用已知透镜配置光会聚部分。透镜可以从双凹透镜、平凸透镜和半月凸透镜中的一个或从反射镜或菲涅尔透镜被配置，或可以从凸透镜的组合被配置，或可以另外从凹透镜和任何这些凸透镜的组合被配置。

使用例如市场上的摄像机或摄像头的已知固态图像拾取装置可以配置图像拾取装置。在使用这种固态图像拾取装置的情况下，光会聚部分和图像拾取装置彼此集成。

在实施例中的图像显示装置中，优选地，滤色器不布置在进入图像显示部分，穿过光透射部位，离开图像显示部分并且进入光会聚部分的光的光路上。此外，优选的是，在光路上不布置例如微透镜的图像形成系统。

图像显示部分

用于实施例的图像显示装置的图像显示部分可以是其中在像素之间的带 隙之间(具体地，在像素的显示部分之间)可以形成光透射部位的任何图像显示部分。更具体地，图像显示部分可以是其中其亮度响应于施加至其的电压或流过其电流而变化的光电元件用作像素的显示元件的任何图像显示部分。

例如，其亮度响应于施加至其的电压而变化的光电元件的代表性元件是液晶显示元件。同时，其亮度响应于流过其的电流而变化的光电元件的代表性元件是有机电致发光(下文被称为有机EL)元件，其可以是有机发光二极管(OLED)。使用后一种有机EL元件的有机EL显示装置是其中自发光光发射元件用作像素的显示元件的自发光显示装置。同时，配置液晶显示装置的液晶显示元件控制光从外部(即从前面或后面)的透射。在前一种情况下，光可以是外部光。在液晶显示装置中，每一像素不包括光发射元件。

近年来，例如，对作为平板显示装置(FP显示装置)的有机EL显示装置的兴趣已经增加。虽然液晶显示(LCD)装置作为FP显示装置目前占据主流，但其不是自发光装置，而是使用这些构件作为背灯和极化板。因此，LCD装置具有的问题在于FD显示装置具有增加的厚度以及亮度不足够。另一方面，有机EL装置是自发光装置，并且原理上不需要这些构件作为背灯。因此，与LCD装置相比，有机EL装置具有的大量优点在于厚度可以容易地减少并且亮度高。具体地，在其中在每一像素中布置开关元件的有源矩阵型有机EL显示装置中，通过使得每一像素保持在光发射状态下可以抑制电流消耗低。此外，通过有源矩阵型有机EL显示装置，可以相当容易地执行屏幕大小的增加和清晰度的增加。因此，有源矩阵型有机EL显示装置的开发在各个公司进行，并且期望有源矩阵型有机EL显示装置成为下一代FP显示装置的主流。

除了有机EL显示装置之外，还有自发光显示装置、等离子体显示装置(PDP：等离子体显示板)、场发射显示装置(FED)、表面导电电子发射器显示装置(SED)等是可用的。此外，提到的显示装置可以应用于实施例中的图像显示部分。

然而，在实施例中的图像显示装置中，图像显示部分的光发射元件优选地是自发光光发射元件，并且更优选地是有机EL元件。在从有机EL元件配置光发射元件的情况下，配置有机EL元件的有机层(即光发射部分)包括以有机光发射材料制成的光发射层。具体地，例如，可以从空穴传送层、光 发射层和电子传送层的层叠结构或空穴传送层和还用作电子传送层的光发射层的另一层叠结构配置提到的有机层。或者，可以从空穴注入层、空穴传送层、光发射层、电子传送层和电子注入层的另一层叠结构配置有机层。

在电子传送层、光发射层、空穴传送层和空穴注入层形成为“前后(tandem)单元”的情况下，有机层可以具有其中第一前后单元、连接层和第二前后单元层叠的两级的前后结构。或者，有机层可以其中三个或更多个前后单元层叠的三个或更多个级的另一前后结构。在这些情况下，如果在不同前后单元当中使得待发射的光的色彩不同，比如红色、绿色和蓝色，则可以获得通常发射白光的有机层。

在厚度上可以优化有机层，从而，例如，从光发射层发射的光在第一电极与第二电极之间谐振，并且光的部分通过第二电极提取到外部。

在从有机EL元件形成实施例中的图像显示装置的图像显示部分的光发射元件的情况下，图像显示装置可以形成为其包括第一衬底、第一衬底上提供的驱动电路、覆盖驱动电路的层间绝缘层、层间绝缘层上提供的光发射部分，光发射部分上提供的保护层、保护层上提供的光阻挡层、以及覆盖保护层和光阻挡层的第二衬底。

此外，图像显示装置可以形成为每一像素包括驱动电路和光发射部分；在光阻挡层中提供开孔；从开孔和位于开孔之下的保护层的部分以及层间绝缘层的部分配置光透射部位；并且在与第二衬底不相对的第一衬底的面上布置图像拾取装置。

在此，作为像素的阵列，例如可以应用长条阵列、对角线阵列、三角形阵列和矩形阵列。同时，作为第一衬底或第二衬底，各种衬底是可应用的，包括高张力点玻璃衬底、苏打玻璃(Na₂O·CaO·SiO₂)衬底、硼硅酸盐(Na₂O·B₂O₃·SiO₂)衬底、镁橄榄石(2MgO·SiO₂)衬底、铅玻璃(Na₂O·PbO·SiO₂)衬底、具有在其表面上形成的绝缘膜的各种玻璃衬底、石英衬底、具有在其表面上形成的绝缘膜的石英衬底、具有在其表面上形成的绝缘膜的硅衬底、或有机聚合体衬底可以被应用。有机聚合体衬底可以通过聚甲基丙烯酸甲酯(PMMA)、聚乙烯醇(PVA)、聚乙烯苯酚(PV)、聚醚砜(PES)、聚酰亚胺、聚碳酸酯、或聚对苯二甲酸乙二醇酯(PET)制成。有机聚合体衬底可以具有例如塑料膜、塑料片或以聚合体材料制成并具有柔性的塑料衬底之类的聚合体材料的形式。

例如，可以从一个或多个薄膜晶体管(TFT)等配置驱动电路。作为用于层间绝缘膜的材料，绝缘树脂(例如基于SiO₂的材料、基于SIN的材料和比如SiO₂、BPSG、PSG、BSG、AsSG、PbSG、SiON、SOG(旋转玻璃)的聚酰亚胺)、低熔化玻璃和玻璃贴膏可以单独地或以合适的组合被使用。在从有机EL元件配置像素的情况下，光发射部分如上所述。作为用于配置保护膜的材料，优选地对于从光发射部分发射的光是透明的并且精细得水不能穿透它的材料。具体地，例如，可以使用无定形硅(α-Si)、无定形金刚砂(α-SiC)、无定形硅氮化物(α-Si_1-xN_x)、无定形硅氧化物(α-Si_1-yO_y)、无定形碳(α-C)、无定形氧氮化物(α-SiON)或Al₂O₃。可以从已知材料配置光阻挡膜(黑矩阵)。根据场合需要，可以提供滤色器。

从均包括显示元件或光发射元件的多个像素单元形成图像显示部分。如果用(M，N)表示这些像素单元的数量，则可以使用用于图像显示的若干分辨率，例如VGA(640，480)，S-VGA(800，600)、XGA(1024，768)、APRC(1152，900)、S-XGA(1280，1024)、U-XGA(1600，1200)、HD-TV(1920，1080)和Q-XGA(2048，1536)以及(1920，1035)，(720，480)，(854，480)和(1280，960)。然而，像素单元的数量不限于以上给出的任何值。

在执行色彩显示的图像显示部分中，例如，从包括用于显示红色(R)色彩分量的红色像素、用于显示绿色(G)色彩分量的绿色像素和用于显示蓝色(B)色彩分量的蓝色像素的三个不同像素配置一个像素单元。或者，可以从四个或更多个不同像素(例如除了上述三个不同像素之外，用于显示白光以增强亮度的像素、用于显示用于扩展色彩再现范围的一个或多个互补色彩的一个或多个像素、用于显示用于扩展色彩再现范围的黄色的像素和/或用于显示用于扩展色彩再现范围的黄色和青色的像素)配置一个像素单元。

实施例中的图像显示装置是电子装置的示例，并且可以被配置为图像拾取装置可以被布置在显示板的后面侧。图像拾取装置可以可移除地安装在图像显示装置上，或可以固定地安装在图像显示装置上。

例如，可以使用图像显示装置作为配置个人计算机的监视器装置的替换或作为笔记本类型个人计算机中包括的监视器装置的替换。此外，图像显示装置可以用作便携式电话机、个人数字助理(PDA)或游戏机或过去的电视接收机中包括的监视器装置的替换。

<第一实施例：准备用于反射噪声抑制处理>

一般配置

图1A至图1D以及图2示出根据第一实施例的图像显示装置和图像显示系统的构思。更具体地，图1A是示出从前面观看的图像显示装置的示意图，图1B是示出从侧面观看的图像显示装置的示意图。此外，图1C是示出从前面观看的图像显示系统的示意图，图1D是示出从侧面观看的图像显示系统的示意图。图2是示意性示出配置图像显示部分的多个像素的最典型布置的视图。

首先参照图1A和图1B，第一实施例的图像显示装置1A包括图像显示部分10、图像显示部分10的后面侧布置的图像拾取装置20、图像显示部分10中形成的光透射部分30、以及被配置为在图像拾取装置20上会聚通过光透射部分30透射的光的光会聚部分21。在图像显示装置1A的后面上可以可移除地配置图像拾取装置20。与图像拾取装置20对应的图像显示部分10的部分形成为光透射区域12。例如，至少与图像拾取装置20的有效图像拾取区域对应的图像显示部分10的部分形成为光透射区域12。在光透射区域12小于图像拾取装置20的有效图像拾取区域的情况下，图像拾取装置20的实际图像拾取区域缩小。

图像拾取装置20被布置在图像显示部分10的后面侧，更具体地，在图像显示部分10的后面侧的中心部分。实际提供的这种图像拾取装置20的数量是1。从已知的市场的摄像机形成图像拾取装置20和光会聚部分21，其中它们彼此集成，并且其包括CCD元件。

例如，图像显示装置1A用作配置个人计算机的监视器装置的替换。具体地，参照图1C和图1D，第一实施例的图像显示系统2A包括图像显示装置1A_2和外围装置70A，例如连接到图像显示装置1A_2的个人计算机等的主体。外围装置70A是电子装置的示例。这也类似地适用于下文中描述的其它外围装置70。图像显示装置1A_2用作外围装置70A的监视器装置。图像显示装置1A_2与从其移除一些功能部分的图像显示装置1A对应。外围装置70A中并入移除的功能部分。外围装置70A与图像显示部分10和图像拾取装置20分别通过缆线72和73彼此连接。

作为图像显示部分10的像素11，使用自发光型的光发射元件，具体地，有机EL元件。从用于色彩显示的XGA型的有机EL显示装置形成图像显示 部分10。具体地，在用(M，N)表示像素单元的数量的情况下，像素11的数量是(1024，768)。

参照图2，从包括用于发射红色光的红色光发射像素11R、用于发射绿色光的绿色光发射像素11G和用于发射蓝色光的蓝色光发射像素11B配置一个像素单元。注意，虚线表示每一像素的外边缘。这也类似地适用于下文中描述的其它示例。

图像显示部分10包括其上布置的并且均包括显示元件的多个像素11(11R、11G和11B)，在图像显示部分10的光透射区域12中的多个像素11中的每一个中提供光透射部位31。在图2的示例中，虽然对于像素11单独地提供光透射部位31的不同部分，但这不是必要的，而是在多个像素11上可以提供每一光透射部位31。此外，在图2的布置中，虽然对于每一像素11提供光透射部位31，或者换言之，在光透射区域12中的所有像素11中提供光透射部位31，但这不是必要的。具体地，在光透射区域12中的多个像素11中的每一个中可以至少提供光透射部位31，并且光透射区域12的像素11中的一些(例如每隔三个像素)可以不包括光透射部位31。

例如在6x3＝18个像素11中提供光透射部位31，但不限于此。对于一个像素提供一个光透射部位31。光会聚部分21在图像拾取装置20上会聚通过6x3＝18个像素11的光透射部位31透射的光。光透射部位31具有矩形形状。

虽然未示出，但在图像显示部分10上布置用于驱动扫描线路的扫描信号提供IC和用于提供视频信号的视频信号提供IC。未示出的扫描线路控制电路连接到扫描信号提供IC，信号线路控制电路连接到视频信号提供IC。在进入图像显示部分10、穿过光透射部分30、出自图像显示部分10并且进入光会聚部分21的光的光路上不布置滤色器和图像形成系统(例如微透镜)。

图像拾取装置的布置位置

图3A至图4B是示出图像拾取装置与显示的图像的布置位置之间的关系的示意图。具体地，图3A示出第一实施例的图像显示装置1的情况下的关系，图3B示出作为其中图像拾取装置紧固到图像显示部分的外侧的比较示例的图像显示装置1X的情况下的关系。图4A和图4B是示出图像显示装置1A的图像拾取的示意图。

在图像拾取装置20X如图3B中看到的那样紧固到图像显示部分10X的外侧的情况下，图像拾取装置20X从倾斜方向拾取图像显示装置1X的用户 的图像。因此，当在图像显示部分10X上显示图像时，在图像显示部分10X上显示从倾斜方向拾取的用户的图像。相应地，不能精确地显示用户的脸，并且也难以精确地判断用户盯住图像显示部分10X的哪个位置。此外，如果用户接近图像显示部分10X，则可能超过图像拾取范围的概率高。

另一方面，在第一实施例的图像显示装置1A中，由于在图像显示部分10的后面侧的中心部分部署图像拾取装置20，因此图像拾取装置20可以如图3A中看到的那样从前面拾取图像显示装置1A的用户的图像。因此，当在图像显示部分10上显示图像时，在图像显示部分10上显示从前面拾取的用户的图像。相应地，可以精确地显示用户的脸，并且可以容易并且精确地判断用户盯住图像显示部分10的哪个位置。此外，即使在用户接近图像显示部分10的情况下，也可以拾取用户的图像。

在图像显示装置1A中，在图像拾取装置20上会聚通过在光透射区域12中的像素11中单独地提供的光透射部位31所透射的光。相应地，不需要用于在图像拾取装置20上精确地形成图像的高精度的十分小的透镜。因此，不引起图像显示装置1A的制造成本的增加，并且在图像拾取装置20上可以会聚足够量的光。

例如，图4A示出其中作为图像拾取装置20的图像拾取对象的观测者在观测显示图像的同时通过笔指向图像显示部分10的显示图像的状态。图像拾取装置20被提供在图像显示装置1A(即图像显示部分10)的后面，并且可以如图4B中看到的那样拾取与显示面的前面相对的观测者的脸、眼睛和手以及笔的图像。因此，例如，从拾取的图像可以检测观测者的视线。此外，由于从手或笔的方向可以指定图像显示部分10的对应指向点，因此指示器功能可以容易地添加到图像显示装置1A。此外，除了指示器功能之外，由于从拾取的图像可以区分用户的脸或眼睛、手的运动、用户周围的亮度等，因此可以从图像显示装置1A获得各种信息并且以信号方式将信息传输至各种系统。因此，可以提升图像显示装置1A的添加值。

图像显示部分的剖面结构

图5A和图5B示出图像显示部分10的细节。具体地，图5A是图像显示部分10的示意性局部剖面图。同时，图5B是示出图像显示部分10的光发射元件的详细特征的表。

图像显示部分10包括第一衬底40、从第一衬底40上提供的多个TFT 配置的驱动电路、覆盖驱动电路的层间绝缘层41、以及在层间绝缘层41上提供的并且用作光发射部分的有机层63。图像显示部分10还包括在有机层63上提供的保护层64、在保护层64上提供的光阻挡层65、以及覆盖保护层64和光阻挡层65的第二衬底67。

每个像素11包括驱动电路和光发射部分，在光阻挡层65中提供开孔65A。从开孔65A、位于开孔65A之下的保护层64的部分、第二电极62的部分以及层间绝缘层41的部分配置光透射部位31。邻近与第二衬底67不相对的第一衬底40的面部署光会聚部分21和图像拾取装置20。

更具体地，在以苏打玻璃制成的第一衬底40上提供驱动电路。由TFT配置驱动电路，所述TFT由第一衬底40上形成的栅极电极51、第一衬底40和栅极电极51上形成的栅极绝缘膜52、栅极绝缘膜52上形成的半导体层中提供的源极/漏极区域53、以及位于源极/漏极区域53之间的栅极电极51之上的半导体层的部分所对应的沟道形成区域54形成。虽然描述的示例中的TFT是底栅型，但其可以另外形成为顶栅型的TFT。

TFT的栅极电极51连接到未示出的扫描线路。层间绝缘层41(41A和41B)覆盖第一衬底40和驱动电路。此外，在以SiO_X、SiN_Y、聚酰亚胺树脂等制成的层间绝缘膜41B上提供配置有机EL元件的第一电极61。TFT和第一电极61通过层间绝缘膜41A上提供的接触插头42、引线线路43和另一接触插头44彼此电连接。在图5A中，针对每一个有机EL元件驱动部分示出一个TFT。

在层间绝缘层41上形成具有在其底部露出第一电极61的开孔46的绝缘层45。由绝缘材料(其在平坦性方面较优，并且此外具有低水吸收性，以用于防止有机层63的水的恶化，以便保持尤其是来自聚酰亚胺树脂的发光亮度)形成绝缘层45。沿着从暴露于开孔46的底部的第一电极61之上包围开孔46并且具有以有机光发射材料制成的光发射层的绝缘层45的部分形成有机层63。从例如包括空穴传送层和还用作电子传送层的光发射层的层叠结构配置有机层63。然而，在图5A中，在一个层中示出有机层63。

通过等离子体CVD(等离子体增强型化学气相淀积)形成以无定形硅氮化物(α-Si_1-xN_x)制成的绝缘保护层64，以防止水到达有机层63。在保护层64上形成以黑色聚酰亚胺树脂制成的光阻挡层65，并且在保护层64和光阻挡层65上布置以苏打玻璃制成的第二衬底67。保护层64与光阻挡层65和 第二衬底67通过以基于丙烯酸的粘接剂制成的粘接层66粘合到彼此。

第一电极61用作阳极电极，第二电极62用作阴极电极。具体地，第一电极61以通过铝(Al)或银(Ag)或金属的合金制成的光反射材料制成，并且具有0.2μm至0.5μm的厚度。第二电极62以例如ITO或IZO的透明传导材料制成，并且具有0.1μm的厚度，或者由以某种程度通过其透射光的银(Ag)或镁(Mg)制成的厚度近似为5nm的金属薄膜(即由半透明金属薄膜)形成。第二电极62不被图案化，而是形成为一个薄片(sheet)。根据场合需求，在有机层63与第二电极62之间可以形成以LiF制成的并且具有0.3nm的厚度的电子注入层(未示出)。

总之，本实施例的图像显示装置1A中的图像显示部分10的光发射元件具有如图5B所示的这种特定配置。

从第一衬底40到保护层64和光阻挡层65的元件用作显示元件衬底。第二衬底67用作密封衬底。在不存在像素电极(第一电极61)、TFT(包括栅极电极51)和引线线路的显示元件衬底的部分提供第二衬底67中提供的并且用作光透射部分30的开孔65A。此外，用作密封剂的保护层64、用作EL公共电极的第二电极62、用作像素隔离膜的绝缘层45、用作极化绝缘膜的层间绝缘层41(41A、41B)、源极/漏极区域53和栅极绝缘膜52具有光透射特性。相应地，入射到显示面侧(即第二衬底67侧)的外部光可以通过开孔65A到达后面(即第一衬底40侧)。

面板后面上提供的图像拾取装置20被部署为其图像拾取面位于其上提供光透射部分30(即开孔65A)的面板后面的附近。然而，注意，在本示例中，光会聚部分21插入在它们之间。因此，入射到显示面侧的外部光通过图像拾取装置20的未示出的透镜聚焦，并且进入固态图像拾取元件(例如CCD元件或CMOS元件)。因此，可以拾取显示面侧存在的图像拾取对象的图像。

准备用于反射噪声抑制的配置

图6至图8是示出反射现象和针对反射现象的对策的示意图。更具体地，图6示出反射现象，即，引起现象的杂散光通过光透射部分30进入图像拾取装置20的现象。图7是其中从信号处理的方面校正或抑制反射现象的影响的第一实施例的图像显示装置1A的框图。图8是其中从信号处理的方面校正或抑制反射现象的影响的第一实施例的图像显示系统2A的框图。

在第一实施例的图像显示装置1A中，有机EL元件用作显示元件。因此， 仅在提供光透射部分30的情况下，那么在后面侧(即第一衬底40侧)提供的图像拾取装置20可以拾取显示面侧(即第二电极62侧)上存在的图像拾取对象的图像。

虽然刚描述的这种简单和方便的配置对于LCD装置不会是不可能的，但这是困难的，并且通过其透射包括可见光线的波长的光的结构是更困难的。相比之下，第一实施例的图像显示装置1A仅包括光透射部分30，并且可以通过简单和方便的配置从后面侧拾取显示面侧存在的图像拾取对象的图像。

在此，在本实施例的图像显示装置中，发现，如果通过图像显示部分的后面侧的图像显示部分拾取图像，则当不通过图像显示部分执行图像拾取时不出现的独特噪声伴随着拾取的图像出现。因此，进行对于这种噪声的出现的原因的调查，并且发现，生成噪声，以使得来自图像显示部分的显示元件的光由图像显示部分的内部的各个部分反射，并且作为杂散光进入图像拾取装置。

如图6看到的那样，图像显示部分10中的光阻挡层65具有开孔46和开孔65A。图像显示部分10具有顶发射结构，并且在开孔65A中，从有机层63的光发射层发射的光穿过第二电极62、保护层64、粘接层66和第二衬底67，并且作为显露光从显示面发射。同时，从光阻挡层65中提供的开孔65A、位于开孔65A之下的保护层64的部分、第二电极62的部分和层间绝缘层41的部分配置光透射部位31。引线线路43被连线而使得其不干扰光透射部位31。

从有机层63的光发射层发射的光不作为显露光从显示面完全发射，而是例如部分光通过粘接层66与第二衬底67之间的结合部分或通过第二衬底67与空气之间的结合部分而被反射，并且返回到内部，其成为杂散光。如果该杂散光穿过开孔65A或引线线路43的带隙，则其可以来到图像拾取装置20，并且由图像拾取装置20拾取为图像。由于杂散光是图像显示部分10的显示所使用的部分光，因此图像拾取装置20拾取与显示的图像相似的图像。当不通过图像显示部分10拾取图像时，这种现象不产生。

在杂散光引起的反射噪声很少的情况下，无需对拾取的图像执行移除反射分量的处理。然而，在需要高质量的拾取的图像的情况下，优选的是，校正反射现象的影响。

在第一实施例中，作为针对反射噪声的对策，图像显示装置和图像拾取 装置彼此协作，以使得可以从信号处理的方面校正反射噪声对拾取的图像的影响，由此实现图像的质量的增强。

顺便提及，对于图像拾取装置20的哪一个或多个像素并且以何种强度将图像显示部分10的像素11中的一个发射的并形成杂散光的部分光拾取为图像取决于图像显示部分10的结构，尤其是取决于相关联构件的形状、大小和布置以及光透射部位的形状、大小和分布。相应地，推荐的是，预先测量要作为图像由图像拾取装置20拾取的对于图像显示部分10的每一像素11的反射的信息(下文中被称为反射图案数据)，将反射图案数据存储到预定存储部分，然后在反射噪声抑制处理中使用反射图案数据。

图7示出其中从信号处理的方面校正反射现象的影响的第一实施例的图像显示装置1A。

参照图7，第一实施例的图像显示装置1A包括被配置为控制整个装置的操作的控制部分90、被配置为控制图像显示部分10的显示操作的显示时序控制器92、以及被配置为控制图像拾取装置20或图像拾取部分20a的图像拾取操作的图像拾取时序控制器94。

控制部分90将显示数据、时序信号等提供给显示时序控制器92。此外，控制部分90将图像拾取时序信号、快门控制信号、增益控制信号等提供给图像拾取时序控制器94。

显示时序控制器92包括未示出的信号线路控制电路，其通过未示出的视频信号提供IC将显示数据和水平时序信号提供给图像显示部分10。此外，显示时序控制器92包括未示出的扫描线路控制电路，其通过未示出的扫描信号提供IC将垂直时序信号提供给图像显示部分10。

第一实施例的图像显示装置1A包括用于对于通过图像拾取装置20获取的图像信息执行在通过图像显示部分10的后面侧的光透射部分30执行图像拾取的情况下生成的反射噪声的校正的反射噪声抑制处理单元200。在与图像显示装置1A分离地配置作为电子装置的示例的图像拾取装置20的情况下，如图7中的交替长短虚线指示的那样，图像拾取装置20侧也可以布置反射噪声抑制处理单元200(根据场合需求，此外，图像拾取时序控制器94)。

反射噪声抑制处理单元200包括反射图案存储部分202和算术处理部分208。虽然未示出，但算术处理部分208包括拾取图像数据存储部分和视频数据存储部分。控制部分90控制反射噪声抑制处理单元200的处理操作。

预先测量用于图像拾取装置20拾取其图像的图像显示部分10的像素11中的每一个的反射的信息，并且所得反射图案数据D202存储到反射图案存储部分202中。

拾取图像数据存储部分存储从图像拾取装置20提供至其的拾取的图像数据D20。视频数据存储部分与图像拾取装置20的图像拾取时序同步从显示时序控制器92取得并且存储图像显示部分10的视频数据D10。

算术处理部分208参照反射图案存储部分202中存储的反射图案数据D202，并且将拾取的图像数据D20(用于每一像素)乘以校正系数η，以确定校正值。然后，算术处理部分208从拾取的图像数据D20(用于每一像素)减去校正值，以移除拾取图像数据存储部分中存储的拾取的图像数据D20中包括的反射噪声。校正系数η是与杂散光的强度对应的指数，并且从关于参照或标准设备视频数据预先测量的反射图案数据D202被指定。

例如，在与校正系数η对应的像素11的视频数据D10对图像拾取装置20的像素11的拾取的图像数据D20做出反射噪声的情况下，可以通过“D20-D10·η”校正或消除反射噪声。校正系数η是与杂散光的强度对应的指数，并且可推荐为从参照或标准设备视频数据预先估计或测量。注意，在确认拾取的图像的同时可以调整校正系数η，以便可以不识别反射噪声。

控制部分90从用户接受各种指令，并且控制反射噪声抑制处理单元200和其它各种功能部分的工作。例如，虽然用于该实施例中的反射噪声抑制处理的各种过程如下文中详细描述的那样可用，但它们就处理速度和噪声抑制效果而言在其中是更优或更劣的。因此，推荐的是，可以允许根据用户的指令采用方法中的一种的合适选择。

控制部分90从反射噪声抑制处理单元200(具体地，算术处理部分208)获得的处理的图像执行各种检测处理，比如例如用户的视线的检测或用户的手的运动的检测。图像显示部分10将这种检测结果反映在显示器上。

控制部分90具有被配置为控制图像显示部分10的显示时序和图像拾取装置20的图像拾取时序并且控制图像显示部分10的图像显示和图像拾取装置20的图像拾取操作的时序控制部分的功能。例如，在显示数据和水平时序信号从显示时序控制器92发送到未示出的信号线路控制电路的同时，显示数据、时序信号等从控制部分90发送到显示时序控制器92。同时，垂直时序信号发送到未示出的扫描线路控制电路。然后，图像显示部分10基于已知方 法执行图像显示。

另一方面，图像拾取时序信号、快门控制信号、增益控制信号等从控制部分90发送到图像拾取时序控制器94。这些信号从图像拾取时序控制器94发送到图像拾取装置20，从而控制图像拾取装置20的操作。此时，优选地，控制部分90将图像显示部分10的显示时序与图像拾取装置20的图像拾取时序彼此同步。

通过图像拾取装置20获取的图像信息(例如比如用于红色(R)、绿色(G)和蓝色(B)中的每一个的图像信息)发送到配置反射噪声抑制处理单元200的拾取图像数据存储部分。此时，视频数据存储部分根据图像拾取装置20的图像拾取时序同时取得并存储图像显示部分10的视频数据D10(例如，用于R、G和B中的每一个的视频数据)。

算术处理部分208从视频数据存储部分读出用于R、G和B中的每一个的视频数据，并且参照数据以对于用于从拾取图像数据存储部分读出的R、G、B中的每一个的拾取的图像数据执行“D20-D10·η”的算术运算，由此抑制反射噪声。然后，算术处理部分208将其反射噪声被抑制的拾取的图像数据传送到控制部分90。因此，可以执行并非考虑所有信号分量而是一些信号分量的处理，以简化计算并且减少处理时间。这在下文中详细予以描述。

图8示出其中从信号处理的方面校正反射现象的影响的第一实施例的图像显示系统2A。图像显示系统2A与图7所示的图像显示装置1A不同在于，移除控制部分90和反射噪声抑制处理单元200以形成图像显示装置1A_2，并且在作为电子装置的示例的外围装置70A中并入移除的控制部分90和反射噪声抑制处理单元200。

具体地，控制部分90可以被提供在图像显示装置1A中，或可以被提供在外围装置70A(例如连接到图像显示装置1A_2的个人计算机)中。此外，反射噪声抑制处理单元200可以被提供在图像显示装置1A中，或可以被提供在外围装置70A(例如连接到图像显示装置1A_2的个人计算机)中。

可以实现图像显示装置1A或图像显示系统2A中的反射噪声抑制处理单元200或控制部分90的控制功能，具体地，通过软件、其程序或在其中或其上存储程序的记录介质控制反射噪声抑制处理单元200的功能可以被提取为特定特征。这也类似地适用于其中执行下文中描述的衍射校正处理的情况和其中通过反映外部光的波长分布的测量的结果实现通过图像拾取装置获取的 图像信息的精度的改进(例如比如色彩信息的精度的改进)以及MTF逆变换处理的精度的改进的另一情况。

具体地，在该实施例中，用于执行反射噪声抑制处理、衍射校正处理、波长分布测量处理和与处理有关的控制处理的控制配置的机制不限于硬件处理电路的配置，而是可以基于实现各功能的程序代码使用计算机的机制通过软件实现。通过其中通过软件执行处理的机制，可以容易地改变处理过程等，而不涉及硬件的改变。程序可以被存储在或提供作为计算机可读存储介质，或通过有线或无线通信手段的发布而被提供。

虽然提供程序作为描述用于实现用于反射噪声抑制处理、衍射校正处理、波长分布测量处理和与各处理有关的控制处理的各种功能的程序代码的文件，但在此情况下，可以提供程序作为块(lump)程序文件，或可以提供程序作为适合于从计算机配置的系统的硬件配置的单独程序模块。

此外，作为包括用于实现用于反射噪声抑制处理、衍射校正处理、波长分布测量处理以及与各处理有关的控制处理的功能的功能块的单独部分的特定装置，可以使用硬件、软件、通信部件、它们的组合以及一些其它部件。这自身对于本领域技术人员是明显的。此外，功能块可以合并为单个功能块。此外，响应于组合的模式分离地安装用于使得计算机执行程序的处理的软件。

虽然其中通过软件执行处理的机制可以灵活地对付并行处理或连续处理，但随着处理变得复杂，处理速度的下降随着处理时间变长而成为问题。相比之下，如果使用硬件处理电路配置机制，则即使处理复杂，也防止处理速度的下降。因此，构建实现据以获得高吞吐量的高速操作的加速器系统。

针对反射现象的对策的同步控制

图9示出适用于其中采用从信号处理的方面应对反射现象的影响的技术的情况的同步控制。更具体地，图9示出图像拾取和显示的时序的示例。

根据第一实施例的机制，通过在显示装置的显示时段内的特定时刻开始图像拾取，在有效地移除拾取的屏幕图像上显示图像的反射的同时，可以获取高质量的拾取的图像。

虽然图9示出其中拾取的图像帧时段比显示帧时段更长的情况，但这仅是示例，拾取的图像帧时段可以比显示帧时段更短，或显示帧时段和拾取的图像帧时段可以彼此相等。

在图像拾取开始时，视频显示和图像拾取彼此同步，从而在从显示开始 起的时间ts之后可以开始图像拾取。例如，根据视频信号的垂直同步信号同步用于图像拾取装置20的快门信号。注意，显示与图像拾取之间的同步时序可以是显示时段内的特定时间，但不必定被包括在非显示时段(例如消隐时段)内。

通过以此方式在显示时段内的特定时间建立图像拾取开始的同步，即使在图像拾取时段内反射显示图像，归因于同步，从视频数据10也可以容易地判断在拾取的图像上反射了什么显示图像。因此，从拾取的图像(即从拾取的图像数据D20)可以容易地移除反射分量。

相比之下，如果未建立图像拾取与显示之间的同步，则虽然这不是不可能，但实际上难以移除拾取的图像上的反射。因此，拾取的图像经受闪烁现象，并且这在图像拾取和显示的帧速率彼此近似的情况下是尤其显著的。

<反射噪声抑制处理：第一示例(处理面积减少方法)>

图10是示出反射噪声抑制处理单元200的反射噪声抑制处理的第一示例的流程图。第一示例的反射噪声抑制处理应用处理面积减少的方法。

作为示例，在步骤S10，假设作为视频数据D10的R、G和B的色彩图像数据(即拾取的图像R数据、拾取的图像G数据和拾取的图像B数据)作为拾取的图像数据从图像拾取装置20提供给反射噪声抑制处理单元200。反射噪声抑制处理单元200将从图像拾取装置20提供至其的视频数据D10存储在拾取图像数据存储部分中。

在步骤S20，反射噪声抑制处理单元200的算术处理部分208将拾取的图像分离为“特定区域”和“背景区域”，以提取“特定区域”。例如，算术处理部分208将“面向图像拾取对象的方法”应用于确定图像拾取对象的部分的区域(例如用户的脸的区域)作为“特定区域”。因此，算术处理部分208将脸和其它区域彼此分离，并且提取脸区域。作为用于脸区域的提取算法，可以使用已知的脸检测方法，例如比如Haar状特征分类。顺便提及，提取包括指定的脸的矩形区域。自然地，提取的脸区域具有比整个拾取的图像的面积更小的面积。

在步骤S30，算术处理部分208仅从提取的特定区域移除拾取的图像上存在的显示图像的反射的影响。例如，在TV会议中，交谈方的面部表情或压缩(compression)的图片质量比背景更重要，并且即使对于关于其仅从脸移除反射分量的图像，TV会议方也可以交谈，而没有不舒服的感觉。

在步骤S40，算术处理部分208将作为特定区域并且对于其已经执行反射噪声减少处理的脸区域的提取图像的信号分量与对于其尚未执行反射噪声抑制处理的背景区域的图像的信号分量彼此合成，由此完成处理。

从拾取的图像的整个区域分离或提取的提取区域或特定区域(其在该示例中为脸区域)具有比整个拾取的图像的面积更小的面积。因此，与其中反射噪声抑制处理应用于拾取的图像的整个区域的替换情况相比，减少了计算量，并且减少了处理时间。因此，可以更高速度地执行处理。例如，在特定区域的面积等于整个区域的1/X倍的情况下，处理速度减少至“α·X”倍。α具有小于1的值，并且是步骤S20的从整个区域提取特定区域的处理和步骤S40的将对于其已经执行反射噪声抑制处理的特定区域的图像与对于其尚未执行处理的背景区域的图像进行合成的处理的开销(overhead)量。

<反射噪声抑制处理：第二示例(所有信号都作为目标)>

图11是示出反射噪声抑制处理单元200的反射噪声抑制处理的第二示例的流程图。在第二示例的反射噪声抑制处理中，处理配置图像拾取装置20获取的图像信息的信号分量。

以下，针对连同其中仅确定特定区域作为处理目标的第一示例一起使用第二示例的示例给出描述。然而，这不是必不可少的。这也类似地适用于下文中描述的第三和第四示例。参照图11，在步骤S30，算术处理部分208仅从提取的特定区域移除拾取的图像上存在的显示图像的反射的影响。随即，算术处理部分208对于R、G和B的色彩图像数据单独地执行反射噪声抑制处理。

例如，在步骤S130，算术处理部分208参照反射图案存储部分202中存储的反射图案数据D202，以针对R、G和B的色彩中的每一个(即，针对每一个像素)确定校正系数η。

然后，在步骤S150，对于R、G和B的色彩中的每一个，算术处理部分208将视频数据D10乘以在步骤S130确定的对应校正系数η，以获得用于拾取的图像数据D20的校正数据D_comp。

在步骤S160，算术处理部分208对于R、G和B的色彩中的每一个通过在步骤S150确定的校正数据D_comp校正视频数据D10，即对于拾取的图像的每一像素，从视频数据D10减去校正数据D_comp，以获取其中对于每一色彩抑制了反射噪声的图像。

在步骤S40，算术处理部分208将对于其已经执行反射噪声抑制处理的特定区域中的提取图像的信号分量和对于其尚未执行反射噪声抑制处理的背景区域中的图像的信号分量相互合成。然后，完成处理，也就是说，在图像显示部分10上显示所得图像。

在第二示例中，对于配置图像信息的R、G和B的信号分量执行反射噪声抑制处理。因此，虽然处理负荷是高的，但与其中关注一些信号分量的替换处理相比，噪声抑制是高的，并且可以高精度地抑制由于反射现象在拾取的图像上出现的噪声。

注意，作为对第二示例的修改，可以采用这样的方法：转换图像拾取装置20获取的图像信息的分量的拾取图像数据的色彩空间，并且对于色彩转换后的图像数据的不同数据执行处理。在此情况下，色彩转换处理增加了处理负荷。例如，在用三个色彩分量(例如R、G和B)表示图像的情况下，通过在色彩转换后执行反射噪声抑制处理，处理速度由于色彩转换处理的0.2的损失而减少至近似0.8倍。然而，由于在图像分解为亮度分量和色彩分量之后执行反射噪声抑制处理，因此存在的优点在于，可以使得校正系数η(或换言之，噪声抑制效果)在亮度分量与色彩分量之间不同。此外，由于对于配置图像信息的不同信号执行反射噪声抑制处理，因此噪声抑制效果比其中关注一些信号的替换处理更高。因此，可以高精度地校正由于反射现象而在拾取的图像上出现的噪声。

<反射噪声抑制处理：第三示例(面向特定信号的处理：与亮度信号分量具有高相关性的绿色)>

图12是示出反射噪声抑制处理单元200的反射噪声抑制处理的第三示例的流程图。在第三示例的反射噪声抑制处理中，应用如下的面向特定信号的方法：其中，处理图像拾取装置20获取的图像信息的多个信号分量中的至少一个但不是所有。

以下，描述其中关注色彩转换后的图像信息的多个信号分量(比如例如信号分量R、G和B，或X、Y和Z或Y、u、v)中的仅一个执行处理的示例。主要针对与第二示例的不同之处给出以下描述。注意，300的级别的步骤号表示处理步骤，并且与第二示例中十个相同的级别的号表示与第二示例中相似的处理步骤。

算术处理部分208仅对于R、G和B的色彩中的一个执行反射噪声抑制 处理。随即，优选地，关注与亮度信号分量具有相对高的相关性的绿色图像信息以执行处理。简而言之，仅针对与亮度信号分量具有高相关性的绿色执行反射噪声抑制。

例如，在步骤S330，算术处理部分208参照反射图案存储部分202中存储的反射图案数据D202，以针对每一个像素确定对于G色彩的校正系数η。

在步骤S350，算术处理部分208针对色彩G将视频数据D10乘以在步骤S330确定的校正系数η，以获得用于拾取的图像数据D20的校正数据D_comp。

在步骤S360，算术处理部分208利用在步骤S350针对色彩G确定的校正数据D_comp校正用于色彩G的视频数据D10，例如从对于拾取的图像的每一像素的视频数据D10减去校正数据D_comp，以获取抑制其反射噪声的绿色图像。

在步骤S380，算术处理部分208基于在步骤S360获取的并且具有抑制的反射噪声的绿色图像、以及尚未处理的色彩R的拾取的图像R数据和色彩B的拾取的图像B数据来获取色彩图像。

根据第三示例，针对配置图像信息的R、G和B的色彩中的至少一个但不是所有执行反射噪声抑制处理。因此，虽然与其中处理所有信号分量的第二示例相比，第三示例在噪声抑制效果方面较劣，但处理负荷减小，并且可以期望更高的速度处理。例如，在用R、G和B的三个色彩分量的信号表示图像的情况下，通过执行其中关注一个色彩的处理，处理速度增加至三倍。

此外，通过使用“处理面积减少方法”和“面向特定信号的方法”，添加了仅对于提取的特定区域的反射噪声抑制处理的效果(即，α·X倍的处理速度)。因此，可以明显地减少整个处理时间。

在第三示例中，看上去可推荐的是执行关注色彩R或色彩b的处理。然而，通过执行关注与亮度信号分量具有相当高相关性的绿色图像信息的处理，实现了与其中对于所有信号分量执行处理的第二示例相比不更劣的噪声抑制效果。实施了从噪声抑制效果和处理负荷的方面在平衡上良好的噪声抑制效果。当与下文中描述的第四示例相比时，由于第三示例不包括色彩转换处理，因此处理负荷比第四示例更低。

<反射噪声抑制处理：第四示例(面向特定信号的步骤：亮度信号分量)>

图13是示出反射噪声抑制处理单元200的反射噪声抑制处理的第四示例的流程图。第四示例是其中转换图像拾取装置20获取的图像信息的不同分量 的图像数据的色彩空间并且至少针对色彩转换后的多个图像数据中的一个但不是所有执行处理的方法。以下，描述其中仅关注色彩转换后的多个图像数据(例如X、Y、Z图像数据或Y、u、v图像数据)中的一个的处理。注意，400的级别的步骤号表示处理步骤，并且与第二示例中十个相同的级别的号表示与第二示例中相似的处理步骤。

在步骤S30，算术处理部分208仅对于提取的特定区域执行反射噪声抑制处理，以移除反射的影响。随即，在步骤S410，算术处理部分208将关于提取的特定区域中的图像的RGB色彩空间的拾取的R数据、拾取的G数据和拾取的B数据转换为不同色彩空间(例如比如XYZ色彩空间或Yuv色彩空间)中的图像数据。

在本示例中，虽然在首先提取特定区域中的图像信息之后执行色彩空间转换处理，但相比之下，可以在首先对于图像显示部分10获取的整个图像区域执行色彩空间转换处理之后提取特定区域中的图像信息。在后一种情况下，与其中仅对于特定区域中的图像信息执行色彩空间转换处理的替换情况相比，处理量增加，并且所需的转换处理时间增加。考虑该情况，在本示例中采用前一种方法。

算术处理部分208仅对于图像显示部分10获取的步骤410中的色彩转换之后的多个图像数据中的一个执行反射噪声抑制处理。具体地，仅对于一个信号分量执行反射噪声抑制处理。随即，关注亮度信号分量执行处理。具体地，算术处理部分208在步骤S420从色彩转换后的多个图像提取亮度信号分量，并且仅对于亮度信号分量执行反射噪声抑制处理。在图像数据是从RGB色彩空间通过色彩转换的XYZ色彩空间中的图像数据的假设下给出以下描述。

例如，在步骤S430，算术处理部分208参照反射图案存储部分202中存储的反射图案数据D202，以针对每一像素确定对于亮度分量Y的校正系数η。

在步骤S450，，算术处理部分208将关于亮度分量Y的视频数据D10乘以在步骤S430确定的校正系数η，以获得用于拾取的图像数据D20的校正数据D_comp。

在步骤S460，算术处理部分208通过在步骤S450针对亮度分量Y确定的校正数据D_comp校正亮度分量Y的视频数据D10，具体地从对于拾取的图像的每一像素的视频数据D10减去校正数据D_comp，以获取抑制其反射噪声的 亮度分量Y的图像。

在步骤S470，算术处理部分208将亮度分量Y(其在步骤S460获得，并且其反射噪声得到抑制)和尚未被处理的转换X数据X与转换Z数据Z的图像转换为RGB色彩空间下的原始图像(即，转换为RGB色彩空间下的图像数据)。因此，获取了反射噪声得到抑制的红色图像、绿色图像和蓝色图像。

在步骤S480，算术处理部分208基于在步骤S470分别对于R、G和B的不同色彩单独获取的色彩图像R、绿色图像G和蓝色图像B来获取色彩图像。可替换地，可以在步骤S470直接省略色彩转换处理获取色彩图像。

根据第四示例，虽然处理负荷由于执行色彩转换处理而较高，但由于对于色彩转换后的信号分量中的至少一个但不是所有执行反射噪声抑制处理，因此与其中对于所有信号分量执行处理的替换情况相比，减少处理负荷。相应地，虽然与其中对于所有信号分量执行处理的替换情况相比噪声减少效果较劣，但处理负荷在整体上倾向于减少，并且可以期望高速处理。

在第四示例中，如果仅对于亮度信号分量执行反射噪声抑制处理，则获得与其中对于所有信号分量执行处理的替换情况相比不劣的噪声抑制效果。从校正效果和处理负荷的方面，反射噪声抑制处理得到良好地平衡。

第一示例至第四示例的小结

如根据前面的描述理解的那样，在例如比如上述第一示例至第四示例的描述中描述的各种过程中可以执行第一实施例中的噪声抑制处理。然而，关于处理速度和噪声抑制效果，过程在其之中较优或较劣。相应地，推荐的是，使得可以允许用户采用方法中的一种的合适选择。

<第二实施例：准备用于反射噪声抑制处理的配置+准备用于衍射校正的配置>

准备用于衍射校正的配置

图14至图17是示出衍射现象和针对衍射现象的对策的视图。具体地，图14是示出衍射现象对拾取的图像的影响的示意图。图15A和图15B是示出通过在图像拾取装置20前面布置的玻璃板拾取的图像的示例的视图。图16是其中从信号处理的方面校正或补偿衍射现象的影响的第二实施例的图像显示装置1B的框图。图17是其中从信号处理的方面校正或补偿衍射现象的影响的第二实施例的图像显示系统2B的框图。

通常，在通过特定小光透射开孔拾取图像的情况下，衍射现象出现在光透射开孔。具体地，假设在以预定间距在其上提供多个十分小的光透射部位31的物品(即图像显示部分10)的后面上安装图像拾取装置20，然后通过光透射部位31拾取图像(如图14中看到的)。在此情况下，光透射部位31用作光学缝隙。因此，作为衍射现象的结果，与图像“C”相同的图像以相等间距显现为图像“A”和另一图像“B”，因此，图像经受模糊。

图15A中示出利用图像拾取装置20的前面中布置的不具有光透射部位的透明玻璃板的拾取所获得的图像。图15B中示出利用图像拾取装置20的前面布置的其中提供具有特定形状、大小和分布的光透射部位的透明玻璃板的图像拾取所获得的另一图像。在图15B所示的图像上发现模糊。另一方面，在图15A所示的图像上未发现模糊。

衍射光的强度和分布取决于光透射部位的形状、大小和分布以及入射光(即外部光)的波长。在衍射的模糊量小的情况下，对于拾取的图像的衍射无需执行校正或补偿的处理。然而，在需要高质量的拾取的图像的情况下，优选地，校正或补偿衍射现象的影响。

图16示出除了其中从信号处理的方面抑制反射噪声的影响的第一实施例的配置之外其中从信号处理的方面校正衍射现象的影响的第二实施例的图像显示装置1B。

参照图16，第二实施例的图像显示装置1B包括用于将用于光透射部分30产生的衍射的校正或补偿应用于通过图像拾取装置20获取的图像信息的衍射校正单元100。衍射校正单元100包括MTF形状存储部分102和MTF逆变换部分104。MTF逆变换部分104具有未示出的图像存储存储器，并且存储从图像拾取装置20提供至其的拾取的图像数据。控制部分90控制衍射校正单元100的处理操作。

注意，在上面结合第一实施例所述那样首先执行反射噪声抑制处理然后执行衍射处理的情况下，已经对于其执行算术处理部分208的处理的图像信息提供给MTF逆变换部分104。另一方面，在首先执行衍射校正处理然后执行反射噪声抑制处理的情况下，已经对于其执行MTF逆变换部分104的处理的图像信息提供给算术处理部分208。

控制部分90从用户接受各种指令，并且控制衍射校正单元100和其它各种功能部分的操作。例如，虽然各种过程对于第二实施例中的衍射校正处理 是可能的，由于它们就处理速度和校正精度而言在其之中更优或更劣。因此，推荐的是，使得可以允许根据用户的指令采用方法中的一种的合适选择。

MTF形状存储部分102存储MTF形状数据(例如光透射部位31的大小、形状和分布)。例如，在MTF形状存储部分102中存储二维FFT获得的光透射部分30的MTF形状数据和红色(R)、绿色(G)和蓝色(B)中的每一个的外部光的波长。

通过图像拾取装置20获取的图像信息或反射噪声抑制处理单元200已经抑制其反射噪声的处理图像发送到配置衍射校正单元100的MTF逆变换部分104。MTF逆变换部分104从MTF形状存储部分102读出二维FFT获得的光透射部分30的MTF形状数据和红色(R)、绿色(G)和蓝色(B)中的每一个的外部光的波长，以执行MTF逆变换来恢复原始图像。随即，为了简化计算以缩短处理时间，可以并不对于所有的信号分量而关注一些信号分量执行处理。

控制部分90从衍射校正单元100(具体地，MTF逆变换部分104)获得的恢复图像执行各种类型的检测(比如例如用户的视线的检测或用户的手的运动的检测)，以便由图像显示部分10反映在显示器上。

图17示出其中从信号处理的方面校正衍射现象的影响的第二实施例的图像显示系统2B。参照图17，图像显示系统2B与以上参照图16描述的图像显示装置1B不同之处在于，从图像显示装置1B移除控制部分90、反射噪声抑制处理单元200和衍射校正单元100以成为图像显示装置1B 2，并且在作为电子装置的示例的外围装置70B中并入了移除的控制部分90、反射噪声抑制处理单元200和衍射校正单元100。

具体地，控制部分90可以被提供在图像显示装置1B_2中，或可以被提供在外围装置70B(例如连接到图像显示装置1B_2的个人计算机)中。此外，反射噪声抑制处理单元200和衍射校正单元100可以被提供在图像显示装置1B_2中，或可以被提供在外围装置70B(例如连接到图像显示装置1B_2的计算机)中。

针对衍射现象的对策原理

图18A、图18B和图19是示出从信号处理的方面应对衍射现象的影响的方法的示意图，并且示意性地示出与图2所示的不同的光透射部分30的形状的示例。

在确定光透射部位31的图案形状、大小和分布以及入射光(即外部光)的波长的情况下，通过以下给出的表达式(1)计算衍射分布P_diff。在二重积分中，针对x和y执行-∞与+∞之间的积分。

P_diff(k_x，k_y)＝∫∫P_at(x，y)·exp[-j(k_x·x+k_y·y]dxdy

k_x＝(2π/λ)sin(θ_x)

k_y＝(2π/λ)sin(θ_y)...(1)

其中，P_at(x，y)是xy平面上光透射部位31的二维图案，λ是作为外部光的入射光的波长，θ_x和θ_y分别是x方向和y方向上的衍射角。在此，假设入射光或外部光的波长λ的值是固定的525nm，以简化计算。

可以使用快速傅立叶变换(FFT)高速计算表达式(1)，这是由于其表示P_at(x，y)的二维傅立叶变换。虽然P_diff(k_x，k_y)包括相位信息，但实际上图像拾取装置检测衍射光强度H_diff(k_x，k_y)。如根据表达式(2)看到的，衍射光强度H_diff(k_x，k_y)等于P_diff(k_x，k_y)的绝对值的平方。

H_diff(k_x，k_y)＝|P_diff(k_x，k_y)|²...(2)

在此，假设调制通过衍射光应用于图像拾取装置20的空间分辨率，则根据表达式(3)计算MTF(调制传递函数)。“FFT[]”表示执行快速傅立叶变换，“IFFT[]”表示执行逆快速傅立叶变换。

η(f_x，f_y)＝|FFT[H_diff(k_x，k_y)]|²...(3)

其中，f_x和f_y分别表示配置图像拾取装置20的图像拾取元件中的每一个的x方向和y方向上的空间频率。然后，通过光透射部分30透射之后的图像拾取装置20获得的图像I_{cam(x ， y)}和未通过光透射部分30透射的原始图像I_{real(x ， y)}满足表达式(4)表示的关系。如果图像I_{cam(x ， y)}是红色(R)分量，则其是拾取的图像R数据R_{cam(x ， y)}，如果图像I_{cam(x ， y)}是绿色(G)分量，则其是拾取的图像G数据G_{cam(x ， y)}，如果图像I_{cam(x ， y)}是蓝色(B)分量，则其是拾取的图像B数据B_{cam(x ， y)}。

具体地，在空间频域中，图像I_{cam (x ， y)}是原始图像I_{real(x ， y)}与MTF的乘积。因此，为了从图像I_{cam(x ， y)}获得原始图像I_{real(x ， y)}，可以执行基于表达式(5)的处理。换言之，对于图像信息可以执行基于光透射部位31的形状、大小和分布以及入射光或外部光的波长(统称为“MTF形状数据”)所执行的MTF逆处理。例如，原始图像I_{real(x ， y)}是关于红色(R)分量的红色原始 图像R_{real(x ， y)}、关于绿色(G)分量的绿色原始图像G_{real(x ， y)}、以及关于蓝色(B)分量的蓝色原始图像B_{real(x ， y)}。

在此，因为如果确定光透射部位31的大小、形状和分布则光透射部位31的二维图案的傅立叶变换的结果随着入射光或外部光的波长缩放，所以可以容易地确定MTF。因此，根据表达式(5)表示的关系可以容易地恢复原始图像。

例如，图18A、图18B和图19中示出了光透射部位31的形状。沿着图像显示部分10的第一方向(即沿着水平方向)和第二方向(即垂直方向)周期地提供一些或所有光透射部位31。

在图18A所示的示例中，在从三个像素11R、11G和11B配置的一个像素单元上提供在各像素之下沿着第一方向(即在水平方向上)延伸的光透射部位31H。同时，对于像素11R、11G和11B中的每一个提供并且还在像素之间提供沿着第二方向或垂直方向延伸的光透射部位31V。同时，在图18B所示的示例中，光透射部位31H和三个光透射部位31V彼此连接。另一方面，在图19所示的示例中，虽然在从三个像素11R、11G和11B配置的一个像素单元上提供光透射部位31H，与图18A中的不同，在两个部分配置它。

在用L_tr-1表示沿着第一方向的光透射部位31的长度并且用P_px-1表示沿着第一方向的像素11的间距的情况下，第一方向上的线路孔径比例L_tr-1/P_px-1满足“L_tr-1/P_px-1≥0.5”。同时，在用L_tr-2表示沿着第二方向的光透射部位31的长度并且用P_px-2表示沿着第二方向的像素11的间距的情况下，第二方向上的线路孔径比例L_tr-2/P_px-2满足“L_tr-2/P_px-2≥0.5”。这可以根据MTF的定义得到解释。

通过对根据xy平面上光透射部位31的二维图案P_at(x，y)获得的衍射分布的平方值进行快速傅立叶变换，然后将快速傅立叶变换的结果取平方，从而获得了MTF。

$\mathrm{\&eta;}(f_x,f_y)={\left|\mathrm{FFT}\right[{\left|P_{\mathrm{diff}}(k_x,k_y)\right|}^2\left]\right|}^2...\left(6\right)$

然后，由于根据维纳辛钦定理，自相关函数的傅立叶变换等于功率谱，因此MTF等于伴随着光透射部位31出现的衍射分布的自相关函数的绝对值的平方。自相关函数在空间频域中没有相关的点(即相关函数为零的点)不 存在的条件是“L_tr-1/P_px-1≥0.5”和“L_tr-2/P_px-2≥0.5”。在MTF不具有其为零的点的情况下，由于表达式(5)不具有奇异点，因此原始图像的再现是容易的。因此，优选的是，满足请求：第一方向上线路孔径比例L_tr-1/P_px-1和第二方向上线路孔径比例L_tr-2/P_px-2的值等于或大于0.5。

<第三实施例：准备用于反射噪声抑制处理+准备用于衍射校正+准备用于波长分布测量>

图20A至图20D、图21和图22是示出根据第三实施例的图像显示装置和图像显示系统的视图。具体地，图20A和图20B示出图像显示装置的构思，更具体地，图20A是示出从前面观看的图像显示装置的示意图，图20B是示出从侧面观看的图像显示装置的示意图。同时，图20C和图20D示出图像显示系统的构思，更具体地，图20C是示出从前面观看的图像显示系统的示意图，图20D是示出从侧面观看的图像显示系统的示意图。图21是可以执行波长分布测量的根据第三实施例的图像显示装置1C的框图，图22是可以执行波长分布测量的根据第三实施例的图像显示系统2C的框图。

首先参照图20A和图20B，除了第二实施例的图像显示装置1B之外，第三实施例的图像显示装置1C包括被配置为测量外部光的波长分布的波长分布测量部分110。在图像显示装置1C上可以可移除地安装波长分布测量部分110。在该示例中，在图像显示部分10的面板的上部分布置波长分布测量部分110。然而，这是示例，波长分布测量部分110可以布置在任何地方，只要其可以测量外部光的波长分布。

现参照图20C和图20D，除了第二实施例的图像显示系统2B之外，第三实施例的图像显示系统2C包括被配置为测量外部光的波长分布的波长分布测量部分110。波长分布测量部分110获取的信息提供给衍射校正单元100。波长分布测量部分110可以布置在图像显示装置1C_2附近的任何地方，只要其可以测量外部光的波长分布。

例如，从红色滤波器附连到的光电传感器、绿色滤波器附连到的另一光电传感器和蓝色滤波器附连到的进一个光电传感器的集合配置波长分布测量部分110。

现参照图21，在所示的图像显示装置1C中，控制部分90控制波长分布测量部分110的测量操作。波长分布测量部分110获取的信息提供给衍射校正单元100。现参照图22，在所示的图像显示系统2C中，并入在外围装置 70C中的控制部分90控制波长分布测量部分110的测量操作。

如上面结合第二实施例描述的那样，用于在光透射部分30的xy平面上确定衍射分布P_diff(k_x，k_y)的表达式(1)包括入射光(即外部光)的波长λ。相应地，通过测量外部光的波长分布，响应于外部环境可以应用单独波长的MTF，并且可以高精度地执行对于衍射的校正或补偿。因此，可以获得更高质量的拾取的图像。

通过波长分布测量部分110的提供，可以获得外部光的光谱的波长分布。然后，通过将获得的外部光的波长分布与图像拾取装置20的谱相乘，可以获得用于拾取的图像的红色、绿色和蓝色的基色中的每一个的波长分布。然后，通过利用拾取图像的波长分布加权对于其已经针对每个波长执行了MTF逆变换处理的图像，可以更高精度地执行用于衍射的校正或补偿。

在第三实施例中，由于采用如上所述的这种配置，因此不仅可以更高精度地执行用于衍射的校正或补偿，而且可以实现通过图像拾取装置20获取的图像信息的精度的增强(例如色彩信息的增强)。

<电子设备的监控装置的替换>

图23A和图23B是示出图像显示装置1应用到的电子装置的不同示例的视图。例如，任何图像显示装置1A、1B和1C可以不仅用作配置个人计算机的监视器装置的替换，而且还可以用作各种电子装置的监视器装置的替换。例如，图像显示装置1A、1B或1C可以用作在如图23A可见的这种笔记本型个人计算机中并入的监视器装置的替换。此外，图像显示装置1A、1B或1C可以用作在如图23B所示的这种便携式电话机或虽然未示出的PDA(个人数字助理)或游戏机中并入的或者电视接收器的监视器装置的替换。在任何情况下，在图像显示部分10上提供其中形成未示出的光透射部位31的光透射区域12，并且在显示面侧的相对侧的后面上提供图像拾取装置20。

虽然上面已经参照附图描述了本公开优选实施例，但本公开的技术范围不限于实施例。在不脱离权利要求中界定的本公开的精神和范围的情况下，对上述实施例可以进行各种改变或修改，并且此外，这些改变和修改自然落入本公开的技术范围内。

可以进一步修改上文结合实施例描述的图像显示装置1或图像显示系统2。以下，描述若干修改。

第一修改：位置检测

虽然未示出，但根据第一修改，图像显示装置1或图像显示系统2包括被配置为基于通过图像拾取装置20获取的图像信息确定图像拾取对象的位置信息的位置检测部分。位置检测部分可以被提供在图像显示装置中，或可以被提供在外围装置中。

如果通过光透射部分30拾取图像，则由于反射现象的噪声伴随着拾取的图像出现，因此担心图像拾取对象的位置信息的检测精度的下降。然而，由于可以享受包括上述反射噪声抑制处理单元200的配置的工作效果，因此可以抑制通过光透射部分30图像拾取时反射现象的噪声的影响。因此，可以高精度地获取图像拾取对象的位置信息。例如，图像拾取对象可以是观测图像显示部分10的观测者或用户的手、手指或眼球、或者用户的手握持的条状物品等。

如果位置检测部分按时间序列连续地确定图像拾取对象(例如手、手指、眼球或例如比如钢笔或铅笔的条状物体)的位置信息，则可以确定图像拾取对象的运动。因此，可以执行响应于图像拾取对象的运动(例如比如图像的向上或向左运动或向左或向右运动)的各种处理、在个人计算机的监视器装置上关闭图像屏幕的处理或打开另一屏幕图像的处理。可以预先在位置检测部分中注册图像拾取对象的运动与各种处理之间的关系。

根据场合需要，可以通过位置检测部分基于已知的算法或软件从图像拾取对象的位置信息确定图像拾取对象的形状(例如比如身体或手的形状表示的形状，手指、姿势的组合表示的形状等)，以执行与图像拾取对象的形状对应的各种处理。此外，如果位置检测部分确定其中定向图像拾取对象的方向，则可以执行与其中定向图像拾取对象的方向对应的各种处理。

第二修改：三维图像显示+位置检测

图24A至图25B示出第二修改。在图24A至图25B所示的第二修改中，在图像显示部分10的后面侧布置多个(典型地，两个)图像拾取装置20，从而位置检测部分71D基于来自图像拾取装置20的图像信息可以确定从图像显示部分10到用户的位置。位置检测部分71D可以被提供在图像显示装置1D中，或可以被提供在外围装置70D中。虽然所示修改是对第一实施例的修改，但其可以也应用于其它实施例。

由于反射现象的噪声可以在通过光透射部分30_1和30_2的图像拾取时伴随着拾取图像出现，因此担心观测者的位置信息的检测精度的下降。然而， 由于可以享受包括上述反射噪声抑制处理单元200的配置的工作效果，因此可以抑制通过光透射部分30图像拾取时反射现象的噪声的影响。因此，可以高精度地获取观测者的位置信息。

观测者的位置信息可以用作观测者的双眼的位置数据，或可以用作从图像显示部分10到观测者的距离数据。此外，基于通过图像拾取装置20_1和20_2拾取的图像数据的观测者的双眼可以确定观测者的位置信息。在图像显示部分10上可以显示观测者的位置信息。这使得可以清楚地向观测者指示最佳三维图像观测位置或将观测者引导到最佳三维图像观测位置，从而观测者可以容易地观测三维图像。或者，基于观测者的位置信息可以优化图像显示部分10上要显示的图像。

第三修改：TV会议系统

虽然未示出，但在第三修改中，以上描述的任何实施例的机制应用于电视会议系统或电话装置。在第三修改中，进一步提供被配置为以信号方式传送通过图像拾取装置20获取的图像信息的信息信号传送部分和被配置为控制图像显示部分10基于从外部输入的图像信息显示图像的显示控制部分。信息信号传送部分将通过图像拾取装置20获取的图像信息以信号方式传送到外部。同时，在显示控制部分的控制下，在图像显示部分10上显示基于从外部输入的图像信息的图像。信息信号传送部分和显示控制部分可以被提供在图像显示装置中，或可以被提供在外围装置中。

对于第三修改，由于在图像显示部分10的后面侧布置图像拾取装置20，因此可以拾取位于图像显示部分10的前面的用户的脸的图像。此外，由于图像显示部分10上显示的对方侧的用户的脸定向朝向图像显示部分10的用户，因此如过去的TV会议系统中那样的用户视线彼此不一致的不舒服感觉不被提供给用户。由于此外可以享受如上文所述那样包括反射噪声抑制处理单元200的配置的工作效果，因此在对方侧的图像显示部分10上显示其中抑制反射噪声的影响的状态下的用户的脸等的图像。

第四修改：数字镜

虽然未示出，但在第四修改中，使得上述实施例的图像显示装置1用作数字镜。

在第四修改中，进一步执行被配置为存储通过图像拾取装置20获取的图像信息的图像信息存储部分和被配置为控制图像显示部分10基于通过图像 拾取装置20获取的或已经获取的信息以及图像信息存储部分中存储的图像信息显示图像的显示控制部分。图像信息存储部分和显示控制部分可以被提供在图像显示装置中，或可以被提供在外围装置中。

通过第四修改，在图像显示部分10上彼此分离的窗口中可以显示过去和当前的用户的比较的结果。由于此外可以享受包括上述反射噪声抑制处理单元200的配置的工作效果，因此在图像显示部分10上显示其中抑制反射噪声的影响的状态下的用户的脸等的图像。

本公开包含与2010年6月7日向日本专利局提交的日本优先权专利申请JP2010-130273中公开的主题有关的主题，其全部内容通过引用合并在此。

Claims (17)

1.一种图像显示装置，包括：

图像显示部分，包括在其之中阵列化并且均包括显示元件的多个像素，所述图像显示部分允许用于图像拾取的图像拾取部分被布置在其后面侧，所述图像显示部分还包括与所述图像拾取部分对应的其区域中提供的光透射部分；

噪声抑制处理单元，适用于对于所述图像拾取部分通过所述光透射部分获取的图像信息执行用于抑制所述图像显示部分上的显示图像对拾取图像的反射分量的反射噪声抑制处理；以及

时序控制部分，适用于在所述图像显示部分的显示时序与所述图像拾取部分的图像拾取时序之间建立同步，其中在所述显示时序内的特定时刻开始所述图像拾取部分的图像拾取。

2.如权利要求1所述的图像显示装置，其中，所述噪声抑制处理单元对于从所述图像拾取部分通过所述光透射部分获取的图像信息提取的特定区域中的图像信息执行反射噪声抑制处理，并且将尚未执行除了所述特定区域之外的背景区域的所述反射噪声抑制处理的图像信息和针对所述特定区域已经执行了所述反射噪声抑制处理的图像信息进行合成。

3.如权利要求1所述的图像显示装置，其中，所述噪声抑制处理单元对于表示所述图像信息的多个信号中的至少一个执行所述反射噪声抑制处理；

并不对于所有的所述多个信号执行所述反射噪声抑制处理。

4.如权利要求3所述的图像显示装置，其中，所述噪声抑制处理单元对于来自表示所述图像信息的多个信号当中的与亮度信息具有相关性的一个或数个信号执行所述反射噪声抑制处理。

5.如权利要求3所述的图像显示装置，其中，所述噪声抑制处理单元对于表示图像信息的所述多个信号执行色彩空间转换以使得至少包括表示亮度信息的信号分量，然后在所述色彩空间转换之后对于来自所述多个信号当中表示所述亮度信息的信号分量执行所述反射噪声抑制处理。

6.一种图像显示装置，包括：

图像显示部分，包括在其之中阵列化并且均包括显示元件的多个像素，所述图像显示部分允许用于图像拾取的图像拾取部分被布置在其后面侧，所述图像显示部分还包括与所述图像拾取部分对应的其区域中提供的光透射部分；以及

时序控制部分，适用于控制所述图像显示部分的显示时序和所述图像拾取部分的图像拾取时序，以便可以抑制所述图像拾取部分通过所述光透射部分获取的图像信息中可能包括的、所述图像显示部分的显示图像对拾取图像的反射分量，其中，所述时序控制部分在所述图像显示部分的显示时序与所述图像拾取部分的图像拾取时序之间建立同步，其中在所述显示时序内的特定时刻开始所述图像拾取部分的图像拾取。

7.如权利要求1所述的图像显示装置，其中，所述光透射部分包括与所述图像拾取部分对应的所述图像显示部分的区域中提供的多个这种光透射部位；

所述图像显示装置还包括：

衍射校正单元，适用于执行衍射校正处理，该衍射校正处理用于抑制所述光透射部分的衍射效应要施加于所述图像拾取部分通过所述多个光透射部位获取的图像信息的干扰。

8.如权利要求7所述的图像显示装置，还包括：

波长分布测量部分，适用于测量外部光的波长分布；

所述衍射校正单元参照所述波长分布测量部分测量的外部光的波长分布，以执行所述衍射校正处理。

9.如权利要求1所述的图像显示装置，还包括：

会聚部分，适用于在所述图像拾取部分上会聚通过所述光透射部分透射的光。

10.如权利要求1所述的图像显示装置，其中，所述显示元件是光发射元件。

11.一种电子装置，包括：

图像拾取部分，适用于拾取图像；

图像显示部分，包括在其之中阵列化并且均包括显示元件的多个像素，所述图像显示部分具有在其后面侧布置的所述图像拾取部分，所述图像显示部分还包括与所述图像拾取部分对应的其区域中提供的光透射部分；

噪声抑制处理单元，适用于对于所述图像拾取部分通过所述光透射部分获取的图像信息执行用于抑制所述图像显示部分上的显示图像对拾取图像的反射分量的反射噪声抑制处理；以及

时序控制部分，适用于在所述图像显示部分的显示时序与所述图像拾取部分的图像拾取时序之间建立同步，其中在所述显示时序内的特定时刻开始所述图像拾取部分的图像拾取。

12.一种电子装置，包括：

噪声抑制处理单元，适用于对于用于图像拾取的图像拾取部分通过图像显示部分的光透射部分所获取的图像信息执行用于抑制所述图像显示部分上的显示图像对拾取图像的反射分量的反射噪声抑制处理，其中所述图像拾取部分部署在图像显示部分的后面侧，所述图像显示部分包括在其之中阵列化并且均包括显示元件的多个像素，并且还包括与所述图像拾取部分对应的其区域中提供的光透射部分；以及

时序控制部分，适用于在所述图像显示部分的显示时序与所述图像拾取部分的图像拾取时序之间建立同步，其中在所述显示时序内的特定时刻开始所述图像拾取部分的图像拾取。

13.一种电子装置，包括：

图像拾取部分，适用于拾取图像；

图像显示部分，包括在其之中阵列化并且均包括显示元件的多个像素，所述图像显示部分具有在其后面侧布置的所述图像拾取部分，所述图像显示部分还包括与所述图像拾取部分对应的其区域中提供的光透射部分；以及

时序控制部分，适用于控制所述图像显示部分的显示时序和所述图像拾取部分的图像拾取时序，以便可以抑制所述图像拾取部分通过所述光透射部分获取的图像信息中可能包括的、所述图像显示部分的显示图像对拾取图像的反射分量，

其中，所述时序控制部分在所述图像显示部分的显示时序与所述图像拾取部分的图像拾取时序之间建立同步，在所述显示时序内的特定时刻开始所述图像拾取部分的图像拾取。

14.一种图像显示系统，包括：

图像拾取装置，适用于拾取图像；

图像显示装置，包括图像显示部分，该图像显示部分包括在其之中阵列化并且均包括显示元件的多个像素，所述图像显示部分允许在其后面侧布置所述图像拾取装置，所述图像显示部分还包括与所述图像拾取装置对应的其区域中提供的光透射部分；

噪声抑制处理单元，适用于对于所述图像拾取装置通过所述光透射部分获取的图像信息执行用于抑制所述图像显示部分上的显示图像对拾取图像的反射分量的反射噪声抑制处理；以及

时序控制部分，适用于在所述图像显示部分的显示时序与所述图像拾取部分的图像拾取时序之间建立同步，其中在所述显示时序内的特定时刻开始所述图像拾取部分的图像拾取。

15.一种图像显示系统，包括：

图像拾取装置，适用于拾取图像；

图像显示装置，包括图像显示部分，该图像显示部分包括在其之中阵列化并且均包括显示元件的多个像素，所述图像显示部分允许在其后面侧布置所述图像拾取装置，所述图像显示部分还包括与所述图像拾取装置对应的其区域中提供的光透射部分；以及

时序控制部分，适用于控制所述图像显示部分的显示时序和所述图像拾取装置的图像拾取时序，以便可以抑制所述图像拾取装置通过所述光透射部分获取的图像信息中可能包括的、所述图像显示部分的显示图像对拾取图像的反射分量，

其中，所述时序控制部分在所述图像显示部分的显示时序与所述图像拾取部分的图像拾取时序之间建立同步，在所述显示时序内的特定时刻开始所述图像拾取部分的图像拾取。

16.一种图像获取方法，包括：

在包括在其之中阵列化并且均包括显示元件的多个像素的图像显示部分上显示图像，所述图像显示部分允许用于图像拾取的图像拾取部分被布置在其后面侧，所述图像显示部分还包括与所述图像拾取部分对应的其区域中提供的光透射部分；

借助于所述图像拾取部分，通过所述光透射部分拾取所述图像显示部分的显示面侧的图像拾取对象的图像，以获取图像信息；以及

对于获取的图像信息执行用于抑制所述图像显示部分上的显示图像对所述图像拾取部分拾取的图像信息的反射分量的反射噪声抑制处理，

其中，在所述图像显示部分的显示时序与所述图像拾取部分的图像拾取时序之间建立同步，在所述显示时序内的特定时刻开始所述图像拾取部分的图像拾取。

17.一种图像获取方法，包括：

在包括在其之中阵列化并且均包括显示元件的多个像素的图像显示部分上显示图像，所述图像显示部分允许用于图像拾取的图像拾取部分被布置在其后面侧，所述图像显示部分还包括与所述图像拾取部分对应的其区域中提供的光透射部分；

借助于所述图像拾取部分，通过所述光透射部分拾取所述图像显示部分的显示面侧的图像拾取对象的图像，以获取图像信息；以及

控制所述图像显示部分的显示时序和所述图像拾取部分的图像拾取时序，以便可以抑制所述图像拾取部分通过所述光透射部分获取的图像信息中可能包括的、图像显示部分的显示图像对拾取图像的反射分量，

其中，在所述图像显示部分的显示时序与所述图像拾取部分的图像拾取时序之间建立同步，在所述显示时序内的特定时刻开始所述图像拾取部分的图像拾取。