CN117280704A - 成像元件、成像装置和电子装置 - Google Patents

Abstract

[问题]为了提高成像元件的颜色相关性能。[解决方案]一种成像元件，包括：像素，用于接收与三原色对应的光；以及分割像素，构成像素中的光接收部分。该分割像素包括：用于接收三原色中的第一颜色的光的像素中的用于接收第一颜色的光的分割像素；用于接收三原色中的第二颜色的光的像素中的用于接收第二颜色的光的分割像素；用于接收三原色中的第三颜色的光的像素中的用于接收第三颜色的光的分割像素；以及用于接收不同于用于接收三原色之一的光的像素中的三原色中的任一个的第四颜色的光的分割像素。第四颜色的光的光谱在第一颜色、第二颜色和第三颜色的颜色匹配函数中的负值的绝对值较大的区域中具有最大值。

Description

成像元件、成像装置和电子装置

技术领域

本公开涉及成像元件、成像装置和电子装置。

背景技术

通常使用以RGB的三原色执行成像的图像传感器，但是已知仅通过RGB信息难以实现可靠的颜色再现。其原因之一是颜色匹配函数表示在约520nm的波长处具有大的负分量。在使用线性矩阵的矩阵运算处理中，要求在该波长区域中具有峰值的像素生成该负分量。

为了解决这个问题，存在具有将翠绿色(E)元件添加到RGB的RGBE布置的成像元件。然而，在这样的布置中，降低了对亮度信号具有高贡献率的G像素，并且在信噪比(SNR)和颜色再现两方面存在问题。因此，这样的成像元件尚未变得普及。

引用列表

专利文献

专利文献1：JP 2004-200357A。

发明内容

技术问题

因此，本公开提供了一种实现具有高颜色再现性的成像的成像元件。

问题的解决方案

根据一个实施例，成像元件包括：像素，被配置为接收与三原色对应的光；以及分割像素，被配置为在像素中形成光接收单元。分割像素包括：被配置为在接收三原色中的第一颜色的光的像素中接收第一颜色的光的分割像素；被配置为在接收三原色中的第二颜色的光的像素中接收第二颜色的光的分割像素；被配置为接收三原色中的第三颜色的光的像素中接收第三颜色的光的分割像素；以及被配置为在接收三原色中的任一种颜色的光的像素中接收与三原色中的任一种颜色不同的第四颜色的光的分割像素。第四颜色的光的光谱在第一颜色、第二颜色和第三颜色的颜色匹配函数中的负值的绝对值比其他区域大的区域中具有最大值。

可以在像素中设置2×2或更多个分割像素。

三原色可以是RGB(红色、绿色、蓝色)，第四颜色的颜色匹配函数可以在520nm±10nm的波长范围内具有最大值，并且接收第四颜色的光的分割像素的数量可以小于接收G光的分割像素的数量。

第四颜色可以是翠绿色，并且接收第四颜色的光的分割像素可以是包括在接收R光的像素中的分割像素中的至少一个分割像素。

可以以接收翠绿色光的分割像素的数量等于或小于接收R光的分割像素的数量的比例设置接收翠绿色光的分割像素。

在接收R光的像素中可以设置至少2×2个分割像素，并且接收翠绿色光的分割像素可以是接收R光的像素中的分割像素中的一个。

在接收R光的像素中可以设置至少2×2个分割像素，并且可以在接收R光的像素中的分割像素中沿对角线方向设置接收翠绿色光的分割像素。

在接收R光的像素中可以设置3×2或更多个分割像素，并且接收R光的分割像素的重心可以与接收翠绿色光的分割像素的重心对准。

可以使用来自接收翠绿色光的分割像素的输出来校正来自接收R光的分割像素的输出。

成像元件可以进一步包括：模数转换电路，其被配置为获取从分割像素输出的模拟信号并且将该模拟信号转换为数字信号，并且在模数转换电路中，可以在相反方向上对R光信号和翠绿色光信号进行计数。

第四颜色可以是翠绿色，并且接收第四颜色的光的分割像素可以是包括在接收B光的像素中的分割像素中的至少一个分割像素。

可以使用来自接收翠绿色光的分割像素的输出来校正来自接收B光的分割像素的输出。

像素可以包括片上透镜，并且设置在包括接收第四颜色的光的分割像素的像素中的片上透镜可以具有与设置在其他像素中的片上透镜的形状不同的形状。

像素可以包括片上透镜，并且设置在包括接收R光和翠绿色光的分割像素的像素中的片上透镜可以具有与设置在接收G光和B光的分割像素中的片上透镜的形状不同的形状。

像素可以包括片上透镜，并且片上透镜可以被设置为覆盖包括接收R和翠绿色光并且以垂直和水平对称布置排列的分割像素的像素中的所有分割像素。

像素可以包括片上透镜，并且设置在包括接收B光和翠绿色光的分割像素的像素中的片上透镜可以具有与设置在接收G光和R光的分割像素中的片上透镜的形状不同的形状。

像素可以包括片上透镜，并且片上透镜可以被设置为覆盖包括接收B光和翠绿色光并且以垂直和水平对称布置排列的分割像素的像素中的所有分割像素。

根据一个实施例，成像装置包括上述任何一个成像元件。

根据一个实施例，电子装置包括上述任何一个成像元件，以及在成像元件的光接收表面侧具有显示表面并且其中嵌入有成像装置的显示器。

根据一个实施例，电子装置包括：像素，被配置为接收与RGB三原色对应的光；2×2或更多个分割像素，被配置为在像素中形成光接收单元；以及显示器，在像素的光接收表面侧具有显示表面，并且其中嵌入有像素，其中，分割像素包括：被配置为在接收三原色中的第一颜色的光的像素中接收第一颜色的光的分割像素；被配置为在接收三原色中的第二颜色的光的像素中接收第二颜色的光的分割像素；被配置为接收三原色中的第三颜色的光的像素中接收第三颜色的光的分割像素；以及被配置为在接收三原色中的任一种颜色的光的像素中接收与三原色中的任一种颜色不同的翠绿色光的分割像素，并且翠绿色光的光谱在520nm±10nm的波长范围内具有最大值，并且接收翠绿色光的分割像素的数量小于接收G光的分割像素的数量。

显示器可以由包括吸收在450nm或更小的波长区域内的光的材料的材料制成。

显示器可以由包含聚酰亚胺的材料制成。

可以基于来自接收翠绿色光的分割像素的输出来校正来自接收R光的分割像素的输出。

可以基于来自接收翠绿色光的分割像素的输出来校正来自接收B光的分割像素的输出。

电子装置可以进一步包括：模数转换电路，其被配置为将从分割像素输出的模拟信号转换为数字信号；以及信号处理电路，被配置为对模数转换电路的输出执行信号处理，并且信号处理电路可以基于数字信号提高光感测精度。

信号处理电路可以提高颜色再现性。

信号处理电路可以执行光源估计。

电子装置可以是成像装置。

电子装置可以是医疗装置。

电子装置可以是智能电话。

根据一个实施例，成像元件包括：像素；以及像素组，在该像素组中，用于接收与三原色对应的光的像素以预定布置排列，其中，该像素包括：被配置为在接收三原色中的第一颜色的光的像素组中接收第一颜色的光的像素；被配置为在接收三原色中的第二颜色的光的像素组中接收第二颜色的光的像素；被配置为在接收三原色中的第三颜色的光的像素组中接收第三颜色的光的像素；以及被配置为在接收三原色中的任一种颜色的光的像素组中接收与三原色中的任一种颜色不同的第四颜色的光的像素，并且第四颜色的光的光谱在第一颜色、第二颜色和第三颜色的颜色匹配函数中的负值的绝对值比其他区域大的区域中具有最大值。

像素可以与相邻像素形成像素对，并且成像元件可以进一步包括针对像素对形成的片上透镜。

三原色可以是RGB(红色、绿色、蓝色)，第四颜色的颜色匹配函数可以在520nm±10nm的波长范围内具有最大值，并且用于接收第四颜色的光的像素的数量可以小于用于接收G光的像素的数量。

第四颜色可以是翠绿色，并且接收第四颜色的光的像素可以包括在接收R光的像素组中。

在接收R光的像素组中，接收R光的像素的重心可以与接收翠绿色光的像素的重心对准。

第四颜色可以是翠绿色，并且接收第四颜色光的像素可以包括在接收B光的像素组中。

根据一个实施例，成像元件包括上述成像元件。

根据一个实施例，电子装置包括上述成像元件。

成像元件可以由层叠半导体形成。

该半导体可以以CoC的形式层叠。

该半导体可以以CoW的形式层叠。

该半导体可以以WoW的形式层叠。

附图说明

图1是示意性地示出根据实施例的电子装置的外部视图。

图2是示意性地示出根据一个实施例的像素阵列的示图。

图3是示意性地示出根据一个实施例的像素的示图。

图4是示出RGB颜色匹配函数的曲线图。

图5是示意性地示出根据一个实施例的像素的示图。

图6是示意性地示出根据一个实施例的像素的示图。

图7是示意性地示出根据一个实施例的像素的示图。

图8是示意性地示出根据一个实施例的像素的示图。

图9是示意性地示出根据一个实施例的像素的示图。

图10是示意性地示出根据一个实施例的像素的示图。

图11是示意性地示出根据一个实施例的像素的示图。

图12是示意性地示出根据一个实施例的像素的示图。

图13是示意性地示出根据一个实施例的像素的示图。

图14是示意性地示出根据一个实施例的像素的示图。

图15是示意性地示出根据一个实施例的像素的示图。

图16是示意性地示出根据一个实施例的像素的示图。

图17是示意性地示出根据一个实施例的像素的示图。

图18是示意性地示出根据一个实施例的像素的示图。

图19是示意性地示出根据一个实施例的像素的示图。

图20是示出根据一个实施例的成像元件的配置的框图。

图21是示出根据一个实施例的成像元件中的处理的示图。

图22是示出根据一个实施例的AD转换的示图。

图23是示出根据一个实施例的成像元件的实现示例的示图。

图24是示出根据一个实施例的成像元件的实现示例的示图。

图25是示出根据一个实施例的成像元件的实现示例的示图。

图26是示意性地示出根据一个实施例的像素的示图。

图27是示出根据一个实施例的校正的示例的曲线图。

图28是示意性地示出根据一个实施例的像素的示图。

图29A是示意性地示出根据一个实施例的像素的示图。

图29B是示意性地示出根据一个实施例的像素的示图。

图29C是示意性地示出根据一个实施例的像素的示图。

图30是示意性地示出根据一个实施例的像素的示图。

图31是示意性地示出根据一个实施例的像素的示图。

图32是示意性地示出根据一个实施例的像素的示图。

图33是示意性地示出根据一个实施例的像素的示图。

图34A是示出从车辆的后方到前方的车辆内部的视图。

图34B是示出从车辆的斜后方到斜前方的车辆内部的视图。

图35A是作为电子装置的第二应用示例的数码相机的正视图。

图35B是数码相机的后视图。

图36A是作为电子装置的第三应用示例的HMD的外部视图。

图36B是智能眼镜的外部视图。

图37是作为电子装置的第四应用示例的TV的外部视图。

图38是作为电子装置的第五应用示例的智能电话的外部视图。

具体实施方式

在下文中，将参照附图描述本公开的实施例。附图用于解释，并且实际设备中的每个部件的配置的形状、尺寸、比率等不必如图中所示。另外，由于附图以简化的方式绘制，因此假设适当地提供除了附图中所示的配置之外的实现所需的配置。

(第一实施例)

图1是示意性地示出根据实施例的电子装置的外部视图和截面图。电子装置1是具有显示功能和拍摄功能两者的任何电子装置，诸如智能电话、移动电话、平板终端或PC。电子装置1不限于这些示例，并且可以是其他装置，诸如成像装置(诸如相机)、医疗装置和检查装置。如图所示，为方便起见，定义第一方向、第二方向和第三方向。电子装置1具有成像元件2、部件层3、显示器4、盖玻璃5。

例如，如在外部视图中所示，电子装置1包括显示区域1a和边框1b。电子装置1在显示区域1a上显示图像、视频等。边框1b有时设置有前置相机以在显示表面侧获取图像，但现在，通常需要缩窄边框1b所占用的区域。因此，根据本实施例的电子装置1在显示器下方包括成像元件2，并且缩窄由边框1b在显示表面侧占用的区域。

成像元件2包括光接收元件和对从光接收元件输出的信号执行信号处理的信号处理电路。成像元件2基于由光接收元件接收的光获取关于图像的信息。成像元件2可以例如通过由多个层形成的半导体来实现。稍后将描述成像元件2的细节。虽然在图中成像元件2是圆形的，但是不限于此，并且可以是任何形状，诸如矩形。

部件层3是成像元件2所属的层。部件层3例如包括用于在电子装置1中实现除了成像之外的处理的各种模块和装置。

显示器4是用于输出图像、视频等的显示器。如截面图所示，显示器4在其背面侧具有成像元件2和部件层3。此外，如图所示，成像元件2被设置为嵌入在显示器4中。

该显示器4可以由包括例如由于其特性而吸收在450nm或更小的波长区域内的光的材料的材料制成。吸收450nm或更小的波长区域内的光的材料例如为聚酰亚胺。聚酰亚胺是吸收450nm或更小的波长区域、即蓝色波长区域内的光的材料。因此，如果成像元件2嵌入显示器4中，则成像元件2将难以接收蓝色波长区域内的光的可能性增加。因此，期望在在成像元件2中适当地提高蓝光的强度。

盖玻璃5是保护显示器4的玻璃层。偏振层可以设置在显示器4与盖玻璃5之间，使得用户可以适当地观看从显示器4输出的光，并且可以设置任意类型的层(压敏、静电等)，使得显示区域1a可以用作触摸面板。除了这些之外，任意层可以以成像元件2适当地执行拍摄操作和显示器4适当地执行显示操作的形式设置在显示器4与盖玻璃5之间。

在以下描述中，没有描述半导体层等中的光接收元件、透镜、电路等的具体实现，这是因为它不是本公开的本质配置。这些部件可以在从附图、描述等中读取的形状、配置等中使用任意方法来实现。例如，除非另有说明，否则成像元件的控制、信号的获取等可以通过任意方法实现。

图2是示出设置在成像元件2中的像素阵列的示图。成像元件2具有作为光接收区域的像素阵列20。像素阵列20包括多个像素200。像素200例如沿着第一方向和第二方向以阵列布置。注意，方向是作为示例给出的，并且不限于第一方向和第二方向。例如，方向可以偏移45度，或者方向可以偏移任何其他角度。

像素200是光接收像素，并且每个像素200可以被配置为接收预定颜色的光。例如，通过像素200获得的光的颜色可以由红色(R)、绿色(G)以及蓝色(B)的三原色表示。在本实施例中，在像素中设置接收作为第四颜色透过与RGB的三原色中的任何一种颜色不同的光谱的翠绿色的光的区域。

图3是提取像素200的一部分的示图。每个像素200具有多个分割像素202。例如，如图3所示，像素200具有2×2个分割像素202。实线表示像素200的边界，点划线表示分割像素202的边界。

在本公开中，分割像素202例如指示通过分割作为成像单位的像素200中的光接收元件而获得的区域。像素200具有每个像素200的像素电路，并且成像元件2基于该像素电路的输出获取每个像素的信息。属于同一像素200的分割像素202通过与像素200对应的像素电路输出信号。例如，属于同一像素200的分割像素202共享形成浮置扩散和其他开关的晶体管、用于存储电力的电容器等，并且将模拟信号输出至其他电路。以这种方式，分割像素202是不具有独立的像素电路，而是由针对每个像素200提供的像素电路控制，并且可以适当地执行各个输出的单位。即，分割像素202不是简单的小像素200的集合，而是由分割像素200的光接收区域而获得的区域表示的单位。

像素200配置有接收三原色光的光接收元件，如上所述。例如，像素200包括接收R光的像素、接收G光的像素以及接收B光的像素。例如，通过针对每个像素200或每个分割像素202形成滤色片或者通过针对每个颜色形成有机光电转换膜来设置由像素200接收的光的颜色。

如图3所示，作为本实施例的示例，接收R光的像素200包括接收R光的分割像素202和接收翠绿色(下文中有时被称为E)光的分割像素202。此外，作为示例，接收G光的像素200可以由接收G光的分割像素202组成，并且接收B光的像素200可以由接收B光的分割像素202组成。

接收R、G和B光的像素200例如以拜耳布置排列。不限于此，可以使用其他布置。不管布置如何，期望以比接收G光的分割像素202更小的比例设置接收E光的分割像素202。这是因为G光对亮度信息有很大影响，并且不期望降低捕获图像等中的亮度信息。

此外，类似于接收G光的分割像素202，期望以比接收B光的分割像素202小的比例和以等于或小于接收R光的分割像素202的比例包括接收E光的分割像素202。

例如，接收E光的分割像素202是属于接收R光的像素200的分割像素202中的一个，并且如图所示布置。

图4是示出RGB颜色匹配函数的曲线图。如该曲线图所示，当用颜色匹配函数表示RGB的三原色时，R颜色匹配函数在520nm的波长区域中具有较大的负值。当使用这样的滤光器时，在该波长区域中颜色再现性可能劣化。

另一方面，翠绿色在520nm±10nm具有最大值(峰值)的光谱。因此，通过用从接收E光的分割像素202输出的信号校正从接收R光的分割像素202输出的信号，可以增强R颜色匹配函数的负值区域中的信号。为此，如图3所示，期望属于接收R光的像素200的分割像素202的一部分是接收E光的分割像素202。因此，不限于翠绿色，分割像素202可以接收具有在该区域中具有峰值的光谱的其他颜色的光。

通过在接收R光的像素200中设置接收E光的分割像素202，在与接收R光的分割像素202相同或邻近区域中的光可以作为不同颜色的信号被接收。因此，通过以这种方式设置用于接收E光的分割像素202，当E信号用于校正R信号时，可以减少光接收位置的未对准，从而提高颜色再现性。

例如，如果像素本身接收E光，则在接收R光的像素与接收E光的像素之间发生未对准，并且在执行校正时需要考虑该未对准，或者校正精度较低。因此，根据处理，经常发生伪色。另一方面，如在本实施例中，通过在用于接收R光的像素200中设置用于接收E光的分割像素202，可以抑制由于诸如伪色的未对准引起的校正误差的影响。

此外，通过在用于接收R光的像素200中设置用于接收E光的分割像素202，可以在像素电路中与用于接收R光的分割像素202共享浮置扩散。因此，可以在模数转换电路(下文被称为ADC：模数转换器)中输出数字信号时校正R信号。

例如，在ADC的计数器电路中，来自接收E光的分割像素202的输出在负侧计数，并且来自接收R光的分割像素202的输出被加到该负值。以这种方式，可以获得校正R信号的ADC的输出。可以颠倒该处理，并且可以加上R信号，并且然后可以减去E信号。

作为另一示例，当在ADC中执行相关双采样(CDS)时，来自在P相中接收E光的分割像素202的信号可以在负侧计数，并且可以输出来自在D相中接收R光的分割像素202的信号。

以这种方式，通过在接收R光的像素200中设置接收E光的分割像素202，可以提高信号处理的效率和精度。

图5是示出分割像素202的布置的另一示例的示图。以这种方式，在接收R光的像素200中，接收E光的分割像素202可以被设置为对角分量。

图6是示出分割像素202的布置的另一示例的示图。以这种方式，在接收R光的像素200中，接收E光的分割像素202可以在与图5中的方向相反的方向上被设置为对角分量。

当像素200设置有2×2个分割像素202时，通过对角地设置用于接收E光的分割像素202，在用于接收R光的像素200中，可以使用于接收R光的分割像素202的重心和用于接收E光的分割像素202的重心对准。利用该布置，可以进一步抑制未对准的影响，诸如上述的伪色的发生。即使在这些布置中，接收R光的分割像素202的比例也可以保持与接收E光的分割像素202的比例相同的值。

图7是示出又一示例的示图。如该图所示，为了增强R信号，可以在接收G光的像素200中设置接收由于接收E光的分割像素202而减少的R光的分割像素202。

不同于图3和图5至图7，像素200可以不被分割为2×2。可以进行更多的分割。即使当像素200中设置大于2×2个分割像素202的数量时，也期望接收R光的分割像素202的重心与接收E光的分割像素202的重心对准。

图8是示出像素200被分割为3×2的示例的示图。如图8所示，可以在像素200内设置3×2个分割像素202。同样在这种情况下，接收R光的像素200可以以等于或小于接收R光的分割像素202的比例的比例包括接收E光的分割像素202。此外，如在图5等的情况下，像素200可以包括分割像素，使得接收R光的分割像素202的重心与接收E光的分割像素202的重心对准。

图9是示出像素200被分割为3×3的示例的示图。如该图所示，像素200可以被分割为3×3个分割像素202。在接收R光的像素200中，中央像素可以是接收E光的分割像素202。在这种情况下，在像素200中，接收R光的分割像素202的重心可与接收E光的分割像素202的重心对准。

图10是示出像素200被分割为3×3的另一示例的示图。像素200被分割为3×3个分割像素202。在接收R光的像素200中的分割像素202之中，作为对角分量的分割像素202可形成为接收E光的分割像素202。同样在这种情况下，在像素200中，接收R光的分割像素202的重心可以与接收E光的分割像素202的重心对准。

图11是示出像素200被分割为3×3的又一示例的示图。在接收R光的像素200中，接收R光的分割像素202可布置在中央和对角线上，并且其他分割像素202可为接收E光的分割像素202。同样在这种情况下，在像素200中，接收R光的分割像素202的重心可与接收E光的分割像素202的重心对准。

在图9至图11中的任一示例中，在接收R光的像素200中，接收R光的分割像素202的比例高于接收E光的分割像素202的比例。

像素200可包括更多数量的分割像素202，例如4×4、5×5或更多个分割像素。即使在这些情况下，如上所述，在接收R光的像素200中，期望接收R光的分割像素202的比例高于接收E光的分割像素202的比例。类似地，在像素200中，期望接收R光的分割像素202的重心与接收E光的分割像素202的重心对准。作为同时满足两者的条件，例如，如图5和图10所示，在接收R光的像素200中，位于对角处的分割像素202可用作接收E光的分割像素202。如每个图中所示的延伸也是可能的。

虽然已使用多个示例描述了所有像素200设置有分割像素202的情况，但是本发明不限于此。

图12是示出根据一个实施例如何分割像素200的示图。如该图所示，例如，仅接收R光的像素200可具有分割像素202，接收G和B光的像素200可不被分割。通过以这种方式形成像素200，可以减小在接收G和B光的像素200中被分割为分割像素202的影响。可以类似地实现除图5之外的其他示例。

接下来，将描述像素200设置有片上透镜的情况。成像元件2可以可选地包括用于像素200的片上透镜。像素200中的片上透镜的形状也可根据要获取的信息而改变。即，像素200可具有任意形状的片上透镜。

图13是示出图5的示例中的具有片上透镜的示例的示图。如图所示，像素200可包括片上透镜204。

例如，接收G和B光的像素200可设置有片上透镜以覆盖整个像素200。另一方面，针对接收R光的像素200，可针对接收R光的分割像素202和接收E光的分割像素202中的每一个设置片上透镜204。通过以这种方式设置片上透镜204，在接收G和B光的像素200中，成像元件2可以适当地将在该区域中接收的光转换为信号。此外，在接收R和E光的分割像素202中，成像元件2可以适当地获取像素200中的每个区域的光强度。

图14是示出片上透镜204的不同布置的示图。如该图所示，接收G和B光的像素200还可设置有片上透镜204，以使光会聚在每个分割像素202上。

即，用于接收R和E光的分割像素202和用于接收G和B光的分割像素202的片上透镜204可以具有与图14所示的相同的形状和布置，或者可以与图13所示的不同。

图15是示出片上透镜204的又一示例的示图。如该图所示，与图14相反，接收R和E光的分割像素202的形状可以是覆盖整个像素200的形状。例如，当在像素200内对角地设置用于接收R和E光的分割像素202时，这样的形状和布置也是可能的。

图16是示出当像素200被分割为3×3时具有片上透镜204的示例的示图。如在图13的情况下，在接收R光的像素200中，可以针对每个分割像素202设置片上透镜204。另一方面，在接收G和B光的像素200中，可以针对每个像素200设置片上透镜204。

图17和图18是示出当像素200被分割为3×3时的片上透镜204的布置的另一示例的示图。

以这种方式，可以将图13、图14、图15等所示的片上透镜204的布置扩展到像素200的3×3分割或更多。

图19是当设置片上透镜204时不同于上面的分割像素202的布置的示例。如图19所示，接收R光的像素200可具有相邻的分割像素202，例如，接收R光的两个水平相邻的分割像素202和接收E光的两个水平相邻的分割像素202。

在这样的布置中，如图所示，一个片上透镜204被布置为覆盖接收R光的像素200内的接收R光的两个分割像素202。一个片上透镜204可以被布置为覆盖接收E光的两个分割像素202。因此，片上透镜204可以形成为基于矩形形状的形状而不是基于方形形状的形状。

例如，通过针对2×1分割像素202使用片上透镜204，可以获得接收R光的像素200内的相位差。

如上所述，根据本实施例，在具有像素被分割的配置的成像元件中，在存在三原色的颜色匹配函数的负值较大的区域的情况下，通过在与该区域对应的波长区域中布置具有峰值的第四颜色的分割像素，能够抑制依赖于光接收元件可以接收的光谱的各种影响。

例如，当使用RGB的三原色时，通过设置在这些颜色匹配函数的负值较大的520nm附近(例如，520nm±10nm的区域)具有峰值的翠绿色分割像素，可以抑制依赖于R颜色匹配函数的负值区域的图像质量的劣化。另外，通过在接收R光的像素中布置接收翠绿色光的分割像素，能够共享像素电路。另外，可以使翠绿色的分割像素的重心与接收R光的分割像素对准，并且可以抑制诸如伪色的未对准的影响。

接下来，将描述第一实施例的成像元件2的信号处理。

图20是示出成像元件2的配置的示例的框图。成像元件2例如包括光接收单元210、存储单元212、控制单元214、信号处理器216和图像处理器218。成像元件2是适当地处理由光接收单元210接收的光并将其转换为图像信息等并输出该信息的元件。这些单元中的每一个可被实现为在适当位置处的电路。

光接收单元210接收来自外部的光并且基于所接收的光的强度输出信号。光接收单元210包括上述像素阵列20，并且可以进一步包括允许光适当地进入像素阵列20的光学系统。

存储单元212存储成像元件2的每个部件所需的数据、或者从每个部件输出的数据。存储单元212可以包括作为任意合适的瞬态或非瞬态存储介质的存储器、存储等。

控制单元214控制光接收单元210等。例如，控制单元214可以基于来自用户的输入执行控制，或者可以基于预设条件执行控制。此外，控制单元214可基于来自信号处理器216、图像处理器218等的输出执行控制。

信号处理器216适当地处理从光接收单元210输出的信号并且输出经处理的信号。信号处理器216可以例如包括上述ADC。除此之外，可以执行诸如信号钳位处理的处理。例如，信号处理器216使用ADC将由光接收单元210获取的模拟信号转换为数字信号，并且将该数字信号输出至图像处理器218。对于来自用于接收R光的像素200的模拟信号，如上所述，可以通过控制计数器的输入信号来输出反映来自用于接收E光的分割像素202的信号的数字信号。

作为另一示例，由接收E光的分割像素202获得的信号可以与R信号分开输出。在这种情况下，R信号可以是使用E信号校正的信号。即，信号处理器216可以输出校正后的R信号和G、B和E信号。

此外，信号处理器216可以基于从用于接收E光的分割像素202输出的信号校正从用于接收B光的像素200输出的信号。通过执行这样的校正，即使当成像元件2设置在显示器4的下方时，也可以适当地校正由于吸收而强度减弱的蓝色光的成分。

图像处理器218基于从信号处理器216输出的信号生成并输出图像信号和视频信号。例如，图像处理器218可使用由信号处理器216输出的R、G、B和E信号来提高图像的颜色再现性。还可以基于由每个光接收元件接收的每种颜色的光的强度实现光源估计。可以在信号处理器216而不是图像处理器218中执行这些处理中的一些或全部。

图像处理器218可例如使用通过机器学习训练的模型来使用R、G、B和E信号中的每一个来实现颜色再现性改进处理。在这种情况下，运算处理可具有使用处理电路来具体实现通过软件的信息处理的形式。例如，可以通过基于存储在存储单元212中的参数执行存储在存储单元212中的程序的处理电路或执行软件处理的专用处理电路来实现软件处理。

上述成像元件还可用于从光谱曲线获取血液中的氧饱和度变化的电子装置中。血液中的氧饱和度的光谱曲线在所接收的B、E和G的光中不具有大的差异，并且在该区域中校正光源影响。在这种情况下，通过接收E光，可以使用在具有三种类型的峰值的波长区域中获取的信号执行校正，并且与从两种类型的信号B和G执行校正的情况相比，可以提高精度。该校正例如可以由信号处理器216或图像处理器218执行。

另一方面，在R区域中，由于输出开始取决于氧饱和度而偏离，因此通过从该特征获得氧饱和度，可以在可见光中估计氧饱和度。在这种情况下，可以部分地引入接收红外光的像素或分割像素。

当使用类似的电子装置来测量心率时，必须实时捕获血液颜色的变化。即使在这种情况下，也可以通过实现光源估计和外部光去除来提高精度。

以这种方式，基于从信号处理器216(或者图像处理器218)输出的数字信号，可以执行用于提高所接收的光的感测精度的处理，例如，颜色再现性提高、光源估计、外部光去除。

注意，三原色和第四颜色的组合不限于上述。如上所述，例如，可以设置能够充分再现可见光区域的三原色。在使用这些三原色的颜色再现中，如果这些三原色的颜色匹配函数的负值可以影响高精度颜色再现的执行，则可以设置可以覆盖负值区域的第四颜色。

图21是更具体地示出成像元件的数据流的示图。例如，每个数据处理由图20中的光接收单元210到图像处理器218中的适当部件执行。

像素输出由像素的光接收元件光电转换的模拟信号。该模拟信号在ADC中被适当地转换为数字信号。如上所述，在AD转换期间，该数字信号可通过从R光的接收光强度减去翠绿色光的接收光强度来获得。

图22是示出如何执行该AD转换的示图。当在AD转换期间从R强度减去翠绿色强度时，如该图所示，在E读出时段进行向下计数，在R读出时段进行向上计数。通过以这种方式执行减法处理，可以在AD转换时基于执行历史E光的接收光强度来校正R光。

例如，当CDS具有图22所示的时序图的一部分时，复位时段在E读出时段之前开始，并且达到复位电平。通过从该复位电平向下计数来执行E读出。随后，开始数据读出时段，并且通过向上计数执行R读出。通过以这种方式处理，在AD转换中，可以从计数器输出通过从R信号减去E信号而获得的值。当然，其他实现方式在CDS中也是可能的，并且在除了CDS之外的情况下，可以通过向下计数来执行E读出。

当E信号乘以增益时，例如，用于对E信号进行计数的斜坡信号被控制为具有与R信号的斜率不同的斜率，或者指示E信号的计数定时的时钟信号的频率可被控制。

当E信号的强度用于校正B信号的强度时，可以执行类似的处理。即，通过考虑E读出时段期间的向上计数和B读出时段期间的向上计数，可以在AD转换期间使用E信号来校正B信号。

当在AD转换期间使用E信号执行校正时，ADC执行如上所述的处理。

一旦ADC转换为数字信号，对该数字信号执行校正。该信号校正可以在外部执行，而不是在成像元件内执行。可以在该阶段执行对E信号的校正。

与是否在成像元件中执行校正无关，如上所述，可将E信号用于校正的三种颜色信号输出至传感器，并且可将包括E信号的四种颜色信号输出至外部传感器。

执行白平衡调整、线性矩阵处理和YUV转换并且作为适当的图像信号输出。如果在传感器输出之前不执行校正，则可在白平衡处理、线性矩阵处理和YUV处理期间执行使用E信号的校正。

应注意，上述处理作为示例给出，并且不限于该处理流程。

图23是示出设置有成像元件2的基板的示例的示图。基板30包括像素区域300、控制电路302和逻辑电路304。如图30所示，像素区域300、控制电路302和逻辑电路304可以设置在同一基板30上。

像素区域300例如是设置有上述像素阵列20等的区域。上述像素电路等可以适当地设置在该像素区域300中，或者可以设置在基板30的另一区域(未示出)中。控制电路302包括控制单元214。逻辑电路304(例如，信号处理器216的ADC)可以设置在像素区域300中，并且可以将转换后的数字信号输出至逻辑电路304。此外，图像处理器218可以设置在该逻辑电路304中。此外，信号处理器216和图像处理器218的至少一部分可以安装在设置在与基板30不同的位置处的另一信号处理芯片上，而不是安装在该芯片上，或者可以安装在另一处理器上。

图24是示出设置有成像元件2的基板的另一示例的示图。作为基板，设置第一基板32和第二基板34。第一基板32和第二基板34具有层叠结构，并且可以通过连接部分(诸如通孔)适当地将信号发送至彼此并且从彼此接收信号。例如，第一基板32可包括像素区域300和控制电路302，并且第二基板34可包括逻辑电路304。

图25是示出设置有成像元件2的基板的另一示例的示图。作为基板，设置第一基板32和第二基板34。第一基板32和第二基板34具有层叠结构，并且可以通过连接部分(诸如通孔)适当地将信号发送至彼此和从彼此接收信号。例如，第一基板32可包括像素区域300，并且第二基板34可包括控制电路302和逻辑电路304。

此外，在图23至图25中，可以在任何区域中设置存储区域。除了这些基板之外，可以设置用于存储区域的基板，并且该基板可以设置在第一基板32与第二基板34之间或者第二基板34的下方。

多个层叠的基板可通过如上所述的通孔彼此连接，或者可通过诸如微倾倒(micro-dumping)的方法连接。这些基板可以通过任何方法诸如芯片上芯片(CoC)、晶圆上芯片(CoW)或晶圆上晶圆(WoW)层压。

(修改)

图26是示出根据一个实施例的像素布置的修改的示图。如该图所示，代替R像素，可以在B像素的分割像素202中设置用于接收E光的分割像素202。在成像元件2中使用E信号校正B信号的情况下，通过采用这样的配置，能够调整同一像素200内的光的强度。

例如，已知包含聚酰亚胺作为材料的显示器4在500nm或更小的波长区域内，尤其在蓝色波长区域内具有较大的信号损耗。因此，E信号可用于校正该波长区域内的信号。

具体地，可以通过简单地将E信号值与B信号值相加来补偿损耗。

此外，当通过将B信号乘以增益来校正输出时，损耗较小的520nm附近的波长区域内的B的输出被过度校正。结果，可能失去光谱平衡。为了维持该光谱平衡，可以从通过将B信号的输出值乘以增益而获得的值中减去通过将E信号的输出值乘以增益而获得的值。

图27是示出当使用聚酰亚胺作为材料时波长的相对输出值的曲线图。虚线表示聚酰亚胺的透射率。细实线示出当不透射通过聚酰亚胺时构成B光的波长的输出。点划线示出当透射通过聚酰亚胺时B波长的衰减输出。细线示出虚线的输出加倍(乘以增益)的曲线。粗实线表示通过从细线的输出中减去以恒定速率形成E光的波长的输出而获得的输出。

如虚线所示，用于显示器的聚酰亚胺引起蓝色波长区域的损耗。因此，为了补偿接收蓝色波长区域内的光(即，输出B信号)的像素200的输出(细实线)，如细线所示，在信号处理中将增益添加到B信号。

另一方面，当以这种方式将信号乘以增益时，过度校正由于聚酰亚胺引起的损耗很小的500nm至550nm的波长区域中的输出。由于该过度校正的波长区域也是翠绿色波长区域，因此可以通过从点划线的输出以适当的比例减去E信号来调整光谱形状。

以这种方式，可以使用E信号校正接收B光的像素200的输出。在这种情况下，如图26所示，更期望在用于接收B光的像素200中设置用于接收E光的分割像素202。

当然，图26被示出为示例，并且与接收R光的像素200设置有接收E光的分割像素202的情况相似，像素200可被配置为如图5至图19所示，或者如图30至图32所示，这将在后面描述。

图28是示出像素布置的另一示例的示图。如该图所示，接收R光的像素200和接收B光的像素200中的每一个可设置有接收E光的分割像素202。在这种情况下，来自设置在每个像素200中的E分割像素202的输出可以用于R校正和B校正。

图29A是示出像素布置的又一示例的示图。由像素200中的分割像素202获得的信号的颜色可以不是三种颜色。例如，除了四种或更多种颜色之外，还可设置E分割像素202。

作为非限制性示例，如图29A所示，除了接收除了三原色之外的互补色的分割像素202之外，还可以设置接收E光的分割像素202。

例如，如上部图所示，在接收R光的像素200中，成像元件2包括接收R光的分割像素202和接收E光的分割像素202。在接收G光的像素200中，成像元件2包括接收G光的分割像素202和接收黄色(Ye)光的分割像素202。在接收B光的像素200中，成像元件2包括接收B光的分割像素202和接收青色(Cy)光的分割像素202。因此，三原色的互补色可适当地设置为分割像素202。

作为另一示例，如下部图所示，在接收R光的像素200中，成像元件2包括接收R光的分割像素202和接收品红色(Mg)光的分割像素202。在接收G光的像素200中，成像元件2包括接收G光的分割像素202和接收Ye光的分割像素202。在接收B光的像素200中，成像元件2包括接收B光的分割像素202和接收E光的分割像素202。以这种方式，用于接收E光的分割像素202可以设置在用于接收B光的像素200中而不是如在上述实施例中的用于接收R光的像素200中。

图29B是示出像素布置的又一示例的示图。如图28所示，接收R光的像素200和接收B光的像素200中的每一个可设置有接收E光的分割像素202。即，在接收R光的像素200中，成像元件2包括接收R光的分割像素202、接收Mg光的分割像素202、以及接收E光的分割像素202。在接收G光的像素200中，成像元件2包括接收G光的分割像素202和接收Ye光的分割像素202。在接收B光的像素200中，成像元件2包括接收B光的分割像素202、接收Cy光的分割像素202、以及接收E光的分割像素202。

信号处理器216可以通过使用互补色光的接收结果来校正在接收颜色的波长区域中难以获得的波长区域中的光的强度。为此，如这些图所示，可以设置包括接收互补色光的分割像素202的形式。如图29A所示，通过将接收互补色或E光的分割像素202的重心与接收三原色的光的分割像素202的重心对准，可以抑制校正中发生伪色。另一方面，如图29B所示，通过在用于接收R光的像素200和用于接收B光的像素200中设置用于接收E光的分割像素202，R和B信号可以由在像素200内接收E光的分割像素202校正。

图29C是示出像素布置的又一示例的示图。如该图所示，像素200可包括多于2×2个分割像素202，如上所述。

作为示例，在接收R的光的像素200中，成像元件2具有接收R光的分割像素202、接收Mg光的分割像素202、以及接收E光的分割像素202。在接收G光的像素200中，成像元件2包括接收G光的分割像素202和接收Ye光的分割像素202。在接收B光的像素200中，成像元件2包括接收B光的分割像素202、接收Cy光的分割像素202、以及接收E光的分割像素202。

以这种方式，当像素200设置有3×3个分割像素202时，例如，可以对准接收像素200中的每种颜色的光的分割像素202的重心的位置。结果，可以在颜色匹配函数中内插负值以提高互补色的颜色再现，并抑制由于这些校正引起的伪色的发生。

当然，这些示例作为非限制性示例给出，并且分割像素202的任何合适颜色布置可用于实现优点。

(第二实施例)

在上述第一实施例中，像素设置有分割像素，并且分割像素中的至少一个设置有接收与三原色不同的第四颜色的光的分割像素。相反，它们可以实现为像素的集合而不是分割像素。

图30是根据一个实施例的像素阵列20中的一些提取的像素的示图。像素200由点划线表示，并且由实线包围的像素200指示接收相同颜色的光的像素组206。这些像素可以实施为2×1对像素。

像素组206可以包括包含5个像素对(10个像素200)的像素组和包含4个像素对(8个像素200)的像素组。每个像素对设置有片上透镜204。如图所示，具有5个像素对的像素组206接收G色的光，具有4个像素对的像素组206接收R或B色的光。即使这样的像素200被组装为接收相同颜色的光，接收R光的像素组206的一部分也可以被配置为接收E光的像素200。

例如，如图30所示，在接收R光的像素组206中，位于中央的像素200可以被配置为接收E光的像素200。E和R的这种组合可以颠倒。

图31是示出类似地设置有像素组的配置中的另一组合的示图。如图31所示，在接收R光的像素组206中，接收E光的像素200可以位于中央，并且其他像素200可以配置为接收R光的像素200。在这种情况下，可以针对R光接收像素对和E光接收像素对中的每一个设置一个片上透镜204，并且设置在E光接收像素对的两端的像素200可设置有与其相应尺寸对应的片上透镜204。

图32是示出像素对的配置的另一示例的示图。如图32所示，所有像素组206可以由4个像素对(8个像素200)形成。如在图30的情况下，用于接收E光的像素200被设置在用于接收R光的像素组206中。通过以这种方式形成，可以使获取每种颜色的信号的像素200的数量的比例与上述实施例中相同。当然，在图32的形式中，可以采用接收图31的R光的像素组206的形式。此外，当以这种方式形成像素组时，成像元件2可形成为具有示图相对于图1中的第一方向和第二方向倾斜45度的配置。

在任一情况下，在接收R光的像素组206中，期望接收E光的像素200的比例小于或等于接收R光的像素200的比例。类似地，在同一像素组206中，期望接收R光的像素200的重心位置与接收E光的像素200的重心位置对准。

以这种方式，在作为接收相同颜色的光的像素200的集合并且根据预定规则排列的像素组206中，如在上述实施例中，属于接收R光的像素组206的像素200中的一部分可以是接收E光的像素200。当以这种方式形成像素对时，由于片上透镜204被布置在每个像素对中，因此可以使用来自属于同一像素组206的像素200的输出信号来获得图像面相位差。通过使用该相位差，例如，电子装置1可精确地检测散焦量，并且因此，可实现高精度的自动聚焦处理。此外，通过在接收R光的像素组206内设置接收E光的像素200，与上述实施例一样，可以提高颜色再现性并且可以提高感测精度。

此外，如图30和图31所示，可以使接收G光的像素200的数量大于接收R和B光的像素200的数量。通过以这种方式形成，可以更适当地获取拍摄图像等中的亮度信息，并且提高图像质量。

在本实施例中，如在上述实施例中，用于接收E光的像素200可被设置在用于接收B光的像素组206中，而不是用于接收R光的像素组206中。

在每个上述实施例中，已经使用像素等基本上具有相同尺寸的图描述了接收相应颜色的像素200、分割像素202和/或像素组206(下文被称为像素等)。然而，本公开中的形式不限于此。

E、Ye、Cy、Mg像素等的灵敏度可以比具有相同面积的三原色RGB像素等的灵敏度高。在这种情况下，E、Ye、Cy或Mg像素等的尺寸可以小于RGB像素等的尺寸。例如，像素的尺寸等可被视为单位光接收区域的面积。

作为另一示例，可以在E、Ye、Cy或Mg像素等的光接收表面上设置ND滤波器，或者可以改变曝光量。

相反，如果E、Ye、Cy、Mg像素等的灵敏度比RGB像素等的灵敏度低，E、Ye、Cy、Mg像素等的面积可以大于RGB像素等的面积。可选地，可以在RGB像素等中设置ND滤波器，并且E、Ye、Cy或Mg像素等的曝光量可以大于RGB像素等的曝光量。

图33是示出上述像素状态的非限制性示例的示图。示出接收E、Ye、Cy光的像素的灵敏度比接收RGB颜色的像素的灵敏度高的情况。例如，如图33所示，也可以使接收E、Ye、Cy光的像素的光接收区域比接收RGB光的像素的光接收区域窄。

在图33中，示出接收E、Ye、Cy光的像素的光接收区域具有相同的尺寸，但是不限于此。根据E、Ye、Cy的每个像素的光接收灵敏度，接收这些颜色的光的光接收区域可以具有不同的面积。

以这种方式，光接收区域的面积可根据每种颜色的像素的灵敏度而改变，并且可设置ND滤光器，或者可改变曝光量。当然，本发明不限于此，可以采用能够适当地控制灵敏度的配置。

(根据本公开的电子装置1或成像元件2的应用示例)

(第一应用示例)

根据本公开的电子装置1或成像元件2可用于各种目的。图34A和图34B是示出作为根据本公开的包括成像元件2的电子装置1的第一应用示例的车辆360的内部配置的示图。图34A是示出从车辆360的后方到前方的车辆360的内部的视图，并且图34B是示出从车辆360的斜后方到斜前方的车辆360的内部的视图。

图34A和图34B的车辆360具有中央显示器361、控制台显示器362、平视显示器363、数字后视镜364、方向盘显示器365以及后排娱乐显示器366。

中央显示器361在面向驾驶员座位368和乘客座位369的位置处布置在仪表板367上。图34示出了从驾驶员座位368侧向乘客座位369侧延伸的水平细长的中央显示器361的示例，但是中央显示器361的屏幕尺寸和布置位置是任意的。由不同传感器检测的信息可被显示在中央显示器361上。作为具体示例，中央显示器361可显示由图像传感器捕获的图像、由ToF传感器测量的到车辆前方和侧面的障碍物的距离的图像、由红外传感器检测的乘客的温度等。中央显示器361可例如用于显示安全相关信息、操作相关信息、生命日志、健康相关信息、认证/识别相关信息和娱乐相关信息中的至少一个。

安全相关信息包括诸如打瞌睡的检测、向外看的检测、乘坐同一车辆的儿童的恶作剧的检测、安全带是否系上、以及乘客被留下的检测的信息，并且是由叠加在中央显示器361的背面侧的传感器检测的信息。操作相关信息是与使用传感器检测的乘客的操作相关的手势。所检测的姿势可以包括对车辆360内的各种装置的操作。例如，检测空调、导航装置、AV装置、照明装置等的操作。生命日志包括所有乘客的生命日志。例如，生命日志包括乘坐期间每个乘员的行为的记录。通过获取和保存生命日志，可以检查事故时乘员的状况。健康相关信息是使用温度传感器检测的乘员的体温，并用于基于所检测的体温来估计乘员的健康状况。可替代地，图像传感器可以用于捕获乘员的面部的图像，并且可以从捕获的面部表情估计乘员的健康状况。此外，可以与乘客进行自动语音对话，并且可以基于乘客的回答的内容估计乘客的健康状况。认证/识别相关信息包括使用传感器执行面部认证的无钥匙进入功能，以及通过面部识别自动调节座位高度和位置的功能。娱乐相关信息包括由乘客使用传感器检测AV装置的操作信息的功能、利用传感器识别乘客的面部并利用AV装置提供适合于乘客的内容的功能。

控制台显示器362可以例如用于显示生命日志信息。控制台显示器362位于驾驶员座位368与乘客座位369之间的中央控制台370上的变速杆371附近。控制台显示器362还可显示由不同传感器检测的信息。此外，控制台显示器362可显示由图像传感器捕获的车辆周围环境的图像，或者可显示到车辆周围的障碍物的距离的图像。

平视显示器363虚拟地显示在驾驶员座位368前方的挡风玻璃372后面。平视显示器363可例如用于显示安全相关信息、操作相关信息、生命日志、健康相关信息、认证/识别相关信息和娱乐相关信息中的至少一个。由于平视显示器363通常虚拟地放置在驾驶员座位368的前方，因此平视显示器363适于显示与车辆360的操作直接相关的信息，诸如车辆360的速度和燃料(电池)水平。

由于数字后视镜364不仅可以示出车辆360的后方是什么，而且可以通过在数字后视镜364的背面侧叠加传感器来示出后座乘员，因此数字后视镜364可以用于例如显示生命日志信息。

方向盘显示器365位于车辆360的方向盘373的中央附近。方向盘显示器365可例如用于显示安全相关信息、操作相关信息、生命日志、健康相关信息、认证/识别相关信息和娱乐相关信息中的至少一个。具体地，由于方向盘显示器365位于驾驶员的手附近，因此适合于显示诸如驾驶员的体温的生命日志信息以及关于AV装置和空调装置的操作的信息。

后排娱乐显示器366附接到驾驶员座位368或乘客座位369的后侧，并且旨在由后排座位中的乘客观看。后排娱乐显示器366可例如用于显示安全相关信息、操作相关信息、生命日志、健康相关信息、认证/识别相关信息和娱乐相关信息中的至少一个。具体地，由于后排娱乐显示器366在后排乘员的前方，因此显示与后排乘员相关的信息。例如，可以显示关于AV装置或空调的操作的信息，或者可以显示通过利用温度传感器测量后排中的乘客的体温而获得的结果。

如上所述，通过将传感器叠加在电子装置1的背面侧，可测量到周围对象的距离。光学距离测量方法大致分为无源型和有源型。无源型通过接收来自对象的光而不将光从传感器投射到对象来测量距离。无源型包括镜头聚焦方法、立体声方法、单眼视觉方法等。有源型通过将光投射到对象上并且用传感器接收来自对象的反射光来测量距离。有源型包括光学雷达方法、有源立体声方法、光度立体声方法、摩尔纹形貌方法、干涉测量方法等。根据本公开的电子装置1可应用于这些距离测量方法中的任一个。通过使用叠加在根据本公开的电子装置1的背面侧的传感器，可执行上述无源或有源距离测量。

(第二应用示例)

包括根据本公开的成像元件2的电子装置1不仅可以应用于车辆中使用的各种显示器，而且可以应用于安装在各种电子装置上的显示器。

图35A是作为电子装置1的第二应用示例的数码相机310的正视图，并且图35B是数码相机310的后视图。图35A和图35B中的数码相机310示出具有可更换镜头121的单反相机的示例，但是它还可以应用于镜头121不可更换的相机。

利用图35A和图35B的相机，当摄影者握持相机主体311的握把313时，通过电子取景器315观看、确定构图、调整聚焦和按压快门，将捕获数据存储在存储器中。如图35B所示，在相机的后侧，设置用于显示拍摄数据等、实时图像等的监视器屏幕316和电子取景器315。在一些情况下，用于显示设置信息(诸如快门速度和曝光值)的子屏幕设置在相机的上表面。

通过将传感器叠加在用于相机的监视器屏幕316、电子取景器315、子屏幕等的背面侧，可以将其用作根据本公开的电子装置1。

(第三应用示例)

根据本公开的电子装置1还可被应用于头戴式显示器(在下文中被称为HMD)。HMD可以用于VR、AR、混合现实(MR)、替代现实(SR)等。

图36A是作为电子装置1的第三应用示例的HMD 320的外部视图。图36A的HMD 320具有用于佩戴以覆盖人眼的安装构件322。例如，该安装构件322通过钩在人耳上而固定。显示装置321设置在HMD 320的内部，并且HMD 320的佩戴者可以在显示装置321上可视地识别立体图像等。例如，HMD 320具有无线通信功能和加速度传感器，并且可以根据佩戴者的姿势和手势切换显示在显示装置321上的立体图像等。

可替代地，HMD 320可以设置有捕获佩戴者周围环境的图像的相机，并且显示装置321可以显示通过合成由相机捕获的图像和由计算机生成的图像获得的图像。例如，当相机叠加在由HMD 320的佩戴者视觉识别的显示装置321的背面侧时，佩戴者的眼睛周围的区域由该相机捕获，并且捕获图像在设置在HMD 320的外表面上的另一显示器上显示时，佩戴者周围的人可以实时掌握佩戴者的面部表情和眼睛移动。

可想到不同类型的HMD 320。例如，如图36B所示，根据本公开的电子装置1还可应用于在眼镜344上显示各种信息的智能眼镜340。图36B中的智能眼镜340具有主体部341、臂部342和镜筒部343。主体部341连接到臂部342。主体部341可从眼镜344拆卸。主体部341包括用于控制智能眼镜340的操作的控制板和显示单元。主体部341和镜筒经由臂部342彼此连接。镜筒部343经由臂部342将从主体部341发射的图像光发射到眼镜344的透镜345侧。该图像光通过透镜345进入人眼。图36B中的智能眼镜340的佩戴者可以以与普通眼镜相同的方式不仅可视地识别周围环境而且可视地识别从镜筒部343发射的各种信息。

(第四应用示例)

根据本公开的电子装置1还可应用于电视装置(下文被称为TV)。从小型化和设计的观点来看，最近的TV趋向于具有尽可能小的框架。为此，当用于拍摄观看者的相机设置在TV上时，期望将相机叠加在TV的显示面板331的背面侧。

图37是作为电子装置1的第四应用示例的TV 330的外部视图。图37中的TV 330的框架被最小化，并且几乎整个前侧是显示区域。TV 330包括诸如用于拍摄观看者的相机的传感器。图37中的传感器被布置在显示面板331的一部分(例如，由虚线指示的部分)背面。传感器可以是图像传感器模块，并且可以应用诸如面部认证传感器、距离测量传感器和温度传感器的各种传感器。多种类型的传感器可布置在TV 330的显示面板331的背面侧。

如上所述，根据本公开的电子装置1，由于图像传感器模块可被叠加在显示面板331的背面侧，因此不需要将相机等布置在框架中，并且TV 330可被小型化。此外，不会担心框架会损坏设计。

(第五应用示例)

根据本公开的电子装置1还可应用于智能电话和移动电话。图38是智能电话350的外部视图，智能电话350是电子装置1的第五应用示例。在图38的示例中，显示表面2z延伸接近电子装置1的外部尺寸，并且显示表面2z周围的边框2y的宽度为几毫米或更小。通常，前置相机通常安装在边框2y上，但是在图38中，用作前置相机的图像传感器模块9布置在显示表面2z的背面侧，例如，在近似中央处，如虚线所指示的。通过以这种方式在显示表面2z的背面侧设置前置相机，不必将前置相机布置在边框2y上，并且可以缩窄边框2y的宽度。

上述实施例可以具有以下形式。

(1)

一种成像元件，包括：

像素，被配置为接收与三原色对应的光；

分割像素，被配置为在像素中形成光接收单元，其中，

该分割像素包括：

被配置为在接收三原色中的第一颜色的光的像素中接收第一颜色的光的分割像素；

被配置为在接收三原色中的第二颜色的光的像素中接收第一颜色的光的分割像素；

被配置为在接收三原色中的第三颜色的光的像素中接收第一颜色的光的分割像素；以及

被配置为在接收三原色中的任一种颜色的光的像素中接收与三原色中的任一种颜色不同的第四颜色的光的分割像素；以及

第四颜色的光的光谱在第一颜色、第二颜色和第三颜色的颜色匹配函数中的负值的绝对值比其他区域大的区域中具有最大值。

(2)

根据(1)的成像元件，其中，

在像素中设置2×2或更多个分割像素。

(3)

根据(2)的成像元件，其中，

三原色是RGB(红色、绿色、蓝色)，

第四颜色的颜色匹配函数在520nm±10nm的波长范围内具有最大值，并且

接收第四颜色的光的分割像素的数量小于接收G光的分割像素的数量。

(4)

根据(3)的成像元件，其中，

第四颜色是翠绿色，并且

接收第四颜色的光的分割像素是包括在接收R光的像素中的分割像素中的至少一个分割像素。

(5)

根据(4)的成像元件，其中，

以接收翠绿色光的分割像素的数量等于或小于接收R光的分割像素的数量的比例设置接收翠绿色光的分割像素。

(6)

根据(5)的成像元件，其中，

在接收R光的像素中设置2×2个分割像素，并且

接收翠绿色光的分割像素是接收R光的像素中的分割像素中的一个。

(7)

根据(5)的成像元件，其中，

在接收R光的像素中设置2×2个分割像素，并且

在接收R光的像素中的分割像素中，沿对角线方向设置接收翠绿色光的分割像素。

(8)

根据(5)的成像元件，其中，

在接收R光的像素中设置3×2或更多个分割像素，并且

接收R光的分割像素的重心与接收翠绿色光的分割像素的重心对准。

(9)

根据(4)至(8)中任一项的成像元件，其中，

使用来自接收翠绿色光的分割像素的输出来校正来自接收R光的分割像素的输出。

(10)

根据(9)的成像元件，进一步包括：

模数转换电路，被配置为获取从分割像素输出的模拟信号并且将该模拟信号转换为数字信号，其中，

在模拟数字转换电路中，在相反方向上对R光信号和翠绿色光信号进行计数。

(11)

根据(3)至(10)中任一项的成像元件，其中，

第四颜色是翠绿色，并且

接收第四颜色的光的分割像素是包括在接收B光的像素中的分割像素中的至少一个分割像素。

(12)

根据(11)的成像元件，其中，

使用来自接收翠绿色光的分割像素的输出来校正来自接收B光的分割像素的输出。

(13)

根据(1)至(12)中任一项的成像元件，其中，

像素包括片上透镜，并且

设置在包括接收第四颜色的光的分割像素的像素中的片上透镜具有与设置在其他像素中的片上透镜的形状不同的形状。

(14)

根据(12)的成像元件，其中，

像素包括片上透镜，并且

设置在包括接收R光和翠绿色光的分割像素的像素中的片上透镜具有与设置在接收G光和B光的分割像素中的片上透镜的形状不同的形状。

(15)

根据(4)至(12)中任一项的成像元件，其中，

像素包括片上透镜，并且

片上透镜被设置为覆盖包括接收R和翠绿色光并且以垂直和水平对称布置排列的分割像素的像素中的所有分割像素。

(16)

根据(11)或(12)的成像元件，其中，

像素包括片上透镜，并且

设置在包括接收B光和翠绿色光的分割像素的像素中的片上透镜具有与设置在接收G光和R光的分割像素中的片上透镜的形状不同的形状。

(17)

根据(11)或(12)的成像元件，其中，

像素包括片上透镜，并且

片上透镜被设置为覆盖包括接收B光和翠绿色光并且以垂直和水平对称布置排列的分割像素的像素中的所有分割像素。

(18)

一种成像装置，包括根据(1)至(17)中任一项的成像元件。

(19)

一种电子装置，包括：

根据(1)至(17)中任一项的成像元件；以及

显示器，在成像元件的光接收表面侧具有显示表面，并且在显示器中嵌入有成像装置。

(20)

一种电子装置，包括：

像素，被配置为接收与RGB三原色对应的光；

2×2或更多个分割像素，被配置为在像素中形成光接收单元；以及

显示器，在像素的光接收表面侧具有显示表面，并且在显示器中嵌入有像素，其中，

分割像素包括：

被配置为在接收三原色中的第一颜色的光的像素中接收第一颜色的光的分割像素；

被配置为在接收三原色中的第二颜色的光的像素中接收第二颜色的光的分割像素；

被配置为在接收三原色中的第三颜色的光的像素中接收第三颜色的光的分割像素；以及

被配置为在接收三原色中的任一种颜色的光的像素中接收与三原色中的任一种颜色不同的翠绿色光的分割像素，并且

翠绿色光的光谱在520nm±10nm的波长范围内具有最大值，并且接收翠绿色光的分割像素的数量小于接收G光的分割像素的数量。

(21)

根据(20)的电子装置，其中，

显示器由包含吸收在450nm或更小的波长区域内的光的材料的材料制成。

(22)

根据(21)的电子装置，其中，

显示器由包含聚酰亚胺的材料制成。

(23)

根据(20)至(22)中任一项的电子装置，其中，

基于来自接收翠绿色光的分割像素的输出来校正来自接收R光的分割像素的输出。

(24)

根据(20)至(23)中任一项的电子装置，其中，

基于来自接收翠绿色光的分割像素的输出来校正来自接收B光的分割像素的输出。

(25)

根据(20)至(24)中任一项的电子装置，进一步包括：

模数转换电路，被配置为将从分割像素输出的模拟信号转换为数字信号；以及

信号处理电路，被配置为对模数转换电路的输出执行信号处理，其中，

信号处理电路基于数字信号提高光感测精度。

(26)

根据(25)的电子装置，其中，

信号处理电路提高颜色再现性。

(27)

根据(25)或(26)的电子装置，其中，

信号处理电路执行光源估计。

(28)

根据(20)至(27)中任一项的电子装置，其中，

电子装置是成像装置。

(28)

根据(20)至(27)中任一项的电子装置，其中，

电子装置是医疗装置。

(29)

根据(20)至(27)中任一项的电子装置，其中，

电子装置是智能电话。

(31)

一种成像元件，包括：

像素；以及

像素组，在该像素组中，用于接收与三原色对应的光的像素以预定布置排列，其中

该像素包括：

被配置为在接收三原色中的第一颜色的光的像素组中接收第一颜色的光的像素；

被配置为在接收三原色中的第二颜色的光的像素组中接收第二颜色的光的像素；

被配置为在接收三原色中的第三颜色的光的像素组中接收第三颜色的光的像素；以及

被配置为在接收三原色中的任一种颜色的光的像素组中接收与三原色中的任一种颜色不同的第四颜色的光的像素；并且

第四颜色的光的光谱在第一颜色、第二颜色和第三颜色的颜色匹配函数中的负值的绝对值比其他区域大的区域中具有最大值。

(32)

根据(31)的成像元件，其中，

像素与相邻像素形成像素对，成像元件进一步包括：

片上透镜，针对像素对形成。

(33)

根据(31)或(32)的成像元件，其中，

三原色是RGB(红色、绿色、蓝色)，

第四颜色的颜色匹配函数在520nm±10nm的波长范围内具有最大值，并且

用于接收第四颜色的光的像素的数量小于用于接收G光的像素的数量。

(34)

根据(33)的成像元件，其中，

第四颜色是翠绿色，并且

接收第四颜色的光的像素包括在接收R光的像素组中。

(35)

根据(34)的成像元件，其中，

在接收R光的像素组中，接收R光的像素的重心与接收翠绿色光的像素的重心对准。

(36)

根据(33)的成像元件，其中，

第四颜色是翠绿色，并且

接收第四色光的像素包括在接收B光的像素组中。

(37)

一种成像装置，包括根据(35)或(36)的成像元件。

(38)

一种电子装置，包括根据(34)的成像元件。

(39)

根据(1)至(38)中任一项的电子元件，其中，

成像元件由层叠半导体形成。

(20)

根据(39)的成像装置，其中，

半导体以CoC的形式层叠。

(41)

根据(39)的成像装置，其中，

半导体以CoW的形式层叠。

(42)

根据(39)的成像装置，其中，

半导体以WoW的形式层叠。

(43)

根据(1)至(42)中任一项的成像元件，其中，

根据要接收的颜色改变单位光接收区域的面积，在光接收区域的光接收表面侧设置ND滤光器，或者改变光接收区域的曝光量。

本公开的各方面不限于上述实施例并且包括可想到的各种修改，并且本公开的效果不限于上述内容。实施例的构成要素可以适当地组合应用。换句话说，在不脱离从权利要求及其等同物中规定的内容导出的本公开的概念构思和精神的范围内，可以执行各种添加、改变、以及部分删除。

参考标记列表

1 电子装置

1a 显示区域

1b 边框

2 成像元件

20 像素阵列

200 像素

202 分割像素

204 片上透镜

206 像素组

210 光接收单元

212 存储单元

214 控制单元

216 信号处理器

218 图像处理器

3 部件层

4 显示器

5 盖玻璃

30 基板

32 第一基板

34 第二基板

300 像素区域

302 控制电路

304 逻辑电路。

Claims (20)

1.一种成像元件，包括：

像素，被配置为接收与三原色对应的光；以及

分割像素，被配置为在所述像素中形成光接收单元，其中，

所述分割像素包括：

被配置为在接收所述三原色中的第一颜色的光的所述像素中接收所述第一颜色的光的分割像素；

被配置为在接收所述三原色中的第二颜色的光的所述像素中接收所述第二颜色的光的分割像素；

被配置为在接收所述三原色中的第三颜色的光的所述像素中接收所述第三颜色的光的分割像素；以及

被配置为在接收所述三原色中的任一种颜色的光的所述像素中接收与所述三原色中的任一种颜色不同的第四颜色的光的分割像素，并且其中，

所述第四颜色的光的光谱在所述第一颜色、所述第二颜色和所述第三颜色的颜色匹配函数中的负值的绝对值比其他区域大的区域中具有最大值。

2.根据权利要求1所述的成像元件，其中，

在所述像素中设置2×2或更多个所述分割像素。

3.根据权利要求2所述的成像元件，其中，

所述三原色是RGB(红色、绿色、蓝色)，

所述第四颜色的颜色匹配函数在520nm±10nm的波长范围内具有最大值，并且

接收所述第四颜色的光的所述分割像素的数量小于接收G光的所述分割像素的数量。

4.根据权利要求3所述的成像元件，其中，

所述第四颜色是翠绿色，并且

接收所述第四颜色的光的所述分割像素是包括在接收R光的所述像素中的所述分割像素中的至少一个分割像素。

5.根据权利要求4所述的成像元件，其中，

以接收翠绿色光的所述分割像素的数量等于或小于接收R光的所述分割像素的数量的比例设置接收翠绿色光的所述分割像素。

6.根据权利要求5所述的成像元件，其中，

在接收R光的所述像素中设置至少2×2个所述分割像素，并且

接收翠绿色光的所述分割像素是接收R光的所述像素中的所述分割像素中的一个。

7.根据权利要求5所述的成像元件，其中，

在接收R光的所述像素中设置至少2×2个所述分割像素，并且

接收翠绿色光的所述分割像素被设置为使得接收R光的所述像素中的所述分割像素中的接收翠绿色光的所述分割像素的重心与接收R光的所述分割像素的重心对准的布置。

8.根据权利要求4所述的成像元件，其中，

使用来自接收翠绿色光的所述分割像素的输出来校正来自接收R光的所述分割像素的输出。

9.根据权利要求8所述的成像元件，进一步包括：

模数转换电路，被配置为获取从所述分割像素输出的模拟信号并且将所述模拟信号转换为数字信号，其中，

在所述模数转换电路中，在相反方向上对R光信号和翠绿色光信号进行计数。

10.根据权利要求3所述的成像元件，其中，

所述第四颜色是翠绿色，并且

接收所述第四颜色的光的所述分割像素是包括在接收B光的所述像素中的所述分割像素中的至少一个分割像素。

11.根据权利要求10所述的成像元件，其中，

使用来自接收翠绿色光的所述分割像素的输出来校正来自接收B光的所述分割像素的输出。

12.根据权利要求1所述的成像元件，其中，

所述像素包括片上透镜，并且

设置在包括接收所述第四颜色的光的所述分割像素的所述像素中的所述片上透镜具有与设置在其他所述像素中的所述片上透镜的形状不同的形状。

13.根据权利要求4所述的成像元件，其中，

所述像素包括片上透镜，并且

设置在包括接收R光和翠绿色光的所述分割像素的所述像素中的所述片上透镜具有与设置在接收G光和B光的所述分割像素中的所述片上透镜的形状不同的形状。

14.根据权利要求4所述的成像元件，其中，

所述像素包括片上透镜，并且

所述片上透镜被设置为覆盖包括接收R光和翠绿色光并且以垂直和水平对称布置排列的所述分割像素的所述像素中的所有分割像素。

15.一种成像装置，包括根据权利要求1所述的成像元件。

16.一种电子装置，包括：

像素，被配置为接收与RGB三原色对应的光；

2×2或更多个分割像素，被配置为在所述像素中形成光接收单元；以及

显示器，在所述像素的光接收表面侧具有显示表面，并且所述显示器中嵌入有所述像素，其中，

所述分割像素包括：

被配置为接收所述三原色中的第一颜色的光的分割像素；

被配置为接收所述三原色中的第二颜色的光的分割像素；

被配置为接收所述三原色中的第三颜色的光的分割像素；以及

被配置为接收与所述三原色中的任一种颜色不同的翠绿色光的分割像素，以及

翠绿色光的光谱在520nm±10nm的波长范围内具有最大值，并且接收翠绿色光的所述分割像素的数量小于接收G光的所述分割像素的数量。

17.根据权利要求16所述的电子装置，其中，

所述显示器由包含吸收在450nm或更小的波长区域内的光的材料的材料制成。

18.根据权利要求16所述的电子装置，其中，

基于来自接收翠绿色光的所述分割像素的输出来校正来自接收R光的所述分割像素的输出。

19.根据权利要求16所述的电子装置，其中，

基于来自接收翠绿色光的所述分割像素的输出来校正来自接收B光的所述分割像素的输出。

20.根据权利要求16所述的电子装置，进一步包括：

模数转换电路，被配置为将从所述分割像素输出的模拟信号转换为数字信号；以及

信号处理电路，被配置为对所述模数转换电路的输出执行信号处理，其中，

所述信号处理电路基于所述数字信号提高光感测精度。