CN115996327A

CN115996327A - 成像装置

Info

Publication number: CN115996327A
Application number: CN202211273339.XA
Authority: CN
Inventors: 矢幡和浩; 泽田宪; 山本邦浩
Original assignee: SK Hynix Inc
Current assignee: SK Hynix Inc
Priority date: 2021-10-19
Filing date: 2022-10-18
Publication date: 2023-04-21
Also published as: US20230124606A1; JP2023061390A; KR20230055626A

Abstract

一种成像装置包括：图像感测装置，其包括感测像素的像素阵列，像素阵列包括感测入射光并具有第一动态范围的至少一个第一像素和感测入射光并具有第二动态范围的至少一个第二像素，第一动态范围由第一可测量高光强度和第一可测量低光强度表示，第二动态范围由第二可测量高光强度和第二可测量低光强度表示，第二可测量高光强度高于第一像素的第一可测量高光强度，其中，感测像素的像素阵列使第一像素数量与所有感测像素之比高于第二像素数量与所有感测像素之比；图像信号处理器，其从图像感测装置接收并处理像素数据以基于像素阵列中的第一像素和第二像素的像素数据生成与比第一动态范围或第二动态范围大的动态范围对应的高动态范围HDR图像。

Description

成像装置

技术领域

本专利文献中所包括的技术和实现方式总体上涉及一种能够通过感测光来生成图像数据的成像装置。

背景技术

图像感测装置是通过使用对光做出反应的感光半导体材料将光转换为电信号来捕获光学图像的装置。随着汽车、医疗、计算机和通信行业的发展，在诸如智能电话、数字相机、游戏机、IoT(物联网)、机器人、安全相机和医疗微型相机的各种领域中对高性能图像感测装置的需求不断增加。

图像感测装置可大致分为CCD(电荷耦合器件)图像感测装置和CMOS(互补金属氧化物半导体)图像感测装置。与CMOS图像感测装置相比，CCD图像感测装置提供更好的图像质量，但是它们往往消耗更多的功率并且更大。与CCD图像感测装置相比，CMOS图像感测装置的尺寸更小并且消耗更少的功率。此外，使用CMOS制造技术来制造CMOS传感器，因此感光元件和其它信号处理电路可被集成到单个芯片中，从而允许以更低的成本生产小型化图像感测装置。出于这些原因，正在为包括移动装置的许多应用开发CMOS图像感测装置。

发明内容

所公开的技术的各种实施方式涉及一种能够获得高动态范围(HDR)图像的成像装置。

根据所公开的技术的实施方式，一种成像装置可包括：图像感测装置，其包括感测像素的像素阵列，该像素阵列包括用于感测入射光并具有第一动态范围的至少一个第一像素和用于感测入射光并具有第二动态范围的至少一个第二像素，第一动态范围由不使第一像素饱和的第一可测量高光强度和相对于第一像素的像素噪声水平的第一可测量低光强度表示，第二动态范围由不使第二像素饱和的第二可测量高光强度和相对于第二像素的像素噪声水平的第二可测量低光强度表示，第二可测量高光强度高于第一像素的第一可测量高光强度，其中，感测像素的像素阵列被构造为使第一像素的数量与所有感测像素之比高于第二像素的数量与所有感测像素之比；以及图像信号处理器，其被配置为从图像感测装置接收像素数据并处理所述像素数据以基于像素阵列中的第一像素的像素数据和第二像素的像素数据生成与比第一动态范围或第二动态范围更大的动态范围对应的高动态范围(HDR)图像。

根据所公开的技术的另一实施方式，一种成像装置可包括：图像感测装置，其包括至少一个第一像素和灵敏度低于所述至少一个第一像素的至少一个第二像素；以及图像信号处理器，其被配置为基于所述至少一个第一像素的像素数据和所述至少一个第二像素的像素数据来生成与大于所述至少一个第一像素的动态范围或所述至少一个第二像素的动态范围的动态范围对应的高动态范围(HDR)图像。所述至少一个第一像素与包括在图像感测装置中的所有像素之比高于所述至少一个第二像素与包括在图像感测装置中的所有像素之比。

将理解，所公开的技术的以上一般描述和以下详细描述二者是例示性和说明性的，并且旨在提供对要求保护的本公开的进一步说明。

附图说明

当结合附图考虑时，参考以下详细描述，所公开的技术的以上和其它特征和有益方面将变得易于显而易见。

图1是示出基于所公开的技术的一些实现方式的成像系统的示例的框图。

图2是示出基于所公开的技术的一些实现方式的图1所示的图像感测装置的示例的框图。

图3是示出基于所公开的技术的一些实现方式的图1所示的像素阵列的示例的示意图。

图4是示出基于所公开的技术的一些实现方式的取决于施加到高灵敏度像素和低灵敏度像素的入射光的强度的响应的示例的曲线图。

图5A至图5D是示出基于所公开的技术的一些实现方式的根据透光率的差异以不同的方式实现高灵敏度像素和低灵敏度像素的示例的示意图。

图6A和图6B是示出基于所公开的技术的一些实现方式的根据电路结构的差异以不同的方式实现高灵敏度像素和低灵敏度像素的示例的图。

图7是示出基于所公开的技术的一些实现方式的取决于施加到低灵敏度绿色像素、低灵敏度红色像素和低灵敏度蓝色像素中的每一个的入射光的照度的响应的示例的曲线图。

图8是示出基于所公开的技术的一些实现方式的由图像感测装置生成的一帧的示例的图。

图9是示出基于所公开的技术的一些实现方式的针对高灵敏度像素和低灵敏度像素的像素数据和噪声之间的比较结果的曲线图。

图10是示出基于所公开的技术的一些实现方式的用于建立组合权重的方法的一个示例的图。

图11是示出基于所公开的技术的一些实现方式的用于建立组合权重的方法的另一示例的图。

图12是示出基于所公开的技术的一些实现方式的用于建立组合权重的方法的另一示例的图。

图13是示出基于所公开的技术的一些实现方式的高灵敏度像素和低灵敏度像素的布置方式的一个示例的图。

图14是示出基于所公开的技术的一些实现方式的共享像素的像素数据根据入射光的强度的变化的曲线图。

图15是示出基于所公开的技术的一些实现方式的共享像素的像素数据与增益控制像素数据之间的比较结果的曲线图。

具体实施方式

本专利文献提供了能够通过感测光来生成图像数据的成像装置的实现方式和示例，其可在配置中使用以基本上解决一个或更多个技术或工程问题并且减轻一些其它图像感测装置中遇到的限制或缺点。所公开的技术的一些实现方式涉及一种能够获得高动态范围(HDR)图像的成像装置。所公开的技术提供了图像感测装置的各种实现方式，其被配置为使得高灵敏度像素和低灵敏度像素布置在一起，从而通过仅执行一次图像捕获(即，一个拍摄动作)获得高动态范围(HDR)图像。

现在将详细参考所公开的技术的实施方式，其示例示出于附图中。只要可能，贯穿附图将使用相同的标号来表示相同或相似的部分。尽管本公开易于各种修改和替代形式，但其特定实施方式作为示例示出于附图中。然而，本公开不应被解释为限于本文所阐述的实施方式。

以下，将参照附图描述各种实施方式。然而，应该理解，所公开的技术不限于特定实施方式，而是包括实施方式的各种修改、等同物和/或替代。所公开的技术的实施方式可提供能够通过所公开的技术直接或间接识别的各种效果。

图1是示出基于所公开的技术的一些实现方式的成像系统1的示例的框图。图2是示出图1所示的图像感测装置的示例的框图。图3是示出图1所示的像素阵列的示例的示意图。图4是示出取决于施加到高灵敏度像素和低灵敏度像素的入射光的强度的响应的示例的曲线图。

参照图1，成像系统1可指例如用于拍摄静止图像的数字静止相机或用于拍摄运动图像的数字视频相机的装置。例如，成像装置10可被实现为数字单反(DSLR)相机、无反光镜相机或智能电话等。成像装置10可包括具有镜头和图像拾取元件二者的装置，使得该装置可捕获(或拍摄)目标对象，因此可创建目标对象的图像。

成像系统1可包括成像装置10和主机装置20。

成像装置10可包括图像感测装置100、行存储器200、图像信号处理器(ISP)300和输入/输出(I/O)接口400。

图像感测装置100可以是用于将光学信号转换为电信号的互补金属氧化物半导体图像传感器(CIS)。图像感测装置100可通过ISP 300来控制诸如开/关、操作模式、操作定时、灵敏度等的总体操作。图像感测装置100可在ITSP 300的控制下向行存储器200提供通过将光学信号转换为电信号而获得的图像数据。

参照图2，图像感测装置100可包括像素阵列110、行驱动器120、相关双采样器(CDS)130、模数转换器(ADC)140、输出缓冲器150、列驱动器160和定时控制器170。图2所示的图像感测装置100的组件仅作为示例讨论，本专利文献涵盖众多其它改变、替换、变化、更改和修改。

像素阵列110可包括按行和列布置的多个成像像素。在一个示例中，多个成像像素可布置成包括行和列的二维像素阵列。在另一示例中，多个成像像素可布置成三维像素阵列。多个成像像素可基于单位像素或基于像素组将光学信号转换为电信号，其中，像素组中的成像像素共享至少特定内部电路。像素阵列110可从行驱动器120接收包括行选择信号、像素重置信号和传输信号的像素控制信号。在接收到像素控制信号时，像素阵列110中的对应成像像素可被启用以执行与行选择信号、像素重置信号和传输信号对应的操作。各个成像像素可生成与入射光的强度对应的光电荷，可生成与光电荷的量对应的电信号，从而感测入射光。为了描述方便，成像像素也可被称为像素。

行驱动器120可基于诸如定时控制器170的控制器电路所提供的命令和控制信号启用像素阵列110以对对应行中的成像像素执行特定操作。在一些实现方式中，行驱动器120可选择布置在像素阵列110的一行或更多行中的一个或更多个成像像素。行驱动器120可生成行选择信号以在多行当中选择一行或更多行。行解码器120可依次使能用于重置与至少一个所选行对应的成像像素的像素重置信号以及对与至少一个所选行对应的像素的传输信号。因此，作为由所选行的各个成像像素生成的模拟信号，参考信号和图像信号可被依次传输至CDS 130。参考信号可以是当成像像素的感测节点(例如，浮置扩散节点)被重置时提供给CDS 130的电信号，图像信号可以是当成像像素所生成的光电荷累积在感测节点中时提供给CDS 130的电信号。指示各个像素的独特重置噪声的参考信号和指示入射光强度的图像信号可根据需要被统称为像素信号。

图像感测装置100可使用相关双采样(CDS)通过对像素信号采样两次以去除这两个样本之间的差异来去除像素的非期望偏移值(称为固定图案噪声)。在一个示例中，相关双采样(CDS)可通过比较入射光所生成的光电荷累积在感测节点中之前和之后获得的像素输出电压来去除像素的非期望偏移值，以使得可仅测量基于入射光的像素输出电压。在所公开的技术的一些实施方式中，CDS 130可依次采样并保持从像素阵列110提供给多条列线中的每一条的参考信号和图像信号的电压电平。即，CDS 130可采样并保持与像素阵列110的各列对应的参考信号和图像信号的电压电平。

在一些实现方式中，CDS 130可基于来自定时控制器170的控制信号将各列的参考信号和图像信号作为相关双采样信号传输至ADC 140。

ADC 140用于将模拟CDS信号转换为数字信号。在一些实现方式中，ADC 140可被实现为斜坡比较型ADC。在所公开的技术的一些实施方式中，ADC 140可将CDS 130为各列生成的相关双采样信号转换为数字信号，并输出数字信号。

ADC 140可包括多个列计数器。像素阵列110的各列联接到列计数器，并且可通过使用列计数器将从各列接收的相关双采样信号转换为数字信号来生成图像数据。在所公开的技术的另一实施方式中，ADC 140可包括全局计数器以使用从全局计数器提供的全局码将与列对应的相关双采样信号转换为数字信号。

输出缓冲器150可暂时保持从ADC 140提供的基于列的图像数据以输出图像数据。在一个示例中，从ADC 140提供给输出缓冲器150的图像数据可基于定时控制器170的控制信号被暂时存储在输出缓冲器150中。输出缓冲器150可提供接口以补偿图像感测装置100与其它装置之间的数据速率差异或传输速率差异。

列驱动器160可在从定时控制器170接收到控制信号时选择输出缓冲器的列，并且依次输出暂时存储在输出缓冲器150的所选列中的图像数据。在一些实现方式中，在从定时控制器170接收到地址信号时，列驱动器160可基于地址信号来生成列选择信号并选择输出缓冲器150的列，从而从输出缓冲器150的所选列输出图像数据作为输出信号。

定时控制器170可控制行驱动器120、ADC 140、输出缓冲器150和列驱动器160的操作。

定时控制器170可向行驱动器120、列驱动器160和输出缓冲器150提供图像感测装置100的各个组件的操作所需的时钟信号、用于定时控制的控制信号以及用于选择行或列的地址信号。在所公开的技术的实施方式中，定时控制器170可包括逻辑控制电路、锁相环(PLL)电路、定时控制电路、通信接口电路等。

图3是示出包括在像素阵列110中的像素的布置方式的一个示例的图。图3是示出布置成包括8行和8列的矩阵阵列的64个像素的图。例如，64个像素可用作最小单元，可在行方向和列方向上重复，但不限于此。

像素阵列110可包括红色像素、蓝色像素和绿色像素。各个红色像素可包括被配置为选择性地透射与红色对应的光(即，红光)的红色滤色器，并且可感测红光。各个蓝色像素可包括被配置为选择性地透射与蓝色对应的光(即，蓝光)的蓝色滤色器，并且可感测蓝光。各个绿色像素可包括被配置为选择性地透射与绿色对应的光(即，绿光)的绿色滤色器，并且可感测绿光。

在一些实现方式中，红色像素、蓝色像素和绿色像素可布置成四元拜耳(Bayer)图案。四元拜耳图案可指红色像素组、蓝色像素组和绿色像素组布置成拜耳图案的图案。在红色像素组中，红色像素布置成(2×2)矩阵。在蓝色像素组中，蓝色像素布置成(2×2)矩阵。在绿色像素组中，绿色像素布置成(2×2)矩阵。因此，在四元拜耳图案中，红色像素组和蓝色像素组可布置在对角方向上。在四元拜耳图案中，绿色像素组可被设置为接触红色像素组和蓝色像素组中的每一个的一侧，使得所有像素可布置成(4×4)矩阵。

包括在像素阵列110中的像素可根据各个像素要感测的不同颜色的光来分类。在一些实现方式中，包括在像素阵列110中的像素也可根据入射光的灵敏度被分类为高灵敏度像素和低灵敏度像素。具有相对高的灵敏度的像素可被定义为高灵敏度像素，具有相对低的灵敏度的像素可被定义为低灵敏度像素。将稍后参照图4详细描述高灵敏度像素和低灵敏度像素。

像素阵列中构造为红色像素、蓝色像素和绿色像素的像素可使用具有相对高的灵敏度的像素或具有相对低的灵敏度的像素来形成。例如，红色像素当中具有相对高的灵敏度的像素可被定义为高灵敏度红色像素，红色像素当中具有相对低的灵敏度的像素可被定义为低灵敏度红色像素。类似地，蓝色像素当中具有相对高的灵敏度的像素可被定义为高灵敏度蓝色像素，蓝色像素当中具有相对低的灵敏度的像素可被定义为低灵敏度蓝色像素。另外，绿色像素当中具有相对高的灵敏度的像素可被定义为高灵敏度绿色像素，绿色像素当中具有相对低的灵敏度的像素可被定义为低灵敏度绿色像素。

在图3中，包括在像素阵列中的64个像素当中的16个红色像素可以是高灵敏度红色像素(RP_H)，包括在像素阵列中的64个像素当中的16个蓝色像素可以是高灵敏度蓝色像素(BP_H)。然而，包括在像素阵列中的64个像素当中的32个绿色像素可包括28个高灵敏度绿色像素(GP_H)和四个低灵敏度绿色像素(GP_L)。

因此，总共64个像素可包括四个低灵敏度像素和60个高灵敏度像素，并且低灵敏度像素与所有像素(即，64个像素)之比可被设定为4/64(＝1/16)，小于高灵敏度像素与所有像素(即，64个像素)之比。

低灵敏度像素与所有像素(即，64个像素)之比不限于图3的示例，可通过实验确定为使得可在不使高灵敏度像素所捕获的图像的最终图像分辨率劣化的水平出现足够的HDR性能。

尽管图3的示例作为示例示出低灵敏度像素是绿色像素，但其它实现方式也是可能的，不限于此。在一些实现方式中，低灵敏度像素也可以是红色像素或蓝色像素。

图4示出高灵敏度像素和低灵敏度像素的响应根据施加到对应像素的入射光强度而变化。参照图4，高灵敏度像素的响应根据入射光强度增加的增加量相对较大，低灵敏度像素的响应根据入射光强度增加的增加量相对较小。这里，像素的响应可指对应像素的图像数据(即，像素数据)。在这种情况下，入射光的强度可指要由对应像素感测的目标对象的亮度或照度。在一些实现方式中，高灵敏度像素也可被称为第一像素，低灵敏度像素也可被称为第二像素。

响应可具有信噪比(SNR)极限(由SNR limit表示)和饱和水平(由Saturation表示)。

在图4中，示出两个不同的响应，一个是信噪比(SNR)阈值水平(由“SNR Limit”表示)，另一个是饱和水平(由“Saturation”表示)。信噪比(SNR)阈值水平是指可满足预定的参考SNR的阈值。小于SNR阈值水平的响应可被视为不满足参考SNR的无效响应，大于SNR阈值水平的响应可被视为满足参考SNR的有效响应。参考SNR可考虑图像感测装置100的特性来通过实验确定。然而，为了描述方便，假设在图5A之后的附图中所示的示例中忽略SNR阈值水平(SNR limit)。

饱和水平是指指示入射光的强度的最大水平。饱和水平可由像素可将入射光的强度转换为光电荷的能力(例如，光电转换元件的电容)、光电荷可被转换为模拟信号的能力(例如，浮置扩散(FD)区域的电容)以及模拟信号可被转换为数字信号的能力(例如，ADC的输入范围)确定。随着入射光的强度增加，响应可与入射光的强度成比例地增加，直至响应达到饱和水平。在响应达到饱和水平之后，尽管入射光的强度增加，响应可不增加。例如，在响应达到饱和水平之后，响应可具有与饱和值相同的值，不增加超过饱和水平。

各个像素的有效响应可指在表现出足够的参考SNR的同时可指示入射光的强度的响应。与像素的有效响应对应的入射光强度的范围可被称为像素的动态范围，并且包括不使像素饱和的入射光的可测量高强度和高于像素噪声水平的入射光的可测量低强度。因此，像素的动态范围可指各个像素具有介于上述可测量高光强度和可测量低光强度之间的有效响应的入射光强度范围。在一些情况下，像素的动态范围可由可测量高强度与可测量低强度或像素的噪声强度之比表示。

高灵敏度像素响应于入射光强度的增加而提供具有相对大的增加的响应。因此，高灵敏度像素的响应可响应于入射光强度的增加而具有相对较大的斜率直至响应达到饱和水平，并且在响应达到饱和水平之后具有与饱和水平对应的固定水平而不管入射光强度的增加。

低灵敏度像素响应于入射光强度的增加而提供具有相对小的增加的响应。因此，低灵敏度像素的响应可响应于入射光强度的增加以相对较小的斜率增加，直至响应达到饱和水平，在响应达到饱和水平之后具有与饱和水平对应的固定水平而不管入射光强度的增加。

如图4所示，高灵敏度像素动态范围(DR_H)(或第一动态范围)的最小值(或第一可测量低光强度)可小于低灵敏度像素动态范围(DR_L)(或第二动态范围)的最小值(或第二可测量低光强度)，高灵敏度像素动态范围(DR_H)的最大值(或第一可测量高光强度)可小于低灵敏度像素动态范围(DR_L)的最大值(或第二可测量高光强度)。因此，在入射光强度相对小的低亮度范围内，高灵敏度像素可更适合用于感测入射光强度。在入射光强度相对大的高亮度范围内，低灵敏度像素可更适合用于感测入射光强度。

高动态范围(HDR)可使用适合于低亮度范围的高灵敏度像素的响应和适合于高亮度范围的低灵敏度像素的响应这二者来实现。与仅使用高灵敏度像素和低灵敏度像素之一的情况相比，上述使用高灵敏度像素和低灵敏度像素这二者来实现HDR的情况可允许整个像素阵列具有与从高灵敏度像素动态范围的最小值到低灵敏度像素动态范围的最大值的特定范围对应的高动态范围(HDR)。为此，高灵敏度像素动态范围的至少一部分和低灵敏度像素动态范围的至少一部分可彼此交叠。

为了实现高灵敏度像素和低灵敏度像素，可使用改变曝光时间的方法。曝光时间可指响应于入射光强度而生成光电荷所花费的时间。具有相对长的曝光时间的像素可对应于高灵敏度像素，具有相对短的曝光时间的像素可对应于低灵敏度像素。

当通过变化曝光时间来实现高灵敏度像素和低灵敏度像素时，高灵敏度像素和低灵敏度像素可在不同时间点感测场景，从而可能由于从一个地方快速移动到另一地方的目标对象的移动而发生运动伪影或运动模糊。

在一些实现方式中，高灵敏度像素和低灵敏度像素同时布置在像素阵列110中以在同一时间点感测场景。ISP 300可使用高灵敏度像素的图像数据和低灵敏度像素的图像数据这二者来合成HDR图像，从而防止出现运动伪影或运动模糊。在这种情况下，HDR图像可指与大于高灵敏度像素的第一动态范围或低灵敏度像素的第二动态范围的动态范围对应的图像。

另外，像素阵列110中包括数量相对少的低灵敏度像素，这导致低灵敏度像素的比率相对低。因此，像素阵列110中可包括数量相对较少的低灵敏度像素。由于高灵敏度像素所感测的图像和低灵敏度像素所感测的图像具有不同的性质，所以在图像质量方面更有利的是大多数图像由高灵敏度像素感测，像素阵列110中包括HDR功能所需的最小比率的低灵敏度像素。

返回参照图1，行存储器200可包括易失性存储器(例如，DRAM、SRAM等)和/或非易失性存储器(例如，闪存)。行存储器200可具有能够存储与预定行数对应的图像数据的容量。在这种情况下，行可指像素阵列110的行，预定行数可小于像素阵列120的总行数。因此，行存储器200可以是能够存储与像素阵列110的一些行对应的图像数据的行存储器，而非能够存储与像素阵列110所捕获的帧对应的图像数据的帧存储器。在一些实现方式中，行存储器200也可根据需要替换为帧存储器。

基于ISP 300的控制，行存储器200可从图像感测装置100接收图像数据，可存储所接收的图像数据，并且可将所存储的图像数据发送至ISP 400。

ISP 300可执行存储在行存储器200中的图像数据的图像处理。ISP 300可减少图像数据的噪声，并且可执行各种类型的图像信号处理(例如，伽马校正、滤色器阵列插值、颜色矩阵、颜色校正、颜色增强、镜头畸变校正等)以用于图像数据的图像质量改进。另外，ISP300可压缩为了图像质量改进而通过执行图像信号处理创建的图像数据，使得ISP 300可使用压缩的图像数据创建图像文件。另选地，ISP 300可从图像文件恢复图像数据。在这种情况下，用于压缩这种图像数据的方案可以是可逆格式或不可逆格式。作为这种压缩格式的代表性示例，在使用静止图像的情况下，可使用联合图像专家组(JPEG)格式、JPEG 2000格式等。另外，在使用运动图像的情况下，可根据运动图像专家组(MPEG)标准压缩多个帧，使得可创建运动图像文件。例如，可根据可交换图像文件格式(Exif)标准创建图像文件。

为了生成HDR图像，ISP 300可包括增益处理单元310和图像组合单元320。

增益处理单元310可确定要利用高灵敏度像素的像素数据和/或低灵敏度像素的像素数据计算(相乘)的增益。增益处理单元310可根据高灵敏度像素和低灵敏度像素之间的灵敏度差异和其它条件来确定增益，并且可将所确定的增益提供给图像组合单元320。增益可根据灵敏度差异和其它条件来预先通过实验确定，并且可被存储在增益处理单元310中。在一些实现方式中，增益处理单元310可将通过实验确定的增益存储在表中，使得增益处理单元310可通过参考存储在表中的内容来获取必要增益。

图像组合单元320可使用高灵敏度像素的像素数据和/或低灵敏度像素的像素数据来合成与高动态范围对应的HDR图像。

在所公开的技术的一些实施方式中，图像组合单元320可根据高灵敏度像素的像素数据是否饱和来执行高灵敏度像素的像素数据和低灵敏度像素的像素数据之间的插值和计算，从而形成HDR图像。在这种情况下，插值可指使用与对应像素相邻的至少一个像素的像素数据来生成对应像素的像素数据的处理。

例如，当高灵敏度像素的像素数据不饱和时，图像组合单元320可将高灵敏度像素的像素数据确定为高灵敏度像素的HDR图像数据而不改变。另外，图像组合单元320可将通过高灵敏度像素的像素数据相对于与高灵敏度像素对应的低灵敏度像素的插值而获得的值确定为HDR图像数据。

当高灵敏度像素的像素数据饱和时，图像组合单元320可将通过与高灵敏度像素对应的低灵敏度像素的像素数据的插值而获得的值确定为高灵敏度像素的HDR图像数据，并且可将与高灵敏度像素对应的低灵敏度像素的像素数据确定为HDR图像数据而不改变。在这种情况下，在低灵敏度像素的像素数据的插值期间，根据高灵敏度像素和低灵敏度像素之间的灵敏度差异(例如，16倍)的增益(例如，16)可利用低灵敏度像素的像素数据计算(例如，相乘)。

在另一实施方式中，当一个场景中存在至少一个高亮度区域时，图像组合单元320可通过针对至少一个高亮度区域与剩余区域(即，低亮度区域)之间的边界调节高灵敏度像素的像素数据和低灵敏度像素的像素数据之间的组合权重来生成HDR图像。调节组合权重的操作将稍后参照图8至图12描述。

在另一实施方式中，图像组合单元320可通过计算与一个场景有关的高灵敏度像素的像素数据的集合所对应的高灵敏度图像和与一个场景有关的低灵敏度像素的像素数据的集合所对应的低灵敏度图像之和来生成HDR图像。由于像素阵列110中的低灵敏度像素的比率低于像素阵列110中的高灵敏度像素的比率，所以低灵敏度图像可具有低于高灵敏度图像的分辨率。因此，图像组合单元320可首先对低灵敏度图像执行分辨率转换，并且可计算高灵敏度图像和已转换为具有与高灵敏度图像相同的分辨率的低灵敏度图像之和。

在一个实施方式中，低灵敏度图像的分辨率转换可在去马赛克之前执行。去马赛克可以是将与一种颜色(例如，红色、蓝色或绿色)对应的像素数据转换为与三种颜色(例如，红色、蓝色和绿色)对应的像素数据的操作。当对拜耳图案图像(包括各个像素的与一种颜色对应的像素数据)执行去马赛克时，可形成RGB图像(包括各个像素的与三种颜色对应的像素数据)。依次执行分辨率转换和去马赛克的原因是通过对与原始图像对应的拜耳图案图像执行分辨率转换来防止由这种去马赛克导致的失真被包括在HDR图像中。

ISP 300可将通过这种图像信号处理获得的图像数据(即，HDR图像数据)发送至I/O接口400。

在另一实施方式中，用于生成HDR图像的增益处理单元310和图像组合单元320也可被包括在图像感测装置100中，而非ISP 300中。

I/O接口400可与主机装置20执行通信，并且可将图像信号处理(ISP)的图像数据发送至主机装置20。在一些实现方式中，I/O接口400可被实现为移动行业处理器接口(MIPI)，但不限于此。

主机装置20可以是用于处理从成像装置10接收的ISP图像数据的处理器(例如，应用处理器)、用于存储ISP图像数据的存储器(例如，非易失性存储器)或者用于视觉显示ISP图像数据的显示装置(例如，液晶显示器(LCD))。

图5A至图5D是示出基于所公开的技术的一些实现方式的根据透光率的差异以不同的方式实现高灵敏度像素(HPX)和低灵敏度像素(LPX)的示例的示意图。

图5A是示出彼此相邻的高灵敏度像素(HPX)和低灵敏度像素(LPX)的一个示例的图。

参照图5A，高灵敏度像素(HPX)和低灵敏度像素(LPX)可与基板510部分交叠，并且可包括光电转换元件520、滤光器530、微透镜540和第一光阻挡结构550。

例如，基板510可以是P型或N型块状基板，可以是通过在P型块状基板上生长P型或N型外延层而形成的基板，或者可以是通过在N型块状基板上生长P型或N型外延层而形成的基板。

光电转换元件520可形成在基板510中。即，光电转换元件520可生成并累积与已穿透微透镜540和滤光器530的入射光的强度对应的光电荷。

滤光器530可选择性地透射具有要透射的波长带的光(例如，红光、绿光、蓝光、品红光、黄光、青光、红外(IR)光等)。在这种情况下，波长带可指要由对应滤光器选择性地透射的光的波长带。例如，各个滤光器530可包括与特定颜色对应的有色感光材料，或者可包括交替地布置的薄膜层。包括在像素阵列110中的滤光器可被布置为与布置成包括多行和多列的矩阵阵列的像素对应，从而形成滤光器阵列。

各个微透镜540可形成在各个滤光器530上方，并且可增加入射光的聚光能力，从而增加光电转换元件520的光接收(Rx)效率。

第一光阻挡结构550可设置在基板510的一个表面和滤光器530之间，以使得已穿透低灵敏度像素(LPX)中的滤光器530的入射光的至少一部分被第一光阻挡结构550阻挡而不传输至光电转换元件520。第一光阻挡结构550可包括具有高光反射率的材料(例如，银或铝)和具有高光吸收率的材料(例如，钨)中的至少一种。

低灵敏度像素(LPX)的总面积可被定义为未设置第一光阻挡结构550的区域的开口面积与设置有第一光阻挡结构550的区域的阻挡面积之和。低透射率像素(LPX)的透光率可根据阻挡面积与开口面积之比来确定。

不包括第一光阻挡结构550的高灵敏度像素(HPX)可具有比包括第一光阻挡结构550的低灵敏度像素(LPX)更高的透光率。

当具有相同强度的入射光入射在高灵敏度像素(HPX)和低灵敏度像素(LPX)上时，传输至低灵敏度像素(LPX)的光电转换元件520的光的强度可小于传输至高灵敏度像素(HPX)的光电转换元件520的光的强度。

另外，传输至低灵敏度像素(LPX)的光电转换元件520的光强度可响应于入射光强度的增加而以相对较低的斜率增加。传输至高灵敏度像素(HPX)的光电转换元件520的光强度可响应于入射光强度的增加而以相对较高的斜率增加。

由于传输至低灵敏度(LPX)的光电转换元件520的光强度和传输至高灵敏度像素(HPX)的光电转换元件520的光强度中的每一个被转换为像素信号，所以低灵敏度像素(LPX)的响应可遵循图4所示的低灵敏度像素的响应，高灵敏度像素(HPX)的响应可遵循图4所示的高灵敏度像素的响应。

尽管图5A所示的第一光阻挡结构550设置在低灵敏度像素(LPX)的边缘，但其它实现方式也是可能的。例如，第一光阻挡结构550可设置在与低灵敏度像素(LPX)的一些部分对应的低灵敏度像素(LPX)的任何位置处。

基于所公开的技术的一些实现方式的图像感测装置100可仅在一个像素阵列110内同时实现低灵敏度像素和高灵敏度像素，因此可仅使用一个图像来形成(或生成)HDR图像。

图5B是示出彼此相邻的高灵敏度像素(HPX)和低灵敏度像素(LPX)的另一示例的图。

参照图5B，高灵敏度像素(HPX)和低灵敏度像素(LPX)可与基板510部分交叠，并且可包括光电转换元件520、滤光器530、微透镜540和第二光阻挡结构560。

图5B所示的基板510、光电转换元件520、滤光器530和微透镜540与图5A的那些基本上相同，因此为了描述方便，本文中将省略其的这些冗余描述。

与图5A所示的第一光阻挡结构550不同，图5B所示的第二光阻挡结构560可在基板510的一个表面与滤光器530之间的位置处设置在低灵敏度像素(LPX)的整个区域上方。另外，第二光阻挡结构560可具有预定厚度以防止已穿透滤光器530的入射光的至少一部分传输至光电转换元件520。第二光阻挡结构560可具有比第一光阻挡结构550更小的厚度。

第二光阻挡结构560可包括具有高光反射率的材料(例如，银或铝)和具有高光吸收率的材料(例如，钨)中的至少一种。

不包括第二光阻挡结构560的高灵敏度像素(HPX)可具有比包括第二光阻挡结构560的低灵敏度像素(LPX)更高的透光率。

图5C是示出彼此相邻的高灵敏度像素(HPX)的和低灵敏度像素(LPX)的另一示例的图。

参照图5C，高灵敏度像素(HPX)和低灵敏度像素(LPX)可与基板510部分交叠，并且可包括光电转换元件520、滤光器530、微透镜540和第三光阻挡结构570。

图5C所示的基板510、光电转换元件520、滤光器530和微透镜540与图5A的那些基本上相同，因此为了描述方便，本文中将省略其的这些冗余描述。

图5C所示的第三光阻挡结构570可在设置在滤光器530和微透镜540之间的同时设置在低灵敏度像素(LPX)的整个区域上方。例如，第三光阻挡结构570可以是中性密度(ND)滤波器，其不管颜色如何能够阻挡整个波长带中的至少一部分光。

不包括第三光阻挡结构570的高灵敏度像素(HPX)可具有比包括第三光阻挡结构570的低灵敏度像素(LPX)更高的透光率。

图5D是示出彼此相邻的高灵敏度像素(HPX)的和低灵敏度像素(LPX)的另一示例的图。

参照图5D，高灵敏度像素(HPX)和低灵敏度像素(LPX)可与基板510部分交叠，并且可包括光电转换元件520、滤光器530和530’以及微透镜540。在此实现方式中，图5D所示的低灵敏度像素(LPX)可不包括单独的光阻挡结构。

图5D所示的基板510、光电转换元件520、滤光器530和微透镜540与图5A的那些基本上相同，因此为了描述方便，本文中将省略其的这些冗余描述。

包括在低灵敏度像素(LPX)中的滤光器530’可具有比包括在高灵敏度像素(HPX)中的滤光器530更低的透光率。滤光器530和530’中的每一个可包括与特定颜色对应的有色感光材料，或者可包括交替地布置的薄膜层。包括在滤光器530’中的感光材料可具有比包括在滤光器530中的感光材料更高的浓度，或者包括在滤光器530’中的薄膜层的数量可高于包括在滤光器530中的薄膜层的数量。

因此，包括滤光器530的高灵敏度像素(HPX)可具有比包括滤光器530’的低灵敏度像素(LPX)更高的透光率。

尽管为了描述方便，图5A至图5D示出能够实现高灵敏度像素(HPX)和低灵敏度像素(LPX)的各种实施方式，但所公开的技术的范围或精神不限于此，应该注意的是高灵敏度像素(HPX)和低灵敏度像素(LPX)也可使用能够调节透光率的任何结构来实现。

另外，高灵敏度像素(HPX)和低灵敏度像素(LPX)可被设计为具有与预定灵敏度差异(例如，16倍)对应的透光率差异。

图6A是示出高灵敏度像素(HPX)的等效电路的一个示例的电路图。

参照图6A，高灵敏度像素(HPX)可包括第一光电转换元件PD1、第一传输晶体管TX1、第一重置晶体管RX1、第一浮置扩散区域FD1、第一驱动晶体管DX1和第一选择晶体管SX1。即，高灵敏度像素(HPX)可具有4TR(四晶体管)像素结构。

第一光电转换元件PD1可生成并累积与入射光的强度对应的光电荷。例如，第一光电转换元件PD1可被实现为光电二极管、光电晶体管、光门、钉扎光电二极管或其组合。

如果第一光电转换元件PD1被实现为光电二极管，则第一光电转换元件PD1可以是包括第一导电杂质(例如，P型杂质)的基板中掺杂有第二导电杂质(例如，N型杂质)的区域。

第一传输晶体管TX1可联接在第一光电转换元件PD1和第一浮置扩散区域FD1之间。第一传输晶体管TX1可响应于第一传输控制信号TG1而导通或截止。如果第一传输晶体管TX1导通，则累积在第一光电转换元件PD1中的光电荷可被传输至第一浮置扩散区域FD1。

第一重置晶体管RX1可设置在第一浮置扩散区域FD1和电源电压(VDD)之间，并且第一浮置扩散区域FD1的电压可响应于第一重置控制信号RG1而被重置为电源电压(VDD)。

第一浮置扩散区域FD1可累积从第一传输晶体管TX1接收的光电荷。例如，第一浮置扩散区域FD1可以是包括第一导电杂质的基板(例如，P型基板)中掺杂有第二导电杂质(例如，N型杂质)的区域。在这种情况下，基板和掺杂区域可被建模为充当结电容器的第一电容器(C1)。

第一驱动晶体管DX1可联接在电源电压(VDD)和第一选择晶体管SX1之间，可放大已接收到累积在第一光电转换元件PD1中的光电荷的第一浮置扩散区域FD1的电位变化，并且可将放大结果传输至第一选择晶体管SX1。

第一选择晶体管SX1可联接在第一驱动晶体管DX1和输出信号线之间，并且可通过第一选择控制信号SEL1导通，以使得第一选择晶体管SX1可输出从第一驱动晶体管DX1接收的电信号作为第一像素信号PS1。

图6B是示出低灵敏度像素(LPX)的等效电路的一个示例的电路图。

参照图6B，低灵敏度像素(LPX)可包括第二光电转换元件PD2、第二重置晶体管RX2、第二浮置扩散区域FD2、第二驱动晶体管DX2和第二选择晶体管SX2。即，低灵敏度像素(LPX)可具有3TR(三晶体管)像素结构。

图6B所示的第二光电转换元件PD2、第二重置晶体管RX2、第二浮置扩散区域FD2、第二驱动晶体管DX2和第二选择晶体管SX2的基本结构和功能与图6A所示的第一光电转换元件PD1、第一重置晶体管RX1、第一浮置扩散区域FD1、第一驱动晶体管DX1和第一选择晶体管SX1的那些相似，因此为了简明，本文中将省略其这些冗余描述。为了描述方便，以下将集中于与图6A的特性不同的特性来描述图6B所示的上述构成元件。

低灵敏度像素(LPX)可不包括单独的传输晶体管，第二光电转换元件PD2可直接联接到第二重置晶体管RX2的源极和第二驱动晶体管DX2的栅极。

另外，第二重置晶体管RX2的栅极可联接到电源电压(VDD)，第二重置晶体管RX2可在三极管区域中操作。即，随着与入射光强度对应的光电荷生成并累积在第二光电转换元件PD2中，第二浮置扩散区域FD2的电压可与光电荷的量成比例地减小。因此，与第二浮置扩散区域FD2的电压降成比例的电流可在第二重置晶体管RX2和第二光电转换元件PD2中的每一个中流动，并且与电流的大小对应的第二像素信号PS2可通过第二驱动晶体管DX2和第二选择晶体管SX2输出。

如上所述，被配置为生成与第二光电转换元件PD2所生成的光电荷的量对应的电流的第二重置晶体管RX2的操作可被定义为对数操作。由于该对数操作，即使当提供可导致高灵敏度像素(HPX)内的第一光电转换元件PD1或第一浮置扩散区域FD1中的饱和的入射光强度时，低灵敏度像素(LPX)可生成与这种入射光强度对应的有效的第二像素信号PS2。在这种情况下，第二重置晶体管RX2以下将被称为对数晶体管。

根据一个实施方式，低灵敏度像素(LPX)可不生成参考信号，使得可省略对低灵敏度像素(LPX)所生成的第二像素信号PS2的相关双采样(CDS)操作。

严格来说，图6A和图6B所示的高灵敏度像素(HPX)和低灵敏度像素(LPX)不用于建立两个像素之间的灵敏度差异，以使得为了描述方便和更好理解所公开的技术，可能更优选的是各个像素被称为正常像素并且被称为用于HDR图像形成的HDR像素。

图6A和图6B所示的实施方式可与图5A至图5D的实施方式组合而不互斥。例如，图5A的横截面图中所示的高灵敏度像素(HPX)和低灵敏度像素(LPX)可分别由图6A的电路结构和图6B的电路结构表示。

参照图7，与低灵敏度绿色像素(GP_L)、低灵敏度红色像素(RP_L)和低灵敏度蓝色像素(BP_L)关联，示出响应于施加到低灵敏度绿色像素(GP_L)的入射光强度的低灵敏度绿色像素(GP_L)的响应、响应于施加到低灵敏度红色像素(RP_L)的入射光强度的低灵敏度红色像素(RP_L)的响应和响应于施加到低灵敏度蓝色像素(BP_L)的入射光强度的低灵敏度蓝色像素(BP_L)的响应。

低灵敏度绿色像素(GP_L)可包括绿色滤色器，低灵敏度红色像素(RP_L)可包括红色滤色器，低灵敏度蓝色像素(BP_L)可包括蓝色滤色器。由于各个滤色器的特性，低灵敏度绿色像素(GP_L)的灵敏度可比低灵敏度红色像素(RP_L)的灵敏度或低灵敏度蓝色像素(BP_L)的灵敏度高(约两倍)。在这种情况下，假设低灵敏度红色像素(RP_L)的灵敏度与低灵敏度蓝色像素(BP_L)的灵敏度基本上相同。

可从图7看出，低灵敏度绿色像素(GP_L)的响应可在响应于入射光强度的增加而以相对较高的斜率增加的同时饱和，并且低灵敏度红色像素(RP_L)的响应和低灵敏度蓝色像素(BP_L)的响应可在响应于入射光强度的增加以相对较低的斜率增加的同时饱和。

低灵敏度绿色像素(GP_L)、低灵敏度红色像素(RP_L)和低灵敏度蓝色像素(BP_L)之间的灵敏度差异和响应差异可能导致被配置为接收相同强度的入射光的不同颜色的像素的响应改变的问题。具体地，在应该使用低灵敏度像素生成HDR图像的高照度条件下，在HDR图像中可能出现噪声。

因此，低灵敏度绿色像素(GP_L)的响应、低灵敏度红色像素(RP_L)的响应和低灵敏度蓝色像素(BP_L)的响应有必要彼此相同。为此，低灵敏度绿色像素(GP_L)的灵敏度可被设计为低于低灵敏度红色像素(RP_L)的灵敏度或低灵敏度蓝色像素(BP_L)的灵敏度。例如，当低灵敏度绿色像素(GP_L)、低灵敏度红色像素(RP_L)和低灵敏度蓝色像素(BP_L)中的每一个具有图5A所示的低灵敏度像素(LPX)的结构时，低灵敏度绿色像素(GP_L)的开口的尺寸可小于低灵敏度红色像素(RP_L)的开口或低灵敏度蓝色像素(BP_L)的开口的尺寸。

图8是示出基于所公开的技术的一些实现方式的由图像感测装置100生成的一帧的示例的图。

参照图8，像素阵列110的多个像素可同时感测一个场景，并且图像感测装置100可通过行存储器200向ISP 300提供用于感测一个场景的像素数据集合。在这种情况下，用于感测一个场景的像素数据集合可被定义为图8所示的帧(FR)。

ISP 300的图像组合单元320可基于包括在帧(FR)中的高灵敏度像素的像素数据来确定高亮度区域。

高亮度区域可指对于各个单位像素组各自具有饱和的像素数据的高灵敏度像素的比率高于预定比率(例如，90％)的区域。例如，单位像素组可包括图3所示的64个像素，其它实现方式也是可能的。

假设对于第一高亮度区域S1和第二高亮度区域S2中的每一个中的各个单位像素组各自具有饱和的像素数据的高灵敏度像素的比率高于预定比率，图像组合单元320可确定第一高亮度区域S1和第二高亮度区域S2中的每一个为高亮度区域。

相比之下，假设对于第一高亮度区域S1和第二高亮度区域S2以外的剩余区域中的各个单位像素组各自具有饱和的像素数据的高灵敏度像素的比率等于或小于预定比率，图像组合单元320可确定第一高亮度区域S1和第二高亮度区域S2以外的各个剩余区域为低亮度区域。

另外，假设总体亮度在从帧(FR)的左侧到右侧的方向上逐渐增加。例如，总体亮度的增加可指示高灵敏度像素的像素数据的平均值增加。

从图8可看出，当一帧(FR)中存在一个或更多个高亮度区域S1和S2时，图像组合单元320可使用高亮度区域S1和S2中的至少一个中的低灵敏度像素的像素数据，并且可使用一个或更多个高亮度区域S1和S2以外的剩余区域(即，低亮度区域)中的高灵敏度像素的像素数据来生成HDR图像。

具体地，由于在高亮度区域S1和S2中的至少一个中大多数高灵敏度像素饱和，所以图像组合单元320可将在计算由高灵敏度像素和低灵敏度像素之间的灵敏度差异(例如，16倍灵敏度差异)导致的增益(例如，16)时获得的第一值以及通过第一值的插值而获得的第二值应用于确定高亮度区域S1和S2中的至少一个的HDR图像的处理。在高亮度区域S1和S2中的至少一个中，低灵敏度像素的比率小于高灵敏度像素的比率，并且由低灵敏度像素捕获的图像具有较低的分辨率。结果，大多数高灵敏度像素饱和(即，在具有很少图像信息的状态下)，从而可能更有利的是使用低灵敏度像素的像素数据来生成HDR图像。

另外，由于在一个或更多个高亮度区域S1和S2以外的剩余区域(即，低亮度区域)中大多数高灵敏度像素不饱和，所以图像组合单元320可将高灵敏度像素的像素数据和通过像素数据的插值而获得的值这二者应用于确定一个或更多个高亮度区域S1和S2以外的剩余区域(即，低亮度区域)的HDR图像的处理。

参照图9，根据入射光的强度(或照度)的高灵敏度像素的像素数据(HPX像素数据)和低灵敏度像素的像素数据(LPX像素数据)描绘在图9的上侧。

在这种情况下，假设高灵敏度像素和低灵敏度像素之间的灵敏度差异为16倍，使得在形成HDR图像的处理中可将增益16乘以低灵敏度像素的像素数据。如图9的上侧中所描绘的，当增益乘以低灵敏度像素的像素数据时获得的增益控制低灵敏度像素的像素数据“LPX像素数据(增益控制)”可形成为低灵敏度像素的像素数据在Y轴方向上放大16倍的形状。

假设高灵敏度像素和低灵敏度像素饱和的像素数据由1024表示，即使当高灵敏度像素响应于入射光强度的增加而饱和(由“HPX饱和”表示)时，动态范围也可通过增益控制低灵敏度像素的像素数据扩展至与具有16384的动态范围的像素数据对应的入射光强度。

当生成HDR图像时，更优选的是，在照度小于使高灵敏度像素饱和的入射光强度的照度条件下使用具有高SNR(信噪比)的高灵敏度像素的像素数据，并且更优选的是，在照度高于使高灵敏度像素饱和的入射光强度的照度条件下控制和使用低灵敏度像素的像素数据的增益，代替饱和的高灵敏度像素的像素数据。

相比之下，图9的下侧示出根据入射光强度的高灵敏度像素的像素数据、低灵敏度像素的像素数据和增益控制低灵敏度像素的像素数据中的每一个的噪声的标准偏差。在这种情况下，噪声的标准偏差(以下称为噪声标准偏差)可指散粒噪声的强度。各个像素数据可包括由构成入射光的光子的随机特性导致的散粒噪声。由于由光子导致散粒噪声，所以散粒噪声可响应于入射光强度的增加而增加。

因此，随着入射光强度增加，高灵敏度像素的像素数据的噪声标准偏差和低灵敏度像素的像素数据的噪声标准偏差可增加直至各个像素饱和(在饱和状态下，光子不被引入到各个像素中，从而噪声标准偏差被认为无意义)。

另外，在相同的入射光强度下，具有相对较高的灵敏度的高灵敏度像素的像素数据的噪声标准偏差可大于具有相对较低的灵敏度的低灵敏度像素的像素数据的噪声标准偏差。另一方面，由于增益控制低灵敏度像素的像素数据是通过将低灵敏度像素的像素数据乘以预定增益(例如，16倍)而获得的值，所以噪声标准偏差与低灵敏度像素的像素数据相比也可增加预定增益(例如，16倍)。

如上所述，在照度小于使高灵敏度像素饱和的入射光强度的照度条件下，可使用高灵敏度像素的像素数据来生成HDR图像。在照度高于使高灵敏度像素饱和的入射光强度的照度条件下，当使用增益控制低灵敏度像素的像素数据生成HDR图像时，可能基于使高灵敏度像素饱和的入射光强度出现散粒噪声的突然差异。

如果使用一帧(FR)的部分区域内的高灵敏度像素的像素数据来生成HDR图像，并且如果使用一帧(FR)的另一相邻区域内的低灵敏度像素的像素数据来生成HDR图像，则在两个区域之间的边界附近可能出现由散粒噪声的突然差异导致的图像质量劣化。

参照图10，当如图8所示总体亮度在从帧(FR)的左侧到右侧的方向上逐渐增加时，图像组合单元320可将帧(FR)的右端的部分区域确定为第一过渡区域TZ1。在第一过渡区域TZ1中，对于各个单位像素组各自具有饱和的像素数据的高灵敏度像素的比率不超过预定比率，但是高灵敏度像素的最小比率可等于或高于最小比率(例如，70％)，并且可出现总体亮度增加的方向性(例如，左侧→右侧)。

在第一过渡区域TZ1中，图像组合单元320可使用第一组合权重将低灵敏度像素的像素数据和高灵敏度像素的像素数据组合，从而生成HDR图像。第一组合权重可以是具有0至1范围的值，并且可指分配给高灵敏度像素的像素数据的权重。

具体地，在第一过渡区域TZ1中，图像组合单元320可将第一值和第二值之和确定为低灵敏度像素的HDR图像。在这种情况下，当第一组合权重乘以通过高灵敏度像素的像素数据的插值而获得的所得值时获得第一值，当值(由“1-第一组合权重”表示)乘以通过增益和低灵敏度像素的像素数据之间的算术计算获得的所得值时获得第二值。

根据一个实施方式，在第一过渡区域TZ1中第一组合权重可逐渐改变。例如，在第一过渡区域TZ1的左端，第一组合权重可被设定为1。第一组合权重可在第一过渡区域TZ1内从左端到右端的方向上逐渐减小，以使得在第一过渡区域TZ1内的第一过渡区域TZ1的右端，第一组合权重可被设定为0.1。

根据建立组合权重的方法，在饱和高灵敏度像素的比率相对高的区域中可部分地反映低灵敏度像素的像素数据，从而可获得具有扩展的动态范围的HDR图像。另外，第一组合权重可根据平均亮度改变，从而可获得动态范围和SNR优化的HDR图像。

参照图11，当如图8所示包括第一高亮度区域S1和第二高亮度区域S2时，图像组合单元320可将与低亮度区域和第一高亮度区域S1之间的边界相邻的低亮度区域(或围绕第一高亮度区域S1的区域)确定为第二过渡区域TZ2，并且可将与低亮度区域和第二高亮度区域S2之间的边界相邻的低亮度区域(或围绕第二高亮度区域S2的区域)确定为第三过渡区域TZ3。

如上所述，当一帧(FR)中存在至少一个高亮度区域S1和S2时，图像组合单元320可使用至少一个高亮度区域S1和S2中的低灵敏度像素的像素数据，并且可使用至少一个高亮度区域S1和S2以外的剩余区域内(或低亮度区域中)的高灵敏度像素的像素数据来生成HDR图像。在这种情况下，在低灵敏度像素的像素数据和高灵敏度像素的像素数据之间可存在非常大的散粒噪声差异。

因此，图像组合单元320可将围绕第一高亮度区域S1的区域确定为第二过渡区域TZ2。在第二过渡区域TZ2中，图像组合单元320可使用第二组合权重将低灵敏度像素的像素数据和高灵敏度像素的像素数据组合，从而形成HDR图像。第二组合权重可以是具有0至1范围的值，并且可指分配给高灵敏度像素的像素数据的权重。

另外，图像组合单元320可将围绕第二高亮度区域S2的区域确定为第三过渡区域TZ3。在第三过渡区域TZ3中，图像组合单元320可使用第三组合权重将低灵敏度像素的像素数据和高灵敏度像素的像素数据组合，从而形成HDR图像。第三组合权重可以是具有0至1范围的值，并且可指分配给高灵敏度像素的像素数据的权重。

通过基于第二组合权重或第三组合权重组合像素数据而生成HDR图像的方法与图10所示的通过基于第一组合权重组合像素数据而生成HDR图像的方法基本上相同，因此为了描述方便，本文中将省略其这些冗余描述。

根据一个实施方式，第二组合权重或第三组合权重可在第二过渡区域TZ3或第三过渡区域TZ3中逐渐改变。例如，在第二过渡区域TZ2的外端(即，在最远离第一高亮度区域S1和低亮度区域之间的边界的位置)，第二组合权重可被设定为1。第二组合权重可在从第二过渡区域TZ2的外端到内端的方向上逐渐减小，以使得在第二过渡区域TZ2的内端(即，在第一高亮度区域S1和低亮度区域之间的边界处)第二组合权重可变为零。另外，第三组合权重可在第三过渡区域TZ3的外端被设定为1，并且可在从第三过渡区域TZ3的外端到内端的方向上逐渐减小，以使得第三组合权重可在第三过渡区域TZ3的内端变为零。

根据建立组合权重的方法，在围绕高亮度区域与高亮度区域以外的剩余区域之间的边界定位的区域内低灵敏度像素的像素数据和低灵敏度像素的像素数据可使用特定组合权重彼此组合，并且第二组合权重和第三组合权重可根据距高亮度区域的距离而改变，从而形成减轻由噪声差异导致的图像质量劣化的HDR图像。

根据一个实施方式，第二过渡区域TZ2的第一宽度W1和第三过渡区域TZ3的第二宽度W2可由与第一高亮度区域S1和第二高亮度区域S2相邻定位的高灵敏度像素的像素数据的平均值确定。这里，与第一高亮度区域S1和第二高亮度区域S2中的每一个相邻的高灵敏度像素可指包括在距第一高亮度区域S1和第二高亮度区域S2中的每一个预定距离内的高灵敏度像素。第二过渡区域TZ2的第一宽度W1和第三过渡区域TZ3的第二宽度W2中的每一个可随着对应高灵敏度像素的像素数据的平均值减小而减小，并且可随着对应高灵敏度像素的像素数据的平均值增加而增加。这是因为当第一高亮度区域S1和第二高亮度区域S2中的每一个与相邻区域之间的亮度差异相对大时，由散粒噪声差异导致的不协调感可相对小。例如，从图11可看出，第二过渡区域TZ2的第一宽度W1可小于第三过渡区域TZ3的第二宽度W2。

参照图12，当如图8所示帧(FR)中包括第一高亮度区域S1和第二高亮度区域S2时，图像组合单元320可将围绕第二高亮度区域S2的区域的一些部分确定为第四过渡区域TZ4。

即，图像组合单元320可将围绕第二高亮度区域S2的区域的一些部分确定为第四过渡区域TZ4，而不将围绕第一高亮度区域S1的区域确定为过渡区域。在第四过渡区域TZ4中，图像组合单元320可使用第四组合权重将低灵敏度像素的像素数据和高灵敏度像素的像素数据组合，从而形成HDR图像。第四组合权重可以是具有0至1范围的值，并且可指分配给高灵敏度像素的像素数据的权重。通过基于第四组合权重组合像素数据来生成HDR图像的方法与图10所示的通过基于第一组合权重组合像素数据来生成HDR图像的方法基本上相同，因此为了描述方便，本文中将省略其这些冗余描述。

根据一个实施方式，第四组合权重可在第四过渡区域TZ4中逐渐改变。例如，第四组合权重可在第四过渡区域TZ4的外端被设定为1，并且可在从第四过渡区域TZ4的外端到内端的方向上逐渐减小，以使得第四组合权重可在第四过渡区域TZ4的内端变为零。

不同于图11，对于第一高亮度区域S1和第二高亮度区域S2，图像组合单元320可仅将围绕第二高亮度区域S2的区域的一些部分确定为第四过渡区域TZ4。

即，图像组合单元320可仅为与第一高亮度区域S1和第二高亮度区域S2中的每一个相邻的高灵敏度像素的像素数据的平均值高于预定阈值的区域设定过渡区域。在图12的示例中，与第一高亮度区域S1和第二高亮度区域S2中的每一个相邻的高灵敏度像素当中的与第四过渡区域TZ4对应的一些高灵敏度像素的像素数据的平均值可超过预定阈值。

如上所述，仅在亮度区域的外围区域内满足特定条件的区域中设定过渡区域的原因如下。当第一高亮度区域S1和第二高亮度区域S2中的每一个与相邻区域之间的亮度差异相对大时，由散粒噪声差异导致的不协调感相对小。结果，用于防止由低灵敏度像素的像素数据和高灵敏度像素的像素数据之间的组合导致的SNR劣化的方法可被认为与用于减轻噪声差异的方法相比更有效。

参照图13，示出高灵敏度像素(HPX)和低灵敏度像素(LPX)的布置方式的一个示例。即，三个高灵敏度像素(HPX)和一个低灵敏度像素(LPX)可布置成(2×2)矩阵(即，单位矩阵)。尽管低灵敏度像素(LPX)设置在与(2×2)矩阵的第二行和第二列对应的位置处，但其它实现方式也是可能的，应该注意的是，低灵敏度像素(LPX)也可设置在(2×2)矩阵的任何位置处。另外，高灵敏度像素(HPX)和低灵敏度像素(LPX)可包括相同类型的滤光器。

高灵敏度像素(HPX)和低灵敏度像素(LPX)中的每一个可独立地包括光电转换元件和传输晶体管，并且剩余结构可被实现为由四个像素共享的共享像素结构。即，高灵敏度像素(HPX)和低灵敏度像素(LPX)可仅共享一个浮置扩散区域(图13中的“一个FD”)。

由高灵敏度像素(HPX)和低灵敏度像素(LPX)组成的共享像素可在四元模式或合并(binning)模式下操作。在这种情况下，四元模式可指与高灵敏度像素(HPX)中生成的光电荷对应的像素信号和与低灵敏度像素(LPX)中生成的光电荷对应的像素信号在不同的时间点依次输出的模式。合并模式可指与高灵敏度像素(HPX)和低灵敏度像素(LPX)中的每一个中生成的全部光电荷对应的像素信号一次输出的模式。尽管合并模式与四元模式相比在分辨率方面可能不利(分辨率降低至1/4)，但合并模式可直接获得与高灵敏度像素(HPX)和低灵敏度像素(LPX)中的每一个中生成的全部光电荷对应的像素数据，从而生成HDR图像而无需执行单独的图像组合操作。

当共享像素在四元模式下操作时，ISP 300可将与低灵敏度像素(LPX)和高灵敏度像素(HPX)之间的灵敏度差异对应的增益应用于基于低灵敏度像素(LPX)中生成的光电荷独立地生成的像素数据。

然而，当共享像素在合并模式下操作时，共享像素的像素信号不仅包括与低灵敏度像素(LPX)所生成的光电荷对应的分量，而且包括与高灵敏度像素(HPX)中生成的光电荷对应的分量。结果，ISP 300无法将与低灵敏度像素(LPX)和高灵敏度像素(HPX)之间的灵敏度差异对应的增益应用于共享像素的像素数据而不改变。

图14是示出共享像素的像素数据根据入射光强度的变化的曲线图。图15是示出共享像素的像素数据和增益控制像素数据之间的比较结果的曲线图。

图14所示的曲线图示出被配置为包括三个高灵敏度像素(HPX)和单个低灵敏度像素(LPX)并在合并模式下操作的共享像素的像素数据根据入射光强度而改变。

共享像素的像素数据可随着入射光的强度增加而以第一斜率增加，并且可在高灵敏度像素(HPX)饱和的第一照度(ST_HPX)下具有第一值(A)。

此后，仅低灵敏度像素(LPX)可生成与入射光强度对应的光电荷，并且共享像素的像素数据可随着入射光的强度增加而以小于第一斜率的第二斜率增加，并且可在低灵敏度像素(LPX)也饱和的第二照度(ST_LPX)下具有第二值(S)。

由于低灵敏度像素(LPX)的存在，动态范围可扩展至第二照度(ST_LPX)。与像素数据可根据入射光强度的增加以第一斜率增加至第三值(B)直到达到第二照度(ST_LPX)的理想像素相比，共享像素的像素数据可在从第一照度(ST_HPX)至第二照度(ST_LPX)的时间段内根据入射光强度的增加以不是第一斜率的第二斜率增加至第二值(S)。

因此，为了使共享像素的像素数据表示与理想像素的像素数据对应的曲线图，用于第一照度(ST_HPX)和第二照度(ST_LPX)之间的时间段的ISP 300可在共享像素的像素数据与应用了低灵敏度像素(LPX)和高灵敏度像素(HPX)之间的灵敏度差异的增益之间执行计算(例如，乘法)。

根据一个实施方式，ISP 300可将增益“1”应用于共享像素的像素数据(具有0至A的范围)。对于共享像素的像素数据(X)(其中X高于A且小于S)，由低灵敏度像素(LPX)和高灵敏度像素(LPX)之间的灵敏度差异导致的增益(例如，16)乘以通过从共享像素的像素数据(X)减去第二值(S)而获得的所得值，并且计算第一值(A)与这种乘法的结果之和，从而计算增益控制像素数据。即，共享像素的增益控制像素数据可由A+G*(X-A)表示(其中G是根据HPX和LPX之间的灵敏度差异的增益(例如，16))。

根据上述示例，ISP 300可将增益1应用于具有0至A的范围(A：第一值)的共享像素的像素数据，具有0至A的范围的共享像素的像素数据的增益控制像素数据可以斜率1增加。

另外，由于ISP 300将增益16应用于具有A至S的范围(其中A是第一值，S是第二值)的共享像素的像素数据，所以增益控制像素数据可相对于具有A至S的范围(其中A是第一值，S是第二值)的共享像素的像素数据以斜率16增加。

ISP 300可使用适合于在合并模式下操作的共享像素的像素数据的增益来生成增益控制像素数据，从而获得接近理想像素的响应。

从以上描述显而易见的是，基于所公开的技术的一些实现方式的成像装置被配置为使得高灵敏度像素和低灵敏度像素被布置在一起，因此可通过仅执行图像捕获一次(即，一个拍摄动作)来获得高动态范围(HDR)图像。

所公开的技术的实施方式可提供能够通过上述专利文献直接或间接识别的各种效果。

尽管已描述了多个例示性实施方式，但应该理解，基于在本专利文献中描述或示出的内容可以想到对所公开的实施方式和其它实施方式的修改和增强。

Claims

1.一种成像装置，该成像装置包括：

图像感测装置，该图像感测装置包括感测像素的像素阵列，该像素阵列包括用于感测入射光并具有第一动态范围的至少一个第一像素以及用于感测入射光并具有第二动态范围的至少一个第二像素，所述第一动态范围由不使所述第一像素饱和的第一可测量高光强度和相对于所述第一像素的像素噪声水平的第一可测量低光强度表示，所述第二动态范围由不使所述第二像素饱和的第二可测量高光强度和相对于所述第二像素的像素噪声水平的第二可测量低光强度表示，所述第二可测量高光强度高于所述第一像素的所述第一可测量高光强度，其中，感测像素的所述像素阵列使所述第一像素的数量与所有感测像素之比高于所述第二像素的数量与所有感测像素之比；以及

图像信号处理器，该图像信号处理器从所述图像感测装置接收像素数据并处理所述像素数据以基于所述像素阵列中的所述第一像素的像素数据和所述第二像素的像素数据来生成与比所述第一动态范围或所述第二动态范围更大的动态范围对应的高动态范围HDR图像。

2.根据权利要求1所述的成像装置，其中，

所述至少一个第二像素中的每一个包括与红色对应的红色滤色器、与蓝色对应的蓝色滤色器以及与绿色对应的绿色滤色器。

3.根据权利要求2所述的成像装置，其中，

包括所述绿色滤色器的所述第二像素具有比包括所述红色滤色器的所述第二像素或包括所述蓝色滤色器的所述第二像素更低的灵敏度。

4.根据权利要求1所述的成像装置，其中，所述至少一个第二像素中的每一个包括：

光电转换元件，该光电转换元件生成与入射光的强度对应的光电荷；

对数晶体管，该对数晶体管具有联接到电源电压的栅极和漏极以及直接联接到所述光电转换元件的源极；以及

驱动晶体管，该驱动晶体管生成与流到所述对数晶体管中的电流对应的电压信号。

5.根据权利要求1所述的成像装置，其中，

所述图像信号处理器还针对包括所述至少一个第一像素的像素数据和所述至少一个第二像素的像素数据的帧，确定每单位像素组的饱和第一像素的比率高于预定比率的高亮度区域和每单位像素组的饱和第一像素的比率等于或小于预定比率的低亮度区域；并且

所述图像信号处理器还在所述高亮度区域中基于所述至少一个第二像素的像素数据来生成所述HDR图像，并且在所述低亮度区域中基于所述至少一个第一像素的像素数据来生成所述HDR图像。

6.根据权利要求5所述的成像装置，其中，

所述图像信号处理器还在所述低亮度区域中确定每单位像素组的饱和第一像素的比率等于或高于最小比率的第一过渡区域，该第一过渡区域具有亮度增加的方向性；并且

所述图像信号处理器还通过在所述第一过渡区域中使用第一组合权重组合所述至少一个第一像素的像素数据和所述至少一个第二像素的像素数据来生成所述HDR图像。

7.根据权利要求5所述的成像装置，其中，

所述图像信号处理器还将与所述低亮度区域和所述高亮度区域之间的边界相邻的所述低亮度区域确定为第二过渡区域；并且

所述图像信号处理器还通过在所述第二过渡区域中使用第二组合权重组合所述至少一个第一像素的像素数据和所述至少一个第二像素的像素数据来生成所述HDR图像。

8.根据权利要求7所述的成像装置，其中，

所述第二组合权重在所述第二过渡区域中随着接近所述低亮度区域和所述高亮度区域之间的边界而减小。

9.根据权利要求7所述的成像装置，其中，

所述第二过渡区域具有预定宽度，

其中，所述预定宽度由与所述高亮度区域相邻的第一像素的像素数据的平均值来确定。

10.根据权利要求7所述的成像装置，其中，

所述图像信号处理器还确定所述第二过渡区域在与所述低亮度区域和所述高亮度区域之间的边界相邻的所述低亮度区域中，所述第二过渡区域是与所述高亮度区域相邻的所述第一像素的像素数据的平均值高于预定阈值的特定区域。

11.根据权利要求1所述的成像装置，其中，

所述图像信号处理器还通过将与所述第一像素和所述第二像素之间的灵敏度差异对应的增益应用于所述至少一个第二像素的像素数据来生成所述HDR图像。

12.根据权利要求1所述的成像装置，其中，

所述至少一个第一像素和所述至少一个第二像素构造共享单个浮置扩散区域的共享像素；并且

在所述共享像素生成与所述至少一个第一像素和所述至少一个第二像素中生成的光电荷对应的像素信号的合并模式下，所述图像信号处理器还将与所述第一像素和所述第二像素之间的灵敏度差异对应的增益应用于当从所述共享像素的像素数据减去与所述至少一个第一像素饱和的照度对应的像素数据时获得的所得值，从而生成所述HDR图像。

13.根据权利要求1所述的成像装置，其中，

所述至少一个第二像素包括阻挡至少一部分入射光的光阻挡结构；并且

所述至少一个第一像素不包括所述光阻挡结构。

14.根据权利要求1所述的成像装置，其中，

所述至少一个第一像素和所述至少一个第二像素中的每一个包括选择性地透射与透射波长带对应的光的滤光器，

其中，包括在所述至少一个第二像素中的滤光器具有比包括在所述至少一个第一像素中的滤光器更低的透光率。

15.一种成像装置，该成像装置包括：

图像感测装置，该图像感测装置包括至少一个第一像素和灵敏度低于所述至少一个第一像素的至少一个第二像素；以及

图像信号处理器，该图像信号处理器基于所述至少一个第一像素的像素数据和所述至少一个第二像素的像素数据来生成与大于所述至少一个第一像素的动态范围或所述至少一个第二像素的动态范围的动态范围对应的高动态范围HDR图像，

其中，所述至少一个第一像素与包括在所述图像感测装置中的所有像素之比高于所述至少一个第二像素与包括在所述图像感测装置中的所有像素之比。

16.根据权利要求15所述的成像装置，其中，所述至少一个第一像素包括强度响应于入射光强度的增加而增加的光传输至的光电转换元件，所述强度与所述至少一个第二像素的情况相比以更高的速率增加。

17.根据权利要求15所述的成像装置，其中，所述图像信号处理器还通过调节给予所述至少一个第一像素的像素数据和所述至少一个第二像素的像素数据的一个或更多个权重来生成所述HDR图像。

18.根据权利要求17所述的成像装置，其中，所述图像信号处理器还针对基于亮度水平为被确定为帧的各种部分的一个或更多个过渡区域调节所述一个或更多个权重。

19.根据权利要求15所述的成像装置，其中，所述至少一个第二像素包括阻挡至少一部分入射光并设置在基板上方的光阻挡结构。

20.根据权利要求15所述的成像装置，其中，所述至少一个第一像素和所述至少一个第二像素中的每一个包括选择性地透射与透射波长带对应的光的滤光器，并且其中，包括在所述至少一个第二像素中的滤光器具有比包括在所述至少一个第一像素中的滤光器更低的透光率。