CN115209120B - 图像感测装置及其操作方法及图像处理装置 - Google Patents

Abstract

本申请公开了图像感测装置及其操作方法以及图像处理装置。该图像感测装置包括：图像传感器，其包括包括多个颜色通道的至少一个像素；以及基于多个颜色通道的亮度强度值来处理输入图像的图像处理器。该图像处理器包括：透射图生成器，其：生成包括通过将多个颜色通道的亮度强度值分别转换成预定范围内的值而获得的透射值的颜色通道透射图；以及生成包括通过将透射值中的与相同像素中所包括的颜色通道相对应的透射值相乘而获得的目标透射值的目标透射图；白色像素检测器，其基于目标透射图来确定图像中所包括的像素中的白色区域中所包括的目标像素；以及白平衡调整器，其基于目标像素中所包括的各个颜色通道的平均亮度强度值来调整白平衡。

Description

图像感测装置及其操作方法及图像处理装置

相关申请的交叉引用

本申请要求于2021年4月9日在韩国知识产权局提交的申请号为10-2021-0046791的韩国专利申请的优先权，其全部内容通过引用合并于此。

技术领域

本公开总体上涉及电子设备，更具体地涉及图像感测装置及其操作方法。

背景技术

图像感测装置是一种利用半导体对光起反应的特性来捕捉图像的装置。近年来，随着计算机和通信行业的发展，包括智能手机、数码相机、游戏机、物联网、机器人、监控摄像头、医疗摄像头等的各个领域对性能提高的图像感测装置的需求不断增加。

图像传感器可以大体上分为电荷耦合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器。与CMOS图像传感器相比，CCD图像传感器生成小噪声并提供高质量的图像。然而，CMOS图像传感器是简单驱动的，并且可以根据各种扫描方法来实现。此外，由于信号处理电路可以集成到单个芯片中，所以可以将CMOS图像传感器制造得紧凑且具有低功耗。此外，CMOS图像传感器可以兼容地使用CMOS工艺技术，从而可以降低CMOS图像传感器的制造成本。近来，由于更适合移动设备的特性，CMOS图像感测装置已被频繁地使用。

发明内容

根据本公开的一个方面，提供了一种图像感测装置，该图像感测装置包括：图像传感器，其包括包括多个颜色通道的至少一个像素；以及图像处理器，其基于多个颜色通道的亮度强度值来处理输入图像，其中该图像处理器包括：透射图生成器，其：生成包括透射值的颜色通道透射图，该透射值是通过将多个颜色通道的亮度强度值分别转换成预定范围内的值而获得的；以及生成包括目标透射值的目标透射图，该目标透射值是通过将透射值中的与相同像素中所包括的颜色通道相对应的透射值相乘而获得的；白色像素检测器，其：基于目标透射图来确定图像中所包括的像素中的白色区域中所包括的目标像素；以及白平衡调整器，其：基于目标像素中所包括的各个颜色通道的平均亮度强度值来调整白平衡。

根据本公开的另一方面，提供了一种用于操作图像感测装置的方法，该图像感测装置包括：图像传感器，其包括具有多个颜色通道的至少一个像素；以及图像处理器，其用于基于多个颜色通道的亮度强度值来处理输入图像，该方法包括：生成具有透射值的颜色通道透射图，该透射值是通过将多个颜色通道的亮度强度值分别转换成预定范围内的值而获得的；生成具有目标透射值的目标透射图，该目标透射值是通过将透射值中的与图像中的相同位置的像素中所包括的颜色通道相对应的透射值相乘而获得的；基于目标透射图来确定图像中所包括的像素中的白色区域中所包括的目标像素；以及基于包括在目标像素中的各个颜色通道的平均亮度强度值来调整白平衡。

根据本公开的又一方面，提供了一种图像处理装置，其用于基于关于包括多个颜色通道的至少一个像素的多个颜色通道的亮度信息来处理从包括至少一个像素的图像传感器接收的输入图像，该图像处理装置包括：透射图生成器，其：生成具有目标透射值的目标透射图，该目标透射值是通过计算归一化的亮度强度值以使得关于图像中的相同位置的像素的亮度信息中所包括的颜色通道的最大尺寸小于或等于1而获得的；白色像素检测器，其：基于目标透射图来确定图像中所包括的像素中的白色区域中所包括的目标像素；以及白平衡调整器，其：基于目标像素中所包括的各个颜色通道的平均亮度强度值来调整白平衡。

附图说明

下面将参考附图更全面地描述示例实施例；然而，它们可以以不同的形式体现并且不应被解释为限于在此阐述的实施例。相反，提供这些实施例使得本公开将是彻底和完整的，并且将向本领域技术人员充分传达示例实施例的范围。

在附图中，为了图示清楚，尺寸可能被扩大。应当理解，当一个元件被称为在两个元件“之间”时，它可以是两个元件之间的唯一元件，或者也可以存在一个或多个居间元件。相同的附图标记始终指代相同的元件。

图1是示出本公开的实施例的图像感测装置的示图。

图2是示出根据本公开的实施例的诸如图1所示的图像传感器的示图。

图3是示出根据本公开的实施例的包括在图2所示的像素阵列中的滤色器的示例性模式的示图。

图4是示出根据本公开的实施例的图像感测装置的框图。

图5是示出根据本公开的实施例的包括在像素中的颜色通道的示图。

图6是示出根据本公开的实施例的颜色通道的颜色通道透射图的示图。

图7是示出根据本公开的实施例的生成目标透射图的示图。

图8是示出根据本公开的实施例的白平衡操作的流程图。

图9是示出根据本公开的实施例的用于生成目标透射图的方法的流程图。

图10是示出根据本公开的实施例的包括图像传感器的计算系统的框图。

具体实施方式

此处公开的具体结构或功能描述仅仅是为了描述根据本公开的构思的实施例的目的而进行说明。根据本公开的构思的实施例可以以各种形式实施，并且不能被解释为限于在此阐述的实施例。

下文中，将参考附图详细描述本公开的示例性实施例，以便本领域技术人员能够容易地实施本公开的技术精神。

实施例提供了一种用于执行改进的自动白平衡操作的图像感测装置和图像感测装置的操作方法。

图1是根据本公开的实施例的图像感测装置的示图。

参考图1，图像感测装置10可以包括图像传感器100和图像处理器200。

图像感测装置10可以包括在电子设备中，例如，数码相机、移动电话、智能电话、平板个人计算机(PC)、笔记本、个人数字助理(PDA)、企业数字助理(EDA)、数码照相机、数码摄像机、便携式多媒体播放器(PMP)、移动互联网设备(MID)、PC、可穿戴设备、或用于各种用途的相机(例如，车辆的前置摄像头、后置摄像头、黑匣子摄像头等)。

图像传感器100可以利用电荷耦合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器来实现。图像传感器100可以生成关于输入的物体(未示出)(或通过透镜(未示出)捕获的物体(未示出))的图像数据。透镜(未示出)可以包括形成光学系统的至少一个透镜。

图像传感器100可以包括多个像素。图像传感器100可以在多个像素中生成与拍摄的图像对应的多个像素值DPX。在图像传感器100中生成的多个像素值DPX可以被传输到图像处理器200。也就是说，图像传感器100可以生成与单个帧相对应的多个像素值DPX。

图像处理器200可以执行能够提高从图像传感器100接收的像素数据的图像质量的处理，并输出经处理的图像数据。该处理可以是电子稳像(EIS)、插值、色调校正、图像质量校正、尺寸调整等。在本公开的实施例中，图像处理器200可以是图像处理装置。

在图1中，图像处理器200可以被实现为独立于图像传感器100的芯片的芯片。图像传感器100的芯片和图像处理器200的芯片可以被实现为一个封装，例如多芯片封装。在本公开的另一实施例中，图像处理器200可以被包括作为图像传感器100的一部分以便被实现为一个芯片。

图2是示出根据本公开的实施例的诸如图1所示的图像传感器的示图。

参考图2，图像传感器100可以包括像素阵列110、行解码器120、时序生成器130和信号转换器140。

根据实施例，像素阵列110可以包括滤色器阵列111和光电转换层113，光电转换层113具有形成在滤色器阵列111的底部以便与每个滤色器阵列111的像素相对应的多个光电转换元件。像素阵列110可以包括用于输出包括在入射光中的颜色信息的多个像素。多个像素中的每一个可以输出与穿过对应滤色器阵列111的入射光相对应的像素信号。

滤色器阵列111可以包括滤色器，每个滤色器仅允许入射到每个像素上的入射光的特定波长(例如，红色、蓝色或绿色)通过。在本公开中，滤色器可以被表示为颜色通道。由于滤色器阵列111，每个像素的像素数据可以表示与具有特定波长的光的强度相对应的值。

具体地，多个像素中的每一个可以累积根据入射光产生的光电荷，并产生与累积的光电荷相对应的像素信号。每个像素可以包括用于将光信号转换为电信号的光电转换元件(例如，光电二极管、光电晶体管、光电门或钳位光电二极管)和用于处理电信号的至少一个晶体管。

像素阵列110可以包括在行方向和列方向上排列的多个像素。像素阵列110可以为每一行生成多个像素信号VPX。多个像素信号VPX中的每一个可以是模拟类型像素信号VPX。

行解码器120可以响应于地址和从时序生成器130输出的控制信号，在像素阵列110中布置有多个像素的多个行中选择一行。

信号转换器140可以将多个模拟类型像素信号VPX转换为多个数字类型像素值DPX。多个数字类型像素值DPX可以被输出作为各种模式。信号转换器140可以通过响应于从时序生成器130输出的控制信号对从像素阵列110输出的每个信号执行相关双采样(CDS)以及对被执行了CDS的每个信号执行模数转换来输出每个数字信号。数字信号可以分别是对应于穿过对应滤色器阵列111的入射光的波长强度的信号。

信号转换器140可以包括CDS块和模数转换器(ADC)块。CDS块可以顺序地采样和保持一组参考信号和图像信号，这些参考信号和图像信号被提供给包括在像素阵列110中的多个列线中的每个列线。也就是说，CDS块可以采样和保持对应于每一列的参考信号和图像信号的电平。ADC块可以输出通过将从CDS块输出的每列的CDS信号转换为数字信号而获得的像素数据。为此，ADC块可以包括对应于每一列的比较器和计数器。

此外，图像传感器100还可以包括输出缓冲器150。输出缓冲器150可以利用多个缓冲器来实现，以用于储存从信号转换器140输出的数字信号。具体地，输出缓冲器150可以锁存和输出从信号转换器140提供的每个列单元的像素数据。输出缓冲器150可以临时储存从信号转换器140输出的像素数据，并在时序生成器130的控制下依次输出像素数据。在本公开的实施例中，可以省略输出缓冲器150。

图3是示出根据本公开的实施例的包括在图2所示的像素阵列中的滤色器的示例性模式的示图。

参考图3，像素阵列110可以以预期的模式来排列。例如，像素阵列110可以被排列成拜耳模式。拜耳模式可以配置有重复的单元，每个单元为2×2单元。在每个像素中，可以将具有绿色滤色器的两个像素Gb和Gr设置为彼此斜着面对，并且可以将具有蓝色滤色器的像素B和具有红色滤色器的像素R设置在其他角处。四个像素B、Gb、Gr和R不一定限于图3所示的排列结构，而基于上述拜耳模式排列。像素B、Gb、Gr和R可以以四拜耳模式、诺娜模式、十六模式等来不同的排列。

图4是示出根据本公开的实施例的图像感测装置的框图。

参考图4，图像感测装置10可以包括图像传感器100和图像处理器200。包括具有多个颜色通道的至少一个像素的图像传感器100可以将多个颜色通道的亮度强度值传输到图像处理器200。图像处理器200可以基于多个颜色通道的亮度强度值来处理图像。

根据本公开的另一实施例，包括具有多个颜色通道的至少一个像素的图像传感器100可以将像素的多个颜色通道的亮度信息传输到图像处理器200。图像处理器200可以基于多个颜色通道的亮度信息来处理输入图像。

图像处理器200可以包括透射图生成器210、白色像素检测器220和白平衡调整器230。图像传感器100和图像处理器200可以对应于图1和图2所示的描述。

透射图生成器210可以生成包括透射值的颜色通道透射图，该透射值是通过将多个颜色通道的亮度强度值分别转换为预定范围内的值而获得的。透射图生成器210可以生成包括目标透射值的目标透射图，该目标透射值是通过乘以透射值中的与包括在相同像素中的颜色通道相对应的透射值而获得的。

透射图生成器210可以将从多个颜色通道分别接收到的亮度强度值归一化为大于或等于0且小于或等于1。透射图生成器210可以将透射值生成为1与通过将归一化的亮度强度值与预定的亮度分离强度值相乘而获得的值之间的差。透射图生成器210可以基于具有相同种类的颜色通道的透射值来生成颜色通道透射图，该颜色通道透射图包括通过将多个颜色通道的亮度强度值分别转换为预定范围内的值而获得的透射值。

在本公开的实施例中，红色通道、绿色通道和蓝色通道可以被包括在多个颜色通道中。透射图生成器210可以基于红色通道的颜色通道透射图、绿色通道的颜色通道透射图和蓝色通道的颜色通道透射图来生成目标透射图。

在本公开的另一实施例中，透射图生成器210可以生成包括目标透射值的目标透射图，该目标透射值是通过计算归一化的亮度强度值以使得关于所接收的图像中的相同位置的像素的亮度信息中所包括的颜色通道的最大尺寸小于或等于1而获得的。透射图生成器210可以将颜色通道透射值生成为1与通过将归一化的亮度强度值与预定的亮度分离强度值相乘而获得的值之间的差。透射图生成器210可以基于像素的目标透射值来生成目标透射图，该目标透射值是通过将颜色通道透射值相乘而生成的。

白色像素检测器220可以基于目标透射图来确定图像中所包括的像素中的白色区域中所包括的目标像素。白色像素检测器220可以检查目标透射图中所包括的目标透射值中的最小目标透射值，并将目标透射值比通过将最小目标透射值乘以预定的调谐值而获得的参考值小的像素确定为目标像素。

白平衡调整器230可以基于目标像素关于红色通道的平均亮度强度值、目标像素关于绿色通道的平均亮度强度值、和目标像素关于蓝色通道的平均亮度强度值来计算红色通道增益值作为对于红色通道的增益值，以及蓝色通道增益值作为对于蓝色通道的增益值。白平衡调整器230可以将红色通道增益值和蓝色通道增益值应用于目标像素。白平衡调整器230可以通过将目标像素关于红色通道的亮度强度值乘以红色通道增益值，以及将目标像素关于蓝色通道的亮度强度值乘以蓝色通道增益值来调整接收到的图像的白平衡。

图5是示出根据本公开的实施例的包括在像素中的颜色通道的示图。

参考图5，红色通道511、绿色通道513和蓝色通道515可以被包括在像素510中。虽然在图5和图6中示出了红色通道511、绿色通道513和蓝色通道515被包括的像素510中的情况，但是本公开不限于此。

当光被输入到图像感测装置时，光也可以被输入到像素510。输入光可以穿过像素510中所包括的红色通道511、绿色通道513和蓝色通道515。光通过的红色通道511、绿色通道513和蓝色通道515可以表示通过红色通道511、绿色通道513和蓝色通道515的光的亮度强度。

例如，当像素510上的入射光的颜色为红色时，红色通道511的亮度强度值可以是最高的。当像素510上的入射光的颜色为黄色时，红色通道511和绿色通道513的亮度强度值可以高于蓝色通道515的亮度强度值。

可以用红色通道511、绿色通道513和蓝色通道515的亮度强度值来表示入射到像素510上的光。

图6是示出根据本公开的实施例的颜色通道的颜色通道透射图的示图。

参考图6，与图5所示的像素510相同的像素520、530和540被包括在图像传感器中，并且输入到图像传感器的图像可以用红色通道透射图550、绿色通道透射图560和蓝色通道透射图570来表示。

可以基于像素510、520、530和540中所包括的红色通道的亮度强度值来配置红色通道透射图550。可以基于像素510、520、530和540中所包括的绿色通道的亮度强度值来配置绿色通道透射图560。可以基于像素510、520、530和540中所包括的蓝色通道的亮度强度值来配置蓝色通道透射图570。

例如，可以假设像素510的位置是(0,0)而像素520的位置是(0,1)。可以假设像素530的位置是(1,0)而像素540的位置是(1,1)。像素510的红色通道亮度强度值可以被包括在红色通道透射图550的(0,0)中，而像素520的红色通道亮度强度值可以被包括在红色通道透射图550的(0,1)中。像素530的红色通道亮度强度值可以被包括在红色通道透射图550的(1，0)中，而像素540的红色通道亮度强度值可以被包括在红色通道透射图550的(1，1)中。因此，可以生成与特定颜色通道相对应的颜色通道透射图。与红色通道透射图550一样，绿色通道透射图560和蓝色通道透射图570也可以包括通道亮度强度值。

根据本公开的实施例，颜色通道透射图可以包括通过执行特定计算获得的颜色通道亮度强度值。

图7是示出根据本公开的实施例的生成目标透射图的示图。

参考图7，透射图生成器可以基于输入图像来生成颜色通道透射图Tr、Tg和Tb。透射图生成器可以生成目标透射图Tm。在图7中，可以假设红色通道、绿色通道和蓝色通道是包括在每个像素中的颜色通道。

透射图生成器可以基于输入图像来生成红色通道透射图Tr、绿色通道透射图Tg和蓝色通道透射图Tb。透射图生成器可以将分别从红色通道、绿色通道和蓝色通道接收到的亮度强度值归一化为大于或等于0且小于或等于1。透射图生成器可以获取作为1与通过将归一化的亮度强度值乘以预定的亮度分离强度值而获得的值之间的差的透射值Trr、Tgg和Tbb。用于计算透射值的等式如下。

Trr＝1-w×Imgr

Tgg＝1-w×Imgg

Tbb＝1-w×Imgb

Imgr可以是红色通道的亮度强度值，Imgg可以是绿色通道的亮度强度值，Imgb可以是蓝色通道的亮度强度值，且w可以是亮度分离强度值。Trr可以是对于红色通道的透射值，Tgg可以是对于绿色通道的透射值，且Tbb可以是对于蓝色通道的透射值。

亮度分离强度值w可以是在0和1之间的恒定值。随着亮度分离强度值w变大，颜色通道透射图中的边界可以变得更加清晰。在本公开的实施例中，亮度分离强度值w可以为0.95。

透射图生成器可以基于对于红色通道的透射值Trr来生成红色通道透射图Tr。透射图生成器可以基于对于绿色通道的透射值Tgg来生成绿色通道透射图Tg。透射图生成器可以基于对于蓝色通道的透射值Tbb来生成蓝色通道透射图Tb。

颜色通道透射图Tr、Tg和Tb可以包括大于或等于0且小于或等于1的值。颜色通道透射图Tr、Tg和Tb中所包括的透射值Trr、Tgg和Tbb会随着特定波长的光的强度变强而变得更接近0。随着具有特定波长的光的强度变弱，颜色通道透射图Tr、Tg和Tb中所包括的透射值Trr、Tgg和Tbb会变得更接近1。即，通过透射值Trr、Tgg和Tbb而使一种颜色被最多地包括在输入图像中。

透射图生成器可以通过将透射值中的相同位置的像素的透射值Trr、Tgg和Tbb相乘来生成目标透射图Tm，该目标透射图Tm对应于包括这些透射值的颜色通道透射图。包括在目标透射图Tm中的目标透射值Tmm可以是大于或等于0且小于或等于1的值。随着目标透射值Tmm越接近0，一部分可以被确定为较亮的部分。相反，随着目标透射值Tmm越接近1，一部分可以被确定为较暗的部分。用于计算目标透射图Tm中所包括的目标透射值Tmm的等式如下。

Tmm＝Trr×Tgg×Tbb

因此，目标透射图Tm可以被表示为颜色通道透射图的乘法计算(Trr×Tgg×Tbb)。透射图生成器可以基于目标透射值Tmm来生成目标透射图Tm。

白色像素检测器可以检查目标透射图Tm中所包括的目标透射值Tmm中的最小目标透射值min(Tmm)。白色像素检测器可以将目标透射值Tmm比通过将最小目标透射值min(Tmm)乘以预定调谐值a而获得的参考值小的像素确定为目标像素。调谐值a可以是预定的恒定值。调谐值a可以被表示为灵敏度或调谐增益。目标像素的数量可以随着调谐值a的增加而增加。

白平衡调整器可以基于目标像素关于红色通道的平均亮度强度值、目标像素关于绿色通道的平均亮度强度值、以及目标像素关于蓝色通道的平均亮度强度值来计算红色通道增益值GainR作为对于红色通道的增益值以及蓝色通道增益值GainB作为对于蓝色通道的增益值。用于计算红色通道增益值GainR和蓝色通道增益值GainB的等式如下。

GainR＝avgG/avgR

GainB＝avgG/avgB

avgG可以是包括在目标像素中的绿色通道的亮度强度值的平均值，avgR可以是包括在目标像素中的红色通道的亮度强度值的平均值，以及avgB可以是包括在目标像素中的蓝色通道的亮度强度值的平均值。

白平衡调整器可以通过将目标像素关于红色通道的亮度强度值乘以红色通道增益值GainR以及通过将目标像素关于蓝色通道的亮度强度值乘以蓝色通道增益值GainB来执行校正目标像素的白平衡的自动白平衡操作。

图8是示出根据本公开的实施例的白平衡操作的流程图。

参考图8，图像处理器可以对输入图像执行自动白平衡操作。

在步骤S801中，透射图生成器可以生成包括透射值的颜色通道透射图，该透射值是通过将多个颜色通道的亮度强度值分别转换为预定范围内的值而获得的；以及生成包括目标透射值的目标透射图，该目标透射值是通过将与包括在相同像素中的颜色通道相对应的透射值中的透射值相乘而获得的。在本公开的另一个实施例中，透射图生成器可以通过计算归一化的亮度强度值以使得包括在关于图像中的相同位置的像素的亮度信息中的颜色通道的最大尺寸小于或等于1来生成所接收的图像的目标透射图。

在步骤S803中，白色像素检测器可以基于目标透射图来确定图像中所包括的像素中的白色区域中所包括的目标像素。白色像素检测器可以检查目标透射值中的被包括在目标透射图中的目标透射值，并将目标透射值比通过将最小目标透射值乘以预定调谐值而获得的参考值小的像素确定为目标像素。

在步骤S805中，白平衡调整器可以基于包括在目标像素中的各个颜色通道的平均亮度强度值来执行调整白平衡的自动白平衡操作。白平衡调整器可以基于目标像素关于红色通道的平均亮度强度值、目标像素关于绿色通道的平均亮度强度值、以及目标像素关于蓝色通道的平均亮度强度值来计算红色通道增益值作为对于红色通道的增益值以及蓝色通道增益值作为对于蓝色通道的增益值。白平衡调整器可以通过将目标像素关于红色通道的亮度强度值乘以红色通道增益值、以及将目标像素关于蓝色通道的亮度强度值乘以蓝色通道增益值来调整输入图像的白平衡。

图9是示出根据本公开的实施例的用于生成目标透射图的方法的流程图。

参考图9，透射图生成器可以为输入图像生成目标透射图。

在步骤S901中，透射图生成器可以生成包括通过将多个颜色通道的亮度强度值分别转换为预定范围内的值而获得的透射值的颜色通道透射图。具体地，透射图生成器可以将分别从多个颜色通道接收到的亮度强度值归一化为大于或等于0且小于或等于1，将透射值生成为1与通过将归一化的亮度强度值乘以预定的亮度分离强度值而获得的值之间的差，以及基于相同种类的颜色通道的透射值来生成包括通过将多个颜色通道的亮度强度值分别转换为预定范围内的值而获得的透射值的颜色通道透射图。

在步骤S903中，透射图生成器可以通过累加颜色通道透射图来生成目标透射图。透射图生成器可以累积并组合颜色通道透射图中所包括的透射值中的与颜色通道透射图对应的相同位置的像素的透射值。透射图生成器可以通过对透射值进行加法计算或乘法计算来生成透射图。

在本公开的实施例中，图像感测装置可以通过对输入图像执行自动白平衡操作来校正输入图像。图像感测装置可以校正由于光源的颜色而失真的图像。

即使在具有特定颜色的光源下，人的眼睛也可以准确地感知对象所具有的自然颜色。图像传感器将由光源反射的光生成为数字图像，因此，在具有特定颜色的光的环境中，可能发生对象的颜色被失真为光源的颜色的现象。

根据本公开的实施例，输入图像可以是由红色光源或黄色光源生成的数字图像。图像所输入的像素中所包括的红色通道的亮度强度值可以整体增加。因此，获取的图像的颜色与原始图像的颜色不同。例如，原始图像的白色可以被表示为红色或黄色。

本公开的图像感测装置可以校正输入图像中的由红色光源或黄色光源改变的像素值。本公开的图像感测装置可以检测因为光源而失真的白色并将失真的白色表示为白色。

图10是示出根据本公开的实施例的包括图像传感器的计算系统的框图。

参考图10，计算系统2000可以包括图像传感器2010、处理器2020、储存设备2030、存储设备2040、输入/输出(I/O)设备2050和显示设备2060。虽然图10中未示出，但是计算系统2000还可以包括能够与视频卡、声卡、存储卡、USB设备等通信或与其他电子设备通信的端口。

图像传感器2010可以生成对应于入射光的图像数据。显示设备2060可以显示图像数据。储存设备2030可以存储图像数据。处理器2020可以控制图像传感器2010、显示设备2060和储存设备2030的操作。

处理器2020可以执行特定的计算或任务。根据本公开的实施例，处理器2020可以是微处理器或中央处理单元(CPU)。处理器2020可以通过地址总线、控制总线和数据总线连接到储存设备2030、存储设备2040和I/O设备2050以执行通信。根据本公开的实施例，处理器2020还可以连接到扩展总线，例如外围组件互连(PCI)总线。

储存设备2030可以包括闪存设备、固态驱动器(SSD)、硬盘驱动器(HDD)、CD-ROM、以及其它所有类型的非易失性存储设备等。

存储设备2040可以存储计算系统2000的操作所需的数据。例如，存储设备2040可以包括易失性存储设备(例如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM))以及非易失性存储设备(例如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)和闪存设备)。

I/O设备可以包括诸如键盘、键板或鼠标的输入装置以及诸如打印机或显示器的输出装置。

图像传感器2010可以通过总线或另一通信链路连接到处理器2020以执行通信。

图像传感器2010可以对从像素阵列中所包括的多个像素生成的多个像素数据执行像素合并(binning)，从而生成在像素阵列中均匀分布的像素合并的像素数据。

图像传感器2010可以用各种类型的封装来实现。例如，图像传感器2010的至少一些组件可以通过使用诸如以下封装来实现：层叠封装(PoP)、球栅阵列(BGA)、芯片级封装(CSP)、塑料引线芯片载体(PLCC)、塑料双列直插式封装(PDIP)、华夫式封装裸片、晶片形式的裸片、板上芯片(COB)、陶瓷双列直插式封装(CERDIP)、塑料公制四方扁平封装(MQFP)、薄型四方扁平封装(TQFP)、小外形集成电路(SOIC)、收缩小外形封装(SSOP)、薄型小外形封装(TSOP)、系统级封装(SIP)、多芯片封装(MCP)、晶圆级制造封装(WFP)、以及晶圆级处理堆叠封装(WSP)。

在一些实施例中，图像传感器2010与处理器2020可以被集成在一个芯片中，或者图像传感器2010和处理器2020可以分别集成在不同的芯片中。

同时，计算系统2000可以被解释为使用图像传感器2010的所有计算系统。例如，计算系统2000可以包括数码相机、移动电话、个人数字助理(PDA)、便携式多媒体播放器(PMP)、智能手机等。

根据本公开，可以提供一种用于执行改进的自动白平衡操作的图像感测装置。

虽然已经参考本公开的某些示例性实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求书及其等同物所定义的本公开的精神和范围的情况下，可以在形式和细节上做出各种改变。因此，本公开的范围不应限于上述示例性实施例，而是应该不仅由所附权利要求而且由其等同物来确定。

在上述实施例中，可以选择性地执行所有步骤，或者可以省略部分步骤。在每个实施例中，步骤不一定按照所描述的顺序来执行并且可以重新排列。本说明书和附图中公开的实施例仅是便于理解本公开的示例，并且本公开不限于此。即，对于本领域技术人员来说显而易见的是，可以在本公开的技术范围的基础上进行各种修改。

同时，已经在附图和说明书中描述了本公开的示例性实施例。这里虽然使用了特定的术语，但是仅用于解释本公开的实施例。因此，本公开不限于上述实施例并且在本公开的精神和范围内许多变化是可能的。本领域技术人员应当清楚，除了在此公开的实施例之外，还可以在本公开的技术范围的基础上进行各种修改。

Claims (20)

1.一种图像感测装置，包括：

图像传感器，其包括至少一个像素，其中每个像素包括相同种类的多个颜色通道；

透射图生成器，其：生成包括透射值的颜色通道透射图，所述透射值是通过将所述多个颜色通道的亮度强度值分别转换成预定范围内的值而获得的；以及生成包括目标透射值的目标透射图，所述目标透射值是通过将所述透射值中的与相同像素中所包括的颜色通道相对应的透射值相乘而获得的；

白色像素检测器，其：基于所述目标透射图来确定图像中所包括的像素中的白色区域中所包括的目标像素；以及

白平衡调整器，其：基于包括在所述目标像素中的各个颜色通道的平均亮度强度值来调整白平衡。

2.根据权利要求1所述的图像感测装置，其中，所述透射图生成器：将从所述多个颜色通道分别接收的所述亮度强度值归一化为大于或等于0且小于或等于1，将所述透射值生成为在1与通过将归一化的所述亮度强度值乘以预定的亮度分离强度值而获得的值之间的差，以及基于具有相同种类的颜色通道的所述透射值来生成对于相应的所述多个颜色通道的所述颜色通道透射图。

3.根据权利要求2所述的图像感测装置，其中，红色通道、绿色通道和蓝色通道被包括在所述多个颜色通道中，以及

其中，所述透射图生成器基于对于所述红色通道的颜色通道透射图、对于所述绿色通道的颜色通道透射图和对于所述蓝色通道的颜色通道透射图来生成所述目标透射图。

4.根据权利要求1所述的图像感测装置，其中，所述白色像素检测器检查所述目标透射图中所包括的目标透射值中的最小目标透射值，并且将目标透射值比通过将所述最小目标透射值乘以预定调谐值而获得的参考值小的像素确定为所述目标像素。

5.根据权利要求1所述的图像感测装置，其中，所述白平衡调整器：通过将对于所述多个颜色通道中的至少一个颜色通道的平均亮度强度值分别除以对于其它颜色通道的平均亮度强度值来计算颜色通道增益值，以及通过将所述目标像素中所包括的亮度强度值分别乘以与颜色相对应的所述颜色通道增益值来校正所述目标像素的白平衡。

6.根据权利要求5所述的图像感测装置，其中，红色通道、绿色通道和蓝色通道被包括在所述多个颜色通道中，以及

其中，所述白平衡调整器：基于所述目标像素关于所述红色通道的平均亮度强度值、所述目标像素关于所述绿色通道的平均亮度强度值以及所述目标像素关于所述蓝色通道的平均亮度强度值来计算红色通道增益值作为对于所述红色通道的增益值以及蓝色通道增益值作为对于所述蓝色通道的增益值；以及将所述红色通道增益值和所述蓝色通道增益值应用于所述目标像素。

7.根据权利要求6所述的图像感测装置，其中，所述白平衡调整器将所述目标像素关于所述红色通道的亮度强度值乘以所述红色通道增益值，并将所述目标像素关于所述蓝色通道的亮度强度值乘以所述蓝色通道增益值。

8.一种用于操作图像感测装置的方法，所述图像感测装置包括：图像传感器，其包括至少一个像素，其中每个像素包括相同种类的多个颜色通道；和图像处理器，其用于基于所述多个颜色通道的亮度强度值来处理输入图像，所述方法包括：

生成具有透射值的颜色通道透射图，所述透射值是通过将所述多个颜色通道的亮度强度值分别转换成预定范围内的值而获得的；

生成具有目标透射值的目标透射图，所述目标透射值是通过将所述透射值中的与所述图像中的同一位置的像素中所包括的颜色通道相对应的透射值相乘而获得的；

基于所述目标透射图来确定所述图像中所包括的像素中的白色区域中所包括的目标像素；以及

基于包括在所述目标像素中的各个颜色通道的平均亮度强度值来调整白平衡。

9.根据权利要求8所述的方法，其中，所述生成所述颜色通道透射图还包括：

将从所述多个颜色通道分别接收的所述亮度强度值归一化为大于或等于0且小于或等于1；

将所述透射值生成为在1与通过将归一化的所述亮度强度值乘以预定的亮度分离强度值而获得的值之间的差；以及

基于具有相同种类的颜色通道的所述透射值来生成对于相应的所述多个颜色通道的所述颜色通道透射图。

10.根据权利要求9所述的方法，其中，红色通道、绿色通道和蓝色通道被包括在所述多个颜色通道中，以及

其中，在所述生成所述目标透射图中，基于对于所述红色通道的颜色通道透射图、对于所述绿色通道的颜色通道透射图和对于所述蓝色通道的颜色通道透射图来生成所述目标透射图。

11.根据权利要求8所述的方法，其中，所述确定所述目标像素还包括：

检查所述目标透射图中所包括的目标透射值中的最小目标透射值；以及

将目标透射值比通过将所述最小目标透射值乘以预定调谐值而获得的参考值小的像素确定为所述目标像素。

12.根据权利要求8所述的方法，其中，所述调整白平衡还包括：

通过将对于所述多个颜色通道中的至少一个颜色通道的平均亮度强度值分别除以对于其它颜色通道的平均亮度强度值来计算颜色通道增益值；以及

通过将所述目标像素中所包括的亮度强度值分别乘以与颜色相对应的所述颜色通道增益值来校正所述目标像素的白平衡。

13.根据权利要求12所述的方法，其中，红色通道、绿色通道和蓝色通道被包括在所述多个颜色通道中，以及

其中，在所述计算所述颜色通道增益值中，基于所述目标像素关于所述红色通道的平均亮度强度值、所述目标像素关于所述绿色通道的平均亮度强度值以及所述目标像素关于所述蓝色通道的平均亮度强度值来计算红色通道增益值作为对于所述红色通道的增益值以及蓝色通道增益值作为对于所述蓝色通道的增益值。

14.根据权利要求13所述的方法，其中，在所述校正所述目标像素的白平衡中，将所述目标像素关于所述红色通道的亮度强度值乘以所述红色通道增益值，并将所述目标像素关于所述蓝色通道的亮度强度值乘以所述蓝色通道增益值。

15.一种图像处理装置，其用于基于关于至少一个像素的多个颜色通道的亮度信息来处理从包括所述至少一个像素的图像传感器接收的输入图像，其中每个像素包括相同种类的所述多个颜色通道，所述图像处理装置包括：

透射图生成器，其：生成具有目标透射值的目标透射图，所述目标透射值是通过计算归一化的亮度强度值以使得关于所述图像中的相同位置的像素的所述亮度信息中所包括的所述颜色通道的亮度强度值的最大尺寸小于或等于1而获得的；

白色像素检测器，其：基于所述目标透射图来确定所述图像中所包括的像素中的白色区域中所包括的目标像素；以及

白平衡调整器，其：基于所述目标像素中所包括的各个颜色通道的平均亮度强度值来调整白平衡。

16.根据权利要求15所述的图像处理装置，其中，所述透射图生成器：将颜色通道透射值生成为在1与通过将归一化的所述亮度强度值乘以预定的亮度分离强度值而获得的值之间的差；以及基于通过将所述颜色通道透射值相乘而生成的所述像素的目标透射值来生成所述目标透射图。

17.根据权利要求16所述的图像处理装置，其中，所述白色像素检测器：检查所述目标透射值中的最小目标透射值；以及将目标透射值比通过将所述最小目标透射值乘以预定调谐值而获得的参考值小的像素确定为所述目标像素。

18.根据权利要求17所述的图像处理装置，其中，所述白平衡调整器：通过将对于所述多个颜色通道中的至少一个颜色通道的平均亮度强度值分别除以对于其它颜色通道的平均亮度强度值来计算颜色通道增益值；以及通过将所述目标像素中所包括的亮度强度值分别乘以与颜色相对应的所述颜色通道增益值来校正所述目标像素的白平衡。

19.根据权利要求18所述的图像处理装置，其中，红色通道、绿色通道和蓝色通道被包括在所述多个颜色通道中，以及

其中，所述白平衡调整器：基于所述目标像素关于所述红色通道的平均亮度强度值、所述目标像素关于所述绿色通道的平均亮度强度值以及所述目标像素关于所述蓝色通道的平均亮度强度值来计算红色通道增益值作为对于所述红色通道的增益值以及蓝色通道增益值作为对于所述蓝色通道的增益值；以及将所述红色通道增益值和所述蓝色通道增益值应用于所述目标像素。

20.根据权利要求19所述的图像处理装置，其中，所述白平衡调整器将所述目标像素关于所述红色通道的亮度强度值乘以所述红色通道增益值，并将所述目标像素关于所述蓝色通道的亮度强度值乘以所述蓝色通道增益值。